Po Ludwiku Halpercie kolejną ważną postacią w historii Pałacu Pass jest jego kolejny właściciel, hrabia Kazimierz Plater-Zyberk. Urodzony jako najstarszy z synów Michała i Izabelli-Heleny Syberg, Kazimierz, a właściwie Kazimierz-Bertold (Bartłomiej) -Józef-Michał-Konstanty-Stanisław-Henryk urodził się dnia 18 września 1808 roku. Jako datę jego urodzenia czasami podaje się dzień 6 września. Jest to spowodowane tym, iż data ta, wzięta została z kalendarza starego stylu.
Uruski twierdzi, że Kazimierz Plater-Zyberk wstąpił do szeregów wojska polskiego już w 1829 roku. Fakt zamieszkania poza granicami Królestwa Kongresowego oraz tradycja rodzinna, która widzi Kazimierza przebywającego jeszcze w pierwszych miesiącach powstania 1830 roku w Kurlandii, zdają się przeczyć wersji Uruskiego. Dopiero po wybuchu powstania przekradł się do Warszawy i pełnił funkcję oficera w kwatermistrzostwie. Po klęsce 1831 roku emigrował. Jego nazwisko zostało pomieszczone na liście osób, którym powrót do kraju został zakazany, a majątek miał być skonfiskowany. Konfiskata majątku nie nastąpiła, gdyż Kazimierz w chwili wybuchu powstania 1830 roku bodaj jeszcze nie był hipotecznym właścicielem żadnego z majątków.
Kazimierz hr. Plater-Zyberk przebywając po wyjeździe z kraju, w Dreznie, poznał tam swoją przyszłą żonę, ale „że ona, przyjmując oświadczyny, nie miała odwagi wyrzec się kraju, hrabia Plater wrócił, złożył przysięgę i wysługiwał lat kilka na Kaukazie„. Tak o tym pisze w swoich pamiętnikach księżna Gabriela Puzynina. Według Pulvisa jeszcze w roku 1836 służył w stopniu oficera w pułku niżhorodzkim dragonów na Kaukazie. Już w dniu 23 listopada 1836 roku był datowany dekret Rządzącego Senatu w Petersburgu zatwierdzający jego tytuł hrabiowski i zezwalający na wniesienie jego nazwiska do V części ksiąg szlachty. Akt ten dowodzi pełnego przywrócenia praw, ale nie tłumaczy dlaczego jego ślub odbył się dopiero w kilka lat później. Według księżnej Puzyniny, Kazimierz musiał, po odsłużeniu na Kaukazie kilku lat „w sołdatach”, służyć później w Petersburgu. Nie jest do końca jasne czy jeszcze za życia rodziców, czy też później, zostaje dziedzicem znacznych dóbr w Kurlandii, a mianowicie: Schlossbergu Iłukszty, Anceniszek, Kazimieryszek, Podunaju, Rubinen, Kamienicy i Subbothu, a Kumpolu na Litwie.
Ciąg dalszy losów
ziem passkich
Dnia 11 kwietnia 1842 roku zaślubił w Dreznie Ludwikę-Teodorę Eleonorę Borewicz herbu Prus, urodzoną 2 czerwca 1814 roku, córkę Michała Borewicza i baronówny Marianny-Tekli Renne, II-o voto zamężnej za księciem Tadeuszem Ogińskim z Wiejsiej, a wnuczkę, po ojcu: Józefa Borewicza i Marii de Raes herbu własnego, a po matce: Feliksa Renne i Antoniny Giełgud herbu własnego. Ludwika z Borewiczów Kazimierzowa hrabina Plater-Zyberk umarła w Warszawie dnia 26 października 1866 roku. Pochowana na Powązkach w Warszawie.
Już po ślubie, w roku 1851 Kazimierz Plater-Zyberk nabył majątek oraz ziemie passkie, o obszarze około 1.500 morgów (ekwiwalent 375 hektarów), i tam przeważnie zamieszkiwał. Na ziemiach tych urodziła się córka Kazimierza, Cecylia Plater-Zyberk, działaczka społeczna, pedagog i publicystka, założycielka towarzystw społecznych oraz dwóch szkół, które noszą jej nazwisko. Sam Kazimierz umarł w Schlossbergu dnia 25 stycznia 1876 roku. Pochowany obok żony na Powązkach w Warszawie. Jego korespondencja znajdowała się do 1944 roku w Bibliotece Narodowej w Warszawie. Portret olejny, malowany przez Leopolda Horowitza, znajduje się w zbiorach Tadeusza Plater-Zyberka w Brukseli.
Rok po jego śmierci, w 1877 roku, dobra passkie przechodzą do rąk jego syna, Tadeusza Plater-Zyberka, który odsprzedaje je Henrykowi Halpertowi (syn poprzedniego właściciela Ludwika Halperta), co sprawia, że Pałac Pass i jego rozległości wracają na długie lata w posiadanie rodziny Państwa Halpertów.