Bij Katwijk aan den Rijn en wel in ’t Sandt wordt een kasteel gebouwd. Het is niet bekend wanneer en door wie het kasteel is gesticht. Vermoedelijk is het al in 1183 in bezit van de graaf van Holland. Bij het kasteel bedrijft men het steekspel met paarden op een toernooiveld. De graaf van Holland houdt geregeld verblijf in Huis ’t Sandt en spreekt er recht. Ook het Hof van Holland verblijft dikwijls op het kasteel. In 1224 wordt Katwijk aan den Rijn voor het eerst genoemd in een oorkonde die Floris IV graaf van Holland hier ondertekent “apud Rhenum Catwijck”.

Phillips van Wassenaer raakt al spoedig betrokken bij de moeilijkheden die ontstaan door zijn medeplichtigheid aan de moord op Aleida van Poelgeest, de maîtresse van hertog Albrecht van Beieren. Hij vlucht met zijn broeder en vijftig andere edelen buiten Holland. Hertog Albrecht van Beieren verklaart al hun goederen verbeurd en geeft op 12 november 1393 bevel aan de schout van Leiden om de kastelen van burggraaf Phillips van Wassenaer en zijn medeballingen af te breken en uit te branden.

Heer Phillips wordt van al zijn rechten en heerlijkheden beroofd en Huis ’t Sandt wordt vernield. Met Pasen 1394 wordt op last van hertog Albrecht het bos op ’t Sandt omgehakt en het hout wordt naar Den Haag vervoerd. Op 12 april 1396 worden de Van Wassenaers met de hertog verzoend. Zij beloven geen wraak te zullen nemen voor het beschadigen, verbranden en vernielen van hun huizen. Ook wordt er geen schadevergoeding geëist. Daartegenover worden zij in al hun bezittingen hersteld. Phillips laat Huis ’t Sandt weer opbouwen en gaat er wonen.

De Hoekse en Kabeljauwse twisten laaien weer op. Phillips IV van Wassenaer is daarbij aanvoerder van de Hoekse partij. In mei 1420 wordt Leiden, welke stad door Phillips IV van Wassenaer is bezet, door hertog Jan van Beieren belegd en op 17 augustus moet Phillips zich overgeven. Huis ’t Sandt wordt tijdens dit beleg van Leiden door stropende bendes opnieuw verwoest. De heerlijke rechten van Katwijk gaan in 1655 over op Maria van Reigersbergh. Zij is nu vrouwe van beide Catwijcken en ’t Sandt. Zij wenst te gaan wonen op Huis ’t Sandt maar dit verkeert in zodanige toestand dat er plannen worden beraamd voor een algehele verbouwing.

Vermoedelijk is aan het onderhoud van het nog bewoonbare gedeelte van het deels in puin liggende kasteel niet veel zorg besteed toen de bezitters er niet meer geregeld woonden en beantwoordt ook de inrichting niet meer aan de eisen van de tijd. De grote bouwmeester uit die tijd Pieter Post krijgt opdracht een ontwerp voor de vernieuwing te maken. Het is een fraai gebouw dat hij ontwerpt en in januari 1656 in tekening brengt, maar het plan wordt niet uitgevoerd. De plannen tot verbouwing van Huis ’t Sandt schijnen geheel te zijn opgegeven want in plaats daarvan wordt een geheel nieuw huis gebouwd aan de oever van de Oude Rijn. Dit nieuwe gebouw krijgt de naam “De Hof van Catwijck”. Bij de Hof van Catwijck wordt een prachtige tuin aangelegd met visrijke vijvers. Bij de grote vijver staat het beeld van Rhenus Pater, Vadertje Rijn.

De ruine van Kasteel ’t Sandt wordt rond 1740 afgebroken. Maar in de aanloop naar de Najaarsfeesten 2024 is Huis ’t Sandt uit het stof herrezen en kunnen de kasteelheren er met hun jonkvrouwen weer hun intrek nemen.