Haps is ooit een heus middeleeuws kasteel rijk geweest: het Huis Haps. Maar de eeuwen hebben sindsdien hun werk gedaan. Op de plek waar het gestaan heeft, zijn slechts resten van het ondergrondse muurwerk bewaard gebleven.
Het Huis Haps moet al in 1418 hebben bestaan, want hertog Arnold van Gelre geeft het als huwelijksgeschenk aan Eduard van Gulik. In een verklaring van dezelfde hertog Arnold uit 1435 komt het kasteel opnieuw ter sprake.
We moeten ons dat Huis Haps voorstellen als een kasteel op het terrein de Schans. Het bestond uit twee delen: het eigenlijke huis en de poorthal die als twee eilandjes in een brede binnengracht lagen en door een brug met elkaar waren verbonden. Om dit geheel heen lag een tweede gracht.
Het Hapse kasteel is in de zeventiende eeuw omgebouwd tot een forse hoeve. In de achttiende eeuw zette het verval in en in de negentiende eeuw werden de laatste resten van de oude kasteelruïne afgebroken.
Op oude kaarten zijn de sporen van het grachtensysteem zichtbaar die tot enkele decennia terug nog in het veld te zien moeten zijn geweest. Wat er nog (onzichtbaar) rest, zijn stukken van de burchtmuren in de grond.