In 1361 liet Maria van Brabant het kasteel van Oijen bouwen, vlakbij de Maas en de westgrens van het graafschap Megen. Het tijdstip en de locatie waren niet toevallig, want de spanningen tussen Brabant en Gelre namen in die jaren toe. Net als de kastelen van Oss, Megen en Grave was de Oijense burcht spoedig een belangrijke Brabantse voorpost, dichtbij de grensrivier de Maas.
Enkele decennia van strijd volgden en in 1398 kregen de Geldersen zodanig de overhand dat Grave in hun bezit kwam. In 1399 stierf Maria kinderloos en zowel de heerlijkheid als het kasteel Oijen werden vanaf toen Gelders. Het is niet toevallig dat het nabijgelegen Oss juist in dat jaar van hertogin Johanna van Brabant stadsrechten ontving.
Omdat het Oijense kasteel tijdens de Gelders-Brabantse oorlogen van begin 16e eeuw voortdurend als uitvalsbasis voor strooptochten in het omliggende Brabantse gebied werd gebruikt, kwam de regio in verzet. Inwoners van Oss en ’s-Hertogenbosch kregen van landvoogdes Margaretha van Oostenrijk in 1511 het bevel de burcht te slopen. Blijkbaar was dit niet aan dovemansoren gezegd, want zij klaarden deze klus in tien dagen tijd!
In 1594 werd op de fundamenten van de voorburcht een nieuw kasteel gebouwd. Dit werd de eeuwen daarna herhaaldelijk verbouwd en uitgebreid. In 1825 werden de nu nog bestaande gebouwen opgetrokken, als koetshuis en paardenstal, de rest is in 1837 afgebroken. Nadien vond een verbouwing plaats van de beide voorgebouwtjes tot boerderij.
In de jaren 1930 werd de gracht gedeeltelijk gedempt en volgde afbraak van de houten brug. Het complex is in 1985/86 gerenoveerd en biedt momenteel onderdak aan de landelijke Vereniging Natuurmonumenten.