Het oorspronkelijke huis Elzendaal was het buitenverblijf van pastoor Antonius Peelen. Het lag aan de huidige Dr. Peelenstraat. In 1672 vestigden de Karmelietessen zich in Boxmeer en de zusters namen eerst hun intrek in dit prachtige huis. Al spoedig bleek echter dat de behuizing niet voldeed aan hun eisen. In 1682 werd er een nieuw klooster gebouwd.
In de achttiende eeuw breidden de zusters het kloostergebouw verder uit met onder meer een kapel. Het Emmaushuisje, de laatste concrete herinnering aan dr. Peelen, werd afgebroken.
In 1838 is er nog een nieuwe vleugel aan het klooster toegevoegd. Tot aan het vertrek van de zusters in 1975 is het gebouw als klooster in gebruik geweest. Daarna is het gebouw grondig gerenoveerd.
Door alle verbouwingen die er in de voorgaande eeuwen hebben plaatsgevonden, is er van het oorspronkelijke gebouw eigenlijk niets meer overgebleven.
Elzendaal is nu in gebruik als conferentieoord, trouwlocatie en als plaats voor culturele manifestaties.
