De 14e eeuwse laatgotische kapel met een rijk interieur in Zuid-Duitse Rococostijl heeft een lange geschiedenis. Deze gaat terug tot 1369. Ridder Werner, heer van Swalmen, had het plan om een kapel te stichten, gewijd aan de Heilige Maria van Bethlehem.
In ruil voor erediensten in deze Bethlehemkapel, mocht het Keulse kartuizerklooster in 1376 een nieuw klooster stichten op het achterliggende terrein. Het klooster bestond uit een kerk, een kapittelzaal, een refter, een kruisgang met twaalf monnikencellen en een economisch gedeelte met o.a. een brouwerij, een bakkerij en stallen.
