In 1472 kregen monniken van de Franciscanen (ook wel Minderbroeders genoemd) het terrein waarop nu de Observant staat. De 15de-eeuwse beweging van strenge hervormingsmaatregelen binnen de kloosterorde van de Franciscanen werd Observatie genoemd. Volgelingen Observanten. Na de Reformatie in de 16de eeuw verdwenen de monniken van het terrein. De kapel werd al snel gesloopt. De overige gebouwen kregen andere functies. Er kwam bijvoorbeeld het Gildehuis van de Schutterij met het oefenterrein “De Doelen” en een ruimte voor de Stadsgeneesheer. Later kwam er een stadsherberg waar enkele belangrijke gasten logeerde zoals Prins Frederik Hendrik, Tsaar Peter de Grote en de Deense Koningin Karoline Mathilde.