Vanaf de late middeleeuwen was het gebruikelijk in de grotere (vesting)steden, om kloosters en abdijen die buiten de stad lagen een toevluchtsoord te bieden, in tijden dat dit nodig was vanwege onveilige situaties. De muren van deze gebouwen boden wel enige bescherming, maar het was verstandig daarnaast over een verblijf binnen de veilige stadsmuren te beschikken. Ook Maastricht had meerdere van dit soort zogenaamde refugiehuizen (Latijn: refugium = uitwijken), die dus in eigendom waren van deze kloosters en abdijen. Als zich dan zo’n onveilige situatie voordeed, vonden niet alleen personen onderdak, ook relieken, andere kostbaarheden en archieven konden daar (tijdelijk) worden opgeslagen. Voorwaarde voor het hebben van zo’n toevluchtsoord was dat men er geen kerk of klooster van mocht maken. Ook in rustige tijden was zo’n huis gemakkelijk als men voor zaken in de stad moest zijn. Zo’n refugiehuis was vaak een versterkt stenen huis, ook al in de tijd waarin het gros van de huizen in Maastricht nog van hout waren.
Voorbeelden van dergelijke onderkomens zijn de Refugie van Herckenrode aan de Kommel (1574), thans onderdeel van het Klooster van de Zusters onder de Bogen en de Refugie van Hocht aan de Boschstraat 69-73 (veertiende eeuw), in het pand waar lang het Leger des Heils gevestigd was. Sedert enkele jaren is dit een hotel. In de Stokstraat lag vroeger de Refugie van Houthem-Sint Gerlach, gevestigd in een weerbare woontoren. Hiervan zijn in 1962 onder het huis aan de Stokstraat 55 de fundamenten van teruggevonden. Wegens bouwvalligheid werd dit pand in de achttiende eeuw verlaten en bouwden de religieuzen van het adellijke vrouwenstift rond 1731 een nieuw onderkomen aan de Brusselsestraat 77. In dit pand zou in 1843 Victor de Stuers geboren worden. Aan de Papenstraat 13 lag de Refugie van het Luikse Sint Jacobsklooster, waarvan aannemelijk is dat deze een binding had met de kapel van Sint Jacob, die tot 1821 op de hoek van de Bredestraat en de Sint Jacobstraat heeft gelegen. Ook het klooster van Val-Dieu had een refugiehuis nabij de Jodenpoort aan de Bokstraat. Deze straat is verdwenen bij de aanleg van het kanaal Luik-Maastricht en is deels verder gegaan als Kesselskade. Aan de Grote Gracht 92 lag de Poort van Munsterbilzen, tegenwoordig Hof van Tilly. Dit was het refugiehuis van de Abdij van Munsterbilzen, een adellijk damesstift ten westen van Maastricht.
Naast kloosters en abdijen had ook een twintigtal adellijke geslachten uit de omgeving een vluchthuis in Maastricht, zoals de families Van Haren, Van Gaveren, Van Gronsveld, Van Rimborch, Van Rekem, Van Holset en Van Gulpen. Deze huizen werden vaak aangeduid als ‘poorthuis’. Bekend is de Poort van Haren. Deze lag onder aan de Spilstraat naast de Gevangenpoort en werd rond 1250 door ridder Adam van Haren geschonken aan de dominicanen die hier hun eerste vestiging hadden. Ook bekend is de indrukwekkende Poort van Beusdael aan de Hoogbrugstraat, die lang ten onrechte ‘Refugie van Meerssen’ is genoemd.
Overigens gold de stad ook voor plattelandsboeren en buitenlui als toevluchtsoord. In onrustige tijden dreven zij hun vee binnen de muren en lieten het grazen op de onbetreden taluds van de vestingwerken. Vooral het gebied tussen Maagdendries en Boschpoort was lange tijd zo dun bebouwd, dat een paar duizend vluchtelingen erbij weinig verschil maakte.