De geschiedenis van de plek waar nu het Doelenhuis staat, gaat terug tot 1337 toen een aldaar staande hofstede in een nalatenschap werd bestemd om ingericht te worden voor 'goede arme juffrouwen, die Gode dienen ende den armen behulpelijken waren'. Er ontstond een zusterhuis dat in de loop van de tijd steeds meer ging lijken op een klooster. In 1422 wordt het dat ook.

In 1580 werd de openlijke uitoefening van de rooms-katholieke godsdienst verboden; de laatste zusters hebben het klooster in 1614 verlaten. Daarna heeft de gemeentelijke overheid er een werk- en kort erna een tuchthuis van gemaakt. Dat heeft bestaan tot 1897. Het complex werd vervolgens verbouwd tot armenhuis. In 1958 verkocht de gemeente het complex aan de Willem Arntsz Stichting, waarna UMS het in 1987 verwierf. Na het vertrek van de laatste huurders in 1992 zijn plannen opgesteld voor restauratie en hergebruik. Deze zijn gerealiseerd tussen 28 februari 1994 en 9 oktober 1996. Het is een woon- en werkgebouw geworden met een sterk naar binnen gekeerd karakter. Het bevat 8 bijzondere woningen en een tiental bedrijfsruimten.

Het complex laat van alle gebruiksperioden overtuigende bouwsporen zien. Er zijn middeleeuwse kelders, het restant van de brug die toegang gaf tot de kapel aan de overzijde van de Doelenstraat en het reftergebouw, de 17e-eeuwse sporenkappen (waar de sporen zo dicht naast elkaar waren geplaatst dat niemand er tussendoor kon glippen), een 19e-eeuwse directeurswoning, de slaapzalen van het armenhuis en vier ommuurde, fraaie binnentuinen.