Fortællingen om den fredede ejendom i Rigensgade begynder efter Stormen på København i 1659, hvor den hollandske officer Henrik Rüse blev indkaldt af Kong Frederik III. Til privat brug opførte Rüse gården ”Østergaard”, som i en kort periode benyttedes til bolig. Herefter overtog Frederik III gården og opførte hertil i 1668 en mindre laboratoriebygning. Her installerede han den italienske alkymist Borri, som eksperimenterede med fremstilling af guld. Der kom dog aldrig guld, og Borri flygtede til udlandet ved kongens død. Frem til 1818 blev navnet ”Guldhuset” brugt om bygningerne på matriklen.

Den Skånske Krig i 1675-1679 hjemsendte mange sårede og syge, og Østergaard blev i perioden 1677-1683 indrettet som ”Landmilitsens Kvæsthus”. I 1683 overtog Christian V ejendommen og etablerede ”Det Kongelige Militære Uldmanufaktur”. Efter den store brand i 1759 blev dele af hovedbygningen genopført af bygmester Georg Vollmeister. I Rigensgade 7 blev sandstensfrontispicen over porten udsmykket med Frederik V’s navnetræk og i Rigensgade 9 med Christian VII’s.

I 1774 etableredes ”Det Kongelige Militære Varemagasin”, og i årene 1799-1800 blev munderingsdepotet for hæren indrettet af hofarkitekt Andreas Kirkerup. Fremstilling af militær beklædning i Rigensgade ophørte efter Freden i Kiel og afslutningen af Napoleonskrigene i 1814.

Inskriptionen på facaden mod Rigensgade vidner om Frederik VI’ s etablering af ”Garnisonshospitalet” i 1817. Samme år blev ejendommen nyindrettet af arkitekten Peder Friis, som var Thorvaldsens ungdomsven. Mod haven troner billedhuggeren Freunds buste af Frederik VI med romersk imperator-hjelm, anbragt i en niche og indrammet af fasces – det romerske magtsymbol.

Garnisonshospitalet blev i 1867 efterfulgt af ”Garnisonssygehuset”, som kommandantskabet på Sølvgades Kaserne overtog i 1928. Ejendommen blev således omdannet til Rigensgade Kaserne og har siden 1945 været benyttet som tjenesteboliger for forsvarets personel.

De mange dekorative detaljer er smukt bevaret både mod Rigensgade og ejendommens gårdhave, hvor historien og den karakterfulde arkitektur skaber stor opmærksomhed.