Serkukset eivät halunneet kohtaamisen herättävän liikaa huomiota ulkopoliittisista syistä, ja paikaksi valittiin pieni Venäjän rajakaupunki Fredrikshamn eli Hamina. Hallitsijoiden tapaaminen järjestettiin kesäkuussa vuonna 1783. Kolmen päivän ajan talo täyttyi hovien loistosta vastaanottojen, kestitysten ja illanviettojen muodossa. Kahden kesken hallitsijat neuvottelivat pienessä huoneessa, nk. Katariinan kamarissa. Kustaan tavoite oli saada Katariinan johtamasta Venäjästä liittolainen sotaan Tanskaa vastaan. Diplomaattisesti esiintynyt keisarinna ei suostunut serkkunsa suunnitelmiin ja neuvottelut päättyivät Haminassa tuloksetta, mutta hyvässä hengessä.

1800-luvulta alkaen rakennus palveli yksityiskotina. Omistajia oli aikojen saatossa useita ja ajan tavan mukaan kaupunkitalon omistajilla oli vuokralaisia. 1940-50 luvuille tultaessa talossa oli myös liiketoimintaa, kuten leipomokahvila, räätälinliike ja lelutehdas Haminan Laatulelu Oy.

Kaupunginmuseo on toiminut rakennuksessa vuodesta 1957. Aluksi museon tilat sijaitsivat 83 neliön kokoisessa vuokrahuoneistossa, kunnes koko talo siirtyi kaupungin omistukseen ja museon käyttöön vuonna 1980.

Kaupunginmuseon näyttely Aikakausia ja aikalaisia esittelee kattavasti kaupungin kehitysvaiheita varhaisimmasta asutuksesta aina 1900-luvulle asti. Museossa on nähtävillä kiehtovaa esineistöä elävöittämässä kirjoitettua faktaa esimerkiksi merenkulusta ja kaupungin kouluista. Näyttelyssä esitellään myös kuuluisia haminalaislähtöisiä henkilöitä, joiden kautta aikakaudet heräävät eloon. Uudistetussa Katariinan kamarissa voi kokeilla kuninkaallisia asuja ja tunnelmoida aikakautista musiikkia vaikkapa shakkipelin äärellä.