В самом центре города Оренбурга находится один из главных архитектурных памятников – Музей истории города, который раньше носил название гауптвахты. Это здание действительно похоже на крепость — имеет декоративную башню (на ней установлены часы «таможенного ведомства», ранее располагавшиеся на здании Гостиного двора), узкие оконные проемы, напоминающие бойницы. Построено оно было в 1856 году и изначально использовалось для хранения архива документов генерал-губернатора В.А. Перовскогои ценных бумаг Оренбургского казначейства. Для строительства здания гауптвахты были собраны средства с жителей города. Сооружение построили на берегу Урала, оно располагалось рядом с домом генерал-губернатора.