Музей был основан в 1946 году. Он расположился в старинном усадебном доме 1790 года постройки, в котором проживал русский полководец Александр Суворов.
В 1978 году были приведены реставрационные работы, в ходе которых здание было полностью перестроено для восстановления прежней планировки. Теперь вся экспозиция была посвящена Суворову.
В 1987 году приступили к строительству нового здания музея рядом возле дома Суворова. Строительство здания, стилизованного под крепость, завершилось в 1990 году.
Большинство музейных экспонатов было собрано первым директором Алексеем Мартыновым. В музее собраны уникальные коллекции холодного и огнестрельного оружия, монет, наград и знаков отличия, военной формы солдат Русской армии и стран интервентов. Экспозиции были скомплектованы из фондов музеев Москвы и Петербурга. В букинистических и антикварных магазинах приобретены редкие экземпляры книг, гравюры и документы, поставщиками экспонатов являются и частные коллекционеры.
Сегодня музейная поделена на две коллекции. Одна находится в доме Суворова, где собраны предметы быта и личные вещи великого полководца. Вторая представляет собой музей военной истории города IX – XX веков.
Усадебный дом является архитектурным памятником классицизма республиканского значения.