Замок построенный по поручению великого князя Литовского Гедимина, за четыре года, в 1333 году принял свой первый гарнизон в 250 латников и лучников. Замок являлся важным компонентом оборонительной фортификационной цепи против натиска на восток, Тевтонского Ордена.
Оборонительное сооружение контролировало окрестную местность, и являлась убежищем для жителей города. Во время вторжения крестоносцев на территорию Великого Княжества Литовского, в замке размещалась конная боевая дружина во главе с военачальником, приближенным великого князя. Впервые тевтонские рыцари смогли захватить Лидский замок только через 50 лет после его постройки, при помощи боярина-перебежчика, который смог провести тевтонцев внутрь замкового двора, через подземный ход.
Крестоносцы значительно разрушили замок, а начавшаяся борьба за власть в Великом Княжестве Литовском не давала возможность его полноценно восстановить. Замок несколько раз переходит из рук в руки, причем его обладателями в разный период были и английские рыцари на службе Ордена, татарские союзники князя Витовта, чешские наемники князя Ягайло. К 18 веку, когда его разрушают во времена Северной войны, Лидский замок уже не представлял неприступную твердыню. Затем несколько веков запустения и разрушения. Во времена буржуазной Польши оставшиеся стены замка укрепили, и он служил зимой катком, а летом площадкой для зверинца или шапито.
Только в последние 30 лет Лидский замок стал приобретать свои исторические черты. К 2019 году он практически полностью восстановлен, здесь находится интересная экспозиция, включая средневековую пыточную палату, и проводятся постоянные рыцарские фестивали. В замке находится постоянно расширяющая экспозиция и интерактивные аттракционы. Замок входит в десятку самых значимых замков Восточной Европы.