В память о победе в крестовом походе на горе Твангсте, также известной как Тувангсте-берг, в 1255 году на правом берегу реки Прегель был построен замок рыцарей Тевтонского ордена. Замок занимал выгодное положение над рекой, а его защиту обеспечивали крутые склоны и водные преграды в виде ручьев, протекавших с севера на юг, окружавших замок и его укрепления - форбург.

Значение замка с течением времени увеличивалось. Изначально он был построен как резиденция фогта, управляющего землей Замланд, затем, с 1312 году, стал резиденцией орденского маршала, а в 1457 году стал резиденцией магистра ордена. С 1525 по 1618 год замок был жилой площадкой для прусских герцогов. В 1701 году в замке прошло коронование Курфюрста Фридрихом III Бранденбургским, который стал называться королем Фридрихом I, и присвоив стране название Королевство Пруссия.

Строительство замка начиналось с возведения внутренней каменной кольцевой стены. В 1280-1290 году был построен Дом Конвента (зал заседаний) и несколько оборонительных башен. К началу XIV века была построена двойная каменная кольцевая стена и девять башен. В северо-восточной части была построена башня Хабертурм, которая сохранялась до 1944 года, а остатки стен — до начала 1960-х годов. В 1387 году была возвышена большая, квадратная в плане башня, которая возвышалась над городом до 1945 года. На самом верхнем уровне этой башни находилась наблюдательная площадка, а жилая площадь находилась на этаж ниже.

Изначальные здания, построенные орденом, сохранились в виде западной части северного крыла, восьмиугольной башни Хабертурм, полукруглых башен на южной стороне и некоторых подвальных винтовых лестниц.

В 1525 году орден перестал существовать, и замок стал резиденцией для герцогского двора, что потребовало значительных изменений в его внутреннем устройстве и архитектуре. В Германии началась эпоха ренессанса, и строгие средневековые строения больше не соответствовали размаху придворной жизни.

Маркграф Георг Фридрих (159-1603) управлял землей в качестве регента больного сына герцога Альбрехта - Альбрехта Фридриха (1555-1618) и в 1584-1590-х годах предпринял строительство западного крыла замка, определившего облик крепости на долгие столетия.

В XVII - XVIII веку объемно-пространственная структура замка стала иметь форму трапеции с основными воротами на восточной стороне, так называемыми "воротами Альбрехта". Второй въезд в замок находился в середине западного крыла. Третий вход с южной стороны был предназначен только для пешеходов.

В 1810 году была разрушена восточная часть северного крыла - бывший зерновой склад, на древнем фундаменте которого было возведено здание Верховного земельного суда. Последней строительной переделкой стала реновация замковой башни в 1866 году, когда старая крыша была заменена на неоготический шатер. Вероятно, в то же время был изменен архитектурный фасад западного флигеля, выходящего на Альтштадт, придав ему такой же неоготический стиль.

До 1945 года в его стенах размещались различные управленческие и общественные учреждения города и Восточной Пруссии, находились музейные собрания и залы для торжественных приёмов. Имя замка дало общее наименование для города, возникшего у замковых стен. Наряду с Кафедральным собором являлся важнейшей градостроительной доминантой и древнейшей достопримечательностью города.