Die Burg in Holz-Erde-Bauweise von 1355/56 wurde verschiedentlich zerstört. Der Ausbau der Burg in Stein nach der Niederwerfung der großen Prußenrevolte stand unter der Leitung des rheinländischen Baumeisters Nikolaus Fellenstein, der auch für die Erweiterung des Hochmeisterpalastes in der Marienburg verantwortlich war. Dabei sind die Maurertruppen, die gleichzeitig die Funktion von Architekten ausübten, gut dokumentiert: die Maurer-Truppe Albrecht aus Königsberg errichtete 1399 – 1403 den Rohbau, Jörgen Bescheiden 1404 – 1405 die Gewölbe und Hannus Bolle aus Danzig führte 1407 – 1408 mit seinen Leuten die Befestigungsarbeiten durch. Die Kosten für die Burg beliefen sich auf insgesamt 21.110 Mark.
Der Hauptflügel im Süden ist zum Land hin ausgerichtet. Er war ehemals in allen Stockwerken in 2 Säle gegliedert. Im Hauptgeschoß lagen Kapitelsaal und nach Osten hin die 27 m lange Kapelle. In den Mauerecken gab es Wendeltreppen zum Wehrgang.
Der Nordflügel war zum Fluss hin orientiert: im EG befanden sich Küche und Brauhaus, von hier aus führte ein Gang zum Danzker. Im Hauptgeschoß lag evtl. der Konventsremter. Die Räume verfügten über Kreuzgewölbe auf Mittelstützen.
Der Ostflügel beherbergte vermutlich im Hauptgeschoß das Dormitorium.
Im Westflügel lag der Eingang mit Granitrundbogen, Fallgitternische, im Erdgeschoß mit Torwartstube und mit Heizkammer. Von einem Raum über dem Torweg konnte man die Fallgitteranlage bedienen. In einem anderen Raum entdeckte man 1906 Wandmalereien von ca. 1408, die man Meister Peter zuschrieb, der auch in der Marienburg gewirkt hatte. Diese sind verloren.
Die Vorburg lag im Westen und schloss sich ohne Graben an. Davon ist nur der Uhrenturm erhalten.
Nach einem Brand 1445 waren erneut größere Bauarbeiten erforderlich. 1825 richtete man in der Burg ein Gefängnis ein. Nach einem Brand 1828 wurde die Anlage Sitz eines Gerichts mit Untersuchungshaft. Dabei riss man innen Gewölbe ab, legte außen die Dächer niedriger und entfernte die Giebel. Erhalten blieben im Wesentlichen die gewaltigen Hauptmauern und Teile der Vorburg wie das schlanke viereckige Türmchen.
Im 2. Weltkrieg brannte die Burg 1944/45 völlig aus und ist seitdem Ruine. Teile der Mauern wurden weggesprengt, doch die Außenmauern blieben weitgehend bis zur Unterkante des Wehrgeschosses erhalten.
