Das Schloß wurde im Jahre 1337 vom Ordensritter Hartman von Grumbach an der Stelle der alten preußischen Siedlung Garzoven gegründet, welche noch 1264 vom Orden zerstört worden war. Zunächst war es ein kleines Vorwerk (?) mit Holzhäusern. Diese Siedlung wurde nach St. George benannt. Es wird angenommen, daß Großmeister Winrich von Kniprode (1351-1382) 1350 den Auftrag erteilte, an dieser Stelle eine Burg zu bauen. Am Anfang war es ein Wall aus hölzernen Wänden mit Türmen und einem Wassergraben. Nach der Teilung 1352 ging die Burg in den Besitz des Bischofs über. Nach der Säkularisierung des Ordens im Jahr 1525 gelangte das Schloß in den Besitz des Herzogs Albrecht, des ersten weltlichen Herrschers von Preußen. Nach 1709 beförderte König Friedrich Wilhelm das Schloß in den Staatsbesitz. Im Jahr 1757, während des Siebenjährigen Krieges von 1756 bis 1763, war Georgenburg der vorübergehende Wohnsitz des Kommandanten der russischen Armee, S.F. Apraksin. Im späten XVIII. – frühen XIX Jahrhundert wurde das Schloß zahlreichen Umbauten unterzogen, einige der Gebäude wurden abgerissen, insbesondere die Nordmauer des Schlosses und die Vorburg. Während der Napoleonischen Kriege befand sich der Hauptsitz von Marschall L. Davout in Georgenburg. Zu Beginn des 19. Jahrhunderts mußte der Staat Georgenburg an den Insterburger Kaufmann Heyne verkaufen. Als das Schloß 1828 von der schottischen Familie Simpson aus Memel gekauft wurde, wurde ein Gestüt gegründet. Im selben Jahr erwarb Johann Wilhelm Simpson für Georgenburg in Florenz eine verkleinerte, vergoldete Kopie der „Paradiespforte“ von L. Ghiberti (Bronzetor des Florentiner Baptisteriums), deren Spuren später verloren gingen. Im Jahre 1899 wurden die Burg und das Gut an den Staat verkauft. Während der Sowjetzeit ging ein erheblicher Teil der Gebäude verloren. Das erhaltene Gebäude der Zitadelle hat die charakteristischen Merkmale der lokalen mittelalterlichen Architektur (Stufengiebel, spitze Nischen), im Innenhof befinden sich die Ruinen eines einzigen Turms mit fünf Seitenflächen.
Durch die Hanglage des Schlosses wurde die Wahrnehmung seiner Ebenen (Anzahl der Stockwerke) täuschend beeinflußt. Hinter dem Schloß befindet sich ein Gebäudekomplex des Reitpferdegestüts für Hannoveraner, Holsteiner und Trakehner. Im Jahre 1890 wurde die Trakehner-Pferderasse in das Buch Ostpreußens über die Zucht edler Rassen aufgenommen. Seitdem ist das doppelte Elchgeweih zum Brandzeichen aller Pferde von Georgenburg geworden. 1948 entstand auf der Grundlage des ehemaligen Gestütes das „Tschernjachowsker Staatliche Gestüt.“ In den 1960-iger Jahren wurden die Pferde aus der DDR und der BRD geholt. Im Jahr 2002 erhielt das Gestüt wieder den früheren Namen – Georgenburg. Es verfügt über einen Gebäudekomplex mit 310 Plätzen, zwei Arenen, zwei Paraden, Springgarten.
