Die 720 in einer Biographie des Heiligen Gallus erstmals erwähnte Burg Arbon steht auf den Grundmauern des spätrömischen Kastells Arbor Felix aus der Zeit um 260. Gegen 420 verlassen die Römer die Alpennordseite. Vermutlich im Auftrag des fränkischen Königshauses baut der für die Verwaltung unserer Gegend verantwortlicher Tribun eine erste Burg im Kastellareal. Die Stadt Arbon wird um 700 Grundbesitz des Bistums Konstanz. Bischöfliche Obervögte regieren fortan bis zur Helvetik (1798) auf dem Schloss. In seiner heutigen Erscheinung steht es seit 1518, erstellt vom baufreudigen Bischof Hugo von Hohenlandenberg, der auch die Schlösser Meersburg und Markdorf erstellt.
Der mächtige Turm ist noch ein Vierteljahrtausend älter. Er wird gleichzeitig mit der Stadtbefestigung gebaut. Man nimmt an, dass der Turm als gelegentlicher Wohnsitz für den jungen, designierten Stauferkaiser Konradin, der sich während zwei Jahren in Arbon aufhält, gebaut wird. Konradin, der den Arbonern wichtige verbriefte Rechte verleiht, gerät jedoch auf einem Feldzug in Neapel in Gefangenschaft und wird 1268, erst 16jährig, hingerichtet.
Nach dem Ende der bischöflichen Herrschaft wird 1804 der Markgraf von Baden Eigentümer der bischöflichen Güter. Noch im gleichen Jahr verkauft er die Schlossanlage dem jungen Kanton Thurgau. Ab 1807 gehört sie dem Arboner Fabrikanten Franz Xaver Stoffel, dessen Familie während fast hundert Jahren eine erfolgreiche Seidenbandweberei mit ca. 200 Arbeitsplätzen betreibt. Das Schloss ist somit das erste Industrieunternehmen.
1911 wird Adolph Saurer neuer Besitzer. Für seine bereits europaweit erfolgreich tätige Lastwagen- und Stickereimaschinenfabrik richtet er Betriebs- und Lagerräume sowie einige Wohnungen ein. Zudem restauriert er den prachtvollen Landenbergsaal.
Zum Preis von Fr. 150’000.– verkaufen die Erben seines Sohnes Hippolyt – Witwe Sina Saurer-Hegner und Tochter Anita – das Anwesen samt Schlosspark und Wiese mit Seeanstoss der Stadt Arbon. Ein Zufallsmehr von 11 Ja-Stimmen entscheidet die hart umstrittene Abstimmung. Mit dem Grundstück am See ist der Weg frei zum Bau der öffentlichen Uferanlagen zwischen 1948 und 1985.
Nach umfangreichen Restaurierungen 1972/73 und 1992/93 ist das Schloss Arbon heute mit dem Historischen Museum und dem Landenbergsaal ein öffentlich genütztes Gebäude. Seit 2001 steht der Museumsgesellschaft Arbon zudem der restaurierte Saal im Erdgeschoss für jährlich wechselnde Sonderausstellungen zur Verfügung.