Das 720 in der St. Galler Klostergeschichte erstmals urkundlich erwähnte Schloss Arbon steht auf den Grundmauern des um 250 erstellten römischen Kastells «Arbor Felix», einer Festungsanlage an der damaligen Reichsgrenze. Um 400 verlassen die Römer die Alpennordseite. Vermutlich im Auftrag des fränkischen Königshauses baut der für die Verwaltung unserer Gegend verantwortliche Tribun die erste Burg. Die Stadt Arbon wird um 700 Grundbesitz des Bistums Konstanz. Bischöfliche Obervögte regieren fortan bis zur Helvetik (1798) auf dem Schloss.
1515–1518 baut Bischof Hugo von Hohenlandenberg die seither weitgehend unveränderten Gebäude. Der Turm datiert in die Zeit um 1250. Die Tatsache, dass die Schlossanlage ausserhalb der Stadtmauer bleibt, kann als Zeichen des Misstrauens der geistlichen Herrschaften gegen die gelegentlich aufmüpfigen Arboner gedeutet werden. Ob der Turm gar als Wohnung für den jungen designierten Stauferkaiser Konradin gedacht ist? Konradin hält sich oft und gern in Arbon auf und verleiht der Stadt wichtige verbriefte Rechte. Auf einem Feldzug gerät er in Neapel in Gefangenschaft und wird, erst 16-jährig, hingerichtet.
Nach dem Ende der bischöflichen Herrschaft gelangt die Schlossanlage 1804 in den Besitz des Kurfürsten von Baden, der sie noch im gleichen Jahr dem jungen Kanton Thurgau verkauft.
Seit 1807 gehört sie dem Arboner Fabrikanten Franz Xaver Stoffel, dessen Familie während fast hundert Jahren eine Seidenbandweberei, mithin Arbons erster Industriebetrieb, mit etwa 200 Beschäftigten betreibt.
Adolph Saurer, Schlossherr seit 1911, benützt einige Räume als Lager für Werkteile. Zudem richtet er mehrere Angestellten-Wohnungen ein. Ihm ist der prächtige Landenbergsaal zu verdanken.
Für 150’000 Franken verkaufen die Erben seines Sohnes Hippolyt das Anwesen samt Schlosspark und Wiese mit Seeanstoss der Stadt. Ein Zufallsmehr von 11 Ja-Stimmen entscheidet die hart umstrittene Abstimmung.
Nach umfangreichen Restaurierungen 1972/73 und 1992/93 ist das Schloss Arbon heute mit dem historischen Museum, der Klubschule Migros, dem Landenbergsaal, der Schlosswirtschaft und der öffentlichen Schlossstube eine vielseitig genutzte, pulsierende regionale Begegnungsstätte. Der Museumsgesellschaft Arbon steht zudem der stimmungsvolle Saal im Erdgeschoss für wechselnde Sonderausstellungen zur Verfügung.