Die Pfalz Seligenstadt wurde in unmittelbarer Nachbarschaft zur Stadt am Ufer des Mains errichtet. Als Denkmal überliefert ist die flussseitige Fassade des Palatiums aus rotem Sandstein, die als repräsentative Schaufront konzipiert wurde. Außerdem haben sich die stadtseitige Traufmauer und Teile der nördlichen und südlichen Giebelwand erhalten, die allerdings in der jüngeren Bebauung aufgegangen und daher für den Besucher nicht sichtbar sind. Die zweigeschossige Pfalz wurde in zwei Bauphasen errichtet: Die kleinen Rundbogenfenster gehören zum Gründungsbau Kaiser Friedrich I. Barbarossa (1155-1190 Kaiser des römisch-deutschen Reiches), der vermutlich vor 1181 entstand. Die Eingänge sind dem Umbau durch Friedrich II. (ab 1212 römisch-deutscher König; 1220-1250 römisch-deutscher Kaiser) aus der ersten Hälfte des 13. Jahrhunderts zuzuordnen.

Das Palatium war als Rechteck mit einer Länge von 46 m und einer Breite 13,6 m angelegt. Das Fundament der Fassade wurde beinahe bis zum heutigen Wasserspiegel auf 4 m eingetieft. Im Untergeschoss sind zwei Zugänge erhlaten. Aufgrund einer mittigen Fundamentreihe wird eine Teilung in zwei Schiffe mittels Pfeiler- oder Säulenreihe vermutet. Die Tür- und Fensteröffnungen des Obergeschosses weisen auf eine Dreiteilung des Innenraums hin. Der mittlere Raum war vermutlich über einen Kamin beheizbar. An den Enden des Obergeschosses ist jeweils ein größerer Saal zu rekonstruieren. Ob der Palas über ein zweites Wohngeschoss verfügte, wird in der Forschung strittig diskutiert. Anbauten, wie etwa Wirtschaftsgebäude, konnten bisher nicht nachgewiesen werden. Ein für Pfalzen sonst typischer Hofkomplex ist daher unwahrscheinlich.

Die Pfalz Seligenstadt nimmt eine Sonderstellung ein, da sie weder als Wehrbau noch als klassischer Versammlungsort angelegt wurde. In der Regel wurden Pfalzen der Stauferzeit als befestigte Wehranlage konzipiert, die Repräsentationsräume, Wohnbereiche, eine Pfalzkapelle sowie einen Wirtschaftshof umfassten. Das Palatium stellte das Hauptgebäude einer Pfalzanalage dar und diente als kaiserliche Residenz. Seligenstadt könnte als unbefestigte Pfalz möglicherweise für Verhandlungen oder als Jagdschloss genutzt worden sein. Die Funktion war gänzlich der Repräsentation gewidmet, die mit der flussseitigen Ausrichtung der Fassade besonders gut zur Geltung kam. Denn die durchfensterte Fassade wurde nicht wie sonst üblich nach Süden ausgerichtet, um möglichst lichtdurchflutete Räume zu schaffen, sondern nach Osten, gen Main, sodass die Schaufassade zur Hauptverkehrsachse zeigte. Dadurch wurde sie als besonders eindrucksvolle Landmarke an einer stark frequentierten Wasserstraßen des Reiches wahrgenommen. Den repräsentativen Charakter unterstreicht die Länge von 46 m. Die Bedeutung innerhalb der Architekturgeschichte liegt in der Loslösung des Palatiums aus dem Gebäudekomplex einer Pfalz. Als Solitärbau ohne Wehranlage wird Seligenstadt als „ältestes Schloss nördlich der Alpen“ deklariert.

Die dem Main zugewandte Frontseite des Palatiums wurde von zwei Portalen geteilt und aufwändiger gestaltet als die übrigen. Das Obergeschoss des Gründungsbaus von Friedrich I. Barbarossa wurde mit Arkaden ausgestattet. Die Dreierarkaden im Norden wurden von Säulen mit unterschiedlichen Kapitellen aus dem 12. Jahrhundert getragen. Alle Säulen sowie Fensterstürze wurden jeweils aus einem Steinblock gearbeitet. Aufgrund eines Brandes um 1235 ist die Fenstergruppe im Süden nicht mehr in der ursprünglichen Pracht erhalten, sondern wurde schmucklos von Friedrich II. ersetzt. Im Rahmen der Instandsetzung des Palatiums wurden die Treppen des Altan, der im Erdgeschoss als Portal und im Obergeschoss als Balkon diente, erneuert. Die Stufen waren vermutlich im Gründungsbau aus Holz konstruiert und nun unter Friedrich II. in Stein gearbeitet. Die südlichen Zugänge zum Obergeschoss wurden ausgebaut und mit einem zweifach gestuften Säulenportal mit Rundbogen ersetzt. Die Säulen waren mit Kelchknospen- und Blattkranzkapitellen ausgeschmückt. Dies entspricht der heutigen Erscheinung des Palatiums.

Ab dem 13. Jahrhundert setzten sich feste Residenzen gegen die Pfalzen des Reisekönigtums durch. Mit dem Verlust der Funktion verliert die Pfalz an Bedeutung. Sie verfällt schließlich, da ihr Baumaterial entnommen wurde. Die heute noch sichtbare Fassade hat sich nur deshalb erhalten, da diese Mauer 1462 in die Stadtmauer einbezogen wurde.
Dem Erhalt der der Pfalz Seligenstadt und der dortigen karolingischen Einhardsbasilika, die von Einhard im 9. Jahrhundert als Abteikirche gegründet wurde, widmete sich der Landeskonservator Otto Müller (1911-1999). Er veranlasste ab 1937 umfangreiche Restaurierungsarbeiten der Pfalz-analage und Basilika. Kurz darauf gründete er eine zentrale Stelle, das heutige Museum, zur Auswertung der von ihm initiierten Grabungen in Seligenstadt. Seine Arbeiten wurden vom Krieg unterbrochen. In den 1970er Jahren ließ er barocke Ergänzungen aus der Basilika entfernen und verhinderte den Verkauf von Gebäuden der Abtei.

Archäologische Untersuchungen konnten mehrere Fachwerkbauten aus dem 11. bzw. 12. Jahrhundert nachweisen. Nach dem Rückbau dieser Häuser wurde etwa in der zweiten Hälfte des 12. Jahrhunderts das Palatium errichtet. Eine genaue Datierung ist nicht möglich: 1188 findet hier ein Hoftag Friedrich I. Barbarossas statt, der allerdings auch im Kloster abgehalten sein könnte. Mit Blick auf den Baustil wird der Gründungszeitpunkt vor 1181 vermutet. Aufgrund von Brandschäden im Obergeschoss wurden Reparatur- und Modernisierungsarbeiten durchgeführt, die Friedrich II. zugeschrieben werden und in die erste Hälfte des 13. Jahrhunderts zu datieren sind. Die Portale des Gründungsbaus wurden dabei erneuert und die Säulen ersetzt. Diese besitzen seither keine Kapitelle, sondern Wirtel. Dabei handelt es sich um einen plastisch gestalteten Ring, der den Säulenschaft ziert und zu den typisch spätromanischen Stilelementen gehört.