Die Pfalz Gelnhausen wurde aus rotem Sandstein erbaut, der aus heute noch sichtbaren Brüchen oberhalb der Stadt stammt. Die Ringmauer der Anlage ist fast vollständig erhalten, in großen Teilen sogar bis in eine Höhe von 7 m. Etwa mittig wurde ein einfach gestuftes Rundbogenportal als Zugang zur Pfalz eingesetzt.
Die Seitenwände des Palas sind in der ursprünglichen Länge von 28 m erhalten. Von der Hoffassade sind das Erdgeschoss und erste Obergeschoss überliefert. Die reiche Arkadengestaltung ist weitestgehend intakt, die Nordwand bis zum Erdgeschoss erhalten. Die Ringmauer diente mit einer Breite von 15,7 m als Rückwand des Palas. Unter den staufischen Palasgebäuden ist das Gelnhausener das besterhaltene.
Die Kapelle, von der drei Wände noch stehen, lag oberhalb der gewölbten Torhalle. Sie war mit dem Palas über eine Treppe verbunden, die in Teilen noch sichtbar ist. Der Bergfried steht bis in eine Höhe von 15 m. Vom Wassergraben der Anlage haben nur wenige Reste die Zeiten überdauert.

Der trapezförmige Grundriss wird von der Ringmauer umschlossen, die sich an der Ost- und Südseite dem Flussverlauf anpasst. Die Kernburg wurde im Norden und Westen von einer spätmittelalterlichen Siedlung oder Vorburg umgeben. Ein Eingang im Westen führte über die zweischiffige Torhalle mit Gewölbe in den Hof. Darüber befand sich die Kapelle. Die Lage über der Torhalle ist in staufischen Anlagen häufig zu beobachten. Die Wände wurden durch Blendarkaden, Pfeiler und Säulen gegliedert, die teilweise noch vorhanden sind. Neben der Torhalle stand der rechteckige Bergfried. Der reich ausgestattete Palas mit Kellergeschoss und zwei Obergeschossen war an den Torbau angeschlossen. Im Süden befanden sich Wohn- und Wirtschaftsgebäude.

Die Pfalz Gelnhausen ist ein Repräsentationsbau, der sich durch eine besondere Fassadengestaltung auszeichnet. Charakteristisch sind die voluminösen Mauern aus Buckelquadern, die teilweise sehr weit vorspringen (Bossenquader). Diese vermitteln insbesondere nach Außen Stärke und Wehrhaftigkeit. Die Pfalz ähnelt nicht nur gestalterisch, sondern mit Ringmauer und Turm auch architektonisch einer Burganlage. Gelnhausen ist daher ein typisches Beispiel für die enge Verwandtschaft von Pfalz und Burg in der Stauferzeit.
Der Palas wurde als repräsentatives Hauptgebäude konzipiert. Links des Portals wurden zwei Dreierarkaden eingefügt, rechts eine Fünferarkade. Die Hofwand wurde durch drei Fenstergruppen gegliedert. Insgesamt wurden 22 Arkadenfenster mit einer Fülle an Kapitellschmuck verbaut, was dem Palas einen lichtdurchfluteten Charakter verliehen haben muss.

Die Pfalz ist besonders aufwändig mit Bauschmuck ausgestattet und zeichnet sich durch eine große Vielfalt an Motiven und Formen aus. Das Spektrum der Ornamentik reicht von einfachen Voluten (schneckenförmiges Ornament) über geometrisches Flechtwerk bis hin zu floralen Ausschmückungen. Insgesamt gibt es kaum Wiederholungen der Muster. Auch das originale Eingangsportal zeugt von der hohen Qualität Steinmetzkunst des 12. Jahrhunderts. Sein Dekor stellt die vier Jahreszeiten dar. Darüber wurde nachträglich im 19. Jahrhundert ein steinerner Kopf eingesetzt, dessen Herkunft ungeklärt bleibt. Die Konsole zeigt einen bärtigen Mann, der oft fälschlicherweise als Barbarossakopf bezeichnet wird.
Die Arkadenbögen der Rundbogenfenster des Palas werden von acht Säulenpaaren getragen. Von deren 16 Kelchblockkapitellen gleicht keines einem der anderen, teilweise unterscheiden sich sogar die Seiten eines Kapitells. Von besonderer Qualität sind die Ranken und Figuren des Portals. Insgesamt bezeugt die hochwertige Ausstattung die Baukunst der Staufer und die Bedeutung der Pfalz Gelnhausen.

Die Bedeutung des Ortes schwand mit dem Ende der Stauferdynastie Mitte des 13. Jahrhunderts. Mit der Verpfändung 1349 durch Karl IV. (römisch-deutscher König von 1346-†1378; römisch-deutscher Kaiser ab 1355) begann der Verfall der Pfalzanlage. Im Kontext der Hussitenkrige (1419-1434) wurden die Stadtmauern erweitert und verstärkt.
Im 15. Jahrhundert folgten Umbau- und Sanierungsmaßnahmen. Dabei wurden Teile des Torbaus und das Obergeschoss des Turmes abgetragen, die Ostwand und das Dach der Kapelle wurden erneuert. Während des 30-jährigen Krieges wurde die Pfalz durch schwedische Angriffe beschädigt. Dank kleinerer Sanierungsarbeiten konnte die Kapelle aber bis in die Barockzeit für Gottesdienste genutzt werden.

Die Gründung der Stadt Gelnhausen 1170 durch Friedrich I. Barbarossa (von 1152-1190 römisch-deutscher König; ab 1155 römisch-deutscher Kaiser) ist durch Quellen belegt. Aktuelle Forschungen gehen davon aus, dass mit dem Bau der Pfalz zu diesem Zeitpunkt bereits begonnen wurde. Die Fertigstellung wird um 1180/1183 vermutet.
Archäologische Untersuchungen im Untergeschoss des Palas ergaben, dass der Keller in fünf Räume unterteilt war, die über einen Flur verbunden waren. Aufgrund der Platzierung der Fenster kann die fünfteilige Raumgliederung auf das Erdgeschoss übertragen werden. Das Obergeschoss wurde dagegen vermutlich in der gesamten Fläche von etwa 325 m² als Saal genutzt. 1930 wurden im Rahmen von Untersuchungen des Hofs die Fundamente eines runden Bergfrieds entdeckt. Diese Form ist für das 12. Jahrhundert unüblich. Da nur Fundamentreste überliefert sind, geht man bei der sonst gut erhaltenen Anlage davon aus, dass dieser Turm nie vollendet wurde.