Die Kaiserpfalz, von der nur noch wenige Reste überliefert sind, befand sich vor dem heutigen Rathaus. Sie wurde im 12. Jahrhundert auf einer Felseninsel, umgeben vom Wasser der Lauter, errichtet. Das Erscheinungsbild der Ruine wird von den Mauerwerksresten der Kapellenummantelung im südlichen Burgareal geprägt. Von der Ringmauer sind nur Teile von niedriger Höhe vorhanden.

Die wenigen archäologischen Befunde und die geringen Mauerreste lassen die Gestalt der Kaiserpfalz nur schwer wiedergeben. Daher stützen sich rekonstruierende Beschreibungen auf zwei Zeichnungen aus den Jahren 1740 und 1764.
Zu den Hauptgebäuden zählten ein Palas und eine Kapelle, die eine Gebäudeeinheit bildeten. Der Baubeginn könnte mit dem Regierungsantritt Friedrichs I. Barbarossa (von 1152–1190 römisch-deutscher König; ab 1155 römisch-deutscher Kaiser) 1152 zusammenfallen. In einer zweiten Bauphase der 1190er Jahre ragte die Südseite über das Felsplateau hinaus bis zum Ufer der Lauter. Die Fundamentmauern lassen erkennen, dass der Palas im Untergeschoss durch eine Längs- und zwei Quermauern vermutlich in sechs kleinere Räume unterteilt war und eine Größe von 28 × 19 m hatte. Die Schauseite war mit einem außergewöhnlich großen Balkon oder Erker mit repräsentativem Charakter ausgestattet. Östlich des Palas schloss sich die Kapelle an, deren Obergeschoss vermutlich den Palas überragte. Um dieses Obergeschoss verlief eine spitzbogige Galerie mit Pfeilern. Reste der Spitzbogen konnten geborgen werden.
Die Kapelle wurde unter Friedrich II. (ab 1212 römisch-deutscher König; 1220–1250 römisch-deutscher Kaiser) zur Befestigung mit einem Mauerwerk ummantelt.
Dank urkundlicher Erwähnungen ist überliefert, dass neben dem Palas und der Kapelle auch weitere Gebäude zur Pfalz gehörten. Insbesondere das Probsteigebäude wird mehrfach erwähnt. 1960 konnten die Grundmauern eines Hauses westlich des Palas aus der Stauferzeit freigelegt werden.

 Die Zeichnungen, die aufgrund des schlechten Erhaltungszustandes der Baureste neben Schriftquellen zur Rekonstruktion herangezogen werden, zeigen die südliche Schmuckfassade des vierstöckigen Palas. Diese sprang weit über die Flucht von Kapelle und Wehrmauer hervor und wurde von zwei Galeriegeschossen mit Säulenarkaden dominiert, die von einem Zwischengeschoss mit Fenstern getrennt wurden. Während im ersten Geschoss Rundbögen eingesetzt wurden, zierten das zweite Geschoss deutlich kleinere Arkaden mit Spitzbögen. Die Fenster wurden in Zweier- und Dreigruppen zusammengefasst. Die eindrucksvollen Bogenreihen verliehen der Schaufassade einen repräsentativen Charakter. Auch der Balkon oder Erker wurde besonders repräsentativ gestaltet und die Fenster flankierend angeordnet.

Die Fundlage zur Bauausstattung ist zwar spärlich, schriftlichen und zeichnerischen Überlieferungen zufolge kann die Anlage in Kaiserslautern diesbezüglich jedoch vermutlich mit dem reich ausgestatteten Bau in Gelnhausen verglichen werden.
Die Kapelle war mit Knospenkapitellen ausgestattet, die auf 1220/30 datiert werden.
Wohl aus der Barbarossazeit stammen der Torso eines Löwen sowie ein Bruchstück einer Schmuckplatte, die mit Flechtwerk verziert war. Ähnliche Motive und Muster sind im Palas der Pfalz Gelnhausen vertreten. Aus der Pfalzanlage stammt zudem eine Säule mit Kapitell, das von acht Blättern umhüllt wird, die in knollenförmigen Spitzen enden.

Friedrich I. Barbarossa (von 1152–1190 römisch-deutscher König; ab 1155 römisch-deutscher Kaiser) gründete hier ein Prämonstratenserkloster (1158 oder 1176). Später nahm Friedrich II. das Kloster und das zugehörige Spital unter seinen Schutz.
Die Pfalz wurde 1276 von Rudolph von Habsburg, der hier mehrere Hoftage abhielt, zur freien Reichsstadt ernannt. Die erste Verpfändung der Pfalz ist für 1322 belegt, die letzte
für das Jahr 1375. Zwischen 1570 und 1580 ließ Pfalzgraf Johann Casimir († 1592) östlich der Burg, die er als Wohnsitz nutzte, das sogenannte Casimirschloss errichten. Die bis dahin wohl noch gut erhaltene Anlage wurde dadurch stark verändert. Die Pfalzanlage wurde 1689 und 1703 in großen Teilen zerstört. Vom Schloss ist heute nur noch ein Teil des Kellergeschosses vorhanden. In den 1960er Jahren wurde auf dem Areal der Pfalz der Rathausturm errichtet.

Die Siedlungsgeschichte kann bis in karolingische Zeit zurückverfolgt werden. Aus dieser Zeit stammen Gräberfelder und eine Kapelle. Die Siedlung bestand aus mehreren Wirtschaftshöfen. Auf einem dieser Wirtschaftshöfe wurde schließlich die Pfalz Kaiserlautern gegründet. Eine intensive Bebauung kann ab 1100 festgestellt werden. Vermutlich in der zweiten Hälfte des 12. Jahrhunderts wurde die gesamte Siedlung mit einer Ringmauer aus grob bearbeiteten Quadern befestigt.
Die Kaiserpfalz wurde als Neubau neben die älteren Baubestände gesetzt. Es handelte sich also nicht um eine erhaltende Maßnahme – wie beispielsweise in Ingelheim – sondern um ein Nebeneinander von Bauphasen, ähnlich wie in Frankfurt.
Einer der ehemaligen karolingischen Wirtschaftshöfe entwickelte sich zu einer Art Vorburg. Der heute bekannte Name Rittersberg verweist auf die Anwesenheit der Ministerialen.
Archäologische Grabungen fanden 1934/38 und 1959/64 statt. Dabei wurde ein unterirdischer Gang unter dem Casimirschloss entdeckt, in dem Fundamente des 10. Jahrhunderts sichergestellt werden konnten. Die Grundmauern des Palas und der anschließenden Kapelle
konnten ebenso freigelegt werden wie eine geböschte Mauer (abfallender Wall zwischen zwei Gebäuden), die aus für die Stauferzeit typischen Buckelquadern gefertigt wurde.