Die Burg wurde um 1220 von Kaiser Friedrich II. (ab 1212 römisch-deutscher König; 1220-1250 römisch-deutscher Kaiser) gegründet. Von diesem Ursprungsbau haben sich der Bergfried (Turm mit Verteidigungsfunktion), sowie die nebenstehende Ringmauer erhalten. Der Turm flankierte vermutlich das Tor, das aufgrund des früh zu datierenden Rundbogens zum Gründungsbau gehört. Die heute das Denkmal prägende dreistöckige Ruine des Südbaus wurde als Palas genutzt. Dieser ist aufgrund der zahlreichen Zerstörungen nicht dem Ursprungsbau, sondern dem Neubau von Rudolf von Habsburg (1273-1293 römisch-deutscher König) aus den Jahren 1275/1281 zuzuordnen. Dabei handelt es sich um einen Saalbau, der als Versammlungsort genutzt wurde. Das einzige unversehrte Bauelement des Neubaus ist der unterhalb des Bergfrieds gelegene Brunnen. Mit einer Tiefe von 42 m führt er bis heute Wasser und ist ein beeindruckendes Beispiel mittelalterlicher Bautechnik.

Der Grundriss der Burg lässt sich als Fünfeck mit unregelmäßigen Seitenlängen fassen. Der Palas im Süden nahm mit 44 m die gesamte Schaufront ein. Die mittelalterliche Bausubstanz hat sich bis zum ersten Geschoss erhalten und ist dem Neubau Rudolfs von Habsburg zuzuschreiben. Zu den Hauptgebäuden zählen der Palas sowie der Ostbau, der als Wohnkomplex diente. Diese beiden rechtwinklig zueinander gesetzten Flügelbauten bildeten einen Hof, in dem ein Tiefbrunnen mit Brunnehaus existierte sowie in jüngerer Zeit ein Küchentrakt mit großen Backofen und Tankzisterne. Die Nord- und Westmauer waren im Rahmen der parallelen Errichtung von Burg und Stadt in die Stadtmauer integriert. Die Burg wurde zudem auf einer Erhöhung über der Stadt errichtet, sodass sie diese zur Hauptangriffsseite hin schützte. Am Eckpunkt von Wehr- und Stadtmauer erhob sich der runde Bergfried mit einem Durchmesser von 8 m. Die Höhe lässt sich über historische Abbildungen auf 20 – 25 m rekonstruieren, sodass dieser das äußere Erscheinungsbild der Burg geprägt haben wird.

Die staufische Burg war sowohl Funktions- als auch Repräsentationsbau: Sie diente nicht nur der Verwaltungsorganisation und Verteidigung der Herrschaft, sondern hatte auch politische Signalwirkung und repräsentierte den König und seine Herrschaftsansprüche. Dass die Burg Oppenheim mehrfach zerstört wurde, um gegen die Burgmannen bzw. Rudolf von Habsburg zu demonstrieren, belegt die Rolle der Reichsburg als Symbol für das Königtum. Richard von Cornwall sah davon ab, eine Burg als Landmarke errichten zu lassen, was als Zeichen der geschwächten Königsherrschaft gedeutet werden kann, wohingegen das Durchgreifen von Rudolf von Habsburg als Demonstration der Macht und Kontrolle verstanden werden kann. Die geforderte Vergrößerung des Neubaus im Vergleich zum Gründungsbau unterstreicht diesen Eindruck.

Der Palas im Süden war besonders repräsentativ gestaltet. Aus dem Innern konnten Bodenfliesen geborgen werden, die der Bauphase Rudolfs von Habsburg zugeschrieben werden. Die Muster aus ineinander verflochtenen Kreisen mit floralen Elementen waren besonders aufwändig und wurden in den Räumen der beiden Hauptgebäude variiert.
Auch die lichtdurchflutete Fensterfront verlieh dem Gebäude einen repräsentativen Charakter. Die Fassadengestaltung des Palas im Süden und des Wohngebäudes im Osten zeichnete sich durch eine auffällige Klarheit aus. Diese wurde nicht nur durch die Wand erzeugt, die ohne wehrhafte Elemente auskam, sondern auch durch die gleichmäßige Gliederung mittels sechs vertikaler Fensterachsen. So entstand eine Schaufassade, deren Fenster für diese Zeit fortschrittliche Formen aufwiesen. Im Erdgeschoss wurden Spitzbogenfenster eingesetzt, die ein zentrales Element der Gotik darstellen. Im ersten Obergeschoss befanden sich Kreuzstockfenster. Bei dieser spätgotischen Form wird das Fenster durch ein Kreuz in vier Teile gegliedert. Die strenge Organisation der Fassade ist losgelöst von regionalen Einflüssen und damit einmalig in der Umgebung. Dies ist wohl auch dem Bauherrn Rudolf von Habsburg zuzuschreiben, für den ein solcher Stil typisch ist.

Friedrich V. (1619-1620 König von Böhmen als Friedrich I.) ließ die Burg im Jahr 1615 zu einem für die Renaissance typischen Schloss umbauen. Dabei wurde das zweite Obergeschoss aufgemauert. Die heute erhaltenen Fenster und Zugänge stammen aus dieser Zeit. Während des Dreißigjährigen Krieges wurde die Burg abwechselnd von Schweden und Spanien besetzt. Die Franzosen sprengten den Bergfried und brannten die Burg 1689 schließlich nieder. Dennoch konnte 1808 im Kaisersaal eine Säule geborgen werden, die vermutlich aus der Kaiserpfalz Ingelheim stammt.

Archäologische und bauhistorische Untersuchungen in den 1990er Jahren konnten die Historie der Burg rekonstruieren, die von mehrfachen Zerstörungen geprägt wurde. Den Gründungsbau aus dem Jahr 1220/25 ließ Kaiser Friedrich II. erbauen. Bereits 1257 wurde dieser in einer Auseinandersetzung mit den Burgmannen als Zeichen des Widerstandes von den Oppenheimer Bürgern zerstört. Richard von Cornwall (1257-1272 römisch-deutscher König), der damals übergangsweise als sogenannter Interregnumskönig die Herrschaft übernahm, sicherte der Stadt zu, keine Burg mehr innerhalb der Stadtmauern zu errichten. Rudolf von Habsburg ließ die Burg 1273 aber wiederaufbauen. Noch vor der Fertigstellung zerstörten die Oppenheimer die Burg erneut. Rudolf bezwang die Aufständigen und ließ die Burg erneut errichten. Dieser Neubau erhielt einen vergrößerten Grundriss und kann auf 1275/1281 datiert werden. Im aufgehenden Mauerwerk sind daher zwei mittelalterliche Bauphasen erkennbar: Der Gründungsbau Friedrich II. sowie der Neubau Rudolfs von Habsburg.