Bedeutendstes Bauwerk der Pfalz ist das Kaiserhaus. Architekt war ab 1048 der Osnabrücker Bischof Benno II. 23 Reichstage fanden in der Pfalz statt.
Das Kaiserhaus besteht aus der Pfalzkapelle (12. Jh.), Arkadengang, Saalbau (47 m x 15 m) und einem Wohnbau. Die gesamte Anlage ist 54 m lang. Im Untergeschoss des Saalbaus befindet sich der beheizbare Wintersaal, darüber der Sommersaal mit den großen Fenstern. Nach einem Einsturz 1132 baute man den Saalbau verändert wieder auf.
Nachdem das Kaiserhaus über Jahrhunderte umgenutzt, umgebaut und zerfallen war, begann 1868 die Rekonstruktion. Der Arkadengang und die Freitreppe sind Erfindungen des 19. Jahrhunderts.