1351 erstmals erwähnt, baute Schenk Christoph von Limpurg um 1564 ein mittelalterliches Wohnhaus im Süden der Anlage zum Tor- und Vogtshaus um und damit die Burg zum Schloss aus. Sein heutiges Aussehen geht auf Baumaßnahmen ab 1775 zurück. Die bis dahin evangelische Schlosskapelle wurde in eine katholische umgewandelt und vergrößert.