Auf der der Kirche abgewandten Seite des Rathauses steht das Schloss, zuletzt im Besitz der Gräfin Hildegard von Rechteren-Limpurg. Nach deren Tod ging das Schloss für mehrere Jahrzehnte in Privatbesitz über, aber im Jahr 2016 erwirbt die Familie der Grafen von Rechteren Limpurg Speckfeld das Schloss zurück.
Nach schrittweiser Renovierung wird das Schloss heutzutage für verschiedene Veranstaltungen genutzt. Der monumentale, dreigeschossige Giebel mit seinen fialenartigen Aufsätzen beherrscht das Ortsbild. Der Hauptbau trägt die Jahreszahl 1569, während der zweiflügelige ältere Trakt aus dem 15. Jahrhundert stammt. Die früheren Besitzer, die Grafen von Rechteren-Limpurg, hatten am kaiserlichen Hof das oberste Reichsamt der Schenken inne (Gedicht Ludwig Uhlands "Der Schenk von Limpurg"). Im dreißigjährigen Krieg nahm Ferdinand III. Quartier im Schloss, welches 1634 einer großen Plünderung durch die Truppen Picolominis zum Opfer fiel. Vom Durchzug König Gustav Adolfs zeugt ein Wandbild an der Fassade des Hotels "Ritter Jörg". Geschaffen wurde es von der oben bereits erwähnten Sommerhäuser Künstlerin Irmingard von Freyberg.