Zum Schloss gehörten eine Scheune, Stallungen, ein Torkelgebäude, ein Back- und Waschhaus, Rebgärten, Ackerland, Wiesen und umfangreiche Waldungen. Im Laufe der Jahrhunderte hatte das Schloss viele Besitzer, u.a. die Freiherren von Ratzenried (1609-1672) und die Fürstenberger. Einer der bedeutendsten war Freiherr von Ratzenried, der sich mitten im Dreißigjährigen Krieg erfolgreich für den Bau der Kirche in Kluftern einsetzte und Kluftern mit Efrizweiler 1626 zu einer eigenen Pfarrei vereinte. Er selbst verlor jedoch durch den Krieg seine Stammburg im Allgäu und starb völlig verarmt noch in der Kriegszeit.
Mit dem Um- und Ausbau durch die Fürstlich Fürstenbergische Grafschaft Heiligenberg im 19. Jahrhundert begann im Schloss ein regelmäßiger Gaststätten-Betrieb.
