Im Jahre 1722 erwarb das oberschwäbische Prämonstratenserkloster Rot an der Rot den Hof vom Hochstift Konstanz und nutzte ihn als Schaffnei, d.h. Verwaltungssitz für seine Meersburger Güter.
Außerdem verwendeten die Klöster ihre städtischen Höfe meist als Stapel- und Handelsplätze, von wo aus sie ihre Produkte vertrieben. Im Zuge der Säkularisation übernahm 1803 der Reichsgraf Wartenberg-Rot das Gebäude, das er 1806 an den Kaufmann Franz Josef Zimmermann verkaufte.
Im darauf folgenden Jahr wurde im Erdgeschoss an der Stelle, wo sich früher die Hauskapelle befand, ein Ladengeschäft eingerichtet.
Reinhard Sebastian Zimmermann, der als badischer Hofmaler bekannt wurde, erlernte hier den Kaufmannsberuf.
