Erstmals erwähnt wurde die Hofstelle bereits im Jahr 1145. Im Jahr 1155 waren der Kellhof und die damals noch kleine Kapelle St. Otmar (heutige Pfarrkirche St. Otmar) laut einer Urkunde im Besitz des Bischofs von Konstanz. Später ging der Kellhof dann über an die Herren von Bodman, die diesen schlussendlich 1294 an das Überlinger Spital weiter veräußerten.
Der Verwalter des Kellhofs war der sogenannte Keller. Dieser unterstand der Herrschaft und hatte an diese Zinsen und Abgaben abzuführen.
Im Jahr 1974 wurde der Kellhof im Rahmen des Denkmalschutzes saniert.
