Die Besitzerfolge ist bis 1529 dokumentiert. Der Baureggersohn Martin Hinterseer kaufte 1903 das Gut von Josef Fahrmbacher, dem Erbauer der „Villa Heiden“, der den Stall von italienischen Arbeitern ausbauen ließ. Vermutlich ist der rätselhafte Kopf im Giebel des Hauses aus dieser Zeit.

Martin Hinterseer und seine Frau Maria, eine Schrempftochter, hatten keine Kinder. Erbe sollte Alois Hinterseer, sein Neffe sein. Er ist 1942 in Russland gefallen. Kurz darauf starb auch Maria. Nach ihrem Tod nahm Martin die Schwester von Alois, Kreszenzia Hinterseer an Kindesstatt an. Sie lebt heute im Altersheim in Lofer. Martin und Maria haben im Laufe ihres gemeinsamen Lebens 12 Pflegekinder angenommen. In vielen Bauernfamilien wurden Pflegekinder großgezogen. Selten aber so viele. Nicht immer waren es „Ledige“, die nicht bei ihren Müttern leben konnten. Manchmal waren es auch Kinder von verheirateten Eltern, die bereits viele Kinder hatten und nicht für noch eins aufkommen konnten. Zu heiraten war nur erlaubt, wenn man eine Familie auch ernähren konnte. Nun hat das Leben aber seine eigenen Regeln und da waren die christliche Nächstenliebe und der Gemeinsinn im Dorf gefragt.