Das 1832 als Fachwerkgebäude für Simon Brettauer und seine Gemahlin Eleonore errichtete Haus schließt den Vorplatz der ehemaligen Synagoge (heute Salomon Sulzer Saal) nach Süden ab. Herz Lämmle Brettauer, Simon Brettauers Vater, hatte das erste Bankhaus in Vorarlberg eröffnet, aus dem 1904 durch einen Zusammenschluss die Bank für Tirol und Vorarlberg hervorging. Aus der weit verzweigten Familie Brettauer, die auch verschiedene Handelshäuser in Italien begründete, stammt auch Stefan Zweig. Der Schriftsteller beschreibt – kurz vor seinem Freitod im brasilianischen Exil 1942 – in seinen Lebenserinnerungen „Die Welt von Gestern“ seine Hohenemser Abkunft mit Ironie und Stolz. 2006 wurde das Brettauerhaus , das jahrelang einen desolaten Anblick bot, von Gerold Ulrich vorbildlich restauriert.