Fabrikant Marx Alois Luger ließ das Haus 1798/99 errichten. Die Pläne stammten von Baumeister Sigmund Hilbe, der auch die Haselstauder Kirche plante. 1834 erwarb Eduard Rhomberg das Haus. 1851 wurde hier sein einziger Sohn Adolf geboren. Dieser war 1890 bis 1918 Landeshauptmann von Vorarlberg. 1900 ergänzte Architekt Hanns Kornberger die Fassaden um einige Jugendstildetails. 

Die Innung der Vorarlberger Baugewerbe erwarb das Gebäude und sanierte das Haus von 1987-90.