Das sogenannte "Kaplanhaus" ist ein zweigeschossiger Blockbau, errichtet auf einem Mauersockel. Auffallend ist die reich gestaltete Fassade.

Vermutlich um 1750 wurde das Gebäude für den damaligen Ammann Johann Caspar Rhomberg erbaut. 1827 gelangte das Haus in den Besitz der Gemeinde und diente als Priesterwohnung für die Oberdorfer Pfarrexpositur. Nachdem diese 1888 in eine Pfarrei umgewandelt wurde, diente das Haus weiterhin als Wohnung für den Kaplan. Als Pfarrhaus wurde das Haus Schloßgasse 2 angekauft. 

1979 ist das "Kaplanhaus" von privater Seite gekauft und renoviert worden.