三井家は養蚕の神である太秦の木嶋神社（蚕の社）を信仰しており、江戸の宝暦期より木嶋神社境内に祖霊社として顕名神社を祀っていた。

明治31年、高野川と鴨川の合流地点の北側の土地を購入し、明治42年に顕名神社をこの地に勧請した。
大正11年には社殿を造替し、江戸期の茶室や、明治13年竣工の望楼付き三階建ての木屋町別邸を移築した。その後大正14年に玄関棟が新築完成し、下鴨別邸として整備された。
三階の望楼は普段入室できないが、時期を限って有料で公開される。