栄一は明治12（1879）年、王子の飛鳥山に別荘を建てます。その後本邸として亡くなるまで過ごしたこの家は「曖依村荘（あいいそんそう） 」と名付けられ、第18代米大統領を務めたグラント将軍や蔣介石といった賓客をもてなす民間外交の場ともなりました。敷地内にある「晩香廬」は栄一の喜寿を祝って、現在の清水建設から贈られ、大正6（1917）年に落成した建物です。栄一はここで多くの賓客を迎え入れました。洋風と和風の要素を取り入れた談話室には意匠を凝らした室内装飾がなされています。