白田家は江戸初期の検地帳に記載のある旧家で、現在残る住宅は大正7年から2年をかけ、磯部村 (現、糸魚川市) 藤崎の斉藤家の建造物を移築したもの。
斎藤家は大肝煎の家柄で、加賀藩の本陣であった。明治11（1878）年9月26日、明治天皇が北陸御巡幸の際、斉藤家で休息されたが、その部屋は「玉座の間」として残されている。

建物の周囲は土塁と堀がぐるりと巡り、まるで鎌倉時代の武家の館のようだ。門を入って鉤型に2回曲がるのだが、外側からは高い石積み塀に遮られて、中の様子がうかがえない。

玄関は、新潟県や東北地方に見られる中門造りという珍しい形式。厩を兼ねていた