家持が生れ、幼時を豊かに過ごした佐保の豪邸は、大納言で大宰帥・大将軍も兼ねた、祖父の大伴安麻呂が建てたもので、それは広々と格段に大きく、父の旅人もそこで生活していたのでした。晩年になるまで子供に恵まれなかった旅人でしたが54歳で家持が生まれると、弟の書持、妹の留女にも恵まれたのです。
当時、旅人は従4位中納言でした。
母親(丹比郎女説、大伴郎女説等もある)の詳細は不明ですが、こうした経緯からみると、かなり若い女性ではなかったかと思われます。両親の膝元で英才教育を受けながら名門の貴公子として優雅な幼児期を過ごしたことになります。
しかし神亀3年(726)か