建てられた当初（建築様式から江戸時代と想定、築280年以上）は、藩主が休息等に立ち寄った土岐などにもてなす書院として使われていたようで、斎藤家の住宅としての機能はありませんでした。
　かつては、主屋の南側にある水路を越えたあたりに住宅が建っていたようですが、老朽化により取り壊され、明治時代以降には、書院に居間、流しなどが付け足され、昭和44年頃にほぼ現在の間取りになりました。

　その後（昭和59年頃）老朽化した茅葺屋根を金属板で覆うなどの補強が施されましたが、平成10年に新発田市が購入し、平成18年に復元考察に基き、旧斎藤邸の文化資産としての価値を減じないよう、当初の部材と間取りを尊重しながら、コミュニティ施設として整備しました。
　また、良寛が立ち寄った際、感懐を賦したといわれる漢詩（※２）も伝えられています。

庭園は、清水園や五十公野御茶屋と同じく、幕府御庭方であった縣宗知（※3）によって作庭されたとの記録があります。
　作庭された時期ははっきりしていませんが、縣宗知が新発田を訪れた元禄を中心とした時代（1680年～1720年頃）と推測されます。
　明治以降、区画整理によって敷地の南西側に変化がありましたが、庭園のある北側はそれほど影響がなかったようです。
　また長期間、必要最低限の手入れしかされなかったことから、当時の原型をとどめていると思われます。
　この庭園の特徴は、園内をめぐる飛石道と集中的に施された組石、そして庭園の中心を穏やかに用水が流されているところです。