舊磯部家住宅是在1865年到大正年間建成的採用了江戶時代（1603〜1868年）末期典型建築樣式的傳統商家建築。磯部家在江戶時代到二戰期間經營一家叫“柏屋孫兵衛”的服裝店，二戰後專注於販售茶葉。

面對著城下町主街本町通的這個建築，略帶圓形的屋頂“起屋頂（坡面略呈凸形的屋頂） ”很有特點。這樣的屋頂在江戶時代商人階層之間很流行，但在犬山的商家保留著這樣建築樣式的只有磯部家住宅。

宅基地面積比從6.8m的狹窄横寬想像的要大很多。主屋裡面有客人用的內廳、中庭、幾個土牆倉庫，深度有58m。採用這樣的結構是因為江戶時代的固定資產稅以横寬的長度為標準。
犬山市在2004年到2005年對磯部家住宅就行了大修，恢復了明治時代中期的面貌。建築是登錄有形文物。