横山家は、寛延元年(1748)、能登の国(現在の金沢県)に生まれた初代横山宗右衛門が志を立てて当地に渡り、ニシン漁業の経営と、製品加工販売に着手しました。2代目宋右衛門にいたっては、北陸はもとより、京都において公家の今城殿の御用商をつとめるまでに発展して、北陸の商人として全国的な基礎を固めました。以後、横山家は代々宋右衛門を襲名し、家業を守りました。5代目宋右衛門は、ニシンの北上とともに、江差の繁栄を支えた北前船が衰退したのを機に、米・雑穀の問屋に転換し、難局を乗り切りました。現建物は明治26年(1893)に、150年前の建築様式で再建したものです。
横山家は、母屋と4番倉には、ニシン漁全盛期の頃に使用されていた、生活道具などが展示され、当時の暮らしぶりを今に伝える貴重な建物です。当時そのままの建物は、趣と風流を感じさせてくれます。