太宰治の父、津島源右衛門は、明治39年5月に金融業の店舗を兼ねた住宅を新築着工し、明治40年6月21日に完成させました。建築費は当時の金額で4万円（米7,000俵分）とされています。設計は津軽地域における西洋建築の名棟梁、堀江佐吉に依頼し、大工棟梁は佐吉四男の斎藤伊三郎が担いました。

当時は、主屋、文庫蔵、中の蔵、米蔵三棟、漬物蔵、味噌蔵、炭蔵、泉水を配した庭園と前庭を合わせて宅地680坪余、周囲を高さ4ｍの赤煉瓦塀が巡る豪華な建物でした。

　津島家は明治初期以降、金貸し業や各種商いによって急速に財を蓄え、これをもとに津軽地方の大地主となった家です。源右衛門（津島家6代目当主、婿養子）は、明治34年に県会議員、明治45年に衆議院議員、大正11年に貴族院議員になるなど、政治家としての一面を持つほか、明治30年に金木銀行を設立して頭取となり、明治37年には県内多額納税者番付4位と躍進するなど、所有田畑200町歩以上を持つ大地主でもありました。

　新築2年後の明治42年6月19日に、太宰治（本名、津島修治）が11人兄弟の第10子6男として、この大邸宅で最初の子として誕生しました。なお、太宰治は13歳まで、この大邸宅で暮らしています。

　太平洋戦争後、農地改革等によって200町歩以上もあった津島家の田畑はなくなってしまいました。そのため、昭和23年に家屋敷が他家に譲渡され、同25年に旅館「斜陽館」として開業することになりました。その際、太宰晩年の名作「斜陽」と、襖にある詩文の「斜陽」にちなんで「斜陽館」と命名されました。以後、太宰治の生家に宿泊できるということで人気を集め、町の観光名所として賑わっていきました。平成8年3月に旧金木町が買い取り、当時の様子を復元し、現在の太宰治記念館「斜陽館」となりました。