安倍頼良（頼時）の祖父忠頼、父忠良、そして頼良の三代の居館であったが、頼良の代に衣川の東端部の通称川西、川東地区に移ったと伝えられる。またこの安倍館は東郭と西郭があり現在は西郭のみを安倍館と呼んでいるが、居住地区は東郭であり昭和初期まではその面影を留めていた。西郭の形状から舞鶴館とも呼ばれ、また両郭が北股川と南股川の合流点にあったことから落合館とも称された。