「達谷窟毘沙門堂」の建つ窟は、かつてこの地で乱暴なふるまいをくり返していた悪路王、赤頭、高丸らの蝦夷が砦を構えていた場所と言われています。

801年（延暦20年）、桓武天皇の命を受けた坂上田村麻呂は、征夷大将軍としてこの地に赴き、激戦の末に蝦夷を打ち破りました。戦勝は毘沙門天のおかげと感じた坂上田村麻呂は、そのお礼にこの窟に清水の舞台を模した九間四面の精舎を建て、108体の毘沙門天をお祀りし、国を鎮める祈願所としました。蝦夷と坂上田村麻呂に係わる事情は、多くの物語、伝承となり、西光寺の寺伝にも色を添えています。

境内は御神域として、飲食や動植物の採取、殺生、犬や猫を伴っての参詣などは固く禁じられており、周辺ののどかな風景とは一線を画す、厳かな空間となっています。

達谷窟毘沙門堂の左隣には、岩壁に刻まれた大磨崖仏があります。高さ約16.5メートル、肩幅約9.9メートルの大きな像で、その名も「岩面大佛」。前九年の役と後三年の役で亡くなった敵味方の霊を供養するために、源義家が馬上より弓張を以って彫りつけたと伝えられています。