10世紀初頭に奈良興福寺系の寺院として創建されたと伝えられ、当時は法相宗岩龍山西谷寺と称していた。15世紀に廃寺となったが、明応元年（1492）に賢甫宗俊禅師を迎えて曹洞宗佛眼山法善寺となり、その後麻績城主服部清信が再興し、家庭円満の守り仏として檀徒、村民の篤い帰依を受け今に至っている。江戸時代には徳川三代家光から十三代家定まで年八石を賜る御朱印寺として将軍家の保護を受けた。

一番法善寺より５００メートルほどのところにある。北国脇往還・麻績宿の本陣臼居家の裏山に江戸前期の開創が伝えられるが、明治初期の廃仏毀釈で廃寺となり、寺院は存在しない。本尊の十一面観世音菩薩と薬師如来は臼居家当主が寄進したものであったことから、廃寺以後、代々の当主が自家に安置し護持した。尊像は文化文政の作と推定される。平成８年より法善寺に遷座していたが、平成12年村宝に指定されたのを機に、村民の寄進により新しい六角堂が建立され、現在の地に安置されるに至った。

開基など寺歴は不明ながら、源義経の家来だった佐藤継信と、その愛馬「するすみ」にまつわる伝説が縁起として伝えられている。古代、信濃は優良な馬の産地であった。継信は源平合戦で戦死した信濃駒を慰霊するとともに、優れた駒を調達して奥州へ向かう任務を帯びて通りかかったこの地で、義経から賜った名馬するすみが急死してしまう。愛馬を葬った継信から手厚い供養を依頼された村人が、後に堂を建立し、馬頭観音を祀るようになったという。

開基は不詳だが、永禄４年（１５６１）年８月、川中島合戦の戦勝を祈願する武田信玄が、寺地を寄進して戦乱で荒廃した古寺を再建し、風雲庵の名称で深く信仰したと伝えられる。 翌九月、12年５回におよぶ川中島合戦のうちもっとも熾烈をきわめた第４回合戦で、武田信玄は上杉謙信と直接対決。その際、謙信が本陣を敷いたのは、奇しくも風雲庵の隣山ともいえる位置にある妻女山だった。廃仏毀釈で一時は廃寺になったが、信仰篤い近在の人々の尽力で復興し地域ぐるみで守り続けている。

開基は平安初期。坂上田村麻呂が、京の青年仏師に頼まれ、東征に向かう途中で当地に立ち寄り、一体の十一面観音を安置したのが始まりとの言い伝えがある。観音像は、青年のふるさとである倉科の里に住む恋しい娘の面影を映した姿。美しい恋人を忘れられずに京で仏師となった青年が、思いを込めて彫ったものを、征夷大将軍に託したと、伝説は伝えている。

平安時代、征夷大将軍・坂上田村麻呂の東征に際し、妻・高子が戦勝祈願のために勧進したと伝えられる。また田村麻呂が苦戦から救ってくれた観音の化身に感謝して、この地に開基したとの別説もある。江戸時代に再建されたが、戦後、荒廃。尼僧さんが住んでいた時期もあるが、昭和五十年代より無住となり、地元の信徒が大切に守り続けている。あんずの里として知られる森の農道をたどった先の高台に位置し、地元では「森のお観音さん」という愛称で親しまれている。

「虫歌山」という山名や「桑台院」という寺院名が養蚕との関わりうかがわせる通り、この地方では古くから養蚕が盛んで「むしおだの観音さん」または「むしうたの観音さん」と親しまれ、蚕を病害から守り、養蚕の隆盛を祈願する人々が熱心に参拝したという。信心深い旅人が、無数の蚕の繭の中から響くさなぎの泣き声に驚き、僧を呼んで蚕を供養する堂宇を建てたのが始まりという昔語りも伝わっている。一丈八尺の大きな千手観音がおまつりされている。