牛に化身した聖観音に白布を奪われた老婆が、善光寺まで追いかけて仏教に帰依するようになったという「牛に引かれて善光寺参り」伝説ゆかりの寺院である。寺伝によると神亀元年（７２４）、僧・行基の創建で、本堂のほか花成寺、額願寺、真福寺､一宝寺、神興寺、慈現寺の六ヶ寺が岩窟に伽藍を造営。懸崖に建立した観音堂を中心とする仏道修行の聖域だったとされる。朱塗りの観音堂は鎌倉時代の様式をよく伝えており、建築・美術史上きわめて貴重とされ、国の重要文化財に指定されている。

僧・行基が手ずから刻んだ聖観音像を奉安したのが創建とされ、大同年間（９世紀初頭）に坂上田村麻呂が東征の折、この地に堂宇を建立したと伝えられる。本尊の木造聖観音立像は、行基より時代が下がる藤原時代中期（９００年代）の作。傷んではいるがふくよかな表情をたたえた美しいお姿が特徴。江戸末期、日照りに苦しむ村人がワラでつくった龍にこの観音様が生命を与え、たちまちに雨を降らせたという伝説があり、雨乞いのご利益で知られている。

虫倉山の西南麓、山懐に包まれるように観音堂が建っている。弘化４年（１８４７）の善光寺地震は、善光寺の周辺のみならず、水内郡下の多くの場所に地滑り、山崩れなどの被害をもたらしたが、中でも虫倉山の山崩れは大規模で、多くの被害者が出た広福寺の背後の斜面も大崩落を起こし、土砂が村に押し寄せたが、お堂を潰したところで奇跡的に止まった。そこで村人たちは、観音様が山崩れから村を守って下さったと喜び、五輪塔などを掘り出してまつり直した。また現在の本尊にあたる新たな観音像を迎え、観音堂を再建した。

開基や盛衰の歴史について、詳しい記録はないが、付近の地名に「寺屋敷」「大門」「仏迎田」などが残っていることから見て、地域の人々の信仰篤い大寺だったことがうかがえる。善光寺地震による崩落をはじめ、数度にわたる山崩れに遭って、堂宇はことごとく地中に埋まってしまったが、地域の人々の尽力で、観音像や仏像はその都度掘り出され、観音堂も再建された。現在もみごとな彫刻の施された観音堂に本尊の聖観音をはじめ１３体仏像が安置され、近隣の人々に大切に守られている。

信濃三十三観音巡拝､結願の高山寺は、北アルプスの山並みを望む展望の地にある。端麗な三重塔は建久６年（１１９５）、源頼朝の建立と伝えられるが老朽化し、元禄時代に虫倉山中で修行中の木食山居上人に勧進を願い、五年がかりで十数万人の喜捨を集めて再建した。塔内には如来三尊が本尊としてまつられている。なお本尊は秘仏で、年に一度、８月１０日に開帳している。雨乞い、火除けの観音様として名高い。

創建以来約１４００年の歴史を誇る「一生に一度は善光寺参り」と全国から多くの人々が参詣する。一貫して男女平等の救済を説く寺院として知られたこともあり、女性の参拝者が多きことも特徴である。数え年で七年に一度（現在は丑と未の年）行われる御開帳は善光寺最大の盛儀。信濃三十三観音札所のうち、多くが関東・関西から善光寺へと続く街道（北国街道、善光寺街道）沿いに点在する。善光寺参詣をめざす旅人が道すがら観音様を拝み、それぞれの願いを話し旅の安全を祈った様子がしのばれる。

本堂が北に向いている全国でも珍しい寺で「北向観音」として親しまれている。善光寺が来世利益、常楽寺が現世利益をもたらすとされ、両寺に参詣しないと「方参り」になるとされる。天長二年（８２５）、別所温泉を開いたとされる慈覚大師円仁によって創建され、天台教学の道場であり信仰の霊場として今日に至る。厄除観音としても信仰を集め、護摩祈祷が毎日行われている。