山号である「時頼山」は鎌倉幕府五代執権を務めた北条時頼が自ら名付けたと伝えられている。寺名の「西明寺」は、病を得て執権の座を退いた時頼が出家して名乗った「西明寺入道」にちなむ。一説には入道が堂宇を建立し、千手観音をまつった開基ともいわれる。嘉永5年（１８５２）、地元で学問や手習いを教えていた塩入離惣太という人が私財を投じて２キロほど山中より現地に移転。以来、塩入氏が代々堂宇を引き継ぎ、観音堂は村人たちの拠り所として親しまれてきた。

名勝米子大瀑布への道筋に見える奇岩絶壁は雨具の「蓑」に似た山容から蓑堂山と呼ばれる。昭和40年代の松代群発地震によりかつて本道内に安置されていた本尊の十一面観世音菩薩は麓の樋口家宅にて大切に安置されている。俗に「べべ出し観音」とも呼ばれるのは、急峻な坂や岩場をよじ登って参拝する際、女性の着物の裾が乱れ、後ろから登る男性の目に思わぬ“ご利益”があったからだとか。江戸時代後期、祭事で村が留守の間に火事が起きたことから「お祭り嫌いの観音様」としても知られている。

約千二百五十年前、中国の僧行基が開山したと伝えられ、鎌倉時代末期の元徳年間には３２堂の伽藍を配す荘厳な寺であったという。本尊の千手千眼観世音菩薩は鎌倉時代末期の木彫仏で、平成１９年に改修された観音堂に安置されている。明治の末頃の実話である。村有林盗木の嫌疑をかけられた炭焼きの老人が、拷問に耐えかねて嘘の自白をし、自殺をしようとしたところ、この観音が現れて「罪は晴れる」と告げて死を思いとどまらせたという。その後真犯人が逮捕され老人は観音様への感謝と功徳を伝えようと寺の鐘つき男として生涯を過ごした。

奈良時代、僧行基がこの地を訪れた際、桑の巨木から立木のまま1丈6尺の千手観音像を三体刻まれ、そのうちの一体は奇妙山西中腹のこの地に安置したのが起源と伝えられる。もう２体は７番札所の桑台院と１６番札所の清水寺に安置されたと伝えられ、昔からこの３寺を１度に巡礼するとご利益が大きいとされた。奈良時代坂上田村麻呂が東国制覇の折、祈願所として堂宇を建立したとされ、最盛期には36坊・7堂伽藍をそろえ、山岳信仰の一大霊場として栄えたと伝えられる。

無常院は天台宗の僧・誓林坊が永承三年（１０４８）に開基し、一時衰退したものの、天正二年（１５７４）に京都知恩院派の古刹として地域の信仰を集めてきた。善光寺と同じ「立葵」を寺紋とし、古くから善光寺７院のひとつに数えられてきた由緒ある寺院である。秘仏である銅製鋳造の本尊も「善光寺仏」と呼ばれる一光三尊の阿弥陀如来像で、善光寺の前立本尊より古い鎌倉時代中期の作と推定され、長野市の文化財に指定されている。

ご本尊の聖観音菩薩は「日不見の観音」と呼ばれ、厨子の扉を開けることを禁じられていた。扉を開けると北風が吹いて水害が起き、開扉した者は急死、住職にも不幸があると信じられていたからである。昭和４６年２月、本堂の屋根葺き替えに際し信者一同が厨子を移動中、突然扉が開いた。金色の立像で、脇侍の阿弥陀如来、地蔵菩薩像とも、同じ仏師による江戸時代初期の作と推定され、藤原時代の古様式にならった洗練の彫技が見て取れ、荘厳かつ慈悲にあふれた雰囲気を持っている。

「古今和歌集」には、幾人もの歌人が「さらしなの地」や「おばすて山」を月の名所として詠んだ歌が編まれている。縁起によれば、木花咲耶姫神の姉の大山姫は姿醜く心悪しき女神だったが、妹神の娘である姪の木の花姫から北の国の満月を見て歌に詠めば心が清まると教え諭され、はるばる当地を訪れた。折しも中秋の秋の夜で、大岩の上から満月を見て徳念が生じ、昇天した。叔母（＝姨）姫が凡慮を捨てた岩ゆえ、以来この大岩を「姨石」 、この地を「姨捨」と呼ぶように」なったという。