吉祥禅寺历史悠久，知者觉圆始建于梁代天监二年（公元503年），早于国清寺95年，原称雁门庵。至宋嘉定三年（1210年），迎来诺迦尊者，拓展为崇楼广殿，宋宁宗赐额“吉祥”，遂改名“吉祥禅寺”。据专家考证，开创日本曹洞宗的道元祖师，曾于1225年到此求法。清初殚微禅师主持寺院，他精研佛典，通晓声律诗文，广交名士。康熙十六年（1677年），他的弟子慵聘请柬林学士林友王编写了《雁苍山志》，使千古佳话得以汇集流传。此寺原来坐西面东，民国时焚毁后，华盛法师重建，大殿结构独特，无长梁通柱，不结蛛网，夏日毫无蚊子。法师习武崇知，治眼病闻名遐迩，蒋经国的母亲毛福梅拜他为师，并帮助修理雁门古道。

这里群山环抱，成天然盆谷，形如特大的卫星信息接收器，汇聚宇宙空间之能量和信息，是最为理想的练功场所。1994年和1995年曾两次从天冠峰佛像群向寺院上空喷射，如普陀、五台山出现的佛光。地处世界和祖国东方的“吉祥禅寺”，既是以苍山幽谷、气泉奇胜、天然群像、祥云佛光、梁代古刹、诺迦道场六项殊胜的罗汉地，同时具有为民消灾，延年益寿的东方神泉。

寺东隔涧的墙垣，是宋末名士胡元叔、舒岳祥、胡三省等创建和教学的赤城书堂旧址，亦为北宋名臣罗适之乡贤祠，故称“罗公庄”。罗适（1028—1101年）被誉为“浙学先河”、“理学之声”，为浙东学派和宋明理学的奠基人之一。