宇石寨座落在石市乡塔山村的山坳里，为一石山，海拔229米，占地约100亩。山形如狮，壁立，岩居半山腰，绝顶有二池，俗称天池，不竭不溢。天将雨，则岩垂滴流、天池雾起，以占雨甚验，故又名“雨石”。

东西北三面绝壁，南面是条石垒成的5米高、1米厚的寨墙，门洞上方一块砂砾岩石上刻有“宇石山村”四个大字，与东西北三面山脊上筑就的石头城廊蜿蜒相连，仿若巨龙环绕。（现存题字由张大千老师曾熙所书）

据县志记载：清咸丰五年（1855），衡阳人民积极响应太平军的反清起义斗争，衡阳县境灯芯冲、太和冲、寺田、渣江、盐田桥、城坪冲、牌楼冲等处都有反清活动。同年五月二十一日夜，农民领袖王甲聚众数百人于洪罗庙，拥方工人李嗣勃为“勃王”，郭八为“将军”，沈蹒、徐升为“谋主”，准备起义。后李嗣勃托辞临阵逃走。王甲、沈蹒等仍在金华山“择日起事，旋杀县征粮者一人祭旗，出兵渣江”（县丞驻地）。“县丞先走，焚其空廨”烧毁渣江县丞署，占领洪罗庙，被知县冯汝棻闻讯后，带兵围剿镇压，“兵至护林堂（今台源寺一带），末敢进。”

第二天，魏承柷率兵进剿，杀死起义骨干300余人。起义失败。战败后，余部在此垒石筑寨；围山固守，得名“宇石寨”。起义军于寨中耕田种地，坚持了三年。其后，一批又一批忍无可忍的豪侠之士在此上演了一幕又一幕劫富济贫的壮剧。

抗日战争期间，周围数十里的农民为避日寇烧杀抢掠拥挤在此，躲过劫难。那时，还曾是国民党县委临时所在地。

宇石寨是宗教胜地，自唐代开始辟为佛教寺院。由于天灾、人祸，寺院屡建屡毁。如今的宇石寨是星灿长老的第四代传人——南岳演明法师募资逾1000万元修筑的。

寨内这一株胸围5米、高20米的神奇银杏。该银杏已有1300岁高龄，虽历经沧桑，仍有旺盛生命力，春天一身绿袍，夏日蝉歌枝头，秋来白果悬枝，冬至遍地黄蝶。

据当地百姓传说：1966年春，有位名叫“华灯”的3岁小男孩，他跟着堂姐等到宇石寨顶的禹王庙旁放牛，扯笋时不慎连笋带人坠入宇石寨，相距10来米的堂姐仿佛看到小华灯是坐在一块布毯上飘落下去的。果然，落下约100米深的石崖，小华灯居然内外无伤。18年后，小华灯结婚当天，他的父亲特到宇石寨银杏树下，奉上鸡鸭三牲，一践18年前之诺。

现在该银杏树下常有神蛇相护。2004年5月7日，神蛇从树下洞穴中驶出，被当地人胡拥军捕获，后被一个老客商以30元购去后当即放生。胡拥军回家后，自己肚痛难忍，昏倒在地，送到医院住院3天，耗资3000元，未见好转。傍晚，胡拥军的妻子受人点化，到银杏树下焚香祷告，磕头赔罪，第二天早晨8点，胡拥军就安然无恙出院了。（此为当地人口传，不足为迷信之据）

这里，最早是寺院，解放后曾一度是一所小学的教室，小学外迁后，曾经多年被废弃，如今又成了佛堂。

岩下石厅正壁中有一清泉，名为“乳泉”，如今仍然叮咚不息，伏流泊动，声如铃钟，悦耳动听。