龟山寺创建于唐长庆二年(822)，是六祖下四世马祖道一禅师法嗣无了禅师开山的，曹洞宗法嗣、名僧慧忠发扬光大。寺院于唐咸通十一年(870)拓建达9座，僧徒多达千余人。后梁贞明年间(915～920)，闽王王审知命名为“龟山福清禅院”。宋、元、明、清均有重修或扩建。

现存寺院大布局沿袭历史不变，其中大雄宝殿、法堂、禅堂、方丈室、放生池(六眸池)均在历代建筑旧址上不变，天王殿历史上几易其地，现存天王殿应是清光绪年间重修时的地方。寺总面积1.16万多平方米，建筑占地面积约3000平方米，坐北朝南，由天王殿、放生池、大雄宝殿、法堂、钟鼓楼、地藏殿、方丈、禅堂等组成。大雄宝殿面阔7间(通宽17.8米)，进深5间(通深18.32米)，抬梁式结构，重檐歇山顶，内有天花藻井。龟山寺不同于我市其他名刹的建筑特点是库房、方丈、客堂、禅堂为四堂口相对不偏。而方丈室的上、下厅房沿用的石柱，皆为宋原物，斗拱结构亦是明代风格。寺的大殿和天王殿面墙为全石结构，皆20世纪30年代物，上刻名人、名僧的楹联、偈颂以及人物、花卉等，刻工精美，尤其是天王殿的面墙的雕刻，可谓巧夺天工。

龟山寺中尚存五代的“六眸池”残碑、六眸池遗迹、宋代石槽、唐代的“龟泉井”、明代石柱联和清代大鼎等。寺中有一对楹联：“天半楼台山半寺，云中钟鼓云中僧。”写尽了深山古刹的希凡气势。据传是明朝礼部尚书陈经邦题赠寺僧月中的。重建的七宝塔恢复了明代以前的宝塔风貌。

龟山岚雾浓重，气候阴凉，盛产茶叶。相传明代这里所育的名种“月中香”，曾被选为贡品。今龟山出产的“炒绿”，色泽碧绿清澈，香气浓郁深沉，是外销名茶。