据说绀岳山的岩石之间自古就有黑光和蓝光出现，故得名绀岳，即藏青色岩石山的意思。山顶上有石碑，碑文已被磨掉，与北汉山巡狩碑形状相似，因此有人推测是 “真兴王巡狩碑”。相传绀岳山上曾有绀岳寺、云溪寺、梵轮寺、云林寺四座寺院，但现在都已消失，如今的梵轮寺是1970年在云溪寺的原址上重新修建的。寺院下方有高达20余米的云溪瀑布。