在洞山山口狭窄处有两块层叠的巨石。相传，这两块石头原来分立山崖两侧，象是两扇大门，入夜时分自行关闭，鸡鸣天晓又自行张开，故名“夜合石”。夜合石旁，有两个石井，会自己流出油、冒出盐来，供寺内众僧食用。后来，寺内有个奸僧假作鸡啼，诓开石门，盗卖井中的油、盐，井中从此干涸，夜合石也不再显开合之灵。北宋时期，苏东坡的弟弟苏辙到洞山游览，在夜合石上题诗一首。此名“夜合灵迹”也就成了“新昌八景”之一。