五龙殿始建于五代周显德七年（961）。殿前群峰盘聚，前水如弓，后山如鼓，可以宁神受天之祐，中突园邱如五龙戏珠状，因而名五龙殿。据说建成后，有五条彩龙盘旋上空，百姓称奇，于是改名为五龙殿，并且在每年元宵节制作红、黄、青、绿、紫五条龙灯迎游。

五龙殿坐北朝南，由正殿和南、北配殿组成，整座建筑保存着清中期风格五龙殿外表气势非凡，飞檐翘角，灰墙红瓦。在五龙殿的正门口蹲着两头高大威武石狮子。右边那头怀里抱着一头可爱的小狮子，那是一头母狮子；左边那头前脚踩着一只彩球，正玩得不亦乐乎，是一头公狮子。当地人常说：“摸摸石狮头，一生不用愁；摸摸石狮背，好活一辈辈；摸摸石狮嘴，夫妻不吵嘴。”

信步走过二十个台阶，就来到五龙殿的大堂。大堂里供奉着白鹤大帝赵炳。相传南宋建炎年间，金军南侵，宋高宗遁海南渡，逃亡到台州，被金兵追杀，夜登金鳌山，幸白鹤大帝与碧螺龙王先后护驾有功，打退金兵，赵构才得以脱险。回到临安以后，宋高宗不忘白鹤大帝相助之功，于是就下旨封白鹤大帝为“灵显威烈昭德仁济王”，诰勅加封为“崇和大帝”，并下旨令浙东六郡广修白鹤庙。受封后的赵炳享受侯王待遇，着龙袍，坐龙椅，故民间称赵炳为“白鹤大帝”。