四神祠是供奉四神的地方。建于明嘉靖十五年（1536年）。

四神祠由一座八角形亭子前出抱厦组成，周围出廊，八方攒尖顶黄琉璃瓦，上覆黄琉璃宝顶。抱厦卷棚歇山顶，黄琉璃瓦。梁枋绘龙锦旋子彩画，天花板绘锦纹支条缠枝莲天花。不施斗栱，槛窗用豆腐卦槅心，青砖槛墙。廊下设木坐凳栏杆，上用华板，色彩绚丽，造型纤秀，别具风格。

亭内靠南墙砌砖台，是架供案奉安神牌的地方，面北。四神为哪些神？有两种说法，一说是青龙、白虎、朱雀、玄武，即道教所称的四方之神；一说是风、云、雷、雨神。就亭取八方来看，似仿道教八卦，应和道教有关。