乌霞寺，又名乌鸦洞庵、五霞寺。该寺建于北宋庆历八年(1048年)，是北宋林学家陈翥著书立说的书舍。嘉祐六年(1061年)陈翥逝世后，世人为纪念他，将书舍改为“乌霞洞庵”。庵为砖瓦结构，两进11间，跨度13米，宽11米，面积为300多平方米，有佛像和僧人，后遭兵燹而成瓦砾。光绪三十二年(1906年)地方募化集资重建。民国36年(1947年)夏，县国民兵团伐木烧庵，前殿幸免，后殿被付之一炬，现壁间碑刻两块尚存。1984年就被列入省级重点保护寺庙,国家2A级景区。地址在县城西北17公里桂山乡马仁山南腹部。山势环抱，曲径幽雅，处悬崖峭壁之下，名区胜地，不啻桃园一别境。《中国名胜辞典》收录“乌霞洞”条目。

乌霞洞在乌霞寺后，是天然形成的山洞，洞口较小，洞内空间较大。抗日战争爆发时，谭震林任新四军第三支队副司令员、政治委员。1941年皖南事变后，任新四军第六师师长兼政治委员，在此指挥皖南抗日根据地的斗争，独立地开展游击战争。

解放后，乌霞寺存有泥木佛像数尊，有僧人日常佛事，加之景点“童子拜观音”、“八仙石”、“观音搭脚石”，“乌霞洞”洞中有洞，洞洞相通，回旋上下，形成有特色的自然景观，故此香火甚旺。“文化大革命”中佛像被毁，仅剩年久失修的庵舍。1984年12月经省人民政府批准定为省级保护寺庙。1986～1987年，除省、县拨出专款外，佛教居士、信士集资维修寺舍，重塑和增塑佛像。至此，“乌霞寺”佛像基本齐全，重现古刹之貌，成了本县佛教界的中心、较大型佛事活动场所。寺中先后有弥凡、法雨、勤洗、普缘等任持，现任住持为释惟文法师。