唐代创建，名延福院。因位于牛心岭南山之腰故称牛心寺，又名后牛心寺。

北宋初，继业三藏大师重修。寺对青莲峰，有白云、青莲二阁。淳枋年间（1241—1252）僧绍才再建。明洪武时，龙兴寺僧广济禅师避太祖（宋元璋）之召卓锡寺中。明故世安《译峨赖》云：“凡数折，至后牛心寺，继业所创，今名卧云，即古延福院”。清乾隆以前，均为清音阁去洪椿坪必经之道，当时殿宇规模宏大，后因游山道改至白云峡中。岁月流逝，凡经兴废，寺名亦多变易。现存木穿斗结构殿堂二重，上殿为清乾隆年间建造，下殿两厢为1912年修建。造型简洁朴实，入口部分利用山门重点装修，突出了主体寺院的个性。民国壬子（1912年），源照上人云游归山，募化重建，日积月累，辛苦经营，始成现状。大雄殿、观音殿及厢房、斋堂共有建筑面积1836平方米。寺后有药王洞，传为孙思邈隐修炼丹之处。