灵祐，福建长溪(今霞浦县)人，生于唐大历六年(771年)，俗姓赵。贞元元年(785年)，年15岁，在城东建善寺皈依法常禅师出家。嗣至杭州龙兴寺受戒，遍究大、小乘教义。贞元九年(793年)，游洪州，至百丈寺，参谒高僧怀海禅师。怀海一见便收为弟子，因其资质颖悟，遂居参学者之首。一次，怀海要侍立左右的灵祐试拨炉中看有火否。灵祐拨后称没有。禅师自起，拨得些火种示之，灵祐顿受启悟，行礼作谢，表明自己的解意。怀海指出，这还只入暂时的歧路，佛经云：“欲识佛性义，当观时节因缘；时节既至，如虚忽悟，如忘忽忆，方省己物，不从他得。”所以祖师有训：“悟了同未悟，无心亦无法，只是无虚妄。”凡、圣等心，本来心法，原自备足。你现在既到这程度，要好自护持。由于灵祐善解佛理，渐升为典座。

后来，司马头陀从湖南来，称在潭州(今长沙)找到大沩山，可供1500位善知者居住。怀海希望头陀能从徒众中选一人前去开辟。头陀一眼看中典座灵祐，认为灵祐可做沩山住持。怀海夜召灵祐，托付他前去沩山，“嗣续吾宗，广度后学”。第一座弟子华林觉闻知，争着要去。怀海命二人当众测试，指一净瓶，要他们各出一语，但不可直说是净瓶。华林觉乃别作比喻。当问到灵祐时，灵祐不答，踢倒净瓶便出去了。怀海笑道：“你这第一座输了。”于是灵祐去了潭州。当时，沩山峻峭幽僻，四无人烟。灵祐结庵其中，日与猿猴为伍，采橡栗充饥，苦修8年后，原百丈寺的上座懒安和尚带几个僧人奉师命前来帮助。懒安表示，愿意为灵祐当典座，等到寺僧聚集至500人众时，再辞山他去。自此寺僧渐多，山外居民闻知其事，也聚众入山，共同营建寺宇。湖南节度使索景让上奏朝廷，赐号“同庆寺”。宰相裴休也曾来访问，探讨佛理。由是，国内研究禅学的佛教徒纷纷到沩山参学问道。灵祐常升堂说法，启悟透辟，教导说：“质质直无伪，无背无面，无诈妄心，一切时中，视听寻常，更无委曲，亦不闭眼塞耳。”摒除一切“恶觉、情伪、想习之事，譬如秋水澄渟，清净无为，澹泞无碍”。灵祐还为学僧开释“顿悟”的修行途径。受其启迪成为著名高僧的有仰山寺慧寂和尚、香严寺智闲和尚等。后来仰山慧寂阐扬灵祐的禅学，创立禅宗的又一大宗派，称“沩仰宗”。唐武宗李炎于会昌五年间(845年)，下旨废佛，“没寺逐僧”，灵祐不得已遣散僧众，自己也裹起头巾，隐藏民间。至唐宣宗李忱即位，于大中(847～858年)初年才解禁。时任转运使的裴休重新把灵祐迎返沩山，再建寺院。灵祐住持沩山，坚守师门“百丈清规”：“一日不作，一日不食。”带领寺僧们边参禅，边耕垦。在禅学理论方面，灵祐深得祖师马祖道一、百丈怀海的奥旨，主张“过去、现在、未来，诸佛道同，人人都有个解脱路”。认为修行趋向应“从闻入理，闻理深妙，心自圆明，不居惑地”。灵祐弘扬佛教40余年，造就高僧甚多。大中七年(853年)正月初九日，洗漱正坐，怡然圆寂，葬于潭州沩山，塔名“清净”。朝廷赐谥号“大圆禅师”。著有《沩山警策》一卷。后人整理有《潭州沩山灵祐禅师语录》一卷。今存明代《沩山警策句释记》二卷，《沩山警策指南》、《沩山警策注》各一卷。

北宋景德年间(1004～1007年)，乡人在灵祐出家处长溪县建善寺附近建造“大沩院”。南宋绍兴六年(1136年)，长溪的遵仆禅师特往湖南瞻寻沩山遗迹，归后又在原“大沩院”附近的柏岩，建“大圆庵”，以纪念灵祐禅师。