高怿，字文悦，荆南高季兴四世孙。幼孤，养于外家。十三岁能属文，通经史百家之书。闻种放隐终南山，乃筑室豹林谷，从放受业。放奇之，不敢处以弟子行。与同时张荛、许勃号“南山三友”。

会诏举沈沦草泽，知长安寇准闻其名荐之，辞不起。景祐中，录国初侯王后，怿推其弟忻得官。及范雍建京兆府学，召怿讲授诸生，席间常数十百人。杜衍尝请赐处士号，乃命为大理评事，怿固辞。仁宗嘉其守，号安素处士。诏州县岁时礼遇之，给良田五百亩。文彦博表其经术该通，有高世之行，可以励风俗，诏赐第一区。嘉祐中，就除光禄寺丞，复固辞。梦道士持素书聘为白鹿洞主，卒。