白石山坐落在凤岗镇的桃花村和马头村之间。据介绍，为了方便人们上山拜祭白石仙人，当地的村民已多次对白石山进行改造和扩建。近年来，村民自发修通了上山公路，在山上建起 500多平方米楼房，修建了两个共500多平方米的停车场，还修通水泥硬底化的上山公路，把白石山建设成一个供人们休闲、度假的圣地。每年白石仙人的纪念活动，从三月初一的前一天傍晚开始，持续三天左右，三月初一前夜，白石山上已是灯火通明，山上停车场停满车子，人们通宵载歌载舞，十分热闹，远远看去，白石山有如一颗闪闪发亮的“夜明珠”。据怀集县志记载：“白石山，城东六十里，山多白石而得名，上有先翁檀俯临桃花，一水湾抱如带，四望乡村历历在目，景甚幽致，相传古有仙人修炼至此，三月朔羽化，乡人因登山祈祷多有应者。山前有白鹤岩，山麓有人仔石。

据山上村民修复的“仙坛”碑文记载，在公元一世纪中，有一位叫廖亚杨的济世名医，他离家出走来到凤岗镇，曾经很长时间在白石山上采药炼丹，治病救人，廖亚杨精湛的医术和扶贫济困的良好医德在当地民间广为传颂。廖亚杨于农历三月初一仙逝归天，后人为了纪念他治病济世的公德，追念他为“白石仙人”，在山上设置了白石仙人神位，每年的三月初一，不分远近的男女老幼，成群结队涌上山上祈祷，使这座山的自然景观和人文景观有机地融合在一起。

说起白石仙人，还有个凄美的爱情故事。据民间传说，廖亚杨出生在珠三角一带的名医世家，其祖父曾官拜御医头衔，祖宗数代行医济世，声名远播。廖亚杨自幼勤奋好学，聪明过人，得到了祖上的医学真传，常年来采药行医，治病救人。廖亚杨成年后，其父母为他私定当地柳家的女子为妻，廖亚杨不满父母为其私定终身，便瞒着家人，离家出走，一路上采药行医。一天，他来到白石山采药，被白石山这个奇妙的人间仙境所迷，便在离山顶数十米的一个石岩前（人称白鹤岩）搭棚筑舍，住了下来。

又说，其妻柳氏有沉鱼落雁之容，闭花羞月之貌，人品端庄贤淑。廖亚杨数年离家未归，她心怀忧虑，立下了外出寻夫的决心，把自己的想法告诉家人后，携带2名婢女逆凤岗河千里迢迢寻夫而去，历经数十年，来到凤岗镇四村村委会鸡脚莨村对面的一座山上坐下休息，一坐下便昏然入睡，一梦登仙（身疲力歇而逝），后人便在此山上立殿敬奉，取名叫“荡夫岗”（意思是：柳氏寻夫荡失的山岗）。上天为了表奉柳氏的忠心，在距离白石山的白鹤岩300米处降下一蹲珍石（人称人仔石，又叫抱仔石），以示柳氏就近相爱之心。

据传，这蹲珍石过去正如一个女人怀抱小孩的样子，可惜，随着时光的流逝，石头风化比较严重，目前已失原貌。在白石山顶看去，荡夫岗前的洽水河与白石山前的桃花水交汇于凤岗圩镇，都有着相近的距离，两山遥遥相对。为了纪念他们，历代以来，当地的村民分别在两地立碑设坛纪念。