阳江城东三里处原有一小山冈，约在鸳鸯湖以西，相传古时王母曾经到此处停留过，故名之曰“王母冈”，是阳江古八景之一，美称“王母仙踪”。

后来，人们就在山冈上建起了一座王母殿，周围种满果树花卉，成为一景。“王母冈”也因此而得名。王母殿前，刻有曾跃麟的一副对联曰：“翠竹影摇湘浦夜；碧桃香霭武陵春。”清人冯兰阶亦有一联：“不信瑶池嫌寂寞；爱从鼍海辟行宫。”前人还有不少咏赞的诗作，如“寻踪何必向瑶池，东郭墦间尚有之”；“仙凡隔绝路难通，王母缘何此驻踪”；“荒山有幸来仙驾，”等。

清道光十一年（1831），王母冈上建起了麻风院，从此游人不敢涉足。清末民初，美国传教医生杜布森为那里的麻风病人派药治病,减轻了一些麻风病人的病痛。

1937年初夏，据说接到省上头的密令，国民党阳江县驻防军团长张寿，以派发救济费为名，诱骗200多名麻风病人集中到王母岗，然后命令埋伏在四周的枪手开枪射杀，将杀死的麻风病人就地埋葬，并烧了麻风村。其它幸免的麻风病人闻风纷纷逃匿。王母冈上的庙宇也被焚毁，“王母仙踪”遂成陈迹。