村名来源于神话故事。据传唐代八仙之一的韩湘子曾在该村南山寺出家，故原称神仙村。明万历年间称神山庄。明代万历《怀柔县志》有“神山，在县东北二十里，昔有一樵者迷路，遇一道人指之，回首不见。故名”。明代以前成村，村以山得名。