古仙人洞位于金山北侧金鳌岭下，洞深6．6米，依山洞筑有半亭一座，这是道教遗迹。传说当时曾有仙人住在洞内，仙人吕洞宾曾在这里窥视江面，所以叫仙人洞。佛教徒也曾把观音像供奉在此，故又名白衣洞。《金山志》中有明代程敏政记仙人洞的一首诗，准确而传神地描绘了这里的景象，诗曰：

鬼斧穿山骨，明月透一窗。

仙人时举步，竖立一窥江。