相传始建于东汉时期，光武帝刘秀避难路过此地，兵马饥渴挖泉取水，即位后立庙于此，以为圣迹，命名“上泉寺”，后来历代战乱，均为藏兵窝匪之所，多次烧毁，多次修复，直至清朝盛世，康熙十二年重建，楼台殿宇，肃穆壮观，茂林修竹，陪衬着建筑物，围墙依照城墙，有跑道、城楼、炮台、山门面对石亭江大河，山门外有一座高台，不知何意（后来称为望乡台）。

台据说：修庙时为一处地高僧采取白蛇传中金山寺模式，故筑台镇妖，治伏洪水，造福黎民之意。开山祖师其名不详，传至二代，二圆和尚作恶多端，被群众赶走，到河对面立一洪山寺主持香火，至此上泉寺便改为尼姑主持香火。

清末民初，曾在这里办过民团（即地方武装），山门外上边还有操场遗址。

解放后，土改建政，这里是三村办公室，并还有小学一所，1958年，绵竹中学分校在此，62年迁回后，又作为“劳改农场”，70年代乡办企业在这里开“抢房办粮厂”，79年将全部建筑折走用来办纸厂等乡办企业，给大队留下十间厢房至此这座“上泉寺”就告结束。

90年代经绵竹市人民政府佛教协会批准，由海勇和尚主持又开始重建，至今基本恢复原样。