生于1932年12月，陕西华县大明镇孙堡村张堡人。

1949年7月参加中国人民解放军，1954年11月加入中国共产党。

入伍后，在第一野战军二兵团四军某师工作（该师转战兰州军区、西藏军区、乌鲁木齐军区、新疆军区），历任该师步兵第三十二团班长、文化教员、干事、助理员、连政治指导员，团组织股长、营政治教导员、团政治处主任、团政委，师政治部主任、师政委。几十年军旅生涯，足迹遍及甘肃、西藏、新疆少数民族地区，十分注重加强军政、军民和民族团结，维护社会稳定和边防稳定。

1949年兰州战役后至1952年在甘肃临夏、甘南剿匪，参加过雷击山战斗；1958年参加甘（南）平叛，荣立二等功、三等功各一次；1959年3月，奉中央军委命令进军西藏平叛，五个战役中，在雪域高原恶劣的气候条件下，勇敢作战，先后两次荣立三等战功；1962年参加中印边境（东段）自卫反击作战，以优良的战斗作风，受到上级嘉奖。

1985年任新疆军区政治部主任、军区政委；1988年被中央军委授予少将军衔；1992年任兰州军区副政委兼新疆军区政委、兰州军区党委常委、新疆军区党委书记、新疆维吾尔族自治区党委常委；1993年7月晋升为中将军衔。

在军队任职期间曾先后五次进长春政治干校、北京政治学院、军事学院、国防大学深造。他还是中共兰州军区代表大会代表，中共第十四次全国代表大会代表、第六届全国人民代表大会代表、第九届全国政协委员、新疆维吾尔族自治区第六届第七届人民代表大会代表及人大常委会委员，曾组织编撰《改革开放与西线军队政治工作》一书，对于新形势下如何抓好部队思想政治工作具有较强的操作性和指导性。在全国政协任职期间，做了大量调查研究工作，提出“领导干部要在代表最广大人民根本利益上做榜样”、“在新形势下如何加强国防建设”等合理化建议，得到有关部门称赞和重视。

2003年7月，潘兆民被中央军委授予“胜利功勋荣誉章”。