清宣统三年八月十九日（1911年10月10日）武昌起义爆发。消息传到寿州（今安徽，寿县），群情振奋，同盟会员张汇滔与寿州农会领导人王庆云、袁家声、岳相如等积极筹划响应。凤台、定远、怀远、凤阳等县亦派代表参加，决定组织农民起义。约定于九月十日武装夺取寿州城。先期进城的李诱然、张纶等在州衙、总兵镇防军内作劝降与瓦解工作；徐鸿恩、洪晓岚等运动绅商教育各界支持革命，均取得进展。是日夜五时，各路人员齐集城内东南隅考棚，向知州魏业×、寿春镇总兵李振国与各营清军管带发出通牒，阐明起义宗旨，令其立即缴械投降。魏、李等见大势不妙，纷纷逃遁，各营清军大都归降。当夜兵不血刃，光复寿州。

九月十一日，成立淮上革命军司令部（设于寿州考棚），开始公推张汇滔为总司令，张汇滔因志在带兵出征北伐，辞总司令职，总局事令即由王庆云担任，张汇滔、袁家声、张纶为副总司令。全军二万余人，分三路出击清军。

第一路军由袁家声、杨穗九、岳相如等率领，先后光复怀远、凤阳、蚌埠。在蚌埠与清军张勋部激战，重创之。张勋率部北逃徐州。一路军伤亡一百六十余人。

第二路军由王传禄、吴寿明等率领，进驻六安。

第三路军由张汇滔领进驻颖州（阜阳），伺机北上。此时河南省布政使兼清武卫右军左翼统领倪嗣训奉袁世凯之命，集中20营兵力万余人，进攻淮上军，三路军伤亡很大，退出颍州。

民国2年（1913年）夏，倪嗣冲为支持袁世凯扩充势力，压制革命，率部进攻寿县，从平顶山、狼牙套、八公山三路扑向寿县城。淮上军袁家声、廖海粟、廖梓英各部于平顶山阻击倪军、张汇滔等部在城北与倪军血战，双方均有伤亡。几天之后，倪嗣冲增调马联甲、高世读、李传业等部参战，集中炮火猛烈攻击淮上军。淮上军寡不敌众，伤亡惨重，相持十余日，淮上军被迫向合肥撤退。

之后，淮上军被编入国民革命军第一军，军长柏文蔚，至此淮上军之名称即不复存在。