该军前身是是川军第24军第137师师部、新编第37师和驻甘肃的陕军公秉藩部第34师。1940年4月，国民政府为加强后方守备力量，在四川双流以川军第24军第137师师部、新编第37师和驻甘肃的陕军公秉藩部第34师合编组成新编第12军。该军编成后，隶属第34集团军，刘元塘任军长。下辖：第34师，公秉藩任师长；新编第7师，徐保任师长。1941年2月，该军由陇县调至酆县，担任黄河的河防任务。同年4月，该军第34师与第80军第97师对调隶属关系。5月，李绳武任该军副军长，同时，暂编第58师该隶该军建制。随后，该军奉命参加了枣宜会战。1942年，新编该军隶属陕甘宁边区总司令部。此时，下辖：第97师，刘安祺任师长；新编第37师，徐保任师长；暂编第58师，叶成任师长。1942年6月，军长刘元塘调走，该军番号撤消。