该军前身是桂系军队一部。1948年11月，国民党军为加强中南地区的防御力量，以桂系军队为基础，新建第304师、第305师、第306师。1949年5月，第304师、第305师、第306师合编为第126军，隶属华中军政长官公署，张湘泽任军长，王卫苍任副军长。下辖：第304石，韦介伯任师长；第305师，姚葛民任师长；第306师，梁泮池任师长。同年11月，该军在广西战役中被人民解放军全歼。