该军前身是国民党军第16兵团在淮海战役中被歼部队的残留人员。1949年1月初，国民党军队为挽救在淮海战场的败局，在人民解放军的包围圈内，将第16兵团在淮海战役中的残部人员编成第116军，调第72军副军长谭心任军长，第44军团长萧德宜任参谋长。下辖两个师：第287师，李芝任师长；第288师，陈元良任师长。1949年1月10日，该军尚未正式组建完毕，就在淮海战役中被人民解放军全歼，少将军长谭心向人民解放军投诚。