该军前身是冯玉祥所属的国民军一部。

即由宋哲元部所属的国民革命军第29军暂编第2师扩编而成。

1926年9月，国民军以两个警卫旅改编为国民革命军第10师参加北伐。1928年第10师被改编为第30师，隶属北伐军冯玉祥的第2集团军。

1930年10月，冯玉祥和阎锡山在中原大战中失败后，第30师被东北军收编。

1933年春，第30师改编为暂编第2师，编入国民革命军第29军，由副军长刘汝明兼任该师师长。1933年3月中旬该军参加长城抗战，负责防守罗文峪一带地区。同年夏，暂编第2师改编为第143师，师长仍有刘汝明兼任。

1937年8月抗日战争全面爆发后，国民党军进行统一整编时以第29军第143师和独立第40旅和编组成第68军，隶属第7集团军。刘汝明任军长，下辖：第143师，刘汝明兼任师长；独立第40旅，夏子明任旅长。该军组成后，在当年先后参加了平绥路东段沿线和平汉路北段沿线作战。

1937年底，该军隶属第5战区，由河北移防山东菏泽地区时，将原独立第40旅扩编为第119师，田温其任师长。

1938年1月，该军徐州会战，奉命在萧县、蒙城地区抗击日军。徐州失败后，该军撤到皖西、鄂东地区进行休整。而后，参加了豫鲁皖边地区作战和武汉会战。

1939年1月，该军隶属第2集团军时，刘汝明升任第2集团军副总司令兼军长，田温其任副军长。下辖：第119师，田温其任师长；第143师，李曾志任师长。

1937年4月至1945年5月，该军先后参加了随（县）枣（阳）会战、冬季攻势作战和枣宜会战等。

在枣宜会战中，该军第143师坚守应山城垣，与敌激战两昼夜，除700余人突出重围外，其余全部牺牲。此次战斗后，该军重建第143师，并重组建独立第27旅。不久独立度27旅与第2集团军直属独立第44旅合编组成暂编第36师，拨归该军建制。此时，该军下辖：第119师，陈新起任师长；第143师李曾志任师长；暂编第36师，刘汝珍任师长。

1941年5月，该军暂编第36师与第30军第30师对调建制，第30师改隶该军，张华堂任师长。

1941年9月，该军参加了第2次长沙会战。

1942年春，第30师回归第30军，暂编第36师回归第68军建制。

1943年2月，刘汝明任第2集团军代总司令兼军长，刘汝珍任军长，李金田、陈新起任副军长。此时，该军下辖第119师，刘广信任师长；第143师，黄樵松任师长；暂编第36师，崔贡琛任师长。

此后至1945年上半年，该军相继参加了鄂西会战、常德会战、豫中会战和豫西、鄂北会战等。在参加豫西鄂北会战后，该军撤至湖南陈留地区整训。

1945年10月，该军暂编第36师被裁减，另将第55军第81师调归该军建制。此时，该军下辖：第81师，葛开祥任师长；第119师，刘广信任师长；第143师，崔贡琛任师长。

1946年5月，国民党军进行统一整编时，该军改编为整编第68师隶属第4绥靖区。刘汝珍改任师长，陈新起任副师长，张勋亭任参谋长。原辖第81师改编为整编第81旅，葛开祥任旅长；原第119师改编为整编第119旅，刘广信任旅长；原第143师改编为整编第143旅，阎尚元任旅长。此次整编后，该师主要担任冀鲁豫地区的守备任务和绥靖任务。

1946年8月至1947年1月，该师在苏鲁战场上多次与人民解放军作战，先后参加了陇海路中段战役、定陶战役、巨野战役、鄄城战役、巨金鱼战役、豫皖边战役等作战。

1947年初至1948年7月，该师调至鲁西南地区担任防御和机动作战任务，先后参加了鲁西南战役、沙土集战役、豫皖苏边区作战和豫东战役等。

1948年9月，国民党军废除整编师、旅编制，重新规定番号，整编第68师又改为第68军，刘汝珍任军长，陈新起、王振声任副军长，张勋亭任参谋长。隶属第8兵团。原辖整编第81、整编第119、整编第143旅，依次恢复第81、第119、第143师番号。

1948年11月，该军在参加淮海战役中打通津浦路徐（州）蚌（埠）段交通线的作战后，撤至安庆至彭泽地段担任防守任务。

1949年四月下旬，人民解放军发起渡江战役后，该军弃阵南逃。5月3日，该军第81师在副军长王志远、师长葛开祥率领下在江西弋阳率部起义。第119师、第143师逃至厦门后，奉命在漳州地区组织防御，并重建第81师。9月中旬，该军在漳夏战役中被人民解放军歼灭。