中国人民解放军第68军的前身是华北军区第6纵队。该纵队是由冀中军区独立第7、第8旅和冀晋军区及察哈尔军区各-部组建而成的。

1947年12月6日，晋察冀军区根据中央军委指示，以冀中军区、察哈尔军区各一部在河北省定县组成第6纵队，由文年生任司令员，向仲华任政治委员，萧新槐任副司令员兼参谋长，下辖原冀中军区独立第7旅改称的第16旅、独立第8旅改称第17旅，原察哈尔军区第6分区和冀晋军区第1、第4分区各1个独立团台编而成的第18旅，共1.7万余人，隶属于晋察冀野战军。纵队成立后，参加平汉路北段破击战。

1948年1月，纵队奉命从河北满城地区出发，初战保(定)西北。3月至4月，第6纵队参加察南绥东战役。5月，华北军区第2兵团成立，第6纵队隶属该兵团建制。并新调旷伏兆任副政治委员兼政治部主任。7月，参加保北战役。8月，华北军区第3兵团成立，第6纵队转隶该兵团建制。9月，参加了察绥战役。同月，旷伏兆调离该纵队，由王紫峰任副政治委员兼政治部主任。1948年12月至1949年1月，第6纵队参加平津战役，协同友军解放了张家口、宣化等城镇。

1949年2月，根据中共中央军委关于统一全军编制序列及部队番号的命令，华北军区第3兵团改称第20兵团，第6纵队在北平奶子房改称中国人民解放军第68军，隶属中国人民解放军第20兵团。文年生任军长，向仲华任政治委员，徐德操任副军长，所辖第16旅改称第202师，廖鼎祥任师长，李斌任政治委员；第17旅改称203师，杨栋梁任师长，李志远任政治委员；第18旅改称第204师，罗文坊任师长，严庆堤任政治委员。全军共2．9万余人。4月，参加太原战役。太原战役结束后，部队进驻山西阳高、天镇地区整训。5月，徐德操任军长，漆远渥任政治委员，宋学飞任参谋长，张逊之任政治部主任。同月，由国民党军第16军第22师改编的独立第2师编入该军各师。10月，部队由山西进驻天津、唐山地区，担负保卫海防任务。

1950年8月，第20兵团番号撤销，第68军直属华北军区领导。1951年2月?日重建第20兵团，第68军又归第20兵团建制。

1951年6月，第68军入朝作战，先后担任北汉江至文登里一线的防御任务，参加金城地区的反击作战。1954年9月，第68军奉命担任永柔以西，隶川以东、新安州西南地区防空作战任务。1955年3月奉命回国。第68军在抗美援朝3年零10个月的战斗中，涌现出许多英雄单位和英雄个人。其中功臣单位26个，特等功臣13名，一等功臣178名，"奇袭白虎团"的著名战斗英雄杨育才、志愿军女英雄解秀梅、坦克英雄胡连等就产生在这支部队。