抗日战争爆发后，任国民革命军第八路军总政治部副主任，后任129师政治委员，同师长刘伯承共同领导创建了晋冀豫等抗日根据地，卓有成效地开展了这些地区的抗日战争。1945年在中共第七次全国代表大会上当选为中央委员。解放战争时期，任中国人民解放军晋冀鲁豫野战军（后改称为中原野战军、第二野战军）政治委员。1947年同刘伯承一起率军南渡黄河，挺进大别山地区，开始了人民解放军对国民党军队的全国性战略进攻。在对解放战争具有重大意义的淮海战役和渡江战役中，任总前委书记。他和刘伯承、陈毅等指挥人民解放军攻克了国民党政府首都南京，并向华东、中南、西南各省进军。中华人民共和国建立后，任中央人民政府委员、中共中央西南局第一书记、西南军政委员会副主席、西南军区政治委员。1952年任中央人民政府政务院（1954年改为国务院）副总理。1954年任中共中央秘书长，同年任国防委员会副主席。1955年中共七届五中全会上，增选为中央政治局委员。1956年在中共第八次全国代表大会上作关于修改党的章程的报告。在八届一中全会上当选为中央政治局常务委员、中央委员会总书记。1956年至1963年，曾多次赴莫斯科同苏共领导人进行谈判和斗争。

文化大革命期间，被撤销党内外一切职务，遭到公开批评和谴责。1969年至1973年间下放到江西省的一个工厂从事体力劳动。1973年3月恢复副总理职务。1974年4月代表中国政府出席联合国大会第六届特别会议，首次向全世界阐述了毛泽东关于三个世界划分的战略思想。周恩来总理病重以后，他主持党和政府的日常工作，并于1975年1月任中共中央副主席、国务院副总理、中共中央军委副主席和中国人民解放军总参谋长，着手对当时极端混乱的局势进行整顿，并同当时拥有很大权力的江青集团进行针锋相对的斗争，因此受到迫害，1976年4月又被撤销党内外一切职务。

1977年7月中共十届三中全会上恢复了原来担任的党政军领导职务。同年8月在十一届一中全会上继续当选为中央副主席、中央军委副主席。1978年3月当选为政协全国委员会主席。在同年12月举行的中共十一届三中全会上，他对中国共产党政策的历史性转变起了决定性的作用。1981年6月中共十一届六中全会通过了在他主持和指导下起草的《关于建国以来党的若干历史问题的决议》。这次全会上他当选为中共中央军委主席。