1927年8月1日中共领导北伐战争中的国民革命军一部参加南昌起义，开始创建人民军队，独立领导武装斗争。起义失败后留下的800多人成为人民军队的骨干。同年9月，毛泽东主持的中共湖南省委将原武汉国民政府警卫团、安源工人纠察队和矿警队以及平江、浏阳等地的农民自卫军整编，成立中国工农革命军第一军第一师，辖3个团约5000余人。同年9月9日，按中共“八七会议”决定举行秋收起义，因久攻长沙不下，毛泽东毅然决定将这支部队向湘赣边区敌人力量薄弱的井冈山地区转移，经三湾改编，确定人民军队建军原则，部队缩编为中国工农革命军第一师第一团，11月部队抵达井冈山；创立第一个红色根据地。1928年4月底，朱德、陈毅率领的南昌起义余部和湖南农民军至井冈山与毛泽东会师，5月4日，在宁冈举行会师大会，正式宣布成立工农革命军第四军。因为他们大多是南昌起义中的部队，是原国民革命军第四军中的一部，

国民大革命时，国民革命军第四军十分英勇，被称为“铁军”，取中国工农革命军第四军即缘于此。

一月后改称中国工农红军第四军。