1927年，阎锡山看北伐战争胜利大局已定，4月1日宣布废除北京政府任命的“督办”名义，将所属晋绥各部军队改称“晋绥军”，自任总司令。蒋介石在上海发动四一二政变，在清党名义下，公开反共，并于南京建立国民政府，与武汉国民政府公开对峙。阎锡山表示拥宁拒汉。6月3日，阎锡山在山西全省撕下象征北洋军阀统治的五色旗，升起青天白日满地红国旗，并改编所部晋绥军15万人为北方国民革命军，由大同、娘子关两路向北向东出击，做出了响应北伐的具体表示。6月6日阎在太原就任南京方面授予的“国民革命军北方总司令”职，最终表明了自己的政治态度。随后阎锡山遵照南京国民党中央命令，对国民党山西省党部进行了改组，实际上排除了全部共产党人，是山西“清党”的开始。汪精卫发动七一五政变后，阎加快了山西“清党”的步伐，不少共产党的领导人被通缉、逮捕和枪杀。由于阎锡山追随蒋、汪，公开“清党”反共，迫使中共山西地方党组织转入地下，陷于低谷。