该军前身是青海马步芳的骑兵部队，1937年9月抗日战争全面爆发后，国民党军以青海马步青所属新编骑兵第5师与新建的暂编骑兵第1师合编为骑兵第5军，隶属第17集团军。马步青任军长，下辖：骑兵第5师，马步青兼任师长；暂编骑兵第1师，马彪任师长。1939年该军改隶属第8战区时，新增一个步兵旅。此时，该军下辖骑兵第5军、暂编骑兵第1师和军属步兵旅。1941年春，该军改隶第15集团军时，暂编骑兵第1师与军属步兵旅合编为骑兵第8师，归第15集团军直辖。不久，马步芳又从新组建暂编骑兵第1师、韩起禄任师长。当年该军先后参加了豫南会战和第二次长沙会战。1943年9月该军隶属第40集团军时，马步青升任第40集团军副总司令兼军长。同时将暂编骑兵第2师拨归该军建制。同年12月，马呈祥代理军长，韩有文任副军长。此时，该军下辖：骑兵第5师，马成贤任师长；暂编骑兵第1师，马振武任师长；暂编骑兵第2师，马禄任师长。1944年11月，新疆伊犁事变发生后，塔城阿山相继发生革命暴动，南疆形势告紧。为此蒋介石除运送胡宗南部几个师陆续开入新疆外，急调青海的骑兵第5军进入新疆。 1945年11月骑兵第5军到达新疆后，改隶新疆警备司令部。马呈祥任军长，韩有文任副军长，下辖：骑兵第5师、暂编骑兵第1师和暂编骑兵第2师编制不变，驻防在乌鲁木齐市，担任守备任务。1946年5月，该军奉命进行整编，暂编骑兵第2师被裁减，同时将军马不足的骑兵第5师改编为新编第5师。另将新疆警备司令部骑兵第12师拨归该军建制。此时，该军下辖：新编第5师，马成贤任师长；骑兵第12师，张希良任师长；暂编骑兵第1师韩有文任师长。同年10月，骑兵第5军缩编为整编骑兵第1师，马呈祥任师长。此次缩编后，骑兵第12师归还新疆警备司令部原建制，原辖新编第5师改编为整编骑兵第6旅，韩荣福任旅长；暂编骑兵第1师改编为整编骑兵第7旅，韩有文任旅长。

1948年9月，整编骑兵第1师恢复骑兵第5军的番号。1949年8月，解放军在解放兰州后，大军继续向酒泉进军。9月25日，骑兵第5军跟随新疆警备总司令陶峙岳等宣告起义时，接受人民解放军的和平改编。