自中古时代的开始，日耳曼的部落就遍布罗马帝国，基本上他们是手持斧头和剑来徒步作战，有时候也会穿戴简单的装甲，例如头盔和盾牌，并且组成战斗团，由首领来领导。虽然他们是凶猛的战士，但也是一群毫无纪律的乌合之众。受过训练的罗马军团，长久以来十分成功地抵抗这些日耳曼部落，部份原因是以感情维系的军队通常会非常脆弱。但是，当帝国快要结束的时候，罗马军团的素质便已衰落，使日耳曼部落有机会往前越过边界。

并非所有的日耳曼部落是徒步作战。哥德人就是一个例外，他们以前定居在黑海北部的时候，就已经饲养马匹。西哥德人和东哥德人透过与多瑙河南岸的东罗马帝国，和来自亚洲的蛮族骑兵接触，双双获得关于骑兵的技术。东罗马的军队非常重视骑兵，因为他们经常要与骑马的蛮族、巴底亚人和波斯人作战。

随着罗马的衰落，接下来的几个世纪里，大部份在欧洲发生的战斗都是由步兵互相冲击。其中一个例外，可能就是不列颠的亚瑟王对抗撒克逊人入侵的战争，尽管我们还没有证据可证明他的胜利应归因于骑兵的使用。亚瑟王可能比撒克逊人早五十年在不列颠使用缰绳，他的胜利可能是拜骑兵或受过训练的军队之赐。另一个例外就是拜占庭的军队。他们在公元第六世纪时，从汪达尔人手上重新夺回北非，并几乎恢复东罗马对意大利的控制。拜占庭在这个时期最强的军队是骑兵。而拜占庭军队的另一个优势就是英明的领导和熟悉战术，这些都是蛮族所缺乏的。

在这些世代里面，只要作战的团体尚称秩序，都可以军队一词形容。他们一如以往，隶属同一战斗团，稍具拜占庭或亚洲军队的水准，而且会使用有限度的战术或战略。在重要的军事活动中以劫掠来获取战利品，通常他们所夺取的是食物、家畜、武器和奴隶。好战部落在扩张时，会破坏敌人的粮食生产，使他们缺粮，然后奴役对方的生还者。战斗的方式主要是由双方的战斗团互相冲击，以斧头和剑作肉搏战。在作战时，他们就像一群乌合之众，不能与罗马典型的纪律部队相比。他们手持盾牌、戴上头盔和穿著装甲，护甲通常由皮革所制，只有部落首领和精英才会穿著锁子甲。

在公元第八世纪的初期，由西哥德人控制的西班牙沦陷于回教战士(他们以轻骑兵作战)之手。同一时期，来自匈牙利平原从事游牧的马札儿人，增加了他们对西欧的侵袭。在732年，法兰克的步兵在都尔附近击败回教骑兵，阻止了回教势力往北的扩张。法兰克的军阀铁锤查理，对摩尔人的骑兵印象深刻，因而开始在军队里面设置骑兵部队。该军种的转形在法兰克最伟大的国王查理曼的统治之下继续进行。法兰克的重骑兵是骑士的前身，而骑士又具有中古风的作战特色。

三十年多年来，查理曼以指挥军事战役逐年扩张帝国版图。法兰克的军队可分为步兵和装甲骑兵两部份，但骑兵却是他最有价值且最受关注的武力。他们能够快速移动，并对敌军的徒步部队作出猛烈的攻击。查理曼发动战役的目的都是出自经济上的意图，他透过突袭、放火、劫掠和攻坚降服敌军，很少会与有组织的敌军交手。

虽然维京人专门以徒步作战，但是他们在登陆以前，都会聚集马匹，并使用它们来突袭内地。他们的入侵行动始于第八世纪晚期，直到十一世纪才结束。维京侵入者的后裔即法国西北的诺曼人，他们很快就适应了马匹的使用，并成为中古时代后期最成功的战士之一。

第十世纪初期，在奥图一世的领导下，日耳曼人开始采用骑兵，藉以向维京人的突袭作出快速的反制，并驱逐来自东方的蛮族突骑。

随着第十世纪的结束，除了英格鲁撒克逊人的英格兰、塞尔特人的国家(爱尔兰、威尔斯和苏格兰)与斯堪的那维亚等地以外，重骑兵成为很多欧洲军队的重要元素。