在江南地区自古流传上部弯曲的刀，因江南男子自小习之，所以长短不一。日本文献记载起源于孙子时期的中国南方。但是1980年内蒙古伊金霍洛旗朱开沟墓葬出土的商代早期（公元前16世纪—前15世纪）环首青铜刀，通长34.1、柄长10.5厘米。环首状，扁柄向一侧稍弯曲，中间凹，两侧起棱。柄、刀间有突出的齿状阑，刀背微凹，刀尖上翘。刀身细长轻薄。这个匕首型的短刀，刀体极似文献中记载的古淀刀，可视作古淀刀的前身。可见古淀刀的起源可追溯到商代早期的中国北方。

古淀刀的刀锋非常锋利。在三国演义中，有这样一段话描述孙坚“裹赤帻，跨花鬃马，横古锭刀。” 这个“横”字可推测孙坚的古淀刀是长度大于120厘米的马刀。古锭刀是孙坚的传家武器，孙坚在汜水关时使用的就是古淀刀。孙坚死后其子孙策转送给了周瑜。古淀刀也因此成了周瑜的标志武器。被关羽所斩的徐州刺史车胄也是用这刀的。可见当时古淀刀在南方是一种很流行的武器。