距郑州市区28公里的古老黄河上，郑州黄河风景名胜区内。1896年，清政府批准铁路督办盛宣怀兴建卢汉铁路，在郑州北部的黄河上架桥已迫在眉睫。这么大的工程对清政府本身来说是有难度的，所以当时委托了比利时公司。比方承建郑州黄河铁路桥的技术负责人是沙多。

1900年，清政府请德、美、意三国专家到现场察看，选定大桥桥址，其北岸从沁河到桥址有大坝防护，南岸邙山头土质坚硬，是河道的天然屏障。1901～1902年开始设计，因河水分南北槽，中间为一沙地，故设计两侧各为25孔31．5米的下承钢钣梁。全部桥墩103台，各由8根管桩组成；在桁梁与钣梁之间为对渡墩，共两个，各由14根管桩组成，桥面为直线，平坡。

从勘察桥址到设计图纸整整用了4年时间，后经多方论证，又拖了3年。比利时公司动工兴建黄河上第一座铁桥，已是1903年9月1日。正式开工后，建桥所需的材料、机具均通过汉口用马车、牛车、人力车转运到工地。没想到，基础施工在滩地进行时，管桩入土深度13～16米，以水泥砂浆填实，结果一夜之间被洪水冲歪了38个桥墩。技术专家立即商量解决方案，最后采用抛投石笼的办法，才保证了桥墩的牢固。

1905年2月1日大桥竣工。从此，京汉线的火车由汉口始出，经停郑州，通过郑州黄河铁路大桥，达终点北京卢沟桥站。

饱经沧桑屡遭毁坏

比利时人耗时近10年修建的郑州黄河铁路大桥，总体算下来也就运营了10年，因为工程质量问题，大桥自身开始老化。

1925年1月12日，一则震惊中外的消息在铁路线上传开：郑州黄河铁路大桥因设计问题，桥桩不堪重负，致使两节客车坠入河中，300余人死亡。

而因为郑州黄河大桥为南北通道之咽喉，战争之要塞，在战争时期的毁坏更是接二连三。

1927年春天的直奉战争，张学良攻打守桥的吴佩孚部下，炸毁了大桥的第10孔梁。

1930年，蒋阎冯大战，冯部又炸毁了桥的第16孔梁。

1938年，国民政府军炸毁了部分桥墩，并将南端42孔钢梁运往湘桂及黔桂铁路使用。

1948年10月22日，刘邓大军解放郑州的城外之战，率先切断了驻郑蒋军北逃路上的黄河大桥；桥上桥下炮火轰鸣，杀声震天，大桥成为两军必争之地，国民党军队对大桥进行破坏。

被国务院批准永久留存

1952年10月31日，毛泽东主席到郑州视察。当他走在这座由比利时人修的黄河铁路大桥上时，对陪同他的铁道部部长滕代远说，一定要修我们自己的桥。但是，新中国刚成立，我们还没有经济实力修建这样的钢铁大桥。河南省政府只能对这座贯通南北的黄河铁路大桥进行多次修复。

重大的修复是1956年，当年8月5日，周恩来总理亲自视察修复的郑州黄河铁路大桥。修复通车一年多，大桥经受了黄河大洪峰的考验。1958年7月17日，黄河花园口出现历史罕见的特大洪峰，流量达每秒22300立方米，有5个桥墩出现险情，郑州黄河铁路大桥11号桥墩被洪水冲毁，相邻两孔桥身塌落水中，京广铁路中断。第二天，周恩来亲临黄河南岸视察黄河险情。经过15个昼夜的战斗，黄河大堤化险为夷。8月1日，大桥修复通车。

从1948年到1958年，这座黄河铁路大桥经历了10年维修，继续“服役”10多年。

1969年10月，铁路大桥又担负起通汽车的任务。当时对桥面进行改造，加铺了钢筋混凝土板，供南来北往的汽车直接通行。

1986年10月，郑州黄河公路大桥建成，第二年国务院批准将郑州黄河铁路大桥拆除，南端5孔160米作为历史文物保留下来。

从建成通车到作为历史文物共经历84个年头。