1900年，清政府請德、美、意三國專家到現場察看，選定大橋橋址，其北岸從沁河到橋址有大壩防護，南岸邙山頭土質堅硬，是河道的天然屏障。1901～1902年開始設計，因河水分南北槽，中間為一沙地，故設計兩側各為25孔31．5米的下承鋼鈑梁。全部橋墩103台，各由8根管樁組成；在桁梁與鈑梁之間為對渡墩，共兩個，各由14根管樁組成，橋面為直線，平坡。
從勘察橋址到設計圖紙整整用了4年時間，後經多方論證，又拖了3年。比利時公司動工興建黃河上第一座鐵橋，已是1903年9月1日。正式開工後，建橋所需的材料、機具均通過漢口用馬車、牛車、人力車轉運到工地。沒想到，基礎施工在灘地進行時，管樁入土深度13～16米，以水泥砂漿填實，結果一夜之間被洪水沖歪了38個橋墩。技術專家立即商量解決方案，最後採用拋投石籠的辦法，才保證了橋墩的牢固。
1905年2月1日大橋竣工。從此，京漢線的火車由漢口始出，經停鄭州，通過鄭州黃河鐵路大橋，達終點北京盧溝橋站。
飽經滄桑屢遭毀壞
比利時人耗時近10年修建的鄭州黃河鐵路大橋，總體算下來也就運營了10年，因為工程質量問題，大橋自身開始老化。
1925年1月12日，一則震驚中外的訊息在鐵路線上傳開：鄭州黃河鐵路大橋因設計問題，橋樁不堪重負，致使兩節客車墜入河中，300餘人死亡。
而因為鄭州黃河大橋為南北通道之咽喉，戰爭之要塞，在戰爭時期的毀壞更是接二連三。
1927年春天的直奉戰爭，張學良攻打守橋的吳佩孚部下，炸毀了大橋的第10孔梁。
1930年，蔣閻馮大戰，馮部又炸毀了橋的第16孔梁。
1938年，國民政府軍炸毀了部分橋墩，並將南端42孔鋼樑運往湘桂及黔桂鐵路使用。
1948年10月22日，劉鄧大軍解放鄭州的城外之戰，率先切斷了駐鄭蔣軍北逃路上的黃河大橋；橋上橋下炮火轟鳴，殺聲震天，大橋成為兩軍必爭之地，國民黨軍隊對大橋進行破壞。
被國務院批准永久留存
1952年10月31日，毛澤東主席到鄭州視察。當他走在這座由比利時人修的黃河鐵路大橋上時，對陪同他的鐵道部部長滕代遠說，一定要修我們自己的橋。但是，新中國剛成立，我們還沒有經濟實力修建這樣的鋼鐵大橋。河南省政府只能對這座貫通南北的黃河鐵路大橋進行多次修復。
重大的修復是1956年，當年8月5日，周恩來總理親自視察修復的鄭州黃河鐵路大橋。修復通車一年多，大橋經受了黃河大洪峰的考驗。1958年7月17日，黃河花園口出現歷史罕見的特大洪峰，流量達每秒22300立方米，有5個橋墩出現險情，鄭州黃河鐵路大橋11號橋墩被洪水沖毀，相鄰兩孔橋身塌落水中，京廣鐵路中斷。第二天，周恩來親臨黃河南岸視察黃河險情。經過15個晝夜的戰鬥，黃河大堤化險為夷。8月1日，大橋修復通車。
從1948年到1958年，這座黃河鐵路大橋經歷了10年維修，繼續“服役”10多年。
1969年10月，鐵路大橋又擔負起通汽車的任務。當時對橋面進行改造，加鋪了鋼筋混凝土板，供南來北往的汽車直接通行。
1986年10月，鄭州黃河公路大橋建成，第二年國務院批准將鄭州黃河鐵路大橋拆除，南端5孔160米作為歷史文物保留下來。
從建成通車到作為歷史文物共經歷84個年頭。
