1937年9月修築湘桂鐵路衡陽到桂林段時,開始修建衡陽湘江公鐵大橋,因缺料停工。1939年在上游修建便橋,後被衝垮,修復後再次被衝垮。1943年修復便橋,第二年,日軍侵入衡陽,衡陽守軍將橋炸毀。1949年衡陽解放,搶修便橋,限速通車。1951年拆掉東岸排架及軌梁。
衡陽湘江公鐵大橋是湖南省第一個五年計畫建設項目。由於107國道、京廣鐵路與湘桂鐵路在衡陽市交匯,1955年在整修改造湘桂鐵路橋時,湖南省交通部門與鐵道部協商,共同修建衡陽湘江公鐵大橋,1956年正式開工建設,大橋上面走公路下面走鐵路,1957年12月29日建成通車。