大統三年,東魏將竇泰入寇,濟自風陵,頓軍潼關。太祖出師馬牧澤。時西南有黃紫氣抱日,從未至酉。太祖謂升曰:“此何祥也?”升曰:“西南未地,主土。土王四季,秦之分也。今大軍既出,喜氣下臨,必有大慶。”於是進軍與竇泰戰,擒之。自後遂降河東,克弘農,破沙苑。由此愈被親禮。九年,高仲密以北豫州來附。太祖欲遣兵援之,又以問升。升對曰:“春王在東,熒惑又在井、鬼之分,行軍非便。”太祖不從,軍遂東行。至邙山,不利而還。太師賀拔勝怒,白太祖曰:“蔣升罪合萬死。”太祖曰:“蔣升固諫,雲出師不利。此敗也,孤自取之,非升過也。”
魏恭帝元年,以前後功,授車騎大將軍、儀同三司,封高城縣子,邑五百戶。保定二年,增邑三百戶,除河東郡守。尋入為太史中大夫。以老請致仕,詔許之。加定州刺史。卒於家。