十六年服闋後，任兵部右侍郎，轉左侍郎，簡放江寧提督學政。十九年，調吏部左侍郎，旋擢都察院左都御史。二十年，補授兵部尚書，上查禁鴉片條陳。二十一年，調戶部尚書，奉旨在軍機大臣上行走，歷十年。二十九年，命充上書房總師傅，同年七月授協辦大學士。三十年六月，授體仁閣大學士。鹹豐元年起， 兩任首席軍機大臣。二年，賞加太子太保銜。四年，反對肅順重用湘軍，以病致仕。同治元年，授命復出，以大學士銜補授禮部尚書，在弘德殿授皇帝讀。五年，病卒北京，謚 文端。 “四朝文臣”、“三代帝師” 橫亘嘉慶、道光、鹹豐和同治四代，輔政為官達46年之久。
祁氏為學主張訓詁,明義理,調和漢學宋學之爭。他與程恩澤都是近代倡導宋詩的代表詩人，為詩主張不論窮通顯晦，都要溫柔敦厚，要講究"學識"和"性情"。所作學杜甫、韓愈、蘇軾，具見功力。他較有現實內容的詩如敘事的《紀事》，反映人民疾苦的《感河南直隸二案時久不雨》、《肩輿道覆夷於右臂作此自遣》，讚頌為民興利的官吏的《藍公教織歌》等，為數不多。他的詩大多是詠物、寫景、感恩、扈從、官場應酬之作,但能顯出學問、性情。陳衍《石遺室詩話》以為他是"道、鹹間鉅公工詩者,素講樸學,故根柢深厚，非徒事吟詠者所能驟及"。常與唱和的"勁敵"是程恩澤。陳衍很欣賞其《題□□亭集》、《自題□□亭圖》詩,以為"證據精確，比例切當，所謂學人之詩也，而詩中帶著寫景言情,則又詩人之詩矣"。又欣賞其"寫景之工者",如《望廬山》、《次韻樹齋夏夜步月越王山麓》等篇。所以他選《近代詩鈔》，以祁詩冠首,入選者達119首之多，對後來"同光體"詩人有較多影響。
著作還有《馬首農言》、《入山記》、《勤學齋筆記》、《京口山川考》等，其傳世的書法墨寶及碑刻亦甚多。
著《□□亭集》32卷、《後集》12卷，有鹹豐刻本。
