未久,補授湖廣道監察御史,任職期間,直言切諫。如直督曾國藩辦天津教案,清廷以為失當,將代以李鴻章,瑞祺疏陳重臣宜示保全,不可輕易更調。又請復簡前侍郎彭玉麟為長江水師稽察大臣,從重巡防而肅營制。還歷疏陳凱鏇將弁應設法安置、申明傳教條例、裁撤睦路厘局、疏治河運以便交通、勞績褒獎宜按官階嚴示限制、緩修圓明園等等。皆切中弊政,為時人傳頌。
光緒九年(1883年),簡放福建督糧道。次年,法兵攻閩,閩疆大擾,督師張佩倫敗逃,督撫及船政大臣皆被嚴譴,瑞祺以捍衛得民心,左宗棠特疏聞於朝。十三年,簡放浙江按察使,未到任擢河南布政使。十六年,遷山西巡撫。十七年,以疾卒子住所。