鹹豐十年(1860年)九月十四日,率部入濟寧境。濟寧知州盧朝安、河營守備馬萬春帶標兵和青州八旗騎兵守唐家口、安居。兩軍激戰半日,捻軍陣斬馬萬春,迫使清軍退守濟寧。十五日,捻軍東渡運河,包圍濟寧州城。清軍副督統德楞額率領色爾固善馬隊,雲南提督傅振邦協領恆齡馬隊,山東巡撫文煜親率標兵,共馳濟寧增援。十六日,胡四率部主動從濟寧撤圍,渡汶河、?河,進入滋陽(今兗州市)、寧陽、曲阜、泗水、費縣等地活動。清援軍撲空。
鹹豐十二年(1862年)二月,和黑旗軍首領趙浩然率部二萬餘人,迴旋於豐縣北和金鄉、魚台之間。十五日,胡四與李成率大隊捻軍至金鄉羊山一帶。二十一日,回安徽。