1926年6月,祖舜受省總工會黨組織派遣,回藍山擔任工運特派員(實際上做農運工作)。當年7月,中共湖南區藍山支部成立,他被選為支部書記。他和黨支部成員一道,進行革命宣傳,發展黨團組織,開辦農民夜校,建立各級農民協會,鬥爭土豪劣紳,接濟貧苦農民,使大革命運動迅速在全縣開展起來。
1927年3月胡祖舜被選為省農民代表大會代表,4月5日與縣內其他代表一道赴長沙開會。13日抵達長沙時,代表大會停開,代表分散隱蔽。胡祖舜避居長沙北街朋友家中,1928年7月離長沙經武漢到達南京。祖舜在與藍山同鄉接觸中,被彭一帆等人向南京衛戍司令部告密而遭捕;9月,被殺害於南京夫子廟。