畢業回瓊後，胡伯虎在府城某國小任教，並受組織委派在家鄉開展農民運動。首先在玉湖村辦起農民夜校，教貧苦村民識字，宣傳向地主豪紳作鬥爭的革命道理和共產黨的主張。組織進步青年閱讀革命書刊，開始籌建農民協會，在辦夜校的基礎上，發動民眾成立農會，他親任農會主席，帶領農民進行減租減息和反霸鬥爭。還親自到龍塘墟，以慷慨激昂、精彩動聽的演講，向廣大民眾宣傳成立農會的好處，動員農民加入自己的組織，贏得民眾的稱讚。稍後，博讓、永昌、玉仙、博撫、龍塘、三橋等鄉村都相繼成立了農會。
胡伯虎性格剛強，辦事果斷，見義勇為，愛打抱不平。龍塘墟當時有個國民黨官員叫周家弟，仗勢欺壓農民。他知道後十分氣憤，立即帶領農會會員去找周家弟。將他欺壓老百姓的事一一清算出來，打壓了周家第的囂張氣焰，再也不敢胡作非為了。廣大農民揚眉吐氣，紛紛起來與敵對分子作鬥爭。胡伯虎不失時機地組織農會成立自衛隊，進行武裝鬥爭。二弟、五弟在他的帶動下，也加入自衛隊，後又參加了革命隊伍。
1925年底，駐瓊軍閥通過潭口渡口，向東路各縣反動統治者運送軍火。胡伯虎獲得情報後，立即組織玉胡村、玉仙村的自衛隊百餘人襲擊潭口渡口，用汽油將運送軍火的浮船燒掉。
1926年7月間，全縣農民運動搞得熱火朝天。在馮公坊任教的胡伯虎，又深入到馮公坊地方的13個自然村進行宣傳發動，建立起馮公坊農會，並建立起馮公坊黨支部。10月，瓊山縣第一次農民協會代表大會在府城召開，縣農協布置各鄉村民眾和學校就地集會慶祝，胡伯虎在馮公坊國小廣場主持了幾百名農民、學生集會，與會者手持五色三角紙旗，高呼“打倒軍閥”、“打倒土豪劣紳”的口號，遊行馮公坊13個村莊。後來，胡伯虎受黨組織派遣前往譚文一帶搞農運工作。這時他的公開身份是警察。當時這一帶有一股以張夢安為首的土匪，經常騷擾村民。胡伯虎以警察身份面見張夢安，勸說他不要乾損害老百姓的事，張夢安開始不信任他，不斷提出問題刁難、考問，胡伯虎對答如流，無懈可擊。張夢安佩服他的才華，唯唯諾諾，保證不再傷害百姓。胡伯虎隻身入虎穴與張夢安鬥智鬥勇的故事，成為當時這一帶人們傳頌的佳話。
1927年，府城地區發生“四二二”事變後，瓊山縣的國民黨右派知道胡伯虎是共產黨員，急忙派人到譚文抓捕他。敵人已到胡伯虎所住的房屋，剛好和準備轉移的胡伯虎相遇在門口。來人問他：“胡伯虎在裡面嗎?”他一聽，知道來者不認識他，便靈機一動，從容回答：“在裡屋。”敵人一擁而入，他急步逃脫險境，回到革命隊伍。不久，組織委派胡伯虎到張夢安土匪隊伍作爭取改編工作。打入張部後，張很器重他，委任其為參謀長。胡伯虎在隊伍中大力宣傳革命道理和我黨主張，教育士兵愛護百姓，並和張夢安一起帶隊襲擊國民黨據點和車輛。張夢安經過多次與我黨接觸，了解我黨的隊伍，終於同意接受改編，並於1927年秋改稱為瓊崖討逆革命軍第十一路軍，張夢安任司令，黨代表是吳江慈(吳德春)，成為我黨領導的一支武裝力量。1928年2月，瓊崖討逆革命軍擴大為瓊崖工農紅軍，第十一路軍改為中路紅軍第二營，胡伯虎任參謀長。
1928年4月中旬，胡伯虎和其他領導人帶領第二營在瓊山樹德伏擊小股敵軍，後退卻向西橫渡南渡江，開往瓊山西部的仁台村待機再戰。蔡廷鍇率部追擊我紅二營。4月22日，蔡廷鍇部分兵三路進攻仁台。當時紅二營和敵人激戰一天，由於敵眾我寡，槍枝簡陋，子彈奇缺，戰鬥傷亡嚴重。部隊召開緊急會議，決定兵分三路突圍。第一路由胡伯虎、李文興率領80多人，向龍橋、卜南山方向挺進牽引敵人，掩護大部隊撤退，當胡伯虎帶隊衝出敵包圍圈撤到尚天山時，由於前有府城敵援軍，後有大批追兵，加上地方民團的夾擊，我軍傷亡過半。在彈盡糧絕的危境下，胡伯虎率部退守石堀(羊山地區打石挖的石堀)。不料四面被敵包圍，三子民團(北裔民團)的反動團丁，居高臨下，用石頭向我部砸擊，胡伯虎等同志頑強戰鬥，在尚天山石堀壯烈犧牲，年僅31歲。解放後，瓊山縣人民政府追認胡伯虎為革命烈士。
