早年經歷
胡謙遜1987年出生於樂清市柳市鎮蟾河堡村，國小畢業那一年暑假，胡謙遜想要到樂清市業餘體校鍛鍊身體，因為覺得拳擊好玩，便選擇了這個項目訓練，跟著教練夏勝海集訓了兩周。後來，溫州競技體校來選材，年僅12歲的胡謙遜被一眼相中，進入該校念國中，並跟隨拳擊教練孫張傑訓練。那年與胡謙遜一同進入溫州競技體校學習拳擊的孩子有100多個，教練孫張傑回憶，這批孩子中，胡謙遜的表現最突出。雖然他平時不太愛說話，但訓練起來特別能吃苦，毅力很強。
2002年，在省運會54公斤級拳擊比賽中，胡謙遜奪得冠軍，那年他才15歲。
運動生涯
胡謙遜2004年下半年，胡謙遜進入北京武警政治部體工隊，成為一名真正的職業拳擊運動員，在這個匯聚全國高手的隊伍里接受更加精深的訓練。與此同時，他在全國各大拳擊賽事中大顯身手，收穫了諸多榮譽，曾拿下全國錦標賽冠軍和亞軍、全國冠軍賽亞軍。
2016年4月2日，在河北省遷安市舉行的里約奧運會拳擊項目亞大區資格賽決賽上，中國選手胡謙遜戰勝吉爾吉斯斯坦選手Sakenov Ermek，獲得又一張奧運“門票”。男子64公斤級決賽上，胡謙遜在對陣吉爾吉斯斯坦選手Sakenov Ermek時，發揮出了他出拳速度快、在移動中快速進攻的優點，最終以2：1獲勝。
2016年7月18日，2016年裡約熱內盧奧運會中國奧運代表團成立，胡謙遜名列出征拳擊運動員名單。
2016年8月15日，2016年裡約奧運會拳擊項目繼續進行。在里約會議中心6號館，中國選手胡謙遜上演逆轉好戲，經過三回合較量，以2-1擊敗來自亞美尼亞的巴奇科夫，躋身男子輕沉量級（64KG）八強。
2017年4月18日，2017年中國拳王爭霸賽在四川省涼山彝族自治州西昌民族體育館開打。第五場壓軸之戰是中國拳王賽的64公斤級衛冕之戰，五個回合過後，王港沒讓胡謙遜復仇成功，3比0再次獲勝，衛冕中國拳王稱號。
