曾祖直，以純厚聞於鄉黨，里有盜其衣者，置不問。州將廉知，俾人故竊其衣，亦不訴理，即召詰前盜衣者，俾還之。直紿云：“衣乃自以遺少年，非竊也。”州將義之，賜以金帛，不受而去。父仁罕，輕俠自任。五代末，寇盜充斥，仁罕率眾斷澶州浮橋以潰賊，因誘獲數十人，出芻粟給官軍。補內黃鎮將。嘗因事至酒家，遇群寇暴集，以計悉梟其首，攜詣西京留守向拱，補汜水鎮將，俄為散都頭。宋初，遷許州龍衛副指揮使。會王師征廣南，為前鋒。還，改同州都校，卒。
謙少感概，不拘小節。初詣嶺表省父，仁罕資以金帛，令北歸行商。還堂邑舊墅，嘗為鄉里惡少所辱，謙不勝怒，毆殺之。亡命京師，遂應募從軍，補衛士，稍遷內殿直都知。至道初，真宗升儲邸，增補宮衛，太宗御便坐，親選諸校，授謙西頭供奉官、東宮親衛都知，賜袍笏、靴帶、器幣。
真宗即位，擢授洛苑使。謙起行伍，不樂禁職，求換秩，改殿前左班指揮使，給諸司使奉料。鹹平初，遷御前忠佐馬步軍都軍頭，領勤州刺史，加殿前右班都虞候。上幸大名，至北苑，屬謙有疾，遣歸將護，謙懇請從行。既俾其二子隨侍，仍挾尚醫以從，御廚調膳以給之。疾瘳，毀所服鞍勒以遺中使，上聞，賜白金二百兩。駕還，改捧日左廂都指揮使，領本州團練使。四年，遷捧日、天武四廂都指揮使，領本州防禦使，權殿前都虞候。
時高翰為天武左廂都校，有卒負債殺人，瘞屍翰營中，累日，發土得之。上怒翰失檢察，執見於便殿。謙即前奏：“翰職在巡邏及閱教諸軍，不時在營，本營事宜責之軍頭。”上為釋翰罪。景德初，加侍衛馬軍都虞候，改領潯州防禦使，俄權步軍都指揮使。第二年冬，制授殿前副都指揮使、振武軍節度。先是，謙久權殿前都虞候，俄擢曹璨正授，謙頗形慨嘆。至是，璨副馬軍，而升謙領禁衛焉。河北屯兵，常以八月給冬衣。謙上言邊城早寒，請給以六月，後以為例。無何，以足疾求典郡，上召見，敦勉之。
大中祥符初，從東封，上升泰山，詔都總山下馬步諸軍，與西京左藏庫副使趙守倫閱視山門，設施有法，著籍者乃得上焉。禮成，進授都指揮使，移領保靜軍節度。第二年八月卒，年六十，贈侍中。初，謙將應募，與同軍王仁德訊於日者。日者指謙謂仁德曰：“爾當為此人廄吏。”及謙帥殿前，仁德果隸役廄中。子懷懿，後為東染院副使。懷詮，內殿崇班、閣門祗候。
