倭寇之患由來已久，貫穿於整個明代，是明朝歷史上的一件大事。明朝初年，明太祖朱元璋為了抵禦倭寇的入侵，在北起遼東、南至廣東的萬裏海疆設定備倭行都司、衛所、巡檢司，修城築寨，共建有58衛、89所。當時餘姚境內有臨山衛、三山所（今慈谿滸山），是洪武二十年由信國公湯和率眾所築。湯和還在臨山衛東、西設定了三個關隘，泗門隘是其中之一。又在臨山衛周圍設定了9個烽堠，泗門大古塘上的烽堠，有兵丁5名，還有報晨雞、報警犬各1隻，遇緊急情況就朝煙暮火，隨時報警。
謝志望所處的嘉靖年間，正是明代倭患最嚴重的時期。時胡宗憲任餘姚縣令，看到倭寇日益猖獗，考慮到泗門地處杭州灣南岸，乃餘姚西北之咽喉，遂在大古塘後築垣構屋增建泗門堡，為練鄉兵之所。後郡守梅公把泗門堡遷建至大古塘南（清初改為泗門鋪，鋪即驛站）。李伯生接任餘姚縣令後，為防備倭寇從杭州灣登入南犯，率民循大古塘舊河道，開鑿新河（即今後塘河），還在泗門堡立胡宗憲像，勒碑以記胡宗憲的功德。
嘉靖三十二年三月，倭寇在普陀山受到大創，被俘殺近三百人，遂圖謀報復。閏三月，海盜蕭顯率勁倭400人，先屠上海之南匯、川沙，再圍嘉定、太倉，所過之處殘掠不可言。朝廷派著名的抗倭將領、都指揮盧鏜前去剿滅，蕭顯被殺。四月，殘餘倭寇在杭州灣南岸勝山港（時屬餘姚，今屬慈谿）登入，竄至泗門大肆搶掠，還攻陷了臨山衛。直至參將俞大猷率軍趕來，這股倭寇才退去。
泗門是大學士謝遷的家鄉。泗門謝氏自謝遷始，累科高舉，甲第連雲。謝遷是成化十一年狀元，官至太子太傅、戶部尚書、謹身殿大學士；二弟謝迪是弘治十二年進士，官至廣東左布政使；次子謝丕是弘治十八年探花，官至吏部左侍郎。謝遷其他五子也各有蔭封，如長子謝正（謝志望的曾祖父）官禮部儀制清吏司員外郎；三子謝豆官大理寺左寺副；四子謝亘官左軍都督府經歷；五子謝至官山東武定州判官；六子謝絳溪官膠州同知。倭寇進入泗門後，把鎮上的太傅宅、方伯第、侍郎第、狀元第、世恩第、少傅第、光祿第等燒為白地，內藏的誥命圖軸、書畫手札、珍籍善本均被搶劫一空，計有明世宗御賜給謝遷的《明倫大典》一部、《文正公集》四十卷、《木齋歸田稿》十卷、《湖山唱和詩》二卷，《綱鑑世史》、《類編補遺》、《梅花百詠》等，還有宋代米芾的《山水圖卷》、李東陽的《李西涯翰墨手卷》等大量的歷代名人書畫。
時謝志望在太學讀書，史載他“讀書究忠孝大旨，閒習騎射”。聞江南遭倭患，他便從北京歸來，看到劫後慘狀，立志殺倭。當時朝廷因兵力不足，而倭寇又飄忽不定，命令地方上舉辦“團練”。謝志望出資募集了鄉勇五百人，分作三隊，劃汝仇湖地百餘畝為校場，日夜操練。泗門傳統廟會中的大盤陣，傳說就是謝志望創編的軍事列陣形式，有剪刀陣、梅花陣等陣形，隊伍聚散靈活，變化多端。他還動員附近百姓進行軍事演練，配備刀槍、銃炮等武器，還設定鑼鼓、訊號等，分段把守大古塘等要隘，一遇倭警，即鳴鑼集眾，共驅倭寇。
嘉靖三十四年六月，倭寇百餘人在上虞瀝海所登入，突犯會稽高埠（今紹興皋埠），家居御史錢鯨來不及躲避，被倭寇殺死於蟶浦。謝志望聞訊後，迅速率領鄉勇，從餘姚趕到會稽。在蟶浦、東關、白洋等地，他手提長劍列於陣前指揮，500鄉勇各持刀、槍、戈、矛等武器，按陣法向前廝殺。會稽當地的百姓，本來都已經四散逃難，看到謝志望帶兵前來，也在遠處敲鑼擊鼓、吶喊助陣，還在溝渠後、山林里搖動上百桿大纛旗，造成千軍萬馬迎戰的浩大聲勢。倭寇哪見過這樣的陣勢，丟下幾十具屍體，向杭州方向潰退。竄至嚴州淳安縣時，倭寇只剩60餘人，卻又流劫到徽、寧、太平，直犯南京，經行數千里，殺戮及戰傷官兵四五千人，殺一御史、一縣丞、二指揮、二把總、，入二縣，歷80餘日，轉掠至蘇州才被剿滅。
十月三十日，倭寇又從樂清縣歧頭登岸，流劫於黃岩、仙居、寧海等地。海道檄餘姚方士杜文明偕慈谿縣主薄畢清統兵抵抗。就在當年的四月，杜文明之子省祭官杜槐剛剛戰死。杜文明懷著對倭寇的刻骨仇恨，強忍喪子之痛，與畢清率軍趕赴抗倭前線。行至楓樹嶺，與倭寇遭遇，杜槐因年老力衰，與畢清一同戰死。
當時謝志望正在曹娥江白米堰征倭，聞說杜槐等戰死，倭寇將從奉化進犯四明山，便馬不停蹄帶領鄉勇趕到梁弄。他考慮到斤嶺是上虞、餘姚咽喉要道，便駐兵斤嶺上，選擇有利地形，修築防禦工事。這時，兵道檄指揮張佑來斤嶺防守。謝志望與張佑約定，官兵守嶺中，他伏守嶺左，共同夾擊倭寇。時值嚴冬，天寒地凍，雨雪交加，謝志望率兵在斤嶺守候了幾天幾天，衣不卸甲，劍不離身，嚴陣以待。
閏十一月初一凌晨，狡猾的倭寇二百餘人趁天黑來偷襲斤嶺。見正面有官兵把守，硬攻不利，便偷偷地從小路摸上山嶺來。天蒙蒙亮時，正遭遇謝志望巡哨。因為山高嶺窄，謝志望來不及擺開陣式，兩軍便大戰起來。倭寇都是些亡命之徒，天性剽悍嗜殺，他們所持的長刀刃長五尺，後用銅護刃一尺，柄長一尺五，共六尺五寸，加之倭寇又善躍，向前一跳就有一丈余。而當時明朝所使用的兵器都是短器，所謂短不接長，雖然鄉兵大多是遭倭患而家破人亡的青壯年農民，他們懷著國讎家恨奮力廝殺，可是往往還沒靠近倭寇，反被倭寇殺死。倭寇的弓箭也很厲害，他們用的都是勁弓重箭，不輕發，發必中人，中者必死。而鄉兵所持的都是軟弓輕箭，倭寇被擊中後，不但不會死，他們還拍拍屁股來侮辱鄉兵。儘管鄉兵人多勢重，可是因為武器不如人，從卯時戰到申時，一整天的戰鬥，死傷很大。
在這決勝關頭，張佑卻按兵不動。他本來就為得功而來，哪裡想到會遇到如此激烈的血戰，早嚇破了膽，蜷縮在山谷里，不敢出戰。而倭寇卻一隊一隊前來增援。謝志望見事如此，只得決一死戰。他身先士卒，奮力沖入敵群，連殺三賊。可惜他已幾天幾夜不曾合眼，加之雪天路滑，不慎跌到在冰崖邊。倭寇蜂擁而來，亂刀將他砍死。謝志望被害時年僅28歲，臨死還猶呼“殺賊、殺賊”。跟隨謝志望的謝氏家僕草地蠻、車三、長三、瀋陽、永勒等十餘人，看到主人被害，一時憤急，大砍大殺倭寇，直至全部戰死。
倭寇趁一時戰勝之淫威，越過斤嶺，到梁弄燒殺搶掠。二更時分，倭寇夜宿在仙橋樓上。參將盧鏜從奉化翻斤嶺追到梁弄，駐兵在街邊樓上，和倭寇只隔一條狹窄的小街，難以擺開戰場，決定放火燒樓。。倭寇見勢不利，用計將金銀財物從樓上擲下，誘使官兵爭財。趁紛亂中，倭寇衝出樓房，到處放火，大肆掩殺，巷站十分激烈，使梁弄成為一片廢墟。四更時分，倭寇只剩二十餘人，向上虞方向逃竄，渡過曹娥江進入會稽縣。
餘姚諸生胡夢雷及堂兄胡應龍、胡操六等率鄉兵百餘人，窮追倭寇至東關。倭寇在路邊設下伏兵，佯裝敗退，引胡夢雷等進入埋伏圈，再合而圍之。胡夢雷在手刃數賊後戰死，胡應龍、胡操六等百餘人也一同戰死。後會稽縣典史吳成器督眾前來，這伙倭寇才被剿滅。
事後，分守道許東望把謝志望等英烈事跡上報朝廷。嘉靖三十五年十月十五日，明世宗下旨褒獎謝志望等人。頒給謝志望的敕曰：“士稟天地之正氣而臨難不避，奮身抗敵，雖一死未足以成事，凜然忠義足嘉也。非朝廷隆褒恤之典，抑何勸哉？爾監生謝志望，今尚寶司卿敏行之子，故大學士遷之玄孫也。蜚聲胄學，克紹家聞，自許孤忠，每懷報國。值島夷入寇，東南鄉邑屢遭慘毒，雖無職守之寄，而忠憤感激，誓不與生。督率義兵，首先拒賊，力遂疲於血戰，身遽甘於亂手。有古烈丈夫之風，不其偉與。聯用嘉悼，特贈爾承直郎太僕寺寺丞，有司立祠恤家。於戲，挺身赴難愧彼前，卻遺烈餘勇，雖死猶生，尚奮揚爾威相師殄逆，以紓未畢之志，歆予旌寵，永慰忠魂。”
朝廷還在紹興新建伯祠西立褒忠祠，祭祀死難於倭患的紹興府知事何常明、餘姚監生謝志望、庠生胡夢雷等四人。清代時，褒忠祠圮，謝志望又配享於餘姚龍泉山文正公（謝遷諡文正）祠。在梁弄斤嶺的它山殿里，當地百姓也為謝志望塑像，柱對曰：“一生忠赤山河見，千載精神日月光。”
被時人譽為“文宗”的南京禮部尚書文恪公孫升，兩漢宇內慕名向他求文者極多，他從不輕易答應別人。可是當他聽說了謝志望的事跡，欣然動筆為他撰傳。孫升的二兄、時任尚寶丞的孫墀，也作《悼謝生志望》詩一首：
書生猛投筆，剿賊勇提兵。
報主惟恂義，捐軀不為名。
孤忠新廟祀，太傅舊家聲。
我為綱常哭，臨風百感生。
謝志望妻陶氏，是會稽陶諧（字世和，官至兵部侍郎，謚莊敏）的孫女。謝志望遇難時，陶氏才27歲，幾次欲要從死，想到有遺孤要撫養，隱忍十餘年，無一日沒有淚痕，最後悲哀過度而死，敕贈安人。
謝志望的兒子名秉忠，號陽堂。謝志望戰死後，朝廷特許謝秉忠入太學讀書，後歷官通州判官、六安州同知，誥授奉訓大夫。
謝志望像