投身海軍
謝葆璋清同治四年（1865年）1月3日出生於福州。是謝鑾恩的第3個兒子。4歲時，母親離開人世，由父親和姐姐撫養。謝鑾恩髮妻去世後，未再續弦，晚年才娶繼室，幫助料理生活。兩個哥哥繼承父業，做了教書先生，而謝葆璋卻隨同許多福州子弟加入海軍。
清光緒七年（1881年），謝葆璋父親的好友、天津水師學堂總教習嚴復專程回到福州，招考海軍學生。嚴復見到謝葆璋，覺得這個少年是塊當海軍的好材料。於是，出兩道題給謝葆璋做，算是考試。一道是詩題，題目是“月到中秋分外明”，另一道是八股的破題。謝葆璋做完後，嚴復很滿意，決定收下這名學生。從此，跟隨嚴復到天津，走進水師學堂，成為該校的第一屆駕駛班學生。
謝葆璋等只用3年時間學完全部課程。畢業前夕，李鴻章邀請英國和俄國的海軍官員來校會考。他們認為，歐洲海軍學校學生到上練船階段才能學到的一些課程，天津水師學堂的學生已經提前學完。國內的官員也認為，天津水師學堂“所授繁難諸學，多為從前閩廠（福州船政學堂）駕駛學堂洋教習所未及課”。李鴻章對此非常滿意 。
清光緒十年（1884年）11月，謝葆璋以第一名的優異成績結束課堂學習，轉上“威遠”練習艦實習。
清光緒十三年（1887年），北洋艦隊的“致遠”、“靖遠”和“來遠”、“經遠”4艘主力巡洋艦，分別在英國、德國建成下水。李鴻章汲取以往購艦的教訓，決定派北洋艦隊的官兵前往英、德兩國接收，不再由洋人送艦來華。這既可免“雇募資遣之煩”，又可使接艦官兵“復得沿途練習之益”。
李鴻章先派鄧世昌、葉祖珪、邱寶仁、林永升擔任四艦的管駕官（艦長）。同時，每艦派一名大副和兩名學生，協助駕駛。謝葆璋作為學生參加這次接艦行動，與邱寶仁等負責接收“來遠”艦。
這年2月，接艦官兵400餘人，在北洋海軍提督丁汝昌的親自率領下，乘坐招商局的輪船，從天津出發，前往歐洲。抵達英國後，謝葆璋等部分官兵又轉德國，到伏耳鏗廠接收“來遠”、“經遠”兩艦。接收完畢，兩艦駛往英國，與在這裡接收的“致遠”、“靖遠”會齊。
隨後，在英國舉行隆重的接艦典禮。當時，偌大中國竟然連一首國歌都沒有，只好臨時選一首《媽媽好糊塗》的民歌曲調，作為國歌演奏。這件事深深刺痛謝葆璋的心，許多年以後，他還用此來教育子女。10月，從英、德接收的4艘巡洋艦，由中國人自己駕駛，穿越波濤洶湧的大西洋，過好望角，經印度洋，順利抵達福建廈門。第二年，四艦駛往北方，加入北洋艦隊。
此後，謝葆璋便留在“來遠”艦任職。清光緒十八年（1892年），被正式任命為北洋海軍右翼左營守備，“來遠”艦駕駛二副。在此前3年，謝葆璋因資歷不夠，一直代理這一職務。
甲午戰爭
光緒二十年（1894年），中日甲午戰爭爆發。八月十八日，北洋海軍主力與日本聯合艦隊在黃海展開激戰。開戰不久，日艦“赤城”被擊成重傷，轉舵駛逃。謝葆璋協助幫帶大副駕駛“來遠”艦，立即尾追攻擊，進一步重創“赤城”，迫使其逃離作戰海域。戰至下午3時20分，日本第一游擊隊“吉野”等4艦集中火力進攻“來遠”、“靖遠”。兩艦以寡敵眾，苦戰多時，均受重傷。“來遠”艦中彈200多顆，引起猛烈火災，“延燒房艙數十間”。在此危急時刻，謝葆璋奉命駕艦衝出日艦的包圍，駛至大鹿島附近滅火施救。 謝葆璋作為“來遠”艦上的槍炮官，參加這次著名的大海戰。
戰鬥一開始，北洋艦隊就陷入極為不利的境地。激戰數小時後，英勇的“致遠”、“經遠”等艦相繼沉沒，“廣甲”、“濟遠”兩艦先後撤出戰鬥。日本海軍聯合艦隊的本隊6艦，將北洋艦隊的“定遠”、“鎮遠”兩艘鐵甲艦團團包圍。號稱“帝國精銳”的“吉野”等4艘快速巡洋艦，則將謝葆璋所在的“來遠”艦和“靖遠”艦死死咬住，形勢十分嚴峻。“來遠”艦在敵艦的瘋狂圍攻下，中彈200餘發，尾炮失靈，彈藥艙爆炸，全艦燃起熊熊大火。危急之中，謝葆璋英勇地冒著敵艦的炮火，率領士兵奮力救火，終將大火撲滅，保住軍艦。
“來遠”艦帶傷堅持戰鬥，直至日艦先行逃離戰場。“來遠”艦是北洋艦隊倖存軍艦中受傷最重的一艘。戰後，“來遠”艦駛歸旅順，中外人士目睹其損傷如此嚴重，尚能平安抵港，皆為之驚嘆不已。“來遠”艦上人員傷亡十分慘重，謝葆璋妻子的一位堂侄也在戰鬥中陣亡。
他被炮彈打穿腹部，腸子炸了出來，飛濺到煙囪上。戰鬥結束後，謝葆璋含著淚把燒焦的腸子從煙囪上撕下來，放回到他的遺體。
海戰結束後，其與管輪人員密切配合，將已受重傷的“來遠”安全駛歸旅順基地。“駛回旅順口之際，中西各人見其傷勢沉重，而竟安然返旌，無不大奇之”。
死裡逃生
謝葆璋二十一年（1895年）正月初五日，日軍水陸夾擊威海衛港內的北洋艦隊。正月十二日凌晨，日本魚雷艇潛入港內偷襲，由於北洋艦隊的英勇抵抗，日本海軍對威海的正面進攻遲遲不能得手。於是，日軍派出魚雷艇隊，借夜色的掩護，潛入港內進行偷襲。2月5日，日軍魚雷艇施放的魚雷擊中受傷的“來遠”艦。隨著一聲巨響，“來遠”艦龐大的身軀急速地翻轉，露出紅色的艦底，不久即沉入海底，艦上官兵30多人遇難。
謝葆璋在軍艦爆炸的剎那間，縱身跳入冰冷剌骨的海中，憑著一身好水性，拚命游上劉公島，得以死裡逃生。幾天后，北洋艦隊在劉公島全軍覆沒。
甲午戰爭後，清政府將北洋艦隊編製取消，數以千計劫後餘生的海軍官兵被遣散回鄉。謝葆璋輾轉回到福州，和家人團聚，與妻子家人度過一段平靜生活。
復出任職
清光緒二十五年（1899年），清政府恢復北洋艦隊。原“靖遠”艦管帶葉祖珪出任統領，原“康濟”艦管帶薩鎮冰出任幫統。薩鎮冰是福州人，與謝葆璋是同鄉。謝葆璋入天津水師學堂學習時，薩鎮冰任學堂正教習，謝葆璋在“威遠”艦實習時，薩鎮冰又是該艦管帶，所以，薩鎮冰既是謝葆璋的長官又有師生之誼，以後，兩人共事於北洋艦隊，過從甚密。北洋艦隊重建，急需海軍人才，薩鎮冰很自然就想到謝葆璋。於是，電召他重返海軍任職。
是年，清政府從英國購買兩艘4300噸的巡洋艦，一艘名為“海天”，一艘名為“海圻”，都是當時中國海軍最大的戰艦。薩鎮冰兼任“海圻”艦艦長，謝葆璋被任命為副艦長。
清光緒二十六年（1900年）10月5日，35歲的謝葆璋有了第一個孩子——女兒謝婉瑩。不久，謝葆璋的妻子帶著僅7個月的女兒，從福州老家遷往上海。謝葆璋的巡洋艦多在此駐泊，一家人可以經常團聚。清光緒二十八年（1902年）冬，謝葆璋出任煙臺海軍練營管帶，又離開上海。
甲午戰爭期間，北洋艦隊在旅順、威海的海軍學校都毀於戰火。清光緒二十六年，謝葆璋的母校天津水師學堂又毀於八國聯軍的炮火，北洋艦隊失去最後一個人才培養基地。
清光緒二十九年（1903年）冬天，北洋新的海軍學校——煙臺海軍學堂，在海軍練營簡陋的營房裡誕生，謝葆璋為首任監督（校長）。
由於謝葆璋的出色領導，煙臺海軍學堂發展迅速，短短几年便趕上和超過一些老牌的海軍學校，位居清末四大海校之首。煙臺海軍學堂學制三年，專門培養艦艇指揮官，是近代中國培養指揮軍官最多的海軍學校，抗日戰爭期間，中國海軍80%以上的艦艇長是該校的畢業生，煙臺海軍學堂（民國後改稱煙臺海軍學校）對中國海軍發展作出了重要的貢獻。
謝葆璋治校十分重視學生的品德教育。他提出“學堂以德育為貴”、“品必先於學”的思想。而以往各海軍學校“於學問精長、屢列優等者，皆優給獎賞。獨品行端正者，轉付缺如，誠非務本之道”。因此，謝葆璋建議由海軍部設立“端品勳章”，專門頒發給品行端正的學生。同時，對學習優秀的學生髮給“優學勳章”。他認為，只有將二者結合起來，才能培養出更多品學兼優的學生。後來，海軍部採納他的建議。
也許是因為有甲午海戰中泅水逃生的經歷，謝葆璋十分強調在校學生的游泳訓練。他認為，海軍會游泳，如同陸軍會騎馬一樣，是必備的技能。為此，他制訂嚴格的規定：學生不放暑假，在校進行游泳訓練，凡游泳課不及格的學生，即使其他課程都及格，也不能畢業。如此重視游泳訓練，在其他海軍學校是沒有的。
謝葆璋是位有進步思想的愛國軍人，冰心的舅舅楊子玉是同盟會會員，經常與謝葆璋一起作詩談文，借抒情懷。
煙臺海軍學堂的學生，受進步思想的影響，對清政府的腐朽統治和中國海軍的衰敗狀況日益不滿。他們訂閱不少清政府明令禁止的同盟會報刊，開始逐步同情和支持孫中山領導的資產階級革命，個別學生甚至與同盟會建立秘密聯繫。
清宣統元年（1909年），籌辦海軍大臣載洵視察煙臺海軍學堂，認為學堂辦得有成績，質量較高。於是，清政府決定選派20名滿族貴胄學生來校學習，提前畢業，以加強滿族人對海軍的控制。
滿族貴胄學生的到來，激起漢族學生強烈的反抗情緒，雙方不斷發生磨擦。宣統二年（1910年）的春季運動會上，為爭奪一項錦標，互相仇視的滿漢學生爆發激烈衝突。事件發生後，地方官員秉承朝廷旨意，要求校方嚴懲漢族學生。謝葆璋不肯偏袒滿族貴胄學生，據理力爭。不久，清政府命海軍部官員鄭汝成來校查辦此事。
鄭汝成是謝葆璋天津水師學堂的同班同學。他告訴謝葆璋，煙臺海軍學堂中的各種進步活動已引起清政府的注意，京城的一些官員甚至指責謝葆璋是“亂黨”。鄭汝成勸謝葆璋趕快辭職，退身遠禍，免得落個撤職查辦的下場。
謝葆璋對清政府的腐朽統治已不抱幻想，毅然辭去監督職務，帶著家人離開他傾注了8年心血的海軍學堂，返回福州家鄉。在家裡，他不同意女兒謝婉瑩扎耳朵眼兒，更不讓給女兒穿緊鞋。也從來沒有責備過女兒，父親是婉瑩啟蒙的老師。
海軍次長
謝葆璋民國元年元旦，中華民國臨時政府在南京成立。謝葆璋的同鄉好友黃鐘瑛因參加辛亥革命有功，被臨時大總統孫中山任命為民國首任海軍部總長兼海軍總司令。黃鐘瑛上任不久，電請在福州的謝葆璋回海軍任職。
謝葆璋再次重返海軍後，被安排在北京，擔任海軍總司令部二等參謀官。民國2年（1913年）7月4日，謝葆璋補授海軍上校軍銜。8月20日，晉升海軍少將軍銜。10月，謝葆璋以“才具開展，辦事熱心”，被任命為海軍部軍學司司長，負責整個海軍教育工作。此後13年間，謝葆璋一直在海軍部任職。謝葆璋提任軍學司司長後，積極改革和整頓海軍教育，恢復遭嚴重破壞的海軍學校，多方籌措資金，改善辦學條件，在極端困難的條件下，推動海軍教育的發展。
民國4年5月7日，密謀稱帝的袁世凱接受日本提出的滅亡中國的“二十一條”，藉以換取日本對帝制的支持。這一賣國行徑，激起全國人民的憤慨和反對。謝葆璋聞此，滿懷悲憤地用岳飛筆體寫下“五月七日之事”6個大字張貼書房，永不忘這一國恥日。
袁世凱稱帝後，將副總統黎元洪封為“武義親王”，軟禁在中南海瀛台。黎元洪早年畢業於天津水師學堂第一屆管輪班，與謝葆璋是校友。民國建立後，黎元洪提任副總統，曾幾次邀請謝葆璋到他在北京東廠胡同的住所作客，都被謝葆璋婉拒。黎元洪被袁世凱軟禁後，謝葆璋卻不顧當權者的疑忌，經常去看望他，與他一起談天，對弈解悶。因為瀛台潮濕陰冷，謝葆璋每次前去，妻子都特意為他多準備些衣服。
由於海軍建設得不到應有的重視，加之官場腐敗，相互傾軋，使謝葆璋滿腔熱情屢遭冷落。回到家中常沉默不語，在院子裡種花，藉以排遣愁煩。
民國9年（1920年），改任海軍部參事廳參事。
民國15年6月，杜錫珪出任海軍部長，謝葆璋署理海軍次長。至此，謝葆璋的海軍生涯達到頂峰。這一年他61歲。
謝葆璋提任海軍部次長後不久，國內形勢急劇變化。這年7月，國民革命軍誓師北伐。北洋政府軍在北伐軍的打擊下，節節敗退。海軍總長杜錫珪與海軍總司令楊樹莊決定倒戈。
次年3月，楊樹莊正式易幟，宣布就任國民革命軍海軍總司令，率艦隊加入北伐軍。杜錫珪、謝葆璋等高級將領則仍留在海軍部，應付北京政府。1927年6月，北京政府改組，取消海軍部。杜錫珪、謝葆璋去職。
民國歷史上，曾先後有9位海軍總長和12位海軍次長，謝葆璋是第7位次長，也是北洋政府的最後一任次長。
海軍部取消後，謝葆璋被任命為海道測量局少將局長。他攜家眷離開北京，前往上海任職。不久，謝葆璋又奉命兼任全國海岸巡防處處長。
民國18年6月，國民政府在南京成立海軍部。是時，謝葆璋已卸去本兼各職，寓居滬上。因為是海軍前輩，資歷較深，經驗豐富。所以，海軍部聘請他擔任顧問。
民國19年，謝葆璋妻子去世。民國20年（1931年），辭去一切職務，謝葆璋隨女兒冰心離開上海又到北平定居。此後，謝葆璋因年事已高，退出公職，閒居在家。
抗日戰爭爆發後，北平淪陷，民國27年冰心一家南遷昆明，年邁體弱的謝葆璋留居北平，由長子謝為涵負責照料，閒居北京。民國29年（1940年）病逝，終年75歲。
