黃祖連回國後，入天津水師學堂駕駛班，又入“威遠”練船見習，後調“濟遠”艦，“積勞敘千總”。1889年，升署北洋水師中軍左營守備，充“濟遠”艦駕駛二副。1892年12月，調充廣東水師“廣丙”艦幫帶大副。1894年5月，李鴻章奉旨到威海檢閱海軍，黃祖連指揮“廣丙”北上會操。論功以都司升用。校閱後，留威海。
黃祖連在海軍中雖年輕資淺，然熟讀戰史，頗具謀略，並以敢言見稱。1894年7月25日，日本挑起甲午戰爭，祖蓮憂慮國事，向提督丁汝昌獻策曰：“嚴兵扼守海口，而以兵艦往搗之，攻其不備。否則載勁旅抵朝鮮東偏釜山鎮等處，深溝高壘，絕其歸路，分兵徇朝鮮諸郡邑，彼進則迎擊，彼退則尾追，又出偏師擾之。彼糧盡援竭，人無鬥志，必土崩瓦解，此俄羅斯破法蘭西之計也”。當時，“鎮遠”管帶林泰曾也提出類似建議。但扼於朝廷的命令，丁汝昌無法採納黃祖蓮等的建議。
9月17日，北洋水師與日本聯合艦隊在黃海展開大戰。當時“廣丙”與“平遠”二艦在大東溝港口擔任警戒。中午12時50分戰鬥打響後，“廣丙”、“平遠”便趕往戰場。午後1點，參加戰鬥。下午2時40分，黃祖蓮指揮“廣丙”炮手配合“平遠”艦，擊中日本海軍軍令部部長乘坐的“西京丸”號，並引起火災，“福龍”魚雷艇乘機向“西京丸”發射魚雷，可惜都未命中，使“西京丸”僥倖逃脫。
1895年1月20日，日軍在榮成灣龍鬚島登入，進攻威海。30日，日軍從水陸兩路發起攻勢。日本第二軍第二師團先進攻威海南幫龍廟嘴炮台。黃祖蓮指揮“廣丙”將士“開炮擊敵，敵少卻。既復大集，諸軍皆潰”。龍廟嘴炮台最終落入敵手，日軍隨即用龍廟嘴炮台的火炮轟擊威海港內的北洋水師艦船，激戰中，黃祖連不幸中炮，壯烈犧牲。
