自幼敦厚老實，讀書通大義，崇尚名節義烈，成年後放棄科舉，改理家務，研究農商實業，逐漸富裕起來。致富後濟世利民，樂善好施，凡屬公益事業，儘管花費巨資也在所不惜，受到鄉民稱讚。
清光緒八年（1882年）以來，地方屢遭饑饉，每逢災年，他都創設賑局，捐獻錢糧賑濟災民。春天則施錢散種，救濟窮苦百姓，十幾年從未間斷。
光緒三十三年（1907年），侄婿溫朝鐘在重慶加入同盟會，帶回《革命軍》、《民報》、《同盟會宣言》等革命書籍，在鄉里倡導“風俗改良會”。黃玉山首先贊成，並將溫朝鐘請至家中，縱談時事，得知革命黨要發動起義，推翻清朝腐朽統治，當即表示要傾家相助，以求革命成功。於是，經溫朝鐘介紹加入同盟會。不久，溫朝鐘、黃玉山等邀集黔江、鹹豐同盟會員，發起組織革命武裝團體——鐵血英雄會，提出“義联英俊，協和萬幫，推翻清廷，打倒列強，復興中華，實行共和”的政治主張。黃玉山捐資，秘密購置軍火器械。又資助旅費，派侄兒黃盛湘、外甥王治安到四川、湖南演說，聯絡同志，發展會友。附近志士譚作霖、王克明、王雲笠、及黃玉山族人黃海山、黃敦五、黃凌雲等，都踴躍輸財出力，聲勢越來越大。短短几個月時間，會友發展到七八萬人，而黃玉山家也成了鐵血英雄會錢糧軍械供給庫。
清宣統二年（1910年），革命風潮日益劇烈，湖北總督令長江上游各府道通緝革命黨人。黃玉山與溫朝鐘等商議，認為起義的時機已成熟，若各地統一行動，完全可以收“北美十三州同時獨立”之功效。當時，黔江縣令王熾昌正假借推行新政，攤派苛捐雜稅，搜刮民脂民膏，中飽私囊，民怨沸騰。
黃玉山遂偕同溫朝鐘、王克明等上彭水縣鳳池山開會，商討武裝起義，不料被溫朝鐘的仇人溫百川向黔、鹹兩縣官府告密。鹹豐縣令徐培同情革命，將溫百川關進監獄；黔江縣令王熾昌則召集團防鄉勇商議防剿事宜。鐵血英雄會不得已於宣統末年（1911年）1月3日（庚戌臘月初三）倉促起義，臨時召集二百餘人組成革命軍。溫朝鐘任司令總長，王克明任次長，黃玉山任後勤總長。
1月5日（庚戌臘月初五），革命軍發展到一千餘人，溫朝鐘、王克明、黃玉山等率隊過蛇盤溪，越大埡口，7日破黔江縣城。縣令王熾昌潛逃，武舉孫常禮被斬首；革命軍入城後，因兵力孤單，折回大壩、後壩一帶，號召民眾，以圖進取，這時，革命軍發展到八千餘人，軍需、火器全由黃玉山一家供給。1月12日（庚戌臘月十二），革命軍再取黔江縣城，在城郊與酉陽大隊官軍遭遇，激戰至二三更時分，革命軍受挫。溫朝鐘率數十人退走破水坪。湖北、湖南、四川、貴州四省官軍接踵而至，殘酷圍剿，溫朝鐘、施雲山等數十人壯烈犧牲。1月20日（庚戌臘月二十），王克明被害。
黃玉山因年老操勞成疾，二次攻黔江未率隊親征。革命軍失敗後，他被老百姓競相保護隱藏起來，當他聽到發動武裝起義的一些主要成員都已殉義，而四川、湖北兩省官軍正為爭功大肆殘殺起義人員，擔心老百姓受牽連，便挺身而出，見官軍警長陳錫光，要求解赴黔江，以頭贖民苦難。縣令王熾昌、酉陽州牧楊兆龍親自審問，黃玉山把一切責任都擔在肩上。
1911年4月29日（清宣統三年辛亥四月初一），王熾昌被革職，楊兆龍鑒於殺人過多，民情激憤，新任護州總督有所訓誡，有意開脫他，令新任黔江縣令文拯複審，黃玉山始終執一詞。
1911年5月2日（辛亥四月初四），黃玉山在黔江縣城西關外與楊松柏同時遇害，時年62歲，臨刑時神色自若，大聲說：我為革命而死，必能留名千古，只可惜未能親眼看到革命成功！”往觀的民眾都感動得流了淚，痛罵文拯殘暴狠毒。
