向賢矩,湖南寧鄉人,1892年出生於湖南省寧鄉縣向家瑕。湖南陸軍國小堂、武昌陸軍第三預備學校畢業。1914年8月考入保定陸軍軍官學校第三期炮兵科第一連學習,與文素松、李朝芳等同學,1916年8月畢業,後入日本陸軍士官學校第十期、南京中央軍校高等教育班第五期畢業。歷任湖南陸軍(師長宋鶴庚)炮兵團排長、連長,步兵團營長,湖南護法軍第一軍(軍長宋鶴庚)第二混成旅(旅長趙鉞)司令部參謀長兼步兵第一團團長等職。1923年8月參加譚趙戰爭。戰後隨部赴廣東,任駐粵湘軍總司令(總司令譚延闓)部湘軍講武堂教官,駐粵建國湘軍第二師(師長戴岳)司令部參謀長等職。
1926年7月,向賢矩任國民革命軍第二軍(軍長譚延闓)第六師(師長戴岳)司令部參謀長,參加北伐戰爭。1928年10月,向賢矩任南京國民政府軍事委員會參軍處高級參謀、軍事委員會銓敘廳(廳長林蔚)軍法處處長。1933年9月,蔣介石以第八十七師和第八十八師有兩個補充旅組建了第四十六軍(軍長樊嵩甫)第三十六師,以宋希濂任師長,向賢矩為參謀長,參加了對中央紅軍的的第五次“圍剿”,抓獲了瞿秋白,受命參與審訊並將其處決。 1935年5月,向賢矩任陸軍炮兵上校。 1937年5月21日,向賢矩授陸軍少將軍銜。
抗日戰爭爆發後,向賢矩任第三戰區第九集團軍9總司令張治中、朱紹良)第七十八軍(軍長宋希濂)第三十六師(宋希濂兼)司令部參謀長,隨宋希濂參加了淞滬會戰、南京保衛戰。隨後,向賢矩任第九戰區第一兵團(總司令薛岳)第二十九軍團(軍團長李漢魂)第七十四軍(軍長俞濟時)司令部總參議,隨部參加武漢會戰。1939年春,向賢矩任第九戰區第十九集團軍總司令部(總司令羅卓英)高級參謀、第六戰區司令長官部(司令陳誠、孫連仲)軍法執行監部分監等職。1947年2月27日,向賢矩入中央訓練團將官受訓。同年6月28日,向賢矩除役。1949年2月,向賢矩任川湘鄂邊區綏靖公署(主任宋希濂)高參室主任。