1962年1月,徐茂軍出生於江華縣白芒營鎮石角嶺村一戶普通的瑤族農民家庭,1981年在零凌師範畢業後,他當了10年的教師。
從政始於1991年,由教師身份轉換為公務員後,徐茂軍調入了江華縣政法委成為一名普通幹部。“主要是負責寫一些材料、領導講話稿和一些調查報告。”
1997年,他升為江華縣綜合治理辦公室主任(副科級別),1998年底,調任該縣大石橋鄉黨委書記。3年之後,徐調回縣政法委任副書記,併兼任綜合治理辦公室主任。2002年,徐成為縣政法委第一副書記,主管縣政法委的財務、公辦室及全縣的綜合治安(治理)工作。作為江華當時最年輕的政法委第一副書記,徐茂軍被列入縣委培養的後備少數民族幹部之一。