軍山得名於唐代。據同治版《樂平縣誌》載:“唐末五姓軍保山捍寇(舊時對黃巢起義軍的誣稱),因名軍山。”又因山脈逶迤,群山朝拱,如大將登壇,眾武士附聽令狀,故稱軍山。
軍山之顛峰連綿,山勢陡峭,尤以中部三峰突出。主峰居中,海拔468.6米,東峰海拔420米,西峰海拔424米,余皆400米以下。三峰並立,主峰距東、西峰各為八、九百米。
山中風物勝跡亦為軍山添色不少。東峰海拔410餘米處於五代楊吳(公元905-937年間)時建有寺觀———軍山廟,至清代軍山共有三座廟,近代皆廢,現今劉、邱、吳等姓正在東峰古廟遺址重修軍山廟。該廟前有一株古銀杏樹(註:原為兩株,上世紀八十年代被雷擊斷一株)和石塔,廟旁有泉,泉東花蘭塢,時散芳香;山南有雲坪、醉仙石、雲霧谷等。東南山崖上有灣頭武俠吳文林於清乾隆六十年(1795年)刻的“霧障雲屏”四個大字,字跡清晰,筆力遒勁,與周圍花草灌木交相輝映,宛若一幅古樸、清幽、奇妙而富有詩意的畫卷。軍山摩崖石刻,是樂平市迄今為止發現的唯一的山崖石刻。此外還有懸崖瀑布、日月崖等景點。
軍山腳下丘谷相間,丘坡平緩,十多座小型水庫點綴期間,像是一個個明亮的珍珠,給山下的人們帶來豐收的喜悅。