西漢漢武帝征服南越以後,為了加強對南越地區的統治,隨即在這一帶建立起西漢中央政府領導的地方政權。漢武帝元鼎六年(公元前111)漢武帝置零陵郡,郡治首先設在零陵縣(秦始皇二十六年即公元前221年始設零陵縣,漢武帝元鼎六即前111年設為郡治,隋文帝開皇九年即589年撤消此零陵縣)。治所在今廣西區全州縣鹹水鄉老拱橋邊或鳳凰鄉的建安司。
轄今湘南桂北,治泉陵,即今湖南零陵。當時的零陵縣在今廣西全州。