樂山歷史悠久，遠在3000多年前的巴蜀時代，曾是蜀王開明部族的故都。公元前四世紀秦滅巴蜀，樂山隸屬於蜀郡，因在成都的南面，故定名南安。
漢代將南安隸屬於犍為郡。南北朝時期，因戰亂不斷，樂山地區的建制屢有變遷。北周置嘉州，取“郡土嘉美”之意。隋朝隋置眉山郡。原南安縣改名龍游縣，傳說是隋朝軍隊從成都乘船向樂山進軍、追擊陳國敗兵時，岷江中有游龍導航，幫助隋朝軍隊統一天下，因此改南安為龍游。唐復嘉州，眉州。
宋朝改嘉州為嘉定府；元代改為嘉定路；明代改為嘉定州；清雍正十二年（1734年）升嘉定州為嘉定府，並在府治置樂山縣，取“城西南五里有‘至樂山’”為名，改龍游縣為樂山縣，“樂山”之名沿用至今。
中華民國廢州府，治地設樂山行政督察專員公署。中華人民共和國設樂山專員公署。1978年樂山縣與五通通橋區合併改為樂山市（縣級），仍隸屬於樂山地區。1985年改樂山地區為樂山市，屬省轄市。
