春秋時周定王十三年（公元前594年）晉國置瓜衍縣（今市區北5千米虢城村）。秦王政二十二年（公元前225年）屬茲氏縣域。西漢屬茲氏縣。三國魏中陽縣治徙今市區西13千米鞏村，屬西河郡。西晉永嘉元年（公元307年）併入隰縣。北魏太和十七年（493年）於今市區東3千米置永安縣，屬西河郡。孝昌年間吐京郡自今石樓縣境寄治今市區西10千米吐京村，永安二年（529年）於今市區西10千米六壁頭村僑置顯州及建平郡，於今虢城村置定戎郡，所置郡俱屬顯州。北齊廢顯州及所屬郡。
唐武德三年（620年）於今市區西南33千米王莊堡村別置高唐縣，屬北溫州。貞觀元年（627年）廢高唐縣，因永安縣名與涪州的永安縣（今重慶市奉節縣）重名，遂產生更名之議。因鄭興以“孝行聞於朝”，於是唐太宗李世民勒賜改永安縣為孝義縣，屬汾州，改鄭興所居的故里為“孝義里”。另據《讀史方輿紀要》載，縣名以縣境有孝水和義水得名。宋太平興國元年（976年）為避太宗趙光義名諱，改中陽縣。次年太宗改名，縣復稱孝義。熙寧五年（1072年）廢入介休縣。元祐元年（1086年）復置孝義縣，屬汾州。明、清屬汾州府。民國初年屬冀寧道，道廢后直屬省。
1949年屬汾陽專區，1951年屬榆次專區，1958年廢入介休縣，1961年復置，屬晉中專區，1967年屬晉中地區，1971年劃歸新成立的呂梁地區。1992年2月10日，經國務院批准，孝義撤縣設市，為縣級市，同年5月1日，孝義市正式掛牌成立。2003年10月23日，國務院批准撤銷呂梁地區，設立地級呂梁市，縣級孝義市改由山西省直轄、地級呂梁市代管。
