波多西城位於波多西山腳下，有人還將這座山成為“富饒山”。
1544年，波多西山被發現盛產白銀，這也直接使得波多西城於1545年4月10日在波多西山腳下建立起來。胡安·德·維拉若便是城市建設之一。大規模的白銀開採立刻在此地開展起來，很快，第一批白銀便被裝船送往了西班牙。1672年，一家造幣廠建立起來，專門製造錢幣以滿足這裡的人口增長。也正是在這段時間，86間教堂拔地而起，城鎮人口也迅速增長至近20萬，這也使得波多西迅速成為了當時拉丁美洲乃至世界最大、最富有的城市之一。
進入19世紀，由於獨立戰爭的爆發，當地眾多教堂都被洗劫一空。城市的財富也被轉移至歐洲或是西班牙的其他領地，這裡的人口也減少至1萬左右。隨著1825年玻利維亞獨立，波多西山的白銀礦藏也已被開採一空。進入19世紀中葉，由於白銀的缺失使得波多西的經濟一落千丈，一定程度上來說已然是無法恢復了。
1987年12月11日在法國巴黎，波多西以其悠久的歷史和豐富的殖民地建築，被聯合國收錄至世界遺產名錄。
