南宋淳熙年間許尚作《華亭百詠·金山城》詩云：“治盛周康世，東遊豈信然，城闉亦隳廢，圖牒謾相傳。”金山古名釗山，周康王名利，是山因康王築城而得名，抑城因山名而附會為康王所築，無考。民國24年(1935年)，考古工作者在戚家墩一帶海灘及海塘樁石護岸工程的石塊之間，發現大量印紋陶片，檢得數麻袋之多；1958年，又在大金山山腰發現幾何印紋硬陶；70年代初，在金山衛南灘地貝殼堤下部發現輪廓磨圓的戰國時代的麻布紋、青瓷碗等陶片，說明在先秦時期金山北麓確已有城堡的設定或聚落的形成，其遺址在淪海以後受潮流的破壞，遺物隨海潮漂流沉積於戚家墩、金山衛一帶。
南北朝時，梁天監六年(507年)分海鹽縣東北境置前京縣，翌年築城於金山北麓的金山故城一帶。宋許尚《華亭百詠·前京城》詩云：“廬落皆無有，依稀古牒存，登臨認遺蹟，林莽暮煙昏。”《輿地記勝》嘉興府古蹟載：“前京城在華亭縣東南。舊經雲，以近京浦，因以為名，其城梁天監七年築”。《讀史方輿記要》、嘉慶《重修一統志》及宋許尚詩注，均載前京故城在華亭東南八十五里，其方位、道里均與《雲間志》所載金山故城相符(關於前京縣治所在，史有數說，一說建於海鹽縣故址，有認為在今浙江省王盤山下，也有認為在平湖故邑山旁)。
五代時，吳越王錢鏐。在梁前京城的廢墟上重建金山城，為海防戍守處，並於其東約十里，“當潮勢奔猛處設周公墩，築城置戍，宋元仍之”(正德《金山衛志》)。此外，又有“白茅墩、蓬陣墩，皆舊烽堠，今其址並淪于海”(乾隆《金山縣誌》)。
正德《金山衛志》引《松江郡志》說：“鸚鵡洲在海中金山下，……金山故城所在也”。該志古蹟也載：“元末潮齧山北，古橋井猶鑿鑿在，海民沈氏者井中得碑，摩挲其文曰“鸚鵡洲界，其地已淪于海”，疑古橋井即為金山故城的遺址。
明代，金山衛建立後，大金山成為海防前哨，經常派兵上山巡邏瞭望。抗倭名將戚繼光、俞大猷曾在此演兵(光緒《華亭縣誌》)。
