在清朝年間,新街一帶還是處於海邊,每逢大潮來臨,海水湧上,遍地澤國,先民們苦不堪言,後來大家一起在這個地方挖泥築壩,逐漸在這個形成一個幾米高,幾十米寬的四方形土丘,每逢大潮來臨,先民們便爬到上面躲避海水。
後來隨著灘涂的淤積,海水逐漸退去,原本的灘涂地帶,漸漸改良,變為良田。四方墩原來的作用不再,反而占著大片良田,於是大家將這片高地的土挖去,改造為良田。僅剩一米見寬的小土墩,訴說著往日的滄桑。
據當地的一位袁興和老教師稱,該地以前戰爭期間,處決犯人地方,有萬人坑之說。後來又經常經常傳出奇異事件,有人傍晚送饅頭,莫名其妙少幾條;一條史無前例的大蛇被人們在附近發現。。。。。等等相關傳說更是使四方墩平添一份神秘色彩。