高岡寨，又名高岡廟、中山公園，古稱高岡堡。原是6米高的土墩，後築樓寨，總面積為12492.5平方米。乾隆7年壬戌歲（1742年）始由長江劉氏十三世孫楚白慷捐千金鑿石築堡，一門獨入，峭壁陡絕，倡成一方保障。寨內分三級，寨頂平坦，第二重古寨門名為“維賢坊”。砌石圍時，於外層建一石門，石門厚2米、寬1.4米、高2.9米，石圍周長369.25米、高4.7米、牆寬1米，均以花崗岩條石砌成，題詞為“錦江屏翰”。
寨上原有高岡廟一座，種有樟樹百餘株。原高岡寨上，廟宇高大寬敞、建築雄偉。中有天井，全為熟磚結構。上廳設神壇，身穿黃龍袍的“高岡福主”坐鎮其中，神壇上面有一木橫匾，楷書浮雕“四國侯王”四字。左右兩邊各有小菩薩一尊。廟的四周有樓櫓二百餘間。該廟常設廟祝一人管理香火。每逢農曆“六月六”，各方香客，雲集長江，敲鑼打鼓舞獅舞龍，恭迎“福主”，有時還演戲酬神，以祈風調雨順，人壽年豐。
民國十九年（1930年），廣東省獨立旅三營進駐長江時，開闢為“中山公園”。在原石門上改成山字形門樓，橫作“中山公園”四個大字。同時園內建有中山公園紀念碑一座和直徑4米園形水池一口，此外還有花壇、花崗岩條石凳等設施。1931年2月7日，紅軍經過長江曾夜宿高崗廟。抗日期間，寨上建有“抗日陣亡將士紀念碑”一座。寨內四周樓櫓等大多數建築設施，已先後拆毀。
1954年，政府為了便於紀念在解放戰爭和建國初剿匪中犧牲的烈士，將在長江範圍內的24位烈士遺骨集中葬在寨內（有墓碑），並在1967年5月建立“革命烈士紀念碑”一座，它象徵革命烈士與世長存，永遠值得人們敬仰。1956年秋初辦長江中學時，其課室初設高岡廟，1958年中學才外遷。1964年廟宇拆除。
1999年，高崗寨中一顆圍徑6.8米、4人合抱的苦楝王吸引了美國哈佛大學博士、法國遠東學院研究員勞格文和省綠化委員會宋副主任等人，都稱從未見過如此巨大的苦楝樹。2001年，原粵贛湘邊縱隊第二支隊副司令員兼主力團團長葉昌骨灰，遵其遺囑葬在高崗寨，並種下兩棵樟樹以示紀念。
現高岡寨有古樟樹、苦楝樹、烏桕樹幾十棵，四季成蔭，空氣新鮮，環境幽雅，俯瞰長江，一覽無遺。
