由來
相傳嚴子陵與劉秀曾是同窗至交。後者做了東漢開國皇帝後，便把嚴請到洛陽，優禮有加，殷勤款待。夜間，兩人同在御榻上抵足而眠。嚴在熟睡中竟把腳擱在劉秀的肚皮上。次日，值班官員急奏，說夜觀星象看到有顆客星沖犯帝座。這就是“客星”之名的由來。 客星山，突兀挺拔，山色蔥蘢。近山處，陳山古村，曲曲小河，蘆葦蒼蒼，嵐光水色，倒影如畫。“身將客星隱，心與白雲閒”（李白詩），當年嚴子陵，謝絕劉秀的再三挽留，棄富貴名利如敝履，隱居富春，死後歸葬在故里陳山上，可謂“高山無古今，大江日東流，人物浪淘盡，英名至今留”。陳山上，南瞰餘姚，北覽慈谿，晴煙鋪錦，稻香萬頃。山高石怪水泠泠，嚴子陵墓在陳山嶺北側下50米處。三尺孤丘，一堆黃土，讓人頓發懷古思幽之情。墓四周，原有石羊、石虎，現已毀，今尚有明正德八年（1513年）所立“漢徵士嚴光墓”碑石一塊（現存慈谿市博物館），鐫“何處是漢家高土，此間有天子故人”聯語的方形石柱兩條。墓左邊，南宋時建有“高閣”和“高節書院”，“高風千古成陳跡，惟有荒祠繞翠屏”，建築物在歷史的風雨中湮沒了。1937年，鄉人在客星山復建了高風亭，惜毀於“文革”期間，客星山上，還有石仲翁等歷史陳跡，山下有嚴陵塢、華清泉。
客星山北有大河，古稱大浦（又稱東江），屬姚江支流，今名東橫河。橫河江上有一座石橋，叫客星橋，又稱安山橋，橋建於宋淳熙七年，元、明時幾經修建。清同治三年修成拱形橋，一孔，跨徑8．5米，全長22．5米，寬3．6米，橋欄上有“客星古渡”四字，此橋氣勢比七星橋還大，可謂東橫河上第一橋，已毀壞了。
宋代孫應時曾撰《客星橋記》：“自漢建武以來千餘年，嚴先生之高風，激越宇宙，天下尊之，無異辭。先生吾餘姚人也，晚耕於富春山，富春析而為桐廬，釣台屬焉。自文正范公建祠而記之，釣台之名大顯，崖石草木，得以衣被風采，發紓精神，傳繪於天下，其邦人尤以為榮。而吾邑之地靈人傑，世反不傳非闕歟。土俗所記，吾邑少東，江瀨粼粼，潮汐上下常有聲，是為子陵灘，意者其初之釣游處也。東北十里有奇峰，曰陳山，拔立千仞，秀表一方。而叢石隆起在山之陰，據峻陘，俯長川，以望東海，是為嚴先生墓，意者嘗家是山而歸葬也。傍又有山，曰嚴公山。有古叢祠，曰先生廟。其應史占如此，豈誣也哉……陳山臨大浦，民橋其上，舊壞。淳熙十年，僧清式大改作，甓石如虹，袤百有五十尺，石欄翼之甚裝，六年乃成。里人相命，亦曰：‘客星橋’。……”
客星古渡原是一個渡船埠頭，遺址在今客星橋東首不遠處，建客星橋後，渡廢。傳說當年嚴子陵拒絕光武帝劉秀封官，從洛陽回老家，到餘姚後改乘小船在此古渡上岸，反穿釘靴上陳山，後隱居桐廬富春。在客星橋東，舊稱子陵灘，系嚴子陵垂釣處。
客星山古蹟
在客星山有不少古蹟。山腳有華清泉，民國《滬杭甬鐵路沿線名勝》一書載：“山半有泉，名華清泉，也稱鏇井。宋元豐中楊景謨顧臨同游，酌泉賦詩於此。”清邵以發曾作《詠華清泉》詩：“客星山高刺天上，可觀海下有清泉，泉中星月如聯珠，珠光倒影高人居……清泉清且華，淵寒足洗耳。”華清泉又名華井泉，清呂迪在《客星懷古》詩中曾提到：“欲知亮節清風在，華井泉留萬古馨。”足見華清泉之名聲。華清泉現存，為一米見方圓形石井，井水清澈，有小魚游。後在此泉下引水鑿池，現為一井一池狀，傳滬杭等地常有人來此取水飲。“自華清泉左數百步，又躍而上登，複數百步，崗平龍合，左顧右鏇，東望山凹處，如吻仰張狀，凹外隱隱見海，其地為嚴光墓所。”據史料記載：“嚴光年八十卒於家，漢光武帝聞後傷惜之，詔下郡縣賜錢百萬、谷千斛，葬客星山麓。”南宋丞相州人史浩曾作詩《吊嚴先生墓》：“玉匣蛟龍已草萊，一邱馬鬣尚封培，雲台若也標名姓，千古誰知有釣台。”明吏部郎中袁宏道也有《嚴陵》詩一首：“溪深六七尋，山高四五里，縱有百尺釣，豈能到潭底。”
歲月流逝，漢時碑石陵墓，早已蕩然無存。唐顧況（貞元年間）所篆“漢嚴光墓”碑，至南宋乾道間已殘缺不全，乾道7年（1171）在嚴子陵墓右側建嚴公祠。史浩知紹興府時，曾新築墓道。明正德8年（1513）紹興同知屈銓立碑，鐫“漢徵士嚴光之墓”或為“漢徵士嚴公墓”，墓前置有石羊，豎有石柱一對。明萬曆32年（1604）由浙江按察司重修子陵墓和嚴子陵祠，1919年嚴師愈對陵墓又一次進行修葺，並增建墓表，以資景仰。此後數十年間，戰爭頻繁，墓又毀，至1960年，墓地尚有石碑5塊，刻有楹聯的石牌坊柱子還立於其上，“文革”其間，這些遺存除一塊書有“漢徵士嚴公墓”的明代墓碑（現存於慈谿博物館）和半塊清代餘姚府鐫立的禁上樵牧石碑外，其餘都被生產隊建倉庫、造機埠時毀壞以作石料。
子陵墓所在的楊梅崗，自山頂至山腰處，近代還發現有戰國至晉代的大型古墓葬群。
