傳說
據記載,宋徽宗趙佶為在首都汴梁建造花園艮岳,從全國各地搜羅名花奇石,即“花石綱” ,其中有的奇峰因種種原因沒能運走,史稱“艮岳 遺石 ”,玉玲瓏即其中之一。“
玉玲瓏石最玲瓏,品冠江南竅內通。花石綱中曾采入,幸逃艮岳劫灰紅。”(《上海縣竹枝詞》)講的就是這段故事。不過,玉玲瓏之前曾“落戶”三林。
明代
“玉玲瓏”到了上海浦東三林塘人、官至江西參議儲昱的私人花園中。萬曆年間,儲的女兒嫁給尚書潘允端的弟弟潘允亮。後來潘家建造豫園時,便把 “玉玲瓏”移來。相傳,船過黃浦江時,江面突然起風,舟石俱沉。潘家認為這不是個好兆頭,一定要設法補救,重金請善水者打撈上岸,而且同時又撈起了另一塊石頭。說也奇怪,兩塊石頭竟然珠聯璧合,那塊同時撈起的石頭就是現在“玉玲瓏”石的底座。還有傳說,船從董家渡泊岸後,索性就近在城牆上開了個洞,把“玉玲瓏”搬進城內,開洞處成為小南門。