在北宋時，江夏黃氏第34世、浙江諸暨孝義黃氏的第7世黃汝楫，曾官任朝儀郎，知浦江縣，贈開府儀同三司。他家財萬貫，仗義疏財[1]。“宣和中，方臘犯境，乃盡瘞其財，將逃避。聞賊掠得二千人，閉之空室，邀金帛贖之。否則殺。黃乃悉發所瘞，直二萬緡，輸之賊營，以贖其命，二千人皆得歸。”[2]黃汝楫生有八個兒子，其中五為進士，二登制科，一舉茂才，都步入宦途。中進士的五人分別是：
黃 開，紹興二十四年甲戌科（1154年）張孝祥榜。
黃 閌，紹興二十四年甲戌科（1154年）張孝祥榜。
黃 閣，紹興二十四年甲戌科（1154年）張孝祥榜。
黃 聞，紹興三十年庚辰科（1160）梁克家榜。
黃 誾，乾道五年己丑科（1169）鄭僑榜[3]。
後五子歸省，太上高宗皇帝手書“五桂聯芳”四字以贈，復為之《送五子還鄉詩》並序，一時傳為美談。
《送五子還鄉詩》並序
卿昆季辭朕而歸，欲留不可，偶成數語為贈，一以表君臣臨別眷戀之私，一以為卿子孫後日之光耳。
不德作民王，賢良在朕旁。
普天夫子鐸，仙籍桂子香。
昔日燕山竇，今朝浣水黃。
雁行當不亂，衣錦好還鄉。
後來黃汝楫的後代就把自家的祠堂稱為“五桂堂”。自此以後，歷代文人多有記述黃氏五桂堂的，據現有資料，在宋代就有朱熹和王十朋等文化大家分別寫有《五桂堂記》和《浣水五桂堂記》[4]。
