望兄亭來源於這樣一個故事:北宋後期,永嘉港頭蒼坡的第六代世祖,有兩個兒,老大叫李秋山,老二叫李嘉木。兄弟兩個在家種田,又勤力又省徑。後來兩兄弟都成了家。大哥秋山搬到方巷去住,阿弟嘉木仍舊住在蒼坡老屋。分居是分居了,兩個人的心還是山上扁豆藤纏藤,分不開扯不斷,有一日見勿著,就連吃飯也味道。他們日裡幹完農活,黃昏呢總要相聚在一起,話家常、講農話、論詩文,勿管颳風落雨,日日照樣。
一日,李秋山吃了晚飯,走到蒼坡阿弟屋裡談天,一直談到下半夜,還是舍勿得離開,直到天快光了,阿哥才起身要走歸。從蒼坡到方巷,路不過一里多,只是路上十分冷清,嘉木不放心阿哥一個人走回去,就送他到方巷。嘉木轉身回蒼坡時,秋山更不放心阿弟一個人去,也送他到蒼坡來。兩個人送來送去,一直送到天大光。後來,他們覺得恁相送,白白誤了光陰,就商量好在自個地方造一座亭閣。嘉木在蒼坡東面建造瞭望兄亭,秋山在方巷村北面建造了送弟閣。夜裡分別時,各自站在亭閣里,用明燈劃了三圈,表示一路平安。
八百多年過去了,楠溪江邊的望兄亭和送弟閣還是好的,李家兄弟相親相愛的故事一直流傳著。