傳說中的賢官亭比現亭更高大，更漂亮，內有書 碑石刻，供人欣賞；有棋盤石凳，供人品茶對弈。四周是曲柳、古松、小橋人家，如詩如畫。與當時沙河東岸的沙河寺、北岸的月牙 樓遙相對應，盛極一時，吸引眾多文人墨客前來遊玩觀賞。據說乾隆皇帝下江南，帶著紀曉嵐一同路過賢官，因尋找賢官亭沒有找到，錯過日頭，在該鎮駐丘村(原名駐駕丘，因乾隆住過得名，還留有一口乾隆井)住了一宿，留下了"千年古亭無覓處，留待後人憑弔誰?"的感嘆。
賢官亭，又稱"響亭"。相傳在隋唐時期，瓦崗大軍將領羅成的姐姐羅風英起兵與隋軍作戰，大軍在賢官境內安營紮寨，並在前沿擺下迷魂陣。為了便於指揮和觀察敵情，羅鳳英選一高地建起一個近似於烽火台一樣的亭子，發現敵情，白天搖旗，夜裡放響箭，該亭被稱為響亭。羅風英戰死，戰爭結束，留下迷魂陣、八角井和響亭三個遺址。後來響亭下住人家，形成集市後就叫"響亭街"。
不知過了多少年後，有一年早春發大水，農民一年無收，幾乎家家斷炊。為了活命，響亭街上的人商定，大夥都到街頭的官路旁呼天喊地請求上蒼搭救。一連數日呼喊。天地沒有動心，卻被當時的沭陽縣令知道，便帶著官糧來到響亭街賑濟，使數十戶人家得以保命。後來，人們為了感謝賢官賑濟之事，就在當年羅鳳英建的響亭遺址上，捐資建起一亭，並將這位縣令賑災之事刻在亭上。亭子建好後，因當地語中"響"與"喊"的聲母相同，以致被人們說成"喊亭"或叫"喊官亭"。沭陽縣誌載："賢官亭"原名"喊官亭"，出處亦無詳釋。
關於"賢官亭"或者"喊官亭"名稱的由來，還有其它一些傳說，當然都是無法稽考的。據傳，賢官亭始建於金人滅亡北宋的時期。真正的賢官亭名稱的由來，有一個比較合理的傳說。北宋王朝被金國滅亡之後，九王爺趙構跑到江南杭州，建起歷史上苟安於一隅的南宋王朝，據說，跟隨趙構到江南的仁人志士中，有一位山東人單公。此人在抗金戰場上出生入死，屢立戰功，後因受傷轉到江南醫治。他傷好後曾多次請求渡江抗擊金兵，但這時朝中主和派得勢，他的請求不但沒被批准，反被放到海邊一個小縣任縣令。單公雖然行武出 身，他到任後，把一腔熱血，化作對民眾之愛，嘔心瀝血，勤政為民，短短兩年時間，將這個縣治理得民風淳正，五穀豐登，路不拾遺，他本人也以賢德之名傳遍四方。然而，由於他一心勤於政事，風塵勞碌，致使舊傷復發，雖經多方醫治，無力回天。彌留之際，他對舊部說："我死後，請你們設法將我送回老家安葬。一來讓我看看家鄉父老，二來讓我望著何日收復失地。"那些舊部泣拜而應。單公死後，選出代表護送棺木回老家山東。
這群送棺的人，歷經千辛萬苦，這天來到沭陽北的一個小集鎮。不料，天空下起大雨，道路泥濘，無法前進，只好在此休息躲雨。然而，人好躲，棺木卻在雨地，小集上的人一聽說棺中裝的既是一位抗金名將，又是一位愛護百姓的賢官的遺體，紛紛冒雨送來柴草木料，搶搭起一 個靈棚，將棺木遮住。沒想到大雨下了七八天，大水漫了道路、田地，集上的人對送棺人們說："現在正是六月陰雨天氣，雨不知何時才停，就是停了也不知要等多少天，水才能退下去，不如將單公葬於此地，待將來再搬回，送棺人覺得有理，便選一高地，將其葬下，在挖坑之日，四周還是大雨滂沱，唯獨這塊高地上空無一點雨星，人們都說這是單公在顯靈。
自單公下葬之後，這裡接連豐收三年。家家戶戶豐衣足食。集鎮上人們在一起議論。認為這幾年風調雨順，是單公保佑。於是大家決定湊錢在單公下葬處建一亭作紀念。亭子建成後取名為"賢官亭"(又諧音單公亭)。單公墓，於賢官亭建成後不久，被家人遷走。盛極一時的賢官亭，後來也毀於戰火和水患。
賢官亭的傳說，雖然縹緲，但它久盛不衰，其意義是很深重的。可以說，在舊社會，勞動人民盼望"賢官救苦救難"，真如旱苗思雨，他們圍繞賢官的影子造出種種傳說，充分反映人民民眾對清正廉潔官員的愛戴，反映人民 對幸福生活的嚮往。
如今看到的賢官亭，是該鎮民眾於1995年自發募捐建成的。亭子建成後得到張愛萍、楊純、田哨等老一輩革命家的肯定。因為支持民眾頌揚賢官就是尊重民意。張愛萍將軍欣然執筆，為賢官亭題寫了亭名。
