威遠樓的始建史無明載。根據一些史載，大致可知建築年代在唐至五代之間
“雙闕”是供嘹望的樓，因有東、西兩門，又稱“雙門”。清·道光《晉江縣誌·卷12·古蹟志坊宅附·城中古蹟·天地春》：“天地春，即上條所云‘雙闕’也。東西兩門，中累石如城，蓋樓其上顏曰‘天地春’。”
武榮州治從南安豐州移至今泉州市區是在唐·久視元年（700年），景雲二年（711年）武榮州改稱泉州。其時並在北隅（今中山公園一帶）依雲榭筑州衙，建六曹都堂署及參軍廳，衙前辟南大街為市。不久開始在治地建城，是為唐城。“雙闕”之始建大概在這個時期。
宋代，“雙闕”為“測漏所”。
元因之。至正九年（1349年） ，泉州達魯花赤偰玉立新建一座規模宏偉的衙門，原址再建“雙闕”，仍為“測漏所”，並請三山（福州）名士吳鑒撰寫碑記。
明·擇址重建“譙樓”
明·英宗·正統間（1436—1449年），原“測漏所”毀，在古州衙前擇址重建，為“譙樓”。清·道光《晉江縣誌·威遠樓》引明·史繼偕記云：“我朝改郡為衛，正統年毀撤而更之。而移其址於第二門，則實由正統間始。……（按：此則移今所者，始於正統也。）”
明 ·天啟六年（1626年），東閣大學士、泉州人史繼偕書寫《重修譙樓記》。清·道光《晉江縣誌·卷13·公署志倉厫附·泉州衛指揮使司》收錄如下：
“史繼偕《記》：
郡故有譙樓，相傳唐末·閩越·王審知撫有七閩，始開府治。前辟雙闕，下累石如城。稍北九十步為應門。應門者，第二門也。
歷宋、元，因其舊，改譙樓為測漏所。後屢圮屢葺。至正（1341—1368年）年間，乃大新之，而舊志莫考。按陶人欵識，有‘至正元年’字，則建於是年無疑。
我朝改郡為衛，正統年毀，撤而新之。而移其址於第二門，則實由正統（1436—1449年）間始。歲久漂搖，日就傾圮。於是，郡大夫漢陽沈公（沈翹楚）來守是邦，慨然引為已責。以其贏若干鏹，為文武吏倡。余不佞，及諸薦紳各出橐中裝助之。詳具大夫所為記中。說者謂郡城中含七山，斯樓實踞其中，以故人文甲天下，由地脈所團聚處。今茲一飭，治間山川，愈以開明靈秀，倍為映發，此其劾〔豈〕獨一測漏知時已哉？文武為憲大夫有之，是可書也。
役始丙寅（天啟六年，1626年）三月，竣於八月。
大夫為酒招余，落之而系以詩：
於赫泉山，牛女分躔。郡治踞之，靈異結蟠。爰有譙樓，翬飛雲連。重階疏寮，海邦所瞻。傳且千祀，豐極而圮。間或增修，補苴焉已。浸尋弗支，疇度疇理。哲匠應期，沈侯則以。義問一宣，群公鹹應。迨及簪紳，斥貲相競。是築是營，無煩後命。層構幻成，麗譙遜盛。乃命芳筵，把酒酹天。中和樂職，天子萬年。文廟峙東，武衛後列。佳氣蔥蘢，孕為材傑。仰贊皇猷，星暉月潔。太史陳風，天顏闓悅。”
