身世
《舊五代史》中僅僅記載了柴熙讓和柴熙誨的名字和爵位， 然而歐陽修《新五代史》卻多加出一句“熙讓、熙誨，不知其所終” ，胡三省認為這是歐陽修避談柴熙讓和柴熙誨的下落。
趙匡胤奪取皇位後初次進入皇宮，見到宮中嬪妃抱著一個小孩子，問是誰，回答說：“這是周世宗的兒子。”當時范質、趙普、潘美等人隨侍趙匡胤左右，趙匡胤回頭詢問對趙普，趙普等人說：“除掉他。”潘美與另一名元帥在趙匡胤身後不說話，趙匡胤招呼潘美詢問，潘美不敢回答，趙匡胤說：“我即位於周世宗，如果殺了他的兒子，不忍心這么做。”潘美說：“臣與陛下曾都是周世宗的臣子，勸說陛下殺掉這個孩子，則辜負了周世宗，勸說陛下不殺，陛下必定對我生疑。”趙匡胤說：“送給你做侄子。周世宗的兒子不可以做你的兒子。”潘美於是帶著這個孩子回家。之後趙匡胤也不問這個孩子的情況，潘美也不說。這個孩子就是潘惟吉，後來做到了刺史。潘美本來沒有兄弟，潘惟吉只稱潘美為父親卻不說祖父。這個版本出自王鞏的記載，他聲稱聽說自潘惟吉的後裔。
另一個略有不同的版本出自王銍的記載：趙匡胤陳橋兵變後進入皇宮，後宮嬪妃迎接跪拜，宮人還抱著兩個小孩子來參拜，趙匡胤詢問得知這是周世宗的兩個兒子紀王和蘄王。趙匡胤回頭對部將說：“這還留著乾什麼？”左右就將兩個孩子提走，只有潘美在趙匡胤身後用手掐著宮殿的柱子，低頭不說話。趙匡胤說：“你認為不可以這樣嗎？”潘美回答說：“臣怎么敢認為不可以，但是這在道理上不安心。”趙匡胤即刻命令將兩人追回，以其中一人賜予潘美，潘美將他收養為兒子，趙匡胤此後也不再過問，此人就是潘惟吉，潘惟吉只以潘美為父親而不及潘美的其他家人，他的後裔也與潘美的子孫使用不同的字輩。
為官
鹹平四年六月丁卯（1001年7月20日），宋真宗趙恆派戶部員外郎直史館曾致堯、太常博士王勖、供備庫使潘惟吉、通事舍人焦守節分別前往巴蜀的川州、峽州等地巡查，掌管兵器，考察官吏能力。曾致堯誤將詔書留在家裡，潘惟吉教曾致堯上書說“在渡過嘉陵江時因為舟船殘破，詔書弄丟了”來解脫，曾致堯說：“做大臣的欺騙君主，我不忍心這么做。”於是上書自我審核，宋真宗赦免不過問。後來，潘惟吉進入皇宮稟報巴蜀的情況，詳細敘說了曾致堯為什麼要自我審核，宋真宗嘆息了很久。
鹹平四年閏十二月庚寅（1002年2月8日），宋真宗因為河北鬧饑荒，分別派遣知制誥梁顥、薛映，供備庫副使潘惟吉，西京左藏庫副使李漢贇等人前往打開官倉，賑濟流民，可斟酌情勢，不須請示，自行處理。
潘惟吉曾經與宋真宗在別殿中談話，宋真宗對他說：“臣子立於朝堂，如果專心致力安樂，不能以功勞能力升職，不足以地位顯要。”潘惟吉當即要求外任，被任命為天雄軍駐泊都監，還未上任，於大中祥符二年九月甲子（1009年10月3日）被朝廷任命出任遼朝皇帝生辰副使，充當太常博士、直史館樂黃目的副手，出使遼朝。潘惟吉接受任命入宮拜謝時已經患病，宋真宗察覺他很瘦弱，派遣使者詢問，潘惟吉自稱沒有患病。進入到遼朝境內，潘惟吉疾病發作，被肩輿送回，宋真宗派遣潘惟吉的兒子乘坐驛站的馬匹前往迎接，大中祥符三年二月辛卯（1010年2月27日），潘惟吉抵達雄州就去世了。宋真宗很憐憫他，命令潘惟吉的弟弟潘惟清飛馳前往護理喪事，由官府操辦喪事。潘惟吉雖然是外戚，能以禮法自我約束，前前後後奉命辦事，朝廷內外都稱道他勤勉幹練。
學者考證
大唐西市博物館收藏有一方《宋故贈太子左衛率副率潘君及其夫人仁壽縣太君王氏墓志銘》，為潘惟吉之子潘承裕及其夫人王氏的墓志銘，墓誌中不提祖父為誰，而提到叔祖潘美，李裕民認為這極其反常，且潘美是大名人，而墓誌說潘承裕是開封人，籍貫完全不同，這一切證明王鞏的記載是真實可靠的。宋朝祭祀後周宗廟的崇義公、宣義郎都是周世宗侄子柴詠的後裔，周世宗前三子從小被殺，周恭帝和柴熙謹早卒無後，周世宗的血脈只有潘惟吉一支。
後裔
•兒子 潘承裕，東頭供奉官，娶忠武軍節度使、同中書門下平章事秦正懿王王審琦的孫女
•孫子 潘夙、潘震
•曾孫 潘器先、潘幾先、潘令先、潘野先、潘民先、潘慎先、潘行先、潘信先
