韋夐少年好學，不慕榮利。20歲時，北魏朝廷曾召拜他為雍州府從事。他認為此職並非自己愛好，便假稱有病，棄職離任。從此，隱居林泉，專心讀書深造，時人稱為隱士。後北魏曾10次徵召，他皆不肯出仕。
宇文泰經營關中，聞韋夐清高、博學，曾派人去請他出山，被他謝絕。周明帝在位，對韋夐亦很尊重，曾寫詩一首相贈，詩中邀請他參政。他回詩答謝，表示願意謁見皇帝。於是，明帝命內府每日給韋夐送去河東酒一斗，賜其“逍遙公”雅號，以示尊重人才。南朝陳曾派其尚書周弘正出使長安。弘正慕韋夐的名聲，請求允許拜訪韋。晤談後相見恨晚，弘正意欲邀請其南下，但他不肯應約。這說明韋夐當時在大江南北是很有聲望的。
周武帝宇文邕上台時，為推進改革，廣泛籠絡各方人才。所以，常常邀請韋夐到皇宮中夜宴，與他論道。武帝欲取締佛、道二教，事先詔韋夐論述佛、道、儒三教的優劣。他撰寫《三教序》一篇呈送武帝。他認為“三教雖然宗旨不同，途徑各異，觀點不一，但目的相同，就是引導人們向善，沒有優劣之分。武帝看後，選取儒學。武帝認為佛、道二教的泛濫，對國家經濟的發展和社會生產力的提高形成了阻礙，因此下令禁止佛道二教。
當時，宇文贇為皇太子，聞韋夐之名，致書邀請他到東宮，當面請教立身處世之道。韋夐說：“儉為德之恭，侈為惡之大。欲不可縱，志不可滿。”【註：見《周書》546頁。】勸太子要以節儉為榮，奢侈為恥，不要貪圖其他欲望，專心求索治天下之策。
韋夐一生喜愛研究文史，留心收集文史著作。他手抄的文史書稿約數十萬言，自己所寫的文稿亦很多，到晚年自毀不存。他在臨死之前，囑咐兒子說，在他死後，不必另作新衣，只用舊衣殮葬，一切禮儀從簡，不要收親友的禮物。在祭祀時，也只擺素食蔬菜，不必殺牛宰羊等。
武帝宣政元年，韋夐卒於家，終年77歲。武帝派使者前去致祭，並贈給禮物。
