柳遐，字子升，河東解人，宋太尉元景從孫也。祖叔珍，義陽內史。父季遠，梁宜都太守。遐幼而爽邁，神彩嶷然，髫歲便有成人之量。篤好文學，動合規矩。其世父慶遠特器異之，謂曰：“吾昔逮事伯父太尉公，嘗謂吾云：‘我昨夢汝登一樓，甚峻麗，吾以坐席與汝。汝後名宦必達，恨吾不及見耳。’吾向聊復晝寢，又夢將昔時坐席還以賜汝，汝之官位當復及吾。特宜勉勵，以應嘉祥也。”梁西昌侯藻鎮雍州，遐時年十二，以百姓禮修謁，風儀端肅，進止詳雅。藻羨之，試遣左右踐遐衣裾，欲觀其舉措。遐徐步稍前，曾不顧盼。仕梁稍遷尚書功論郎。陳郡謝舉時為僕射，引遐與語，甚嘉之，顧謂人曰：“江漢英靈見於此矣。”
岳陽王蕭詧於襄陽承制，授遐吏部郎，賜爵聞喜公。尋進位持節、侍中、驃騎大將軍、開府儀同三司。及詧踐帝位於江陵，以襄陽來歸，辭詧曰：“陛下中興鼎業，龍飛舊楚。臣昔因幸會，早奉名節，理當以身許國，期之始終。自晉氏南遷臣宗族蓋寡，從祖太尉、世父儀同、從父司空，並以位望隆重，遂家於金陵；唯留先臣獨守墳柏，嘗誡臣等，使不違此志。今襄陽既入北朝，臣若陪隨鑾蹕，進則無益塵露，退則有虧先旨。”詧重違其志，遂許之，因留鄉里，以經籍自娛。
周文帝、明帝頻征，固辭以疾。及詧殂，遐舉哀，行舊臣之服。保定中，又徵之，遐始入朝，授驃騎大將軍、開府儀同三司、霍州刺史。遐導人務先以德，再三不用命者，乃微加貶異，示恥而已。其下感而化之，不復為過，鹹曰：“我君仁惠如此，其可欺乎！”卒，贈金、安二州刺史。
遐有至行。初為州主簿，其父卒於揚州，遐自襄陽奔赴，六日而至，哀感行路，毀悴不可識。後奉喪西歸。中流風起，舟中人相顧失色。遐抱棺號慟，訴天求哀，俄頃風止浪息。其母嘗乳間發疽，醫云：“此疾無可救理，唯得人吮膿，或望微止其痛。”遐應聲即吮，旬日遂瘳。鹹以為孝感所致。性又溫裕，略無喜慍之容。弘獎名教，未嘗論人之短。尤尚施與，家無餘財。臨終遺誡簿葬，其子等並奉行之。有十子，靖、莊最知名。
