簡介
音樂可視化，是指一種以視覺為核心，以音樂為載體，以大眾為訴求對象，藉助多種新媒體技術等傳播媒介，通過畫面、影像來詮釋音樂內容的、視聽結合的大眾化傳播方式。它能為理解、分析和比較音樂藝術作品形態的表現力和內外部結構提供的一種直觀視覺呈現的技術。
音樂可視化的大背景，是視覺工業時代的到來。視覺工業是以生產視覺產品、提供視覺服務為主要內容的產業形態。它以計算機圖形技術為基本手段，以人造數位化影像為主要載體，以新媒體為主要傳播渠道，以現代大工業生產方式為流程體系，以“一切信息可視化”為發展目標，是一種戰略性新興文化產業。大力發展視覺工業，是文化產業升級的重要支點。
理論闡述
屏媒時代，音樂作品用視覺來欣賞在傳統意義上，音樂屬於耳朵，是用聽覺體驗美感的藝術。人們在欣賞音樂時，往往是在傾聽的基礎上，通過“音響感知與情緒感受”“形象聯想與理性感悟”以及“音樂美的體驗與感悟”等階段，完成對音樂作品由感性到理性的審美體驗過程。音樂具有形象思維的特點，在情感的伴隨下，通過想像聯想，獲得音樂形象、生活情景以及意境等形象，音樂可視化變為現實。因此在上世紀三四十年代，迪斯尼憑藉“可以聽動畫”“看古典音樂”的創造性思維將音樂與傳統動畫結合起來的探索，並將這種開創性的思維融進了1940年的《幻想曲》和2000年的《幻想曲2000》創作中，進一步實現著以動畫詮釋音樂情緒、將經典音樂和動畫藝術融為一體。將音樂這門聽覺藝術帶入視聽結合的新境界，《幻想曲》系列片可以說是一個開創性的舉措，為音樂可視化奉獻了一個絕佳的典型。
音樂可視化可為欣賞音樂藝術開通嶄新的渠道，中科院自動化所科學藝術中心在成功創作了大量三維動畫作品後，正式為新媒體產業化在音樂可視化中發力，2012年將推出巨型球幕影片《化蝶》，該片將用逼真的三維動畫技術秉承視覺詮釋聽覺的藝術創作理念，對中國傳統經典進行科學而藝術地全面解讀。精心選取的極具代表性的中國音樂，無論是明亮的快板，還是低沉的雄壯都有力地展開表現出愛情的亘古悠長。動畫師們通過三維動畫的形式將音樂意象具體化，把諸多的音樂元素賦予了十分明確的表現意義。藉助動畫的表現，有助於欣賞者加深對作品內涵的理解和認識，並提供從經典音樂作品重升華新的情感感受的契機，使得視覺感知拓展、延伸了聽覺藝術的美感範疇，為欣賞音樂開通了一條嶄新的渠道。
同時，音樂可視化增強了“寓教於樂”的功效。藝術教育是激發人們求知興趣，用藝術和美的方式契合人們對事物認知的心理。因此，激發兒童對音樂的興趣，並深化為一種智慧和能力是音樂教育的主要目的之一。純粹的音樂聽力訓練在激發興趣階段收效甚微，而音樂可視化的音樂教育則將無形的音符、鏇律等音樂理論知識化為悅目的視覺形象，例如1940年的《幻想曲》中七段經典音樂的故事化處理，不僅增強了音樂作品的趣味性，又通過各種視覺元素將音樂主題、人生哲理或積極的生存觀傳達出來，在輕鬆愉快的氛圍中陶冶兒童情操，潛移默化地提高接受者的音樂素養，在北美洲這部電影常常被用來做兒童對古典音樂的啟蒙，尤其恐龍的一段特別受小觀眾的青睞，有些擁有該電影的影音產品的父母會吃驚地發現他們的孩子會哼唱斯特拉文斯基的音樂。近年來隨著微電子、光電技術和軟體技術的不斷發展,視覺技術獲得了突飛猛進的發展。例如三維動畫中更高效、更精確的動作捕捉技術得到了廣泛的研發和套用，由此而催生出一批畫面效果驚艷、虛擬角色動作真實可信，感染力極強的視覺作品，與各種音樂類型展開聲畫結合，在音樂可視化的藝術化、真實化方面做到了新的高度。如animusic公司出品的視覺音樂作品，用計算機製作概念樂器的演奏效果動畫和各種高質量圖形的虛擬3D音樂場景，其作品基於音符，由淺入深，趣味性十足地將複雜的和聲、鏇律等音樂意象直觀地呈現出來。
視覺與聽覺是人類感知外部世界最重要的通道，是人類最自然最常見的行為，對人類認知世界的活動來說是不可替代的。通過各種視聽感官認知外部世界，“觀看”和“聆聽”是最自然、最直接、也是最重要的手段。眼睛像鏡頭，耳朵如收音器，因此人類所接觸到的是經過“視聽媒介”的選擇、過濾之後具有特定觀看角度、聆聽維度的擬態世界。古希臘哲學家們認為視覺與理性相連，聽覺與靈魂相接，視聽能夠提供認識對象、認知世界的最多的客觀信息，其認知特性是最可依賴的。人類的“看”和“聽”不僅是自然生理行為，更是社會行為，是一種文化景觀。這種文化景觀是人與外部世界交流互動而創造出的意義。文化是人類社會的一種現象，是隨著人類歷史的發展而積澱的，具有民族性和時代性並凝結為精神產品的現象。在中國古籍中，文化的涵義是文治與教化，是對人的身體和精神兩方面的培養。英國著名文化研究學者雷蒙·威廉斯認為文化既包含那些具備偉大傳統的最優秀的思想和藝術經典，也包括人類整體的生活方式。因此，由於視聽而誕生的文化景觀無時不在、無處不在，文化的意義和價值不僅體現於藝術、體現於知識，更是體現於“視聽結合”的日常行為。
作為文化大類中的音樂文化同樣具有可視化的內涵，即音樂意象轉化為視覺形象，音樂的感性聽覺本位與感性視覺層面在新媒體技術層面獲得了更高形態的融合，符合現代觀賞者的身份認同和符號價值，而且，音樂可視化為音樂文化的傳播提供了一個全新的演繹形式和體驗途徑，在可聽性的基礎上增加了可看性，並用深層契合的方式延長了音樂作品的藝術表現力；音樂可視化將會逐步成為一種風尚，一種時尚文化，滲透到人們的日常生活之中，從音樂文化的外部形態來看，音樂可視化講究音樂元素與視覺元素的運動與構圖、色彩與影調、場景與情感的相互輝映；而聲學與影像的結合則主要是有機整合聲光電，結合編導演等。用視覺來理解音樂文化的基點在於視覺因素，尤其是視像、影像因素；核心在於世界文化圖景趨於視覺化這一文化走勢；支點在於視覺文化的技術動力，當代新媒體技術、可視化技術的發展進步；落點在於普泛化的當代消費社會。大眾傳媒的飛速發展，催生了讀圖時代的到來，視覺化的大趨勢意味著一種思維範式和讀解世界方式的轉變。信息技術和多媒體技術等視聽結合媒介的普及，為音樂可視化的發展提供了條件，音樂可視化就是視覺化元素在音樂創作、演繹和體驗上的深入，它將可以脫離音樂表演本身，根據音樂的內涵及創作者的想像來詮釋音樂。用維根斯坦的話說，“圖像俘虜了我們，而我們無法逃脫它。”在未來，音樂文化的可視化將成為把握音樂美感的主流方式中的重要手段。
聲音和影像、聽覺與視覺，在當代社會中，兩者共同約定審美趨向，主宰大眾文化的美學形態。視覺為人們看見和理解的音樂作品、音樂文化提供了諸多方便，人們將越來越依賴於讀圖，可以說，可視化將重塑我們的由印刷文化改造過的生活方式。同時，視覺文化以一種人們不易察覺的方式，在觀看的同時提供著潛在的意識形態和特定的世界觀。儘管音樂藝術本身並不依賴視覺，但卻依賴音樂可視化這一理解音樂文化的趨勢。視覺化也使人們的認知方式發生了重大改變。過去，音樂被理解為複雜而和諧的數學比例；現在，音樂被理解為美妙而深奧的靈韻；未來，音樂將被理解節奏化的圖像，因為可視化已經成為一種世界的表征。馬克思曾說過，“對於一雙不辨韻律的耳朵來說，最美的音樂也毫無意義”，然而隨著音樂可視化時代的到來，欣賞最美的音樂，不必完全依賴耳朵。音樂視覺化發展趨勢表明，視覺和聽覺二者在未來的互動中有著無限的發展空間。在現代科學技術發展過程中，人類的視、聽、觸等多種感官的融合，將把聽覺藝術中極為複雜的人類精神表述以相對完滿的具象顯現出來，以完整而真實地演繹和體驗人類的情感。
可以預見的是，音樂可視化的具體套用非常廣泛，例如現場表演、會展現場等處裝置音樂可視化系統，結合特種影像及定製的具有沉浸感的內容開發作品，可以給人以強烈視覺衝擊；藉助可視化樂譜和概念樂器演奏方式可以設計舞蹈動作以及虛擬表演；通過虛擬現實技術實現音樂形象的互動式展示，使用者可以通過音樂接口、人機互動界面來控制虛擬角色、虛擬場景以及增強現實的故事情節來娛樂；音樂可視化系統藉助計算機編程和投影技術可以實現建築投影、場景重現等方式產生色彩組合變幻、圖案的變幻等；更如音樂爆竹煙花、音樂噴泉等公共藝術形式的表現形式的拓展，前者如虛擬煙花與音樂節奏的配合，後者可利用不同音色、振幅和節拍來控制水流、水柱的變化；更為重要的是，在音樂教育方面，音樂學習者可以通過可視化互動系統與虛擬樂器進行實時互動練習，學習的過程也變得趣味十足，學習效果隨時檢測等；在專業研究領域，更音樂可視化更是對音樂演奏分析、音樂曲式分析、音樂表演分析、音樂認知訓練、音樂情感表達等多個專業範疇中提供便捷實用的路徑。
美學價值
創作方式的延展：沉浸式藝術音樂可視化藝術創作並不是一種簡單的電腦三維動畫的製作，而是真正立體影像在沉浸式虛擬環境的營造。沉浸感，指觀眾在欣賞音樂可視化作品時自始至終都存在的身臨其境的感覺，它是以參與者為中心的一種高層次體驗。沉浸感，就如同演員對角色的沉浸，觀眾對場景的沉浸，忘卻自己現實角色而融於音樂可視化作品中，成為作品內容的一部分。音樂可視化藝術所帶來的對創作方式的延展，主要是將沉浸藝術和虛擬技術綜合在一起，融合現代媒體形式，將圖像、聲音、影像等各方面綜合為一體，給觀眾以包圍感十足的視聽覺沉浸式感受。在屏媒時代，音樂可視化主打的沉浸式藝術呈現方式將成為主流創作方式，圖像媒介的未來是與沉浸相關的，使觀眾與外界環境隔離開來，通過人體的感官系統或其他認知系統，將視角從真實空間擴展或轉移到幻覺空間中，使視覺占據主導並包圍參與者感官系統，使其看起來更加真實。
為了營造完美的沉浸式虛擬環境，對音樂作品的可視化轉述就必然涉及到以下兩個技術層面：“圖形-計算系統”和“投影-屏顯系統”。“圖形-計算系統”是音樂可視化作品沉浸感產生的核心要素，它能夠生成虛擬環境，同時結合實時輸入的用戶互動信息，使虛擬環境達到一定的沉浸感並維持其實時性，圖形與計算系統還能夠根據參與者的視點位置等互動信息、數據進行處理和計算，實現實時互動。沉浸系統通過逼真的人、景、物的3D重建將真實的人的動作、表情、姿態、聲音等在虛擬環境中再現出來，並且在特定的聲響系統配合下，將音樂作品的聲響美感與奇觀影像整合，從而達到身臨其境的互動體驗。其次，“投影-屏顯系統”主要包括支持高解析度影像的投影機以及投影螢幕。詮釋音樂作品的立體影像將通過投影機投影到投影螢幕上，投影螢幕可根據套用的需要組合成各種不同最終投影，例如帶有弧度的巨型環形螢幕，或直徑幾十米的大型球幕，或者各投影螢幕相互垂直構成的立方體螢幕等等。美國學者塞斯·基汀斯（Seth Giddillgs）2009年在其《新媒體:評論與介紹》中指出“電影正在從‘敘事電影’向‘景觀電影’轉變。”這意味著隨著數字虛擬技術、立體影像技術在視覺藝術中的大量使用，影像創作在向“敘事的泛化”、“視覺的奇觀”邁進。憑藉著開拓性的產業發展理念和對當代主流藝術發展趨勢的前瞻性把握，中科新視界團隊逐漸探索出一條音樂可視化藝術創作的實踐新路，將音樂可視化藝術創作向沉浸式的體驗美學的方向延展，並進一步認為。與傳統音樂欣賞模式相比，音樂可視化作品旨在提供給人一種更為沉浸式的審美愉悅，它不是傳統音樂與三維影像的簡單物理性疊加，而是藉由音樂可視化作品的視聽元素與沉浸式虛擬環境共同演繹作品的主旨，換言之，通過技術手段的同構，音樂可視化的載體由螢幕進一步擴展為空間，空間既是音樂可視化作品的物理載體，同時也是音樂可視化作品的意義載體，是音樂可視化作品的一部分，而這種臨場感和沉浸感的營造，在技術層面要歸結為對沉浸藝術和虛擬技術的綜合運用，它融合了現代媒體形式，將圖像、聲音、影像等各方面綜合為一體，從而給觀眾以包圍感十足的視聽覺沉浸式感受。
從傳統音樂創作的角度而言，音樂的創作多是創作者內心情感的自然流露，在創作過程中，不會過多地被限定，自由運用各種體裁、風格、音樂元素，真實地表達自己的情感，結果則往往是一曲絕響。而音樂可視化藝術創作則重視對音樂作品的視覺載體之結構與表現元素的營造。數字虛擬技術創作的主導功能在於虛擬，但在實際創作之中，數字虛擬創作將複製、模仿、虛擬等不同類型的創作活動靈活地納入統一結構之中。複製的現實、模仿的真實、虛擬的超真實三者在未來的音樂可視化藝術創作中水乳交融，難分彼此。正如波蘭美學家塔塔爾凱維奇（Wladyslaw Tatarkicwicz）所認為的：“身為藝術家，他或是借著對於實在的模仿，使得實在免於湮沒; 或是設法探索，找出自然的法則及其美; 或是從事創造，產生出前所未有的東西。”上個世紀的論斷，在今天的音樂可視化藝術創作實踐看來，也似乎提綱挈領。
音樂可視化藝術作品形式的靈活性，不僅體現在創作過程中，同時也是作品給觀眾、參與者欣賞方式的一次經驗上的刷新。中科院自動化所科學藝術中心在探索音樂可視化藝術作品呈現的形態時所總結而出的經驗是，諸如《化蝶》和《黃河》兩部具有極強典型性的音樂可視化藝術作品的展示方式一定需圍繞“可移動性”來設計，這種沉浸式體驗的場館具有移動性潛質，以實現在不同城市的輪迴播映。場館內部，也淋漓盡致地體現出結構的靈活，與巨型環幕、球幕共同致力於滿足觀眾在球幕或環幕或兩者兼具的放映體驗過程中的沉浸感營造。
靈活的形式，同時包含第三層意義，即創作流程的靈活性。音樂可視化藝術作品的創作不再像傳統音樂作品那樣過多地強調個人靈感，而是致力於團隊的協作和各種資源的整合。計算機數字虛擬技術為藝術創作打開了一扇新的窗戶，實現了人機共舞。同時也需要人腦與電腦、不同工序環節之間的通力合作，體現在機器的快捷與藝術的精巧之間，體現在虛擬技術與藝術真實之間，這也是由來已久的“器用之辯”的當代版。更為重要的資源整合則是科學技術與人文藝術之間跨領域的融合，這既需要藝術創作的主導，更離不開技術手段的支持。只有通過創作主體、創作團隊的完美配合，才能實現人腦和電腦相互疊加的倍增效果。
處在現代這樣大的技術轉折時期，生活方式也相應地發生著變革，從根本上把握藝術的本質已經變得非常必要。音樂可視化藝術的跨界特性非常明顯，僅從詞語構成就可以看出來，它涉及到了音樂藝術、視覺藝術以及兩者的藝術化融合。對音樂可視化藝術來說，從美學角度分析，同樣可以有多個切入點。例如從音樂美學角度，可以著重研究音樂可視化作品中音樂形式和內容的關係，其表現力和表現方法等問題。從視覺美學角度，音樂可視化藝術可吸取更多的視覺藝術傳統，比如南朝謝赫的“繪畫六法”與西方由來已久的“透視畫法”等都可以對音樂可視化藝術的創作提供豐富的美學滋養。所有這些傳統的、既有的美學風格的推演都建基於藝術作品這一人類現實，然而就像文首提到的，數位化時代的生存方式最大的變化是比特的不可替代性。音樂可視化藝術既不同於傳統音樂藝術，又不等同於傳統的視覺藝術，由於數字新媒體技術發揮著居其間的橋樑作用，因此對音樂可視化藝術這本就是新鮮事物的美學研究也應當開闢新角度，這種演進我們權且稱之為新媒體美學。新媒體美學建立在新媒體技術之上，但並非隔絕了美學史，相反是一脈相承。本文對新媒體美學的闡述將同對音樂可視化藝術的闡述雙管齊下，從作品角度看，音樂可視化藝術與新媒體美學正是其一體兩面。這一體兩面使得音樂可視化藝術創作跳脫了其他既存藝術媒介、繪畫、雕塑、攝影、平面電影所未能體現的畫面空間，引出對畫面中縱深感的全新表現途徑。例如傳統平面影像所用的虛化背景營造立體感的方法在立體影像時代顯得非常不必要了；同時，人眼接受立體影像所需要的時間比分辨平面形象要長，因此傳統影視的快節奏畫面轉換與蒙太奇美學將在立體影像中難以立足。它的美學重點轉移到了沉浸式、互動感上了。
音樂可視化對於人類的音樂藝術文化，不僅是美學風格的演進，更是創作形態的本質推進。1923年，當德國人保爾·柏克（Paul Bekker）以一篇《新音樂》開創勛伯格（Arnold Schoenberg）的新音樂美學的時候，他們當年所宣稱的“一種迥異於傳統音樂的新音樂”是對人類所有傳統音樂的挑戰，他們大概沒有想到，這個只囿於音樂專業創作領域、有特定意指對象的音樂術語在今天的意義更大於當年。“新音樂”，在今日看來，更應當是音樂作品表現方式的“新”。習慣於音樂廳現場的交響樂、真人排演的歌劇的觀賞習慣儘管豐富了音樂可視化古老涵義，但當數位技術開創了音樂作品未來局面的時候，音樂可視化藝術則意味著真正的“新音樂”作品的開始，當虛擬技術的呈現力將音樂的情感世界挖掘得淋漓盡致的時候，世人才頓悟，原來這才是真正的“新音樂”，這種維度的創新與“序列作曲法”對音樂創作的影響其實不在同一個量級。未來，正在建構著的新媒體美學將隨著新媒體藝術實踐的發展而逐漸成熟，進一步發展的將是新媒體為主角的哲學體系。因為自古以來，凡是偉大的哲學體系都包含成熟的美學體系，新媒體美學是新媒體哲學的本體。音樂可視化藝術及其創作必定在新媒體美學及哲學體系的建構中發揮重要的作用。
套用實例
鄂爾多斯的“音樂之都”將會成為中國音樂可視化產業的開篇巨製，“聽音樂到維也納，看音樂到鄂爾多斯”她將成為東方的維也納，全球音樂視聽的奧斯卡。
