虛擬現實技術
1.虛擬現實技術的研究方向
虛擬現實是從英文VirtualReality翻譯而來, 是一項融合了計算機圖形學、人機接口技術、感測技術、心理學、人類工程學及人工智慧的綜合技術。在《鐵達尼號》中,有藉助頭盔式顯示器和可遠程操作的機械手打撈遺留在沉船上物品的場景;參與過虛擬角色遊戲和虛擬社區的人, 也必將沉浸於其真實感、臨場感的體驗中。它們帶給人們的共同感受是:虛擬和現實間已沒有明顯界限。虛擬現實的廣泛套用前景使之成為目前最具影響力的技術之一。
虛擬現實技術綜合了計算機圖形技術、計算機仿真技術、感測器技術、顯示技術等多種科學技術,它在多維信息空間上創建一個虛擬信息環境, 能使用戶具有身臨其境的沉浸感,具有與環境完善的互動作用能力,並有助於啟發構思,它已成為構造虛擬樣機,支持虛擬樣機技術的重要工具。虛擬樣機是一個複雜的系統, 主要表現在組成關係複雜、與外界環境的互動關係複雜、開發過程複雜、涉及的仿真類型和學科領域眾多、套用範圍廣泛等。虛擬樣機可以理解為利用虛擬現實技術將產品數據變為取代物理樣機的數字模型, 強調仿真數據的可視化, 在虛擬環境中逼真地顯示產品的全部特徵。虛擬樣機是由分布的、不同工具開發的、甚至異構的子模型組成的模型聯合體, 主要包括產品的CAD模型、產品的外觀模型、產品的功能和性能仿真模型、產品的各種分析模型(可製造性、可裝配行等)、產品的使用和維護模型和環境模型等。藉助虛擬樣機,設計人員可以通過成熟的三維計算機圖形學,模擬在真實環境下產品的各種運動和動力特性,並能根據仿真結果最佳化產品的設計方案。虛擬現實系統一般由5個關鍵部分組成:虛擬世界、虛擬現實軟體、計算機、輸入設備、輸出設備。
2.虛擬現實的建模研究
虛擬環境的建模是VR的基礎,主要包括三維視覺建模和三維聽覺建模。其中視覺建模主要包括幾何建模(geometricmodeling)、運動建模(kinematic modeling)、物理建模(physicalmodeling)、對象行為(objectbehavior)建模和模型切分(modelsegmenta-tion)等。幾何建模描述對象的形狀(多邊形、三角形和頂點)和外表(紋理、表面反射、顏色)。對象形狀能通過PHIGS、GL、XGL等圖形庫從頭創建, 但一般都要採用專門的建模工具進行, 以提高效率。最簡單的方法是採用3D建模軟體,如ProE、Adams、AutoCAD等。為了得到高質量的三維資料庫,通常採用專用的VR建模工具,如MultiGen、Vega、VRT3等。運動建模主要用於確定三維對象在世界坐標系中的位置,以及他們在虛擬世界中的運動。對象運動受父子層次關係的制約, 父對象的運動會影響子對象。運動建模的另一個方面是設定觀察世界的方式, 即虛擬相機的運動,最後照相機圖像需經過變換投影到二維顯示視窗中,為用戶提供視覺反饋。
物理建模是綜合體現對象的物理特性, 包括重量、慣性、表面硬度、柔軟度、變形模式等。這些特徵與對象的行為給虛擬世界的模型帶來更大真實感。物理建模所需計算負載被分派到觸覺繪製流水線。行為建模主要通過虛擬人來完成。虛擬人agent 的行為模型包括情緒、行為規則和動作。Agent的行為具有層次性, 最底層是反射行為。反射行為表現為,每當看見對手就進行阻截。基於情緒的行為通過喜歡、不喜歡、生氣、恐懼過濾感知數據, 因此它比簡單的反射行為層次要高。模型管理包含那些用於幫助VR引擎以互動速度繪製複雜虛擬環境, 同時對仿真質量不會產生重大影響的技術。
虛擬現實接口
輸入設備的接口
三維位置跟蹤器:虛擬現實技術中用於測量三維對象位置和方向的實時變化的專門硬體設備為跟蹤器,在虛擬現實套用中,為控制觀察方向和操縱對象, 需測量用戶頭部、手、四肢的運動,還有一種需要跟蹤的信息是三位聲音信息。三位跟蹤器的性能參數包括:精度、抖動、偏差、和延遲。現常用的跟蹤器有:機械跟蹤器、電磁跟蹤器、交流電磁跟蹤器、直流電磁跟蹤器、超音波跟蹤器、光學跟蹤器、混合慣性跟蹤器。
(1)漫遊和操縱接口 該接口是一種設備,它允許通過選擇和操縱感興趣的虛擬對象,互動式的改變虛擬環境和探索過程中的視圖。漫遊和操縱可以在絕對坐標系統或相對坐標系統中完成,控制虛擬現實技術對象位置的另一種方法是通過相對感測器,即接收器是相對靜止的, 絕對位置數據也永遠不會為0, 而對於相對位置感測器來說, 如果沒有動作發生,她總是返回0。現常用的漫遊和操縱接口包括:基於跟蹤器的漫遊/操縱接口、跟蹤球、三維探針。
(2)手勢接口 是測量用戶手指實時位置的設備,其目的是為了實現虛擬環境下的基於手勢識別的自然互動。目前大多數手勢接口都嵌入了感測器的感測手套,感測器用於測量每個手指相對於首長的位置。各種感測器手套的主要區別是:所使用的感測器類型、給每個手指分配的感測器的數目、感知解析度、手套的採樣速度以及他們是無線的還是有範圍限制的。市場上常用的感測器手套包括:PinchGlove、5DT DataGlove、DidjiGlove、CyberGlove。
輸出設備的接口
輸出設備作為一類專門的硬體設備, 他們為用戶提供仿真過程對這些輸入的反饋,通過這些接口給用戶產生反饋的感覺通道,包括視覺(通過圖形顯示設備)、聽覺(通過三維聲音顯示設備)和觸覺(通過觸覺顯示設備)。
(1)圖形顯示設備 是一種計算機接口設備, 它把合成出的世界圖像展現給與虛擬世界進行互動的一個或多個用戶。在描述一個圖形顯示設備時,可以使用以下特徵:產生圖像的類型、圖像的解析度、視場、顯示技術、人機工程學因素和價格。現如今將圖形顯示設備分為:個人圖形顯示設備(頭盔顯示器、手持顯示器、地面支撐顯示設備、桌面支撐的現實設備)、大型顯示設備(基於監視器的大型顯示設備、基於投影儀的顯示器)。
(2)聲音顯示設備 是一類計算機接口,能給與虛擬世界互動的用戶提供合成的聲音反饋。聲音可以是單聲道,也可以是雙聲道。第一個三維聲音產生器是1988年由CrystalRiverEngineering為NASA簽約開發的。這個事實數據信號處理器稱為Convol-votron,由旋轉在外殼中的一組與PC兼容的雙卡組成。隨著數位訊號處理(DSP)晶片和微電子技術的進步, 現在的Convolvotron更加小巧, 他們有處理每個聲源的“卷積引擎”組成。現在最為常用的是基於揚聲器的三維聲音, 最為簡單的就是立體聲, 近年來出現了比較便宜的PC三維音效卡,所使用的DSP晶片處理立體聲或5.1格式的聲音,並且通過卷積輸出真實的三維聲音。
(3)觸覺反饋 可以分為接觸反饋和力反饋兩種模態。接觸反饋傳送接觸表面的幾何結構、虛擬對象的表面硬度、華東和溫度等實時信息。它不會主動抵抗用戶的觸摸運動, 不能阻止用戶穿過虛擬表面。力反饋提供虛擬對象表面柔順性、對象的重量、慣性等實時信息,能主動抵抗用戶的觸摸運動, 並能阻止該運動。現在較為常用的觸覺反饋接口為:觸覺滑鼠、CyberTouch手套、溫度反饋手套、力反饋操縱桿、PHANToM臂、HapticMaster臂、CyberGrasp手套、Cy-berForce等。
虛擬現實腦機接口
1.概述
腦-機接口(brain-computer interface，BCI)是在人腦和計算機或其他電子設備之間建立不依賴於常規大腦信息輸出通路( 外周神經和肌肉組織) 的全新對外信息交流和控制技術。BCI的首個顯見用途是為思維正常但運動功能殘缺的人提供一種新型的輔助運動功能和對外信息交流手段。因此，自BCI 誕生以來，其研究開發的主流多是控制外部設備和替代病人的一些缺失功能，或輔助文字表達。尤其近幾年BCI 在幫助殘疾人控制假肢、輪椅，甚至拼寫打字、上網遊戲等方面取得了長足進步 。而最近在多媒體和娛樂領域 出現了一種新穎的BCI 套用模式:將BCI 技術與虛擬現實(virtu-al reality，VR)相結合，構成基於虛擬現實的腦-機接口(BCI-VR)新形式。實現BCI 與VR相結合的最簡單方式是設計一個可為用戶提供身臨其境的3D 虛擬現實環境和可現場感測反饋以便實時使用的BCI 系統。BCI-VR新技術一出現即在兩個層面上顯示出意外情景效果和誘人套用前景。
一方面， BCI 作為BCI-VR系統的輸入設備，革新了傳統VR系統輸入方式，可能徹底改變與虛擬環境(virtualenvironments，VE)互相影響的方式;同時，BCI 比傳統VR系統輸入方式更直觀，可視為類似觸覺感測與VE 進行互動與控制。另一方面，VR技術在BCI系統中成為非常有用的信息反饋利具。與BCI 的傳統簡單眼饋模式(螢幕顯示伸縮變化的2D 色條以反映大腦思維信息輸出)相比，VE 則能為BCI 用戶提供更積極主動、更豐富多彩、更具激勵性的情境反饋( 與大腦思維信息輸出密切關聯) 模式。因此，VR反饋可以提高BCI 的可學習性並縮短訓練時間，而且VE 可作為BCI 用戶在實地使用之前最廉價、最逼真、最可靠、最安全的訓練和測試場景。BCI-VR新技術的出現不僅使其傳統用戶─殘障病人大為受益，而且得到廣泛健康大眾用戶的特別歡迎，有望成為智慧型遊戲和時尚娛樂的新寵。
鑒於BCI-VR新技術能兼取BCI 與VR各自所長，同時又相得益彰，開拓了這2 種技術的結構改造與套用革新之路，顯示出誘人的廣闊套用前景。從BCI-VR系統的基本構成、BCI 對VE 的控制改造和VR對BCI 的反饋革新等方面，較詳細介紹了近年來BCI-VR的主要研究進展，並根據作者體會總結了目前存在的難點與未來的可能發展動向，以期與讀者交流、共同促進BCI-VR新技術的快速發展。
2.BCI-VR系統基本構成
典型的BCI-VR系統通常由腦-機接口(BCI)和虛擬現實(VR)兩部分硬體構成，並含有兩個獨立的軟體。
1)為BCI 軟體，用以記錄與大腦思維意願有關的生理( 多為電生理) 信號、經實時處理和特徵提取及思維狀態分類後產生對外部設備的控制命令。
2)為VR軟體，用以模擬和表演一個虛擬世界、給用戶提供實時情景反饋並及時處理來自BCI 的控制命令。這兩個軟體必須能相互通信，以便及時交換信息與命令。
在BCI-VR系統中，BCI 作為輸入設備的主要任務是: 提供指令，以便用戶可自我設定指令內容並可於任何時間通過大腦思維活動，簡單、高效且不會導致疲勞地輸出這些指令;而VR界面在本系統中主要承擔感官刺激和反饋任務並應該做到: 展現BCI 所需感官刺激和儘快誘發BCI 所需生理信號並提供能使用戶控制BCI 的有意義反饋任務;最終需設計一個VR顯示程式以便與BCI 流暢連線。BCI 技術形成於20 世紀70 年代，是一種在人腦和計算機或其他電子設備之間建立直接信息交流和控制的全新技術 。它能使部分中樞神經信息傳遞阻滯並因此失去了基本運動功能的癱瘓病人有重建或再造新的神經通路的可能，從而恢復其運動功能。現有基於電生理信號的BCI 技術主要有三類:基於自發腦電的BCI 技術、基於誘發電位的BCI 技術和基於植入電位的BCI 技術。
虛擬現實(VR)是利用電腦等設備模擬產生一個三維空間的虛擬世界，提供使用者關於視、聽、體等感官模擬體驗，讓用戶如身臨其境，可以隨時隨意地觀察體驗VR內的事物。過去十年VR技術的快速進步吸引了眾多研究領域的關注，如航空和軍事訓練程式模擬( 在外面培訓太貴或難以監測和控制) ，心理治療和醫療手術等。特別值得一提的是:VR技術的套用大大促進了康復醫學的進步，包括中風后偏癱病人的肢體康復( 上、下肢訓練) 、知覺運動訓練、帕金森氏症、骨科康復、平衡訓練、輪椅驅動等，突出體現在運動功能的恢復。該領域的重要體驗是: 殘疾人可以先在虛擬現實中學會執行運動任務，之後將學習經驗轉移到現實生活中實現操作。
在VR環境下對腦電信號進行採集和分析，可以增加被試的沉浸感並給予被試實時反饋，因此可以提高訓練效率、縮短訓練周期、在短期內取得優異的成績。這相對於普通BCI 系統有很大的優勢。BCI-VR系統的提出和發展時間並不長:2000年Bayliss 和Ballard 第一次結合VR與BCI 技術，在VE 中被試駕駛一輛小車遇到紅燈時停下，紅燈被設定為足夠誘發事件相關電位P300 信號。2006 年清華大學馬贇等設計了基於BCI 技術的VR康復訓練平台，其中將想像運動BCI 與運動功能康復訓練VR結合在一起。2007 年Robert Leeb，Doron Friedman 等使用BCI 控制VE 中輪椅前進或停止 。
2010年Po T． Wang等驗證了使用BCI 在VE 中控制下肢進行功能性電刺激(func-tional electric stimulation，FES)的可能性，2012年又完成了被試在VE 中通過BCI 控制實現下肢自定步調行走 。
3.BCI 對VR的控制
如前述，BCI-VR系統通常由BCI 和VR兩部分結合構成。BCI 記錄大腦信號、提取其中生理或心理狀態特徵參數並進行思維意向分類識別的實時分析處理以生成控制命令;VR軟體則模擬、渲染和建造VE 世界，為用戶提供反饋和處理來自BCI 的命令。兩部分必須在BCI-VR系統框架中交流信息、命令才能實現系統總體目標任務。其中BCI 系統所生成部分指令將被傳送到虛擬現實環境( VR / VE) 當中，經過沉浸效果極好的畫面顯示，聲音渲染甚至是觸覺感知等實時反饋給用戶，實現對用戶的刺激。
目前 BCI-VR 系統用以控制 VR / VE 的腦電信號大致有想像動作( motor imagery ， ) 電位 穩態MI 、視覺誘發電位( steady-state visual evoked potentials，SSVEP) 和事件相關電位 ( event related potential，ERP) 等。其中想像動作電位會產生事件相關去同步( event related desynchronization ( ERD) ) / 事件相關同步( event-related synchronization ( ERS) ) 電位信號; 事件相關電位中使用更多的是潛伏期為300 ms左右的 P300 成分。下面分別介紹想像動作控制 VR / VE、SSVEP 控制 VR / VE 和 P300 控制VR / VE。
3.1 想像動作控制 VR / VE
大腦進行想像動作時會在運動、感覺皮層產生相應的事件相關去同步 ( ERD ) / 事件相關同步(ERS)電位。ERD / ERS 是出現在運動、感覺皮層特定頻帶的信號。伴隨著信號與事件相關的程度，信號的幅度會出現同步減少或同步增加現象。ERD / ERS 與運動過程相關聯並且大腦以想像動作替代真實動作，即在預動作條件下同樣存在ERD /ERS 現象。肢體想像動作可以引發ERD現象檢測並提取相應的ERD 特徵模式能用來區分所想像動作的部位 。運動神經康復的研究表明 基於想像動作的BCI，經其想像並控制殘肢多次重複運動能夠有效促進殘肢原有損傷運動神經通路的修復。因此 線上控制的想像動作BCI 系統引發了令人矚目的研究開發熱情。
傳統想像動作BCI 系統通常使用簡單的顯示色條來反饋想像動作效果，即被試者應努力想像增強對應肢體動作來促進色條增長。顯然，有效的視覺反饋和良好的沉浸感可以更好地提高線上控制的想像動作BCI 系統工作效率。而基於虛擬現實的BCI 系統正可以提供沉浸感強、視覺反饋好的虛擬 現 實 界 面 並 實 現 在 線 反 饋。Leeb 和Pfurtscheller 第一次在BCI 實驗中發現了這個特點，其實驗使用了一個呈現虛擬現實畫面的頭盔，在呈現同步反饋且用戶可自我控制進度的線上 BCI 系統中比較了傳統顯示條視覺反饋和虛擬現實環境反饋效果。顯示條視覺反饋設定為想像左或右手運動努力使反饋條增長; 虛擬現實環境設定為酒吧場景，使用戶感覺處於酒吧吧檯，可通過想像左手或右手動作來控制場景向左側或右側等速旋轉。有趣的是，所有用戶在虛擬現實環境反饋的表現都比傳統顯示條視覺反饋效果要好。隨後，通過想像腳部動作控制在虛擬街道上行走的實驗也有類似結果 。線上 BCI 系統可有兩種控制工作模式: 同步提示和自由控制。同步提示模式存在外部提示，要求被試在外部提示出現後一段時間內執行相應任務，BCI 系統則採集提示刺激後相應時間窗內的腦電信號進行處理。由於提示後信號產生時間確定，該系統在數據處理方面操作較為簡便。自由控制模式 BCI 系統因無提示存在，可由被試自主控制( self-paced) ，即可由用戶自行決定何時產生控制信號。該類 BCI 在系統搭建和信號處理方面較前者難度大些，但對用戶而言比較有實用價值 。
想像動作控制的 BCI 系統可以實現多指令的輸出。通常使用想像手部和足部運動，重點提取C3、Cz、C4 等與肢體動作密切相關導聯(對應感覺運動皮層功能映射區) 的腦電信號，經特徵提取與模式識別處理，可分類識別不同的想像肢體運動。例如Po T Wang 等設計了基於視覺反饋3D 場景的想像動作線上BCI 系統。其場景設定為沿直線散步，要求被試通過想像腳步走動或停步來控制場景中代表自己的人物行走或停止( 線上共有十個相隔一定距離的人物，要求被試控制自己的代表人物依次走到每個人物附近，簡短問候後離開) ，重複以上任務，即被試在想像腳步走動或停步運動功能方面得到反覆訓練。該BCI 系統使用離線想像腳部運動和靜息狀態腦電數據所提取特徵來進行想像動作分類並實現走步和停止指令輸出; 再將分類器套用於加入視覺反饋3D 場景的線上BCI 系統。該系統在一組隨機漫步的對照試驗中，受試者展示了良好的目的控制效果，證明虛擬現實場景下受試者使用想像動作BCI 實現隨意控制是可能的。Leeb，R．，Friedman 等也實現了讓四肢癱瘓病人通過想像腳部運動和停止來控制輪椅在虛擬街道上行走或停止 。可見有關研究對肢體殘缺、運動功能不全的患者來說是有著重大意義的。
在想像動作信號的提取與分類中存在的問題有想像動作信號的分類識別率與其他信號相比較低，這會嚴重影響BCI 系統的性能，因此在特徵提取算法設定方面要不斷尋找新的突破，以期達到更高的識別率。想像動作信號的分類指令集較少，但是目前可以通過與其他信號的結合進行改善，增加指令數目 。該領域還有一些使用BCI 系統為虛擬現實提供更多指令以拓展其套用。例如Scherer 等人設計了含3 個自主控制指令的的虛擬現實BCI 系統，用戶可以通過想像左手、右手或腳的運動實現左轉、右轉或前進。
3.2 SSVEP 控制VR/ VE
穩態視覺誘發電位(SSVEP)是BCI 系統經常使用的腦電信號，來自大腦視覺皮層對於外界閃爍刺激(一般要求頻率大於6 Hz)的回響，通過提取枕區EEG 信號即可以獲得。與基於其他腦電信號的BCI 系統相比，SSVEP-BCIs 通常具有更高的信息傳輸率、更兼有系統簡便、僅需要較少訓練的優點 。
Lalor 等人 最早使用SSVEP-BCI 來控制3D 虛擬環境中的遊戲。該遊戲中有個怪物沿著一根繩子由一個平台走向另一個平台。怪物向前行走時，有可能失去平衡，用戶須通過BCI 系統控制使之保持平衡。為此，BCI 螢幕兩側分別顯示一枚按穩態頻率閃爍的方格，以分別誘發不同頻率的SS-VEP 信號;當用戶試圖向左或向右控制怪物動向以恢復怪物平衡時，BCI 會及時檢測到用戶已集中視力於左側或右側閃爍方格所產生的SSVEP 信號並發出相應控制指令恢復怪物的行走平衡。幾年後， Touyama 選擇洞穴虛擬環境，嘗試使用SSVEP 控制洞穴環境中的快速轉向。研究結果表明，受試者可以在SSVEP / 洞穴接口界面上身臨其境地通過改變視野朝向( 向左側或向右側) 來成功穿越幽暗彎曲的洞穴 。
以上工作證明了基於SSVEP 的BCI 系統與虛擬現實環境相結合是適宜且有效的，但其局限性是離不開閃爍刺激。在VR/ VE 背景下，它需使用者注視螢幕上閃爍的小方格或棋盤格來誘發產生SSVEP，因此在VR/ VE 中易降低自然感而破壞其沉浸感。為解決這一局限，Faller 人等 設計了一個桌面VR/ VE 環境遊戲 ，被試需要通過注視3 個不同的閃爍刺激方塊操作虛擬人物行走，完成 中的路線。其閃爍刺激固定在一個虛擬人物 ( 控制目標) 手旁邊且一直跟隨其移動，遊戲玩家通過選擇注視 3 個不同的閃爍刺激(分別位於虛擬人物的左右手邊和頭頂)來產生SSVEP 信號以控制虛擬人物的不同操作或移動方式 ( 注視頭頂閃爍為前進一步、注視左右手閃爍分別為左轉45 °或右轉45 °)。在該實驗中的7 個被試，其中有5 個都順利的完成了預訂的路線。Legény 等一直致力於整合SSVEP 刺激與虛擬現實環境，使之更接近自然。為在虛擬森林中實現SSVEP 刺激控制移動 將所需SSVEP 閃爍刺激設定在森林中飛舞的蝴蝶翅膀上;設計了3 種蝴蝶在用戶面前顯示螢幕中上下飛舞 ，用戶需緊盯左側、中間或右側蝴蝶分別實現左轉，前進或右轉; 此外，蝴蝶觸角也用來給用戶提供信息反饋 ( 兩觸角距離越遠，越有可能是用戶所關注並被選擇的移動方向及其分類器) 。研究表明，如此將視覺刺激自然地融入虛擬現實環境中確實可增加被試的好感和真實存在感。
上述研究證實了將SSVEP-BCI 與虛擬現實環境相結合可以提供更為豐富和直觀的界面、實現有效的控制，並能大大改善BCI 系統的實用性。為進一步擴展其實用性，還希望該系統可以提供更多指令輸出以便與現實世界互動。為此，西安交通大學李葉平等將刺激目標與場景圖像結合，設計了一種高效穩健的場景結合導航方法，顯著減少了目標識別次數，大幅提高了 BCI 控制輪椅的導航效率 。基於虛擬現實環境下的 SSVEP-BCI 系統還可以直觀引入具有高度控制自主性和功能獨立性的智慧型家居控制系統，更有效地為行動障礙患者起居生活提供幫助。當前研究中存在的問題是由於 SSVEP 信號自身特徵的限制，並不能適用於所有的被試，因此如何解決或避開這一問題也是未來研究中的難點之一。
3.3 P300 控制 VR / VE
2000 年 Bayliss 和 Ballard 首次將虛擬現實與BCI 技術結合，設計了被試在虛擬現實環境中駕車的場景。其中遇到紅燈時停車的控制信號即利用被試在情境駕駛時產生的事件相關電位( ERP) 中P300 成分 。P300 指 ERP 中潛伏期約 300 ms 左右正波成分，常為大腦對稀少事件的認知反應。當 BCI 序列序列出現“目標刺激”( 通常目標在序列事件中出現機率較小) 時，則在該目標出現後大約300ms 左右就可以在頭皮頂區記錄到 P300 信號。在上述情境駕車遇到紅燈需停下時，被試的應激反應足以誘發 P300 信號。在使用基於P300 的BCI 系統中，用戶必須將注意力集中在給定眾多刺激當中的目標刺激上，每個刺激對應一個輸出。上述文獻作者之一Bayliss 還介紹了一個虛擬智慧型家居，用戶可以採用基於P300 的BCI 控制不同家電設備(如電視機等)。其中採用3D 球體作為目標控制標記，隨機出現在需操控對象上，並且用戶可以簡單地打開或關閉他們所需對象。
其智慧型家居由起居室、廚房、臥室、浴室全套組成。每個房間都有幾個可以被控制的裝置:電視機、MP3 播放器、電話、燈和門等。因此將不同的控制命令總結在控制選單上。用戶可以通過首先注視選單上的TV 標誌打開電視開關，位置和音量也可以調整。在選單中，可以看到房間內所有可以去的點，且在試驗中不停地閃爍，使用時用戶可以盯住想要去的位置的標識，BCI 系統選擇後將會在虛擬現實環境中顯示出一個對公寓或想要去的房間鳥瞰圖 。這是一個目標指向的BCI 控制方法，與想像動作的航行方式對比，每一個前進動作都是被控制的。在此BCI 系統中，3 個被試完成任務的準確率達到了87% ～100% ，證明了該系統可以套用在智慧型家居中。虛擬現實系統是驗證BCI 系統是否可以套用在智慧型家居中的最經濟方式。
如上所示，可歸納基於P300 的BCI 系統有以下兩個特點:
1)可用不同字母和數字來代替不同符號和標誌，可直接使用圖示來代表不同任務;
2)BCI 系統可在拼寫實驗中進行訓練和提取腦電信號特徵，並與用戶特定信息一起用於智慧型家居控制指令。
因此幾乎不需訓練每個被試。與其他BCI 系統相比，可以減少數小時甚至數周的訓練時間。故基於P300-BCI 系統是控制智慧型家居的良好選擇。最近還將頭部跟蹤器用於P300 智慧型家居控制系統，當用戶在尋找BCI 系統時會自動觸發頭部跟蹤器接通BCI;當人注意力已轉移到虛擬現實投影中，則關閉系統BCI。新近還出現了P300 與SS-VEP 相結合的混合式智慧型家居環境控制系統。其中，P300 用來選擇命令，SSVEP 用來接通和斷開BCI 系統。這些結合使得指令集更加豐富，擴展了BCI-VR系統的功能，增加了實用性。但是在P300 信號中也存在不能使用於所有被試的問題。
4.虛擬現實環境對BCI 的影響
與無VR場景的傳統BCI 互動接口相比，BCI-VR系統的互動方式更加直接和直觀，並能克服單純虛擬現實環境中活動的一些限制。特別是主要依賴於視覺刺激的BCI-VR系統，用戶可以在VR環境中通過簡捷的目光注視或直接將注意力集中於所需操作的物品來實施控制( 例如注視電視機來打開並觀看電視，注視門來開關門等) 。另外，想像動作信號可提供更直觀、更靈活、更豐富的VR控制方式。例如，在虛擬現實環境中可通過想像腳部運動來控制向前移動 還可以使用手持設備等增加被試在VR中移動時的沉浸感。另一方面，反饋是BCI 系統中重要一環，通過反饋，被試可以了解自己完成任務的效率並繼續學習提高。而加入情景逼真的VR環境反饋情節正是BCI-VR系統能提高控制效率、促進任務完成的重要影響因素。
除BCI 控制性能表現外，其他方面還可以找到許多VR對BCI 的影響作用。例如，想像動作研究中發現: 被試在進行想像動作時，其心率會有相應在一般( 無反饋) 的想像運動 BCI 中被的變化試的心率通常會下降，它與觀察中的隨意動作準備相似。在存在虛擬現實反饋的實驗中，當被試努力進行想像時心率會上升 。這對應了兩種心理生理狀態: 感知運動和神經中樞準備運動。在虛擬現實環境中被試想像運動時心率上升的現象可以理解為被試在努力想像運動( 如儘可能在虛擬場景中將重物搬運至更遠處) 時增加了腦力負荷所帶來的生理效應 。可見虛擬現實反饋的重要性在於豐富情感體驗，增加被試的本能反應。當腦電和心率同時分析時，心率增加大約每分鐘幾次。這一現象也可用於 BCI-VR 系統的信號分類總之，虛擬現實環境的使用可以增加被試的積這些發現在對被試極性，提高 BCI 的性能進行調查問卷和心率分析中得到支持。當被試自認為其成功率大大超過失敗時，其心率則會很快下降且能保持較高的信號分類正確率。
5.技術難點及展望
如前文所述，將腦-機接口 ( BCI) 與虛擬現實( VR) 相結合構成 BCI-VR 新技術能兼取 BCI與VR 各自所長、優勢互補，開拓了新的廣闊套用前景。而同時在 BCI 與 VR 技術融合、結構改造與套用革新之路上也面臨不少頗具挑戰性的技術難點與障礙。
首先是 BCI 在 BCI-VR 新系統中須承擔輸入設備的角色，主要任務是為 VR 提供穩定有效、方便直觀、靈活多變的控制指令。因為 VR 技術所造就的虛擬現實場景( VE) 里的漫遊控制即具上述特點。如此看來，VR 並非易受控制的對象而且其受控質量還要求極高。這是設計 BCI-VR 系統遇到的首個重大挑戰。為應對這個挑戰，要求新系統的 BCI 具備以下幾個能力: 能如常見 VR 輸入設備一樣為用戶提供多樣化的套用指令; 用戶能隨時隨地、隨心所欲地發布這些命令( 即要求 BCI 必須是“self-paced”，能做到自控自學、自我導向、自定節奏、自定進度) ; 能根據用戶思維狀態自由選取控制命令( 即用戶與 BCI 可易於互動，並應直觀、便捷、高效且不易導致用戶厭煩或疲勞) 。對傳統 BCI 系統而言，上述三個能力皆有難度。且不說現有 BCI 系統指令常存在種類單一、不能連續發布的弱點，難以滿足前兩個能力的要求; 而第 項能力的特別挑戰則可令常規BCI 系統望而止步。因為目前BCI 系統所依據思維狀態僅2、3 種而已，但通常VR的互動任務數目遠遠超過3 種以上。解決這個技術難點的關鍵是:要努力增加BCI 可供選取控制命令的思維狀態種類與數目，擴大並豐富命令集含量，才能使用戶與之互動時達到與VR互動同樣便捷、高效且無疲勞感的理想狀態。
其次的技術難點來自於虛擬現實場景(VE)的設計與展現，同樣存在多個挑戰。其主要困難包括:可為用戶提供含意豐富的VR反饋以便其能多樣化、隨心所欲地操控BCI;所展現的VE 須能緊密、無間斷地整合與集成BCI 對誘發思維腦電的各種刺激需求，並儘可能保證VE 場景的真實可信以使用戶保持深度的VE 沉浸感而不會被中斷、破壞;儘管典型VE 場景和標準BCI 訓練章程相差甚遠，VR(VE)的套用方案設計也須是可用性極強、用途花樣多。
最後的技術難點涉及到BCI-VR新系統軟硬體部分，當在VR(VE)場景中使用BCI 時還有若干需要考慮與新系統軟硬體相關的輔助技術難點: BCI 的腦電信號放大器須能在如VR(VE)這樣充斥各種噪聲干擾的惡劣環境中正常工作; 而腦電數據的記錄與傳輸同樣也須能理想清靜地進行，要求VR(VE)場景內無通訊線路衝突和各種環境干擾的打攪;BCI 系統與VR系統結合必須切實緊密以保證現場實驗時有足夠快的信息互動速度;在某些虛擬現實場景(VE)中，用戶可能需要在附近周邊走動，此時須使用活動電極檢測腦電以便更好地避免人體運動帶來的干擾。
BCI-VR新技術將如何應對上述挑戰呢?從第3 節“BCI 對VR的控制”的介紹可以看到，通過採用不同類型的腦電信號(如想像動作MI、穩態視覺誘發電位SSVEP、事件相關電位P300 成分等)可以得到多種大腦思維狀態，從而構成多個內涵豐富的指令集。在利用上述腦電作為控制信號構成不同模式的BCI-VR
系統中，近期新研究開發BCI 系統控制VR的實驗結果均可達到較高的分類正確率，控制性能也有快速進步。因此利用BCI 指令實現對VR的有效控制是完全可能的。這為BCI-VR系統設計突破首個技術難點展示了充滿希望的前景。實際上，如第3．3 節“P300 控制VR/ VE”所述，利用多種類型腦電(MI、SSVEP、P300等) 構成多種信息內涵指令集的思路已啟發人們研究開發新型的混合式(Hybrid)BCI。混合BCI 由多個使用不同種類腦電的BCI 構成;混合BCI 既可以同時處理其中各個BCI 的輸入，也可依次操作每個BCI 系統，其中頭個BCI 系統可起“腦開關”作用。如此，混合BCI 可以結合各個BCI 的優勢並因此具有更突出的長處或提供更特別的用處。第3．3 節提到P300 與SSVEP 相結合的混合式智慧型家居環境控制系統，即是混合BCI。其中P300 用來選擇命令，SSVEP 用作BCI系統。混合BCI 也是能應對上述挑戰、可獲得多種大腦思維狀態並提供多個內涵豐富指令集的合適BCI 系統選擇。
考察上述第二個技術難點，看似為對VR(VE)設計與展現的苛刻要求，細分析其背後的實質，乃是VR(VE)對BCI 控制的服務性能要求。因為在現有的VR(VE)技術中這些難點並不存在，而只有在BCI 與VR(VE)配合時才產在。因此，攻克這些難關還須改革BCI，迫使BCI 融入VR(VE)中並老老實實地為之服務。圖4 所示在虛擬現實環境中集成SSVEP 刺激和反饋技術即是改造BCI 使之適應VR(VE)服務需求的成功範例。該系統將SSVEP 視覺刺激自然地融入VR(VE)中不僅可增加被試的真實沉浸感，也為化解第二個技術難點提供了思路。至於最後的技術難點，相信隨著BCI 整體技術水平的提高，其軟硬體相關的輔助技術水平也會有長足進步，不會存在不可逾越的溝坎。
虛擬現實半實物接口
1.設計
虛擬現實VR(Virtools Reality)技術又稱為“靈境”技術，指用計算機搭建一個逼真的三維感覺世界，使人和計算機很好地“融為一體”，給人以“身臨其境”的感覺。經過近30 年的發展，虛擬現實技術在許多領域有著廣闊的套用前景 。虛擬現實的實現需要硬體和軟體2 方面的支持 硬體方面主要包括數據手套、三維滑鼠、運動跟蹤器、力反饋裝置、語音識別及合成系統等。Virtools 軟體自帶了大量的行為模組供開發者使用，但是Virtools 軟體並未提供標準的數據通信模組，不能與虛擬現實仿真系統進行數據通信，因此，虛擬現實仿真系統設計的難點在於半實物接口的設計。朱湘龍 ，張躍文通過調用相應的應用程式接口函式( API) 創建自定義通信模組，實現了實物系統與視景仿真之間的通信，這種方法要求開發者對作業系統的底層函式有很好的理解，並能熟練使用; 覃伯明 通過編寫串口通信類，利用 Visual Studio2003 編譯生成． dll 通信外掛程式，完成了對串口的打開，讀寫操作，這種方法對開發者的C ++ 語言使用能力提出了很高要求; 傅招國 ，夏華錦利用 Virtools 自帶的行為模組( BB) 實現了遊戲方向徐望盤與仿真系統的互動控制，這種方法較為簡單，但連線的外部設備比較單一，工業情況下不適用。
針對此問題，提出以 Visual Studio 2010 ( 以下簡稱 VS2010) 中的 C#開發環境為平台，載入 Virtools 3D XE Player 組件後，利用 VS2010 現有的 SerialPort 串口控制項，通過虛擬現實仿真系統( * ． cmo 檔案) 與 VS2010 通信，VS2010 與硬體( 單片機) 通信，最終實現虛擬現實仿真系統與硬體通信。本文利用 Virtools 自帶的實例，Camera Orbit． cmo 與單片機進行信息互動試驗，通過單片機上按鍵控制虛擬場景中石像進行轉動或平移運動，以及虛擬場景通過傳送訊息控制單片機數碼管顯示不同數字，以此驗證提出方法的可靠性
2.軟體平台
Virtools
Virtools 是一套具備豐富互動行為模組的實時3D 環境虛擬實景編輯軟體。本身自帶了700 多個Building Block(BB)模組，使用這些模組可以迅速方便地處理豐富和互動性強的3D 模型。對於某些特殊用途，比如，串口通信的實現，就需要使用Virtools SDK 開發出新的適用於特殊需求的BB 模組。SDK 針對C ++ 語言，具有C ++ 面向對象語言的所有特點。
VS2010
VS2010 是微軟公司推出的開發環境，採用拖曳式便能完成軟體的開發。簡單的操作便可以實現一個界面的生成，支持C#、C ++ 、VB 等多種語言開發環境。其主要特點有: 支持多個監視器、快速瀏覽代碼、調用層次結構項目功能對應等。
3.關鍵技術及實現
3.1虛擬現實仿真系統與VS2010 互動
為減少原型開發周期並減少工作量，本文使用VS2010中C#開發環境與3D XE Player 組件開發原型的界面。3D XE Player 組件具有以下優點:
1)支持所有．NET 開發環境，方便程式開發人員
2) 不僅提供播放器視窗功能，還包括多種常用方法控制項。
C#是可用於創建要運行在． NET CLR 上的應用程式的語言之一，是微軟專門為使用． NET 平台而創建的。它能使用． NET Framework 代碼庫的每種功能 其主要特點有語法簡單、易於移植到其他作業系統上等。相比於 C ++ ，它是類型安全語言，運行更加穩定。
3.2 虛擬現實仿真體統載入
為了在 VS2010 中載入虛擬現實仿真系統，首先要完成 Virtools 3D XE Player 組件的載入。在“工具箱”選項中，依次右鍵———選擇項———COM 組件———Virtools 3D XE Player，點擊確定即可載入。完成組件的載入後，便可以進行仿真系統的載入。以下為Virtools 3D XE Player 組件載入仿真系統函式原型:public virtual void Load( string file) : 該函式用於將虛擬場景仿真系統檔案，即將* ． cmo 檔案載入到 C#開發環境中，其參數 file 有 2 種實現方式，一是填寫完整的檔案路徑名，如 “D: Program Files /3DVIA / * ． cmo”，這裡需要注意的是，檔案名稱之間不能用“\ ”，否則會出現編譯錯誤; 二是填寫相對路徑，即“Application． StartupPath + ”． \ * ． cmo””，這裡要注意的是，要將待載入的* ． cmo 檔案放入到該項目工程中的 De-bug 資料夾內。
關鍵代碼如下:
private void timer1_Tick( object sender，EventArgs e)
{
this． axXEPlayer1． Load ( Application． StartupPath + " ． / /Camera Orbit． cmo" ) ;
this． timer1． Stop( ) ;
}
3.2.1虛擬現實仿真系統向 VS2010 傳送訊息
該模組實現的功能是，當虛擬現實仿真系統成功導入到 VS2010 中後，利用 Virtools 軟體自帶的“Fire Virtools Event”模組實現由虛擬現實仿真系統向 VS2010 傳送訊息，該模組具有 2 個參數，如圖 2 所示
“Event Name”為傳送數據說明，應該簡單明了，容易識別，“Event Data”為傳送數據內容。
3.2.2 VS2010 接收虛擬現實仿真系統訊息
在VS2010 中，利用Virtools 3D XE Player 組件中的Vir-toolsEvent 事件接收來自虛擬現實仿真系統的訊息，其函式原型如下:
private void axXEPlayer1 _ VirtoolsEvent (object sender，AxXEPlayerActiveX．_IXEPlayerEvents _VirtoolsEventEvent e) :
該函式中需要注意的是第二個參數“e”，其對應於虛擬場景檔案中“Fire Virtools Event”模組中的參數“Event Name”，利用“e．eventData．ToString ( )”可以獲取其所攜帶的數據，即“Event Data”參數的內容，進而通過對數據內容的判斷，做出相應的動作，觸發不同的事件。
部分代碼如下:
private void axXEPlayer1 _ VirtoolsEvent (object sender，
AxXEPlayerActiveX．_IXEPlayerEvents_VirtoolsEventEvent e){
if (e．eventData．ToString( ) = = " 8" )/ / 如果仿真系統傳送數字8，則向單片機傳送如下信息
{
byte[]send1 = new byte[5]{0x77，0xAA，0x03，0xbd，0x01 } ;
serialPort1．Write(send1，0，5) ;
}
if (e．eventData．ToString( ) = = " 9" )/ / 如果仿真系統傳送數字9，則向單片機傳送如下信息
{
byte[]send = new byte[5]{0x77，0xAA，0x03，0xbd，0x02} ;
serialPort1．Write(send，0，5) ;
}
}
3.2.3 VS2010 向虛擬現實仿真系統傳送訊息
當VS2010 接收到來自硬體的訊息時，需要向虛擬現實仿真系統傳送對應訊息，虛擬場景中的物體接收到來自VS2010 的訊息後做出相應的動作，藉此實現硬體與虛擬場景對象之間的互動。VS2010 中向虛擬現實仿真系統傳送訊息的函式聲明如下:
public virtual void BroadcastMessageSingle (string mes-sage)。
關鍵代碼如下:
private void VT_work(string text)/ / VS2010 向仿真系統傳送訊息
{
axXEPlayer1．BroadcastMessageSingle(text) ;
}
3.3 虛擬現實仿真系統接收 VS2010訊息
為了實現對VS2010 所傳送訊息的接收，虛擬現實仿真系統腳本中需加入多個“Wait Message”BB 模組，該BB 模組當接收到與設定內容相同的訊息時，便觸發“out”輸出連線埠。所以，通過對接收內容的設定，及在該模組後添加相應腳本，可以實現不同的動作回響。如圖3 所示為該模組的參數設定對話框，“Message”所接收內容。
3.3.1VS2010 與硬體互動
單片機具有體積小、功耗低、控制能力強、擴展靈活、微型化和使用方便等優點，目前已滲透到生活的各個領域，幾乎很難找到哪個領域沒有單片機的蹤跡。例如，儀器儀表、家用電器、醫用設備、航空航天、專用設備的智慧型化管理及過程控制領域。單片機與各種硬體之間的互動控制技術已經非常成熟，所以，只要實現VS2010 與單片機之間的信息互動，再通過單片機與所需控制的外圍硬體連線，便可完成 VS2010 對其他外接硬體設備的間接控制。因此，本文只討論VS2010 與單片機之間的信息互動實現方法。
3.3.2 VS2010 向單片機傳送訊息
當VS2010 接收到來自虛擬現實仿真系統傳送的訊息時，需要根據訊息內容做出相應的判斷，並根據判斷向單片機傳送訊息。這一功能實現需要藉助SerialPort 串口控制項的“Write”函式，其函式聲明如下所示:public void Write(byte[]buffer，int offset，int count) :該函式的“buffer”參數表示一個位元組數組，“offset”參數表示從“buffer”數組中第幾個位元組開始寫入串口，“count”參數表示需要寫入的位元組數量。其關鍵代碼參看2．1．3 小節。
3.3.3VS2010 接收單片機訊息
此功能模組實現的是，VS2010 作為單片機與虛擬現實仿真系統的中介平台對單片機傳送的訊息進行接收，這一功能實現需要藉助SerialPort 串口控制項中的“DataReceived”事件，及“Read”函式(與“Write”函式類似，不再贅述)。需要注意的是，串口控制項在工作時為保證能實時接收和傳送訊息，會在主執行緒外開闢一個新的執行緒。所以，當在“DataRe-ceived”函式事件中向仿真系統傳送來自單片機的訊息時，需要進行委託，才能進行跨執行緒參數傳遞，否則編譯會出現錯誤。
關鍵代碼如下:
private void serialPort1 _ DataReceived (object sender，Sys-tem．IO．Ports．SerialDataReceivedEventArgs e)
{
byte[]receive;
s = null;
int num = serialPort1．BytesToRead;/ / 確定單片機傳送給VS2010 數據的位元組數if (num >0)
{
receive = new byte[num];
serialPort1．Read(receive，0，num) ;/ / 讀取單片機傳送數據
for (int i = 0;i <num;i ++ )
{
s + = receive[i]．ToString(" X2" ) ;
}
if (s = = " 77AA03BDEE22" ) / / 根據單片機傳送數據，向仿真系統進行跨執行緒對應參數傳遞
虛擬現實接觸互動接口
1.概述
虛擬現實Virtual Reality, 簡稱 VR技術是一項能夠使人通過自己的視覺聽覺觸覺等感覺器官同由計算機生成的虛擬環境進行互動的技術在遠程操作產品設計教育與培訓娛樂與藝術等方面都有著廣泛的套用前景近年來在工業已開發國家受到了極大重視在用戶同虛擬環境進行互動的過程中人機接口技術起著至關重要的作用近年來虛擬現實系統的視覺接口技術和聽覺接口技術發展很快並出現了一些相當實用的商品而相比之下接觸互動接口技術的發展則距實用化還有相當大的距離在現實世界中人類對外部世界的作用大多是通過自己的手與物體的接觸互動進行的在此過程中人手對物體產生作用力並從物體得到觸覺和力覺反饋而正是這種接觸互動方式使我們能夠以反饋控制的方式完成許多複雜任務因此一 個完美的虛擬現實系統不但應該擁有良好的視覺接口和聽覺接口還必須具有良好的接觸互動接口接觸互動接口的種類很多而具有力覺反饋功能的數據手套力覺反饋數據手套則是實現人機接觸互動的理想接口裝置之一由於力覺反饋數據手套同時具有數據手套功能和力覺反饋功能所以不但可以使用戶以比較自然的方式將自己手部的動作傳遞給虛擬環境實現對虛擬環境的操作也可以使用戶從虛擬環境得到必要的觸覺和力覺反饋信息產生真實的沉浸感因此力覺反饋數據手套的研究對虛擬現實系統接觸互動接口的研究具有重要意義。
2.數據手套 CAS-Glove
作為虛擬現實系統的一種重要輸入工具數據手套(data glove)一直受到研究者的高度重視數 據手套的關鍵技術是測量手指關節動作的感測器的研製開發為了滿足數據手套的實用性要求其 感測器必須具有尺寸小柔性好成本低不易損壞使用方便等特點雖然到目前為止出現了多種基於不同感測器的數據手套產品但由於多數感測器並不能真正滿足數據手套的實用性要求因此能夠成為商品並得到廣泛使用的數據手套則為數不多為了滿足數據手套的需要作者所在課題組研製開發了一種新型彎曲感測器該感測器可以用來測量兩個平面之間的夾角並具有尺寸小寬 3mm厚 1mm長度可以根據需要製作柔性好成本低不易損壞信號採樣電路簡單使用方便等特點非常適合作為數據手套的彎曲感測器和外展感測器
3.手指力覺反饋裝置
數據手套可以使操作者實現對虛擬環境的操作而為了使操作者的手指能夠從虛擬環境得到必要的觸覺和力覺反饋則需要專用的手指力覺反饋裝置因此手指力覺反饋裝置的研究對力覺反饋數據手套的研究具有重要意義為了保證操作者能夠準確地得到接觸點和接觸力的信息不但要求手指力覺反饋裝置在手指上產生力覺的部分應該足夠小以保證能夠根據需要將力覺反饋裝置的觸頭安裝在操作者手指的相應部位還要求力覺反饋裝置的驅動部分能產生足夠大的驅動力此外因為手指皮膚本身具有較大彈性為了保證操作者手指能夠得到足夠大的接觸力還要求力覺反饋裝置本身應該具有足夠大的行 對手指的受力進行反饋控制根據上述要求程而為了保證操作者手指的受力能夠與虛擬環境 我們設計出了手指力覺反饋裝置中的受力相等以得到真實的沉浸感還必須鐵的銜鐵可以在電磁鐵的線圈中作直線運動其運動距離與控制信號成正比電磁鐵的銜鐵的直線運動通過蛇管與鋼絲繩機構帶動滑桿4在固定支架3的滑槽中滑動並作用於操作者手指作用力的大小與控制信號成正比觸頭5上安裝有力感測器6可以檢測操作者手指的受力並進行反饋控制這種新型力覺反饋裝置有以下幾個主要優點第一 採用線形電磁鐵作為驅動部件 系統體積小結構簡單成本低可產生較大的驅動力第二採用外徑只有1.3mm 的蛇管-鋼絲繩力傳動機構柔性好可以隨操作者的手自由運動並可以將多個力反饋單元安裝在同一個手指上構成具有力反饋功能的力覺反饋數據手套第三對操作者手指施力的觸頭部分安裝有力感測器可以對操作者手指的受力進行反饋控制使操作者手指的受力與外部輸入相同從而保證了操作者可以得到比較
