研發歷程
2007年,百度公司便推出百度盲道:一個為方便視障人士上網閱讀信息、參與社區互動、聽歌、訪問網際網路上其他相關網站的特殊入口。在這項功能中,百度新聞搜尋、百度網頁搜尋、百度MP3搜尋、百度貼吧、百度知道、百度百科、Hao123網址導航這7項主要搜尋服務升級為盲道版,在頁面設計等方面充分考慮視障人士的需求,方便他們使用。
2013年,盲人開發團隊的負責人曹軍致信百度CEO李彥宏,希望得到百度的資金和技術支持,開發一款盲人讀屏軟體。在百度團隊的幫助下,曹軍的公司成功研發出了幫助盲人使用手機的讀屏軟體。
2015年年9月8日,百度推出了DuLight,展示了百度用科技改變盲人生活的創想。技術的進步為DuLight的誕生提供了基礎,除了原有的獨立手機端套用,DuLight加入了輕量級的新型硬體,成功完成向全系列盲人個人助理作業系統的轉變。作為盲人新的生活助理和新的搜尋服務的發起入口。
研發團隊
百度公益聯合百度研究院、IDL深度學習實驗室、盲人開發團隊。
工作原理
DuLight實際上是一套人工智慧作業系統,對於盲人使用者而言,在家只需手機端安裝,即刻將百度領先的計 算機視覺和語音等技術變成身邊觸手可及的生活助理。當需要出門的時候,DuLight也配備一台由百度大腦驅動的智慧型可穿戴設備,DuLight的硬體端形態很像藍牙耳機,用戶佩戴之後就可以用語音的方式對DuLight發出指令。DuLight獲取外界信息的方式除了接受用戶發出的語音指令以外,更多地是通過內置攝像頭捕捉用戶第一視角的視覺信息,並通過用攝像頭捕捉到的信息進行圖像識別,隨後通過圖像語義理解對核心信息進行分析和講解,通過一段時間的使用之後,設備還能智慧型推演出用戶下一步可能進行的行為。
在產品設計上,通用型界面設計與界面輔助工具相互配合,便於視弱群體更好地辨識螢幕上的文字與圖像。DuLight還實現了盲人友好性語音的互動命令與對話,根據用戶需求和語言命令執行對應的功能,為用戶提供可調節的語音播報速度,人性化十足。觸摸式硬體功能識別的工業設計也使得硬體外觀的紋理設計更加合理,便於盲人通過觸摸調整取景角度。
技術突破
圖像識別
圖像識別技術是指,通過電腦辨識圖像內容並提取語義信息的過程,典型的任務包括物體識別、物體檢測、圖像分類標註等。它在圖像類數據的智慧型化分析管理中扮演著至關重要的角色。
DuLight主要可以實現四個方面的圖像識別功能。圖像識別技術典型的任務包括物體識別、物體檢測、圖像分類標註等,百度通過長期的努力,已經構築了一套比較完整的圖像識別系統,能夠有效地處理特定物體的檢測識別(如人臉、文字以及商品和各類物體)、通用圖像的分類標註、以及主觀圖像質量評估等問題。這次在DuLight圖像技術上尤其凸顯實力的是通用識別功能,這是百度最新研發的“機器讀圖”技術,“小明”可以根據拍攝到的圖片內容自動生成一段描述文字,這項技術基於百度大腦的深度學習技術,在高層語義層面建立了圖像和自然語言之間的橋樑,使計算機能夠真正地學習、建立語言體系,並感知到的物理世界之間的聯繫。
人臉識別
人與人之間大量的互動讓人臉識別成了最為實用的圖像識別細分領域。相比於無領域限制的圖像識別,聚焦在人臉上的識別技術顯然能夠做到更加精準與高效。
百度現有的人臉識別技術已經具備了很強的識別用戶的能力,這項技術可以對用戶的性別、年齡、面部表情等特徵進行辨識,還可以區分不同的用戶。 DuLight的人臉識別的錯誤率僅為0.23%。
語音識別
Dulight採用領先的DNN聲學模型,使得語音識別更加精準。基於大量語言模型建立起來的語音識別系統,能夠實現更好的人機互動。海量文本語料做基礎,同時對文本庫進行實時更新,提升語音識別的效率和質量。
主要功能
•生活問題
DuLight可以通過對用戶第一視角的畫面進行視頻直播,讓遠程協助者可以實時看到盲人朋友眼前的狀況,從而幫助盲人朋友即時解決衣食住行等生活問題。
•紙幣識別
DuLight還特別針對人民幣錢幣進行了識別最佳化。 紙幣大小差別不大,盲文又不夠清晰,弄不清手裡到底是多少錢,通過圖像識別功能,即使只掃到錢幣的一角,DuLight也能準確地報出錢幣的面值,幫助盲人朋友購物付款;
•識別老友
老朋友已經走到面前卻不知道是誰,很難通過聲音辨別對面的陌生人的大致年齡和身份,這些困擾在DuLight的幫助下都可以順利解決。
•遠程協助
獨自在家時需要找到特定的藥品或需要在路況複雜的地段過馬路時,盲人朋友總是無所適從,而今通過DuLight,可以一鍵發起遠程視頻協助,尋求朋友的幫助,提供幫助者在接受求助後,將獲得盲人朋友同樣的視角,實時語音協助解決問題。
研發意義
盲人助手DuLight的推出,不僅可以幫助全國近千萬盲人朋友“感知”真實世界,更可以成為新的實體搜尋入口。通過對用戶第一視角的視覺信息進行圖像分析,並結合百度大數據分析能力和自然人機互動技術,DuLight可以為大眾提供所見實體背後的信息及相關服務,更好地幫助用戶認知世界並連線服務,百度深度學習實驗室的主任研發架構師顧嘉唯提到,伴隨著人工智慧和人機互動技術的不斷發展,從BaiduEye到DuLight,可穿戴設備形態的對話式智慧型助理正在走向真實場景。