PaddlePaddle發展歷程
•2018年 7月4日Paddle Fluid V0.14.0 發布——提供從數據預處理到模型部署在內的深度學習全流程的底層能力支持。官方首次開源CV/NLP/語音/強化學習等10個業界領先的模型。
•2018年 10月12日 Paddle Fluid V1.0穩定版本發布——提供更穩定、向後兼容的API。易用性大幅提升。提供 Mac OS 下的多種安裝方式,新增對Python3.5的支持。並開源8個CV、NLP 方向主流模型。
•2018年11月1日 Paddle Fluid V1.1發布——支持千億規模稀疏參數大規模多機異步訓練。移動端預測新增Mali GPU、Adreno GPU、FPGA等硬體支持。開源5個推薦領域模型,大幅最佳化CV、NLP模型的訓練速度和顯存占用。
•2018年12月8日 Paddle Fluid V1.2發布——CPU多機異步訓練升級包括worker異步並發和IO、通信最佳化在內多項功能,整體吞吐大幅提升。支持python3.6及以上全版本。模型庫新增圖 像分類任任務的預訓練模型、語言模型任務新增基於cudnn的LSTM實現、分散式word2vec模型。
•2019年3月4日Paddle Fluid V1.3發布
•統一Executor和ParallelExecutor接口,用戶只需通過CompiledProgram將單卡模型轉化多卡模型,並利用Executor進行訓練或者預測。
•正式發布AnalysisConfig預測接口,支持計算圖分析、運算元融合等最佳化,並支持利用Intel MKLDNN、Nvidia TensorRT子圖引擎等第三方庫的加速.
•模型庫新增發布PaddlePaddle視頻模型庫,提供5個視頻分類經典模型以及適合視頻分類任務的通用骨架代碼,用戶可一鍵式高效配置模型完成訓練和評測。
•新增支持NLP語義表示BERT模型,支持多機多卡訓練,支持混合精度訓練,訓練速度對比主流實現提升50%+,提供完整部署示例。
•大規模稀疏參數伺服器Benchmark發布,CPU多機異步訓練發布顯著提升點擊率預估任務IO吞吐的built-in reader,多機多卡訓練性能多方面提升。
•新增支持Intel Deep Learning Boost(VNNI指令集)。在新一代的Intel Xeon Scalable Processor上,使用這個特性的一些模型,INT8預測性能可以達到FP32的2倍。
PaddlePaddle Suite - 深度學習功能套
•PaddlePaddle 3.0版本升級為全面的深度學習開發套件,在核心框架基礎上,開放VisualDL、PARL、AutoDL、EasyDL、AI Studio等一整套的深度學習工具組件和服務平台.
平台功能及服務
平台功能:
1、PaddlePaddle為企業提供50個經過真實業務場景驗證的官方模型,涵蓋視覺、NLP、語音和推薦等AI核心技術領域,成為官方支持模型較多的深度學習框架。
2、基於百度業務場景實踐,PaddlePaddle同時支持稠密參數和稀疏參數場景的大規模深度學習並行訓練,支持千億規模參數、數百個幾點的高效並行訓練,提供深度學習並行技術。
3、Paddle Mobile提供深度學習落地嵌入式移動端平台的能力。針對ARM CPU、IOS GPU、Mali GPU、Adreno GPU、FPGA、樹莓派、RK3399等多個硬體平台最佳化。服務於包括手機百度、簡單搜尋在內的多款APP。
4、PaddlePaddle通過高級API及API封裝,提供模型的簡潔實現。
5、PaddlePaddle支持中文文檔的深度學習框架,官方提供中文版API使用指南,幫助開發者快速了解Fluid API全貌及各類API用法。 可支持Linux、Mac、Windows三大系統安裝。
平台服務
1、AutoDL 正式發布V1.0、V2.0,包含網路結構自動化設計、遷移小數據建模、適配邊緣計算三個部分,能夠自動進行深度學習網路的設計、遷移、以及適配,批量化生產模型。
2 、EasyDL為零算法基礎的開發者提供高精度AI模型定製服務。EasyDL已逐步開放並完善定製圖像識別、聲音分類識別、文本分類識別等能力,累計超過2萬個模型在零售、工業、醫療、安防等多個行業中落地套用。
3 、作為集合了AI教程、代碼環境、算法算力和數據集的一站式實訓平台,匯聚頂尖深度學習開發者,快速幫助用戶掌握深度學習開發技能。底層預裝PaddlePaddle框架及VisualDL等深度學習組件,混合調度CPU和GPU的資源,提升訓練速度。AI Studio集成了項目、數據集、比賽、模型線上預測功能, 並提供免費的GPU算力。
4 、基於Paddle Mobile研發的端計算模型生成平台,支持VGG16, InceptionV3/V4, MobilenetV1, MobilenetV1-SSD, 及Resnet等13種網路結構,快捷生成端計算模型及封裝SDK,並針對多種硬體晶片和作業系統實現適配和加速,並可線上評測模型效果。
5 、PARL深度強化學習框架,具有高可擴展性、可復現性和可復用性,大規模並行化和稀疏特徵的支持能力。覆蓋DQN、DDQN、Dueling DQN、DDPG、PPO等主流強化學習算法。
6 、VisualDL幫助開發者方便的觀測訓練整體趨勢、數據樣本質量和中間結果、參數分布和變化趨勢、以及模型的結構,更便捷地處理深度學習任務。
7、EDL實現訓練過程可容錯、有效降低任務的平均等待時間,可提升企業計算資源的使用效率。
企業套用案例
1、智慧招聘——簡歷職位智慧型匹配系統
使用PaddlePaddle搭建的Gated Model(GQM),是基於CNN、DSSM、C-DSSM等算法的文本匹配模型,實現企業與求職者雙方需求的高效率匹配。
2、智慧城市——樓宇設備智慧型管理
通過基礎運行積累的大數據結合深度學習算法提高機電系統運行效率,合理設計日常保養策略,完成及時的故障預警、保養提醒,實現智慧型運營。
3、智慧零售——生鮮進貨量智慧型預測
利用商超生鮮的歷史銷售數據,提取出多個影響銷量的條件、使用DNN神經網路建立銷量預測模型、使用到包括位置、時段、節假日、天氣等70個維度,200+特徵。
4、智慧城市——AI控煙
基於百度PaddlePaddle開源平台的深度學習能力,對數萬張吸菸動作圖片進行了43次深度學習模型訓練,可實現對吸菸動作的識別,通過視頻監控的數據從人群中識別出正在吸菸的人,將其圖像提取並標註保存。
5、智慧農林——AI識蟲
這套檢測系統的套用大幅降低蟲情監測的人力成本,原本研究院一周的觀察時間,PaddlePaddle 30分鐘便可完成,能夠實時對蟲情狀態進行監測和分析。
6、智慧農林——桃子分揀
智慧型桃子分揀機集成了圖像分類模型,並利用機械完成桃子分揀自動化。有效提升桃子分類揀出的準確率及工作效率,節省大量桃農工作人力。
7、趣味生活——猜拳機
小度猜拳手通過使用深度卷積神經網路技術訓練出能夠識別用戶出拳結果的模型,該模型可以識別石頭、剪刀、布的手勢。在用戶出拳過程中,系統會不斷採集用戶的手勢圖片,並分析可能的出拳結果,在可信度度達到一定數值後完成對應的出拳。
8、精密零件智慧型質檢機
使用深度學習技術,識別模型的適應性極大提升,對於不同的零件,只需要提供標註好的樣本數據,即可快速完成一個新零件或者新缺陷的識別模型開發。
開發者生態
1、開發者培訓
•黃埔學院
項目組通過幾個月的招募與篩選,選出業內35位深度學習專家,共同見證黃埔學院第一期開學典禮——首席AI架構師的課堂。『經世致用,融會貫通,黃埔學院,革新者來』,這十六個字正代表了黃埔學院的治學理念以及願景。
•深度學習線上課程
課程包含快速入門、基礎知識、各領域經典模型、PaddlePaddle實戰 四大課程版塊,涵蓋Python、數學、機器學習、深度學習理論與實戰等多種內容方向,滿足不同水平開發者對於線上課程的多元需求。
•深度學習線下公開課
邀請深度學習領域的技術專家共同交流,第一時間分享PaddlePaddle最新技術重點,為開發者們答疑解惑,幫助AI開發者們在深度學習的道路上快速升級。
•深度學習教育聯盟
為合作教育機構提供機構認證、講師認證、課程與案例聯合研發、品牌扶持等全方位的支持。已有UAI、歐若教育、景略集智等十幾家企業,成為深度學習教育聯盟夥伴。
•教育部新工科師資培訓班
在信息技術新工科產學研聯盟人工智慧協同育人工作委員會指導下,全國範圍招募擁有深度學習理論基礎的教師,開展深度學習理論知識與深度學習框架實操技能的培訓。
•出版物
百度技術學院聯合深度學習技術及套用國家工程實驗室、北航人工智慧專家共同撰寫《PaddlePaddle深度學習實戰》。書中詳細描述神經網路的各個細節,深入講解算法性能最佳化的思路和技巧,幫助讀者深入理解深度學習的精髓。
2、開發者扶持
•開發者成長計畫
•開發者會分為不同等級,將與深度學習工程師認證考試、線下活動、線上課程、各類比賽對應,配合統一的vi標識、徽章、禮品,助力開發者晉級成長。
•協同育人項目
以產業和技術發展的最新需求推動高校人才培養改革,教育部組織企業支持高校共同開展產學合作協同育人項目。
•社區答疑
為幫助開發者快速解決開發過程中遇到的問題,百度資深研發工程師每日值班回復社區提問。問題在24小時內均會得到解答,保障開發者的研發任務再無後顧之憂。
•布道師計畫
現有的深度學習布道師隊伍由10位深度學習專家組成,他們享有官方榮譽認證,體驗百度最新深度學習各項技術,各類特色技術活動綠色通道。
3、深度學習賽事活動
•AI算法賽
為機器學習、深度學習、數據科學人才準備的算法挑戰排名賽事。大賽面向全球開發者招募,參加比賽的選手使用PaddlePaddle挑戰賽題,根據算法精度成績排名。基於Ai Studio已開辦多場比賽:2018機器閱讀理解技術競賽、2018百度之星開發者大賽、無人車車道線檢測挑戰賽、NLP常規賽。
•產業套用賽
由企業貢獻真實業務數據、業務難題,聯合PaddlePaddle舉辦創造更優算法,並套用於業務的的賽事。
•校園創意賽
面向全球各高校各專業的創意產品套用賽事。多為開放式賽題,要求參賽者根據不同視角,結合PaddlePaddle技術開發不同的智慧型套用。
4、評價標準與認證考試
•深度學習工程師評價標準
百度宣布開放“深度學習工程師評價標準”,提供包括通用能力、專業知識、專業能力、行業知識、組織管理5大維度,以及各維度細分的16類能力項參考標準,為深度學習工程師提供了從“通用能力”到“專業技能”再到“組織管理”的能力模型金字塔,指引開發者成長。
•深度學習工程師認證考試
百度將《深度學習工程師能力評估標準》中劃分的初、中、高三個認證等級與百度工程師職級進行對標,每一個認證等級所代表的能力與崗位職責都與百度工程師不同職級水平對齊,讓企業方對於AI人才選育用留能有統一的標尺和參考。