個人履歷
2014年~2017年:就職於東方國信,任大數據架構師,項目經理。
2017年~至今:就職於光環國際,任大數據講師。
核心課程
Scala快速開發
Spark進行深入編程
spark大數據調優
大數據項目實戰課程
教學特色
李老師多年大數據研發與培訓經驗,曾參與北京聯通大數據集群搬遷,調優,對超級大型集群有深厚的架構調優經驗,參與並主導過多個大型大數據項目,精通Hadoop、Spark、Hive、hbase等實戰技術。
教學和實戰經驗都非常的豐富,擅長大數據技術實戰,專注於分散式和機器學習。高期待、嚴要求是李老師的一大教學特徵,李老師對學員非常的嚴格,也正是因為高標準、嚴要求,才帶來了學員的最佳狀態和最佳成績,並讓他們體驗成就感。他們會變得更加自信,更加自立,不自滿自傲,為進入成人世界作好更充分的準備,應對不可避免的職場競爭。
李老師是一個永不自滿、知識淵博的人。一個優秀的老師,他本身是一個優秀的學習者。他們總是渴望學習新東西,擴展自己的知識基礎,嘗試更好的方法來獲取成功。經常見到他的一些技術知識分享、好書分享,提升自己的同時,也為光環大數據的學員營造了良好學習氛圍,可謂良師益友。
教學成果
廣受好評的精彩視頻教程
在面授課程至於,李老師也錄製一些大數據的學習視頻,《快速入門大數據核心課程Spark》《Hadoop實戰+超大集群調優》,《Spark全面精講》等技術視頻深受廣大學生好評。
光環大數據大數據開發課程9.0版本的研發
根據自己多年經驗,結合目前國內大數據發展及企業級的套用場景,聯合多位大數據實戰專家一起討論研發,經過多次內部疊代,出品大數據大數據開發課程9.0版本,大數據課程分為13大階段90大模組課程+6大企業真實項目實戰,每個階段都有實力案例和項目結合,從簡單到專業一步一步帶領學生走進大數據開發的世界,幫助學生順利走上大數據工程師的道路。
核心項目
《聯通流量查詢大數據項目》
此項目面向聯通客服人員需要幫助聯通用戶查詢流量使用情況,每日數據有10-15T數據從省份通過ftp上傳到總部大數據接口機(30台),總部將數據推送到HDFS平台。由10台接口啟動入庫執行緒,將數據入庫,資料庫由6個hbase庫構成。共使用120台計算節點,使用約305台存儲節點。前端頁面進行查詢,其中使用了使用了redis,LVS,nigix等技術。
項目職責:hadoop+hbase集群的架構,入庫程式開發和數據入庫。
《廣告數據管理平台大數據技術處理》
網路和智慧型終端的普及帶來了海量人群的上網行為數據,大數據技術的發展讓細分人群的特性成為可能。不同的人群,網路行為習慣差異比較大,女性、男性網際網路行為不一樣。
服飾行業、電子類產品快速消費得網際網路廣告特性和房地產的廣告特性的差異不言而喻,行業不同,廣告投放也需要更精準的DMP。
涉及內容:SparkCore,SparkSQL,SparkGraphX,HBase
項目職責:1)報表開發;2)統一用戶識別;3)數據標籤化;4)標籤合併
《IP溯源》
此項目面向公安廳,每日數據有15-20T數據從省份上傳到總部大數據接口機(30台),各省份將數據推送到總部20台接口機。在20台接口機上啟動入庫執行緒。將數據入庫到hbase集群,總計200個計算節點,占用約400台存儲節點。前端由web頁面進行簡單查詢。
負責集群架構,與局方溝通接口規範,需求。布置開發/測試聯調等任務。
《某大型通信公司大數據中心遷移》
因現用機房存儲資源不足,缺乏性能較好主機,頻寬出口限制等,故需遷移機房。
遷移項目包括:流量查詢,IP溯源,貴州旅遊,信令,精準行銷,西班牙電信等項目。
涉及內容:防火牆頻寬調整,網路調整,新5000節點集群架構(hbase+spark+flume+storm+hive+kafka+redis等)。
項目職責:梳理遷移計畫,制定遷移方案,架構大數據平台並調優。組織聯調等任務。