圖書簡介
“Hadoop技術內幕”共兩冊,分別從原始碼的角度對“Common+HDFS”和MapReduce的架構設計與實現原理進行了極為詳細的分析。《Hadoop技術內幕:深入解析HadoopCommon和HDFS架構設計與實現原理》由騰訊數據平台的資深Hadoop專家、X-RIME的作者親自執筆,對Common和HDFS的原始碼進行了分析,旨在為Hadoop的最佳化、定製和擴展提供原理性的指導。除此之外,《Hadoop技術內幕:深入解析HadoopCommon和HDFS架構設計與實現原理》還從原始碼實現中對分散式技術的精髓、分散式系統設計的優秀思想和方法,以及Java語言的編碼技巧、編程規範和對設計模式的精妙運用進行了總結和分析,對提高讀者的分散式技術能力和Java編程能力都非常有幫助。適合Hadoop的二次開發人員、套用開發工程師、運維工程師閱讀。全書共9章,分為三部分:第一部分(第1章)主要介紹了Hadoop原始碼的獲取和原始碼閱讀環境的搭建;第二部分(第2~5章)對Hadoop公共工具Common的架構設計和實現原理進行了深入分析,包含Hadoop的配置信息處理、面向海量數據處理的序列化和壓縮機制、Hadoop的遠程過程調用,以及滿足Hadoop上各類套用訪問數據的Hadoop抽象檔案系統和部分具體檔案系統等內容;第三部分(第6~9章)對Hadoop的分散式檔案系統HDFS的架構設計和實現原理進行了詳細的分析,這部分內容採用了總分總的結構,第6章對HDFS的各個實體和實體間接口進行了分析;第7章和第8章分別詳細地研究了數據節點和名位元組點的實現原理,並通過第9章對客戶端的解析,回顧了HDFS各節點間的配合,完整地介紹了一個大規模數據存儲系統的實現。
編輯推薦
騰訊資深Hadoop技術專家撰寫,EasyHadoop和51CTO等專業技術社區聯袂推薦! 從原始碼角度深入分析Common和HDFS的架構設計與實現原理,為Hadoop的最佳化、定製和擴展提供原理性指導。從原始碼中參透分散式技術精髓和分散式系統設計的優秀思想和方法。
作者簡介
蔡斌,資深Hadoop技術專家,基於Hadoop的開源項目X-RIME的作者之一。國內Hadoop套用和原始碼研究領域的先驅之一,有10餘年開發經驗,先後任職於朗訊科技、IBM中國研究院等國內外知名企業,目前擔任騰訊數據平台部的高級工程師,從事Hadoop相關技術的研究、套用和實施,實戰經驗非常豐富。對分散式計算、電信增值業務、網路管理等領域有深刻的認識和理解,擁有近10項發明專利,其中兩項為美國專利,大部分與海量數據處理相關。近期關注海量數據的流式處理、Hadoop上的大數據套用與挖掘等。陳湘萍,北京大學計算機系博士,目前就職於中山大學,專注於Hadoop、雲計算、軟體中間件、模型驅動的軟體工程等技術的研究和實踐。擁有發明專利5項,參與1項國家電子行業標準的制定,發表學術論文10餘篇。