概述
中國進入網際網路時代才短短十幾年,DT時代就已經來勢匆匆地到來。在數據處理需求急劇上升的今天,如何獲得海量有效的數據和搭建數據處理平台,是關鍵問題。
DT(DigitalTechnology)一詞,翻譯過來即數據科技,可以說,這並不是一個新詞,但它真正引起我注意的是阿里研究院最近寫的一本書《網際網路+:從IT到DT》,阿里作為國內IT技術的引領者,其技術定論不可輕視。
發展歷程
IT
從1936年圖靈機的發明,到1945年馮.諾依曼機的出現,這些都是計算機發展的基石,甚至於往後各種大型、小型計算機的誕生,嚴格意義上來說,這都不是IT。真正IT技術的開始應該是全球資訊網的發明,這標誌著信息進入了互聯的時代
國內網際網路技術的發展比國外稍微的晚了那么幾年,但其發展勢頭遠非其他國家能比。1997年,中國只有60萬網民,而現在已經超過了6億,其增長速度可見一斑。可以說,如今網際網路已經影響到了人們衣食住行的方方面面。
這是一個IT時代,對於這個定論,或許大部分人都不會反對。但是有一天,有人突然對你說:人類正在從IT時代步入到DT時代(數據科技時代),我們一隻腳已經踏入了數據科技時代?
DT
數據科學家一詞,最早是在2009年被提出來的。當然,它的提出並不是一個轟動性的事件,甚至還有很多人並不贊成突然出現這一科學分支。
然而就在幾個月前,有人在騰訊科技上發表了一篇文章《數據科學家可能成為2015年最熱門職業》,我們暫且不去評論這篇文章的觀點是否正確,但是它已經給出了一個信息:數據,已經引起了人們的“警惕”。
如今,在各大招聘網站,我們可以隨意搜尋一下“數據挖掘”,各大公司針對於這個崗位的需求如同雨後春筍般的出現。同樣,通過各個招聘網站平台等,我們可以發現不斷有新的職位名稱被創新出來,如數據工程師、數據分析工程師、Hadoop工程師等等。
特點
1、DT時代以服務大眾、激發生產力為主。 DT是數據處理技術(DataTechnology)的英文縮寫。IT是以我為中心,DT是以別人為中心。
2、DT讓別人愈來愈強大。 DT是讓你的消費者、讓你的客戶、讓你的員工更具能力。
3、DT更講究開放、透明、分享及合作。 "IT時代誕生無數劇透"。未來,大數據的雲端計算處理,將消除商業社會的邊界,讓一切商業主體相互自由連通。而這些都是建立在全世界數據信息完全"透明"的基礎之上。
4、從IT時代到DT時代,小企業是關鍵。 網際網路就是幫助那些小企業,解放那些小企業的生產力,能夠讓這些小企業具有IT的能力。企業需要物流、誠信、信息、數據和支付整個體系。
5、DT時代重體驗 DT時代一個非常重要的特徵是體驗。尤其是顧客身上有著獨特的東西,懂得怎么服務別人、怎么理解別人、怎么支持別人。
6、IT行業和傳統行業完美融合。 能否把IT行業和傳統行業進行完美融合,這是未來DT時代最大的機遇也是最大的挑戰,也是關乎能否把網際網路經濟做起來的關鍵。
IT時代和DT時代的區別
DT和IT時代區別,IT以我為中心,DT以別人為中心,DT要讓企業越來越強大,讓你員工強大。DT越來越講究開放、透明。我們所有企業都要思考什麼樣的文化、什麼樣的組織、什麼樣的人才才能適應未來DT時代,相信整個DT時代到來,在海外這被稱為D經濟。
大數據平台發展現狀
大數據處理平台的終極形態:深度挖掘
數據已經完美流通,包括了完整的大規模數據採集系統、數據預處理清洗系統、數據流式實時計算系統、大規模數據存儲系統、大規模離線計算系統;擁有全面的數據監控調度系統,能夠方便地低成本地進行數據流程監控、調度,實時掌握數據的動態變化;擁有完善符合自身業務需求的機器學習算法庫,數據挖掘層面,已經進入了數據深層挖掘階段。
其中以BAT為代表。在國內,BAT一向是技術的引領者,因此他們在數據價值挖掘這一方面,也確實做到了領先地步。
其次是大數據平台完善,處於數據淺層挖掘狀態
同樣,這種形態的企業公司,數據平台的數據已經完全打通,他們已經在開始嘗試挖掘數據的潛在價值,意圖達成數據的變現。
當然,或許是由於技術積累的問題,或許是人力物力的原因,他們並沒有能力做深一層的探索、挖掘,但是他們卻一直在努力。他們缺少是一套完善的,適合自己的,又能夠方便使用的數據挖掘庫。
處於這種形態的公司也不少,諸如CSDN、去哪兒、藝龍等等,他們在個性化的道路上孜孜不倦地探索著。
數據流通,處於數據統計分析階段
這種形態的數據中心,大規模數據處理平台已經基本搭建,數據已經能夠流通,處於大規模數據的統計分析階段。
這種類型的公司,他們更多傾向於對數據倉庫的建立,對大批量數據進行存儲、統計並且分析數據的走勢以及變化。所以,就Hadoop生態來說,他們可能更傾向於使用Hive之類的技術或者工具。
處於這種形態的公司是占大多數的,典型如剛組建大數據部門的短短一年時間的360,當然還有很多很多類似的公司,數不勝數。他們希望摸清楚自己到底掌握了什麼樣的數據,這些數據到底是怎么變化的,通過對這些數據的了解以及掌控,他們才能更好做出更合理的商業決策。
在不久的將來,在他們已經充分掌握了數據的規律,他們也必然會向數據潛在價值挖掘方向努力。
數據整合,平台搭建階段
這種形態下,數據尚未流通,整個體系尚未搭建起來。
或者說,很多企業公司,在以往的情況下,各個部門產品,其數據都是分開維護的。需要維護多份數據,成本高;數據的利用率低,數據不連通。
他們意圖將數據進行整合,有一套完整的收集、清洗以及落地的流程,因此,他們尤其缺少懂得數據收集、數據清晰以及數據大規模落地的人才。或者,換個更通俗的說法,他們缺少懂得Hadoop生態平台的人。
這種公司也不少,諸如金山的西山居,智慧型手機界的黑馬小米等。
數據量不夠,但然仍意圖搭建一個大數據處理平台
這一部分公司大部分都是小公司,在數據量層面上,他們並沒有很急切的需求,去搭建起一套完善的數據處理平台。
或許是受大數據潮流影響,但是,從長遠的角度來看,隨著數據量的增長,這也必然是一個趨勢。所以,他們往往也會花費少量的人力物力,在這一方面上進行技術預研,或者搭建起一個簡單的小規模數據處理平台。
其實,簡單來看,這是大數據處理平台的五種不同形態,但這又何嘗不是大數據處理平台的一個衍變過程呢?!在DT時代來臨的今天,你是否清楚自己處於一個什麼的位置,將來又會向何處發展變遷?
只有將骨骼搭建起來了,我們才能、才有資格去談論如何挖掘數據的潛在價值。我們不止需要骨骼來支撐DT這一體系,更需要源源不斷的血液來激發它的活力。
數據從何而來
如果說大數據處理平台是支撐DT的骨骼,那么數據就是DT的血液,如何造血就是大家需要關注的問題了。
企業的業務數據
數據最直接來源就是各個企業公司自己產生的業務數據,或許是某些公司擁有很強的預見性,多年前就已經開始收集自己的數據,也或許是他的無意之舉,但不管怎么樣,他把自己的歷史數據給保留了下來。當然,有部分公司,本身產生數據的速度就足夠快,數據量也足夠多,他們就不必擔心這個問題了。
網際網路的隱藏數據
前不久,有一個朋友在群里問了一個比較複雜問題,是關於數據抓取解析方面的。可能是他問的問題太深奧,也可能是恰巧群里大牛都不在,總之就是沒有人解決。有人就問了
哥們,你研究這個這么深幹嘛?
他回答了一句:
抓取數據啊,難道你們研究處理的數據不是從網上抓取的嗎?
這句話讓人猛然驚醒:有人已經開始向網際網路這座公共金山動手了。十幾年的底蘊,隱藏了多少數據財富?在DT時代來臨的今天,必定會越來越多的人去挖掘它的價值,只不過這需要一定的技術、一定手段而已。
移動網際網路數據的暴漲
相對於網際網路,移動網際網路的發展歷史並不長,但他的發展可謂是日新月異。如今,隨著智慧型手機的普及,3G、4G網路的推廣,移動網際網路產生的數據正在處於爆炸似得增長,這是一座新的數據金山,需要我們去開採它。
傳統以及線下數據的接入整合
隨著總理的一句“網際網路+”,傳統行業開始紛紛與網際網路結合,這帶來的最直接影響是:線下數據的接入與整合。
或許有人會說:傳統行業能有多少數據。可千萬不能小看傳統行業的數據,畢竟他們有著近乎數十年,遠超於網際網路的歷史,其累計的數據量亦不可小看。
隨著“網際網路+”的進一步發展,線下接入的數據也將是DT時代的血液之一。
網連萬物:萬物都可以產生數據
說到物聯網,其實很多年前就有人說它一定會火起來,但是之前卻一直沒有火起來。究其因,不在乎兩個:一是行動網路成本過高;二是終端感應技術尚未發展到這個階段。但如今不一樣了,隨著3G、4G網路的普及,行動網路成本大幅度下降;智慧型終端感應技術的快速發展也讓物聯網這一技術方向不再是概念。我們可以看到,眾多網際網路公司已經開始紛紛布局智慧型領域了,包括智慧型家居、智慧型交通、智慧城市、智慧型辦公等等。
在DT時代,感應終端也將是一個巨大的數據產生源,一個DT時代造血的源頭。
在DT時代即將來臨的今天,不止是數據處理以及數據獲取這兩個方面值得我們反思,還有其他的方方面面需要我們去思考。通過不斷的反思,不斷的改進,我們做好最充分的準備,迎接DT時代的到來。