公司簡介
Greenplum是一家總部位於 美國加利福尼亞州,為全球大型企業用戶提供新型企業級數據倉庫(EDW)、企業級數據云(EDC)和商務智慧型(BI)提供解決方案和諮詢服務的公司,在全球已有:納斯達克,紐約證券交易所, Skype. FOX, T-Mobile;中國已有: 中信實業銀行, 東方航空公司, 阿里巴巴, 華泰保險, 中國遠 洋( Cosco), 李寧公司等大型企業用戶選擇 Greenplum的產品。
MPP 系統
Greenplum的架構採用了 MPP(大規模並行處理)。在 MPP 系統中,每個 SMP節點也可以運行自己的作業系統、資料庫等。換言之,每個節點內的 CPU 不能訪問另一個節點的記憶體。節點之間的信息互動是通過節點網際網路實現的,這個過程一般稱為 數據重分配( Data Redistribution) 。與傳統的SMP架構明顯不同,通常情況下,MPP系統因為要在不同處理單元之間傳送信息,所以它的效率要比SMP要差一點,但是這也不是絕對的,因為 MPP系統不共享資源,因此對它而言,資源比SMP要多,當需要處理的事務達到一定規模時,MPP的效率要比SMP好。這就是看通信時間占用計算時間的比例而定,如果通信時間比較多,那MPP系統就不占優勢了,相反,如果通信時間比較少,那MPP系統可以充分發揮資源的優勢,達到高效率。
名字來源
Greenplum的大中華區 總裁Stanley Chen告訴我們:“ Greenplum這個名字是一個7歲小女孩無意中脫口而出的。”起初幾個創始人在斟酌公司名字的時候都很沒頭緒,於是他們去問了朋友的孩子,一個年僅7歲的可愛小姑娘告訴他們叫“ Apple”,但是爸爸告訴她,這個名字已經被別人用了,還有其他的么?很快孩子便隨口說了“ Greenplum”,於是“ Greenplum”公司的名字就這樣誕生了。
中國運營
Greenplum於 2008年12月進入中國市場,經過一年多的開拓, 2010年1月1日 Greenplum正式宣布在中國獨立運營,並任命 Stanley Chen先生為 Greenplum大中華區總裁職務, Stanley Chen先生在IT行業從業25年以上,曾在Oracle公司工作16年擔任亞太區副總裁。 Stanley Chen總裁將管理和運營 Greenplum在大中華區的業務, Greenplum公司將為大中華區的企業級用戶提供世界領先的數據倉庫解決方案和服務。 Greenplum在中國迅速而高效的適應能力已經彰顯了其卓越的實力,宣布在中國的獨立運營展示了 Greenplum對中國市場的信心,也體現了 Greenplum描繪中國市場宏偉藍圖的決心,也預示著新一代超級數據引擎 Greenplum在中國市場的無限前景。
2010年7月EMC收購Greenplum,2010年4月Greenplum藉助EMC中國卓越研發集團進入中國,組建Greenplum研發並穩步成長,覆蓋了Chorus,Greenplum和Hadoop等多個產品研發。2014年4月,伴隨著全球Pivotal公司的組建,馮雷(RayFeng,時任EMC中國卓越研發集團Greenplum部門經理)在范承工博士和Greenplum創始人ScottYara的支持下組建了Pivotal中國研發中心。Greenplum作為Pivotal的核心大數據產品,有著一支技術實力很強的團隊。Greenplum中國研發團隊占全球研發團隊的一半以上,在研發總監姚延棟,產品經理高小明的帶領下,專注於Greenplum分散式資料庫核心開發。此外中國研發團隊還獨立負責GPText(文本檢索)和GPCC(Greenplum資料庫監控管理)兩個產品的全部研發工作。Greenplum中國研發團隊將敏捷軟體開發方法學引入到分散式資料庫的開發中,通過使用站立會議、回顧會議、結對編程、持續集成、測試驅動、單周疊代等敏捷方法建立了高效的快速反饋系統,大大提高了產品的質量和客戶的滿意度。Greenplum中國研發團隊開放、協作、創新的文化吸引了大量來自於清華、北大、中科院、人大、北航等國內知名院校的人才,是分散式資料庫研發領域的知名團隊 。
Greenplum於2015年10月開源,開源社區在中國有很高的知名度。在2014年,為了籌備Greenplum開源後中國生態的建設和商業開發,馮雷聘請了陸公瑜加入Pivotal。陸公瑜先生就讀於英國約克大學,並曾擔任過IBM雲計算資深研發經理。在Greenplum中國產品領導團隊的帶領下,Greenplum/Pivotal越來越多的企業和開發者正在加入,阿里巴巴,易觀等國內知名企業紛紛使用或提 供Greenplum開源服務 。
2016年,Pivotal中國研發中心總經理馮雷和Pivotal全球設施團隊一起為Greenplum中國研發團隊打造了一個全新的辦公場所,新辦公室位於北京融科資訊中心B座,設施先進,科技創新氛圍濃厚,體現了Pivotal的企業文化和創新精神 。
發展歷史
2006年,Sun與Greenplum聯手打造即時數據倉庫
2008年,Greenplum進軍中國市場
2010年 ,Green plum中國首屆電信行業產品推廣會 開幕
2010年 ,EMC收購Greenplum
2012年,Greenplum大數據分析工具亮相EMC World
2012年,EMC、VMware和Greenplum又聯手建新公司
2016年,Pivotal Greenplum 4.3.9.0正式發布
2016年,Pivotal Greenplum資料庫4.3.10.0引入了S3可寫表,開啟了Greenplum對亞馬遜S3的全面讀寫支持。用戶可以非常方便地在亞馬遜雲平台上使用到Greenplum大數據服務,並且可以快速讀寫存儲在S3上的數據 。
近日,Pivotal又剛剛宣布了Greenplum資料庫對微軟Azure雲平台的支持,用戶可以在微軟Azure雲平台上方便地使用到Greenplum提供的各項專業高效的大數據服務 。
2016年11月,新版GPCC3.0發布,給用戶提供了一個更好的管理Greenplum資料庫的工具。管理員可以通過GPCC查詢系統的性能指標,查看當前在系統中運行的查詢,監控資源使用情況,並且方便問題診斷和報告。GPCC3.0徹底拋棄了過時的Flash技術,使用了對瀏覽器更加友好和安全的HTML5方案。採用回響式布局設計,增強了與圖表間的互動式操作 。
目標宗旨
公司 專注於 OLAP系統數據引擎開發,有世界級的研發團隊進行高性能計算和資料庫系統的前沿開發工作, 宗旨是向客戶提供高性能的超級數據引擎,並將強大的並行計算能力融入到大規模數據倉庫分析領域中。公司具有發展趨勢超前的視野和洞察力,為全球很多最大規模的數據倉庫提供推動力;公司最先將SQL和 Map Reduce的功能整合到統一的數據處理框架中。
Greenplum中國公司擁有一支具備豐富行業經驗的銷售和技術團隊,具備金融、電信、政府、網際網路等等行業的數據倉庫項目行業經驗,專注於推動 Greenplum在數據倉庫分析領域的套用,為客戶實現投資回報、價值增長。
軟體優勢
數據存儲
當今是個數據不斷膨脹的時代,採取MPP架構的資料庫系統可以對海量數據進行管理。
Greenplum支持50PB(1PB=1024TB)級海量數據的存儲和處理, Greenplum將來自不同源系統的、不同部門、不同平台的數據集成到資料庫中集中存放,並且存放詳盡歷史的數據軌跡,業務用戶不用再面對一個又一個信息孤島,也不再困惑於不同版本數據導致的偏差,同時對於IT人員也降低管理維護工作的複雜度。
高並發
隨著商業智慧型在企業內的快速發展,BI 用戶對信息分析平台的訪問頻率和查詢複雜度也快速提升,因此要求相應的資料庫系統對高並發查詢進行支持。 Greenplum利用強大並行處理能力提供並發支持。
Greenplum提供資源管理功能 (workload managemnt)來管理資料庫資源,利用資源佇列管理可實現按用戶組的進行資源分配,如 Session同時激活數、最大資源值等。通過資源管理功能,可以按用戶級別進行資源分配和管理用戶SQL查詢優先權別,同時也能防止低質量SQL(如沒有條件的多表join等)對系統資源的消耗。
線性擴展
Greenplum與其他分散式大數據產品如Yonghong Z-DataMart一樣採用了通用的MPP並行處理架構,在MPP架構中增加節點就可以線性提高系統的存儲容量和處理能力。 Greenplum在擴展節點時操作簡單,在很短時間內就能完成數據的重新分布。
Greenplum線性擴展支持為數據分析系統將來的拓展給予了技術上的保障,用戶可根據實施需要進行容量和性能的擴展。
高性價比
Greenplum資料庫軟體系統節點基於業界各種開放式硬體平台,如SUN/HP/DELL等廠商的PC Server等,在普通的x86 Server上就能達到很高的性能,因此性價比很高,相比於其他封閉式數據倉庫專用系統, Greenplum每TB的投資是前者的1/5甚至更低。同樣, Greenplum產品的維護成本相比同類廠商也低許多。
反應速度
我們面對的是一個瞬息變化的市場,誰能首先感知到市場的需求和變化,就能在競爭中先行一步,獲得主動權,在競爭中立於不敗之地。
Greenplum通過準實時、實時的數據載入方式,實現數據倉庫的實時更新,進而實現動態數據倉庫(ADW)。基於動態數據倉庫,業務用戶能對當前業務數據進行BI實時分析-“Just In Time BI”,能夠讓企業敏銳感知市場的變化,加快決策支持反應速度。
高可用性
Greenplum是高可用的系統,在已有案例中最多使用了96台機器的集群MPP環境。除了硬體級的Raid技術外, Greenplum還提供資料庫層 Mirror機制保護,即每個節點數據在另外的節點中同步鏡像,單個節點的錯誤不影響整個系統的使用。
對於主節點, Greenplum提供 Master/Stand by機制進行主節點容錯,當主節點發生錯誤時,可以切換到Stand by節點繼續服務。
系統易用
Greenplum產品是基於流行的 PostgreSQL之上開發,幾乎所有的 PostgreSQL客戶端工具及 PostgreSQL套用都能運行在 Greenplum平台上,在 Internet上有著豐富的PostgreSQL資源供用戶參考。
最新進展
Greenplum 被EMC公司收購,將其整合到EMC雲計算戰略中。
公司優勢:
數據量
依照需求,快速簡便的建立任意大小和種類的數據倉庫
使用業界的標準硬體,擴充符合成本效益
查詢能力
相比於傳統查詢,可以以10倍到100倍的超快速度得到答案
隨著您的數據增長確保高性能的分析效率
數據處理
一個平台可以支持數據查詢,機器學習,文本挖掘,統計計算等
使用業界標準的語言(SQL,MapReduce,R),在各個數據層級進行並行分析
Greenplum數據引擎的技術突破在於使用群集(Cluster)業界標準的硬體,可以對於從
TB量級到PB量級的數據進行分組,存儲和分析,因為 Greenplum數據引擎在處理數據的時候儘可能接近的數據源,快速的並行處理,如此的技術可以提供超級大量的數據處理和無與倫比的導入和查詢性能。 同時Greenplum數據引擎可以很容易依照需求,增加存儲容量和處理能力,避免代價高昂的設備升級。
Greenplum資料庫是業界最快和最高性價比的高端數據倉庫解決方案。用戶將可以對於大量的數據運行複雜的分析,通常用傳統的解決辦法需要幾天的運算, 實際上只需幾秒鐘就可以完成。
Greenplum數據引擎-世界上最強大的分析資料庫
Greenplum數據引擎是為了支持新一代數據倉庫和分析處理大規模數據而建立的軟體解決 方案。Greenplum支持SQL和MapReduce的並行處理功能,並能以較低的成本向管;理TB量到PB量級數據的企業提供業界領先的性能。