方案概述
近幾年,電力行業信息化得到了長足的發展,我國電力企業信息化起源於20世紀60年代,從初始電力生產自動化到80年代以財務電算化為代表的管理信息化建設,再到近年大規模的企業信息化建設,特別伴隨著下一代智慧型化電網的全面建設,以物聯網和雲計算為代表的新一代IT技術在電力行業中的廣泛套用,電力數據資源開始急劇增長並形成了一定的規模。從長遠來看,作為中國經濟社會發展的“晴雨表”,電力數據以其與經濟發展緊密而廣泛的聯繫,將會呈現出無以倫比的正外部性,對我國經濟社會發展以至人類社會進步也將形成更為強大的推動力。
電力大數據是能源變革中電力工業技術革新的必然過程,而不是簡單的技術範疇。電力大數據不僅僅是技術進步,更是涉及整個電力系統在大數據時代下發展理念、管理體制和技術路線等方面的重大變革,是下一代智慧型化電力系統在大數據時代下價值形態的躍升。重塑電力核心價值和轉變電力發展方式是電力大數據的兩條核心主線。
電力大數據的特徵可以概括為3“V”3“E”。其中3“V”分別是體量大(Volume)、類型多(Variety)和速度快(Velocity),3“E”分別是數據即能量(Energy)、數據即互動(Exchange)、數據即共情(Empathy)。如僅從體量特徵和技術範疇來講,電力大數據是大數據在電力行業的聚焦和子集。但電力大數據更重要的是其廣義的範疇,其超越大數據普適概念中的泛在性,有著其他行業數據所無法比擬的豐富的內涵。
大數據平台可廣泛套用於發電、輸電、變電、配電、用電、調度等智慧型電網六大環節,並作為信息通信平台的基礎。
目前,電力行業數據在可獲取的顆粒程度,數據獲取的及時性、完整性、一致性等方面的表現均不盡如人意,數據源的唯一性、及時性和準確性急需提升,部分數據尚需手動輸入,採集效率和準確度還有所欠缺,行業中企業缺乏完整的數據管控策略、組織以及管控流程。數據量級已經每日達到TB級,智慧型電網的大幅推進後,每日數據量將達到百TB級,傳統的數據處理模式(關係型資料庫模式),已經無法滿足海量和高效處理的需求,只有採用大數據處理模式,才能實現低成本,海量、高性能數據的處理!
方案架構
針對電力行業大數據總體系統框架分為五層,分別是數據層,存儲層,計算層,模型層,套用層。模型層是整個大數據的核心部分,為上層套用提供數據支撐。
方案優勢
彩訊電力大數據解決方案在數據分析、數據管理、數據處理、數據可視化等重要技術上具有優勢:
1. 數據分析技術:包括數據挖掘、機器學習等人工智慧技術,主要套用在電網安全線上分析、間歇性電源發電預測、設施線路運行狀態分析等方面。由於電力系統安全穩定運行的重要性以及電力發輸變配用的瞬時性,相比其他行業,電力大數據對分析結果的精度要求更高。彩訊電力大數據解決方案內置自主開發的函式模型庫,除包含常用的統計分析算法外,還內置了多種常用數據挖掘算法及分析模型。外掛程式式的函式模型庫,可動態增加新算法模型。同時,還提供行業分析模型及類似BI的分析和展示工具。
2. 數據管理技術:包括關係型和非關係型數據管理技術、數據融合和集成技術、數據抽取技術、數據清洗和過濾技術,具體是指電力數據ETL(Extract,Transfer和Load,即提取,轉換和裝載)、電力數據統一公共模型等技術。電力數據質量本身不高,準確性、及時性均有所欠缺,也對數據管理技術提出了更高的要求。彩訊電力大數據解決方案內置ETL服務子系統與ETL配置工具,支持從檔案,DB、數據流中導入數據。靈活的進行數據轉換配置和任務配置。
3. 數據處理技術:包括分散式計算技術、記憶體計算技術、流處理技術。電力數據的海量增長使得電力企業需要通過新型數據處理技術來更有效的利用軟硬體資源,在降低IT投入、維護成本和物理能耗的同時,為電力大數據的發展提供更為穩定、強大的數據處理能力。彩訊電力大數據解決方案包含RichHadoop分散式計算框架和RichStreaming流計算框架,同時集成了hive、hbase等成熟組件。
4. 數據展現技術:包括可視化技術、歷史流展示技術、空間信息流展示技術等。主要套用與電網狀態實時監視、互動螢幕與互動地圖、變電站三維展示與虛擬現實等方面。電力數據種類繁雜,電力相關指標複雜,加以未來的電力用戶雙向互動需求,需要大力發展數據展現技術,提高電力數據的直觀性和可視性,從而提升電力數據的可利用價值。彩訊電力大數據解決方案自助分析工具包含報表工具和分析工具。自定義報表工具,實現了基於XML的定義檔案來可程式性地生成報表的能力。圍繞著報表引擎,開發用戶圖形界面,用戶可以使用嚮導,無需編程,通過工具配置一步接一步完成創建一個報表。數據展示格式靈活,能更大程度上滿足用戶的數據需求。多維分析工具,提供豐富的圖形化展現界面和接口。用java語言開發支持MDX(多維表達式)的查詢語言、分析型XML和olap4j的接口技術規範。實現了從SQL和其它數據源讀取數據,在記憶體緩衝區中生成集合數據。
方案價值
彩訊電力大數據解決方案支持PB級數據分散式存儲,離線、實時分析,平台使用門檻低,封裝多種統計分析和數據挖掘模型,通過對電力市場個性化需求和企業自身良性發展的挖掘和滿足,重塑中國電力工業核心價值,驅動電力企業從“以人為本”的高度重新審視自己的核心價值,由“以電力生產為中心”向“以客戶為中心”轉變,並將其最終落腳在“如何更好地服務於全社會”這一根本任務上。
電力大數據通過對電力系統生產運行方式的最佳化、對間歇式可再生能源的消納以及對全社會節能減排觀念的引導,能夠推動中國電力工業由高耗能、高排放、低效率的粗放發展方式向低耗能、低排放、高效率的綠色發展方式轉變。