DPI與DFI的流量識別與控制系統的設計與實現
以高性能的流量識別與控制技術為主要的研究對象,在深入分析現有流量識別與控制技術的基礎上,對使用DPI(Deep Packet Inspection,深度報文檢測)技術與DFI(Deep Flow Inspection,深度流檢測)技術相結合的流量識別技術及更快速的流量控制技術進行了詳盡的討論和研究,並設計和實現了基於以上這些技術的流量識別與控制系統。
系統架構設計
系統分為前台和後台兩個部分,後台負責數據包的識別和處理,並對處理情況作記錄,由特徵庫、流量識別模組、資料庫模組、流量控制模組,日誌模組五部分組成;前台負責下發用戶策略,及流量識別與阻斷情況。
系統各個模組之間的互動關係如下:獲取所有經過伺服器的數據包並進行解析,將數據包的套用層負載、包長、發包頻率,發包方向等信息進行記錄,並傳入流量識別模組。在此之前,識別模組載入特徵庫,通過模式匹配的方法得出識別結果,同時將識別結果存入資料庫,將數據包及識別結果送入流量控制模組,流量控制模組將資料庫模組中的識別策略取出來,根據策略決定數據包下一步的處理方式。
前台
前台提供了系統的顯示功能,主要實現三個功能:用戶登錄、導入特徵庫、用戶下發策略、查看流量識別及控制情況。
用戶下發策略,用戶可以選擇受控主機的IP位址,控制的協定,及控制類型(阻斷或是干擾),若是限流則填入限流的速率。然後,前台將策略信息存入資料庫中。查看流量識別及控制情況,通過前台用戶可以看到實時流量識別結果,及協定對應的流量大小,占總流量的百分比等信息。與前台有互動關係的模組只有資料庫模組,前台只需要將用戶策略存入資料庫中,同時可以將資料庫中存儲的流量識別與控制數據在前台顯示。
流量識別模組
流量識別模組的功能是將通過流量識別模組的流量分類識別,最終確定每條流對應的協定及套用。介紹了多種流量識別技術,這裡需要根據流量的特點選擇不同的識別技術,有些協定通過與存儲在特徵庫中的規則進行模式匹配就可以識別出來,有些協定需要考慮包長,發包速率,或是對負載內容進行深度解析,如提到的套用層網關識別技術,要為這些協定提供針對性的代碼識別方法。為了更好的達到識別效果,採用DPI與DFI兩種技術進行流量識別,並採用四種不同的識別引擎,並在識別引擎中加了代碼識別的接口。數據流通過流量識別與控制系統時,識別引擎將捕獲的數據包一層層剝離開,將套用層負載的內容或流特徵與特徵庫中的內容進行模式匹配,從而得到識別結果。
流量識別模組為系統的核心模組,與流量識別模組有數據互動的模組也較多,分別為特徵庫,流量控制模組,資料庫模組。
綜合特徵的階流量識別與控制系統
提出的系統解決方案就是針對運營商的迫切需求而設計的,通過對P2P業務識別與控制設備現網測試、P2P流量管控策略和實施步驟的研究,綜合當前主流管控技術的優點,即DFI識別技術的高效性和DPI識別技術的精細性,提出更高效的管控系統的設計方案。系統重點在於通過流的行為來感知用戶,感知網路,提供靈活的控制策略,以確保各種服務都能獲得所需的最佳頻寬;同時系統還可以對P2P流使用DPI技術進行精細識別,提高了系統的識別能力,以實現網路的“按需分配”,迎合運營商未來精細化運營的迫切需求。
P2P流量識別與控制系統定義和功能
P2P流量識別與控制系統是為運營商解決前述問題所出現的具有高數據流處理能力的,能夠進行業務識別和流量管理的,可部署在IP網路的骨幹層、城域網和企業內部的網路設備。
主流的P2P流量識別與控制系統是依據“基於數據流狀態(包括數據流行為和數據流特徵)的深度報文檢測”技術,工作在OSI模型4層(傳輸層)到7層(套用層)的一類業務識別和流量管理設備,應具備如下功能:
對數據流的四層信息(協定、連線埠號)進行檢測識別;
對數據流的七層信息(類型、特徵、內容)進行檢測識別;
對數據流的特定封裝進行檢測和識別,如VLAN(Virtual Local AreaNetwork,虛擬區域網路)、 PPPoE(Pointto Point Protocal ove Ethernet,乙太網點到點協定)、MpLS/VpN (Multiprotocol Label Switching/Virtual private Network,多協定標記交換的虛擬專有網路)等;
對數據流實施流量管理功能(丟棄、整形和QoS保證);
用戶行為分析;
網路流量統計(類型、行為、趨勢);
高數據流處理能力。
P2P流量識別與控制系統主要解決了傳統的二、三層設備(如路由器、交換機和寬頻接入伺服器等)無法對7層套用進行檢測的問題,是對傳統的網路設備的一種補充和增強。
P2P流量識別與控制系統組成和套用前景
P2P流量識別與控制系統通常包括幾部分功能模組:數據流識別模組、數據流控制模組、業務特徵信息庫、控制策略庫、統計模組等。
1)數據流識別模組:即通過解析數據包的套用層協定或者分析數據流的行為特徵或判斷某些特徵字的方式來識別數據流,其目的是區分寬頻網路中混雜的數據流,並識別出某類業務的數據流,在此基礎上才能完成對業務的下一步操作,是整個系統的核心之一。
2)數據流控制模組:是在識別出具體業務的基礎上對某些業務採取相應的控制策略,比如為優先權不同的業務分配不同的頻寬策略、直接阻斷非法業務等等,最終實現網路服務差異化和公平化。
3)業務特徵信息庫:與數據流識別連線,存儲和管理數據流識別過程中涉及的識別規則,提供實時業務識別功能的支持。業務特徵信息庫可實現於業務識別點內部,亦可單獨實現。
4)控制策略庫:是數據流識別模組和數據流控制模組之間的橋樑,存儲和管理數量流控制過程中涉及的控制規則。控制策略庫可位於業務控制點內部,亦可單獨實現。
5)統計模組:統計模組是對系統實時和歷史的數據流識別和數據流控制信息的呈現和保存,能夠幫助用戶更好的進行網路流量統計,網路流量趨勢分析等。P2P流量識別與控制系統的基礎是數據流識別功能,在識別的基礎上進行數據流控制。P2P流量識別與控制系統能夠二層透傳的串聯在鏈路中,也能夠配置有三層IP位址串聯在鏈路中;或者通過分流設備,將數據流量引入到系統。系統將數據流Hash到內部的多個通道中,由專用的晶片或者CPU,通過數據流識別技術對數據流進行並行檢測識別,將識別結果放入到配置好的管道(Pipe)中,或者記錄相關數據流的IP五元組和業務類型信息,這些信息將保存在後台資料庫中,並以一定的形式(曲線、餅圖、柱狀圖、表格等)呈現於管理界面上。策略控制庫將配置傳送給數據流控制模組,數據流控制模組根據接收到的控制策略,在識別結果中進行查找,然後根據控制策略進行數據流控制。
概括講,P2P流量識別與控制系統有如下套用場景:
流量分析和網路規劃;
網路資源管理;
抑制非法業務;
安全防護;
區分服務;
內容計費;
用戶行為分析和增值業務;
用戶定製服務等。