簡介
CDN技術是近年來在美國首先興起並迅速發展起來的一種解決網際網路性能不佳問題的有效手段。其基本思路就是儘可能避開網際網路上有可能影響數據傳輸速度和穩定性的瓶頸和環節,使內容傳輸的更快、更穩。通過在網路各處放置節點伺服器所構成的在現有的網際網路基礎之上的一層智慧型虛擬網路,cdn系統能夠實時地根據網路流量和各節點的連線、負載狀況以及到用戶的距離和回響時間等綜合信息將用戶的請求重新導向離用戶最近的服務節點上。實際上,內容分發布網路(CDN)是一種新型的網路構建方式,它是為能在傳統的IP網發布寬頻豐富媒體而特別最佳化的網路覆蓋層;而從廣義的角度,CDN代表了一種基於質量與秩序的網路服務模式。簡單地說,內容發布網(CDN)是一個經策略性部署的整體系統,包括分散式存儲、負載均衡、網路請求的重定向和內容管理4個要件,而內容管理和全局的網路流量管理(TrafficManagement)是CDN的核心所在。通過用戶就近性和伺服器負載的判斷,CDN確保內容以一種極為高效的方式為用戶的請求提供服務。總的來說,內容服務基於快取伺服器,也稱作代理快取(Surrogate),它位於網路的邊緣,距用戶僅有“一跳”SingleHop)之遙。同時,代理快取是內容提供商源伺服器(通常位於CDN服務提供商的數據中心)的一個透明鏡像。這樣的架構使得CDN服務提供商能夠代表他們客戶,即內容供應商,向最終用戶提供儘可能好的體驗,而這些用戶是不能容忍請求回響時間有任何延遲的。據統計,採用CDN技術,能處理整個網站頁面的70%~95%的內容訪問量,減輕伺服器的壓力,提升了網站的性能和可擴展性。
與目前現有的內容發布模式相比較,CDN強調了網路在內容發布中的重要性。通過引入主動的內容管理層的和全局負載均衡,CDN從根本上區別於傳統的內容發布模式。在傳統的內容發布模式中,內容的發布由ICP的套用伺服器完成,而網路只表現為一個透明的數據傳輸通道,這種透明性表現在網路的質量保證僅僅停留在數據包的層面,而不能根據內容對象的不同區分服務質量。此外,由於IP網的盡力而為的特性使得其質量保證是依靠在用戶和套用伺服器之間端到端地提供充分的、遠大於實際所需的頻寬通量來實現的。在這樣的內容發布模式下,不僅大量寶貴的骨幹頻寬被占用,同時ICP的套用伺服器的負載也變得非常重,而且不可預計。當發生一些熱點事件和出現浪涌流量時,會產生局部熱點效應,從而使套用伺服器過載退出服務。這種基於中心的套用伺服器的內容發布模式的另外一個缺陷在於個性化服務的缺失和對寬頻服務價值鏈的扭曲,內容提供商承擔了他們不該乾也乾不好的內容發布服務。縱觀整個寬頻服務的價值鏈,內容提供商和用戶位於整個價值鏈的兩端,中間依靠網路服務提供商將其串接起來。隨著網際網路工業的成熟和商業模式的變革,在這條價值鏈上的角色越來越多也越來越細分。比如內容/套用的運營商、託管服務提供商、骨幹網路服務提供商、接入服務提供商等等。在這一條價值鏈上的每一個角色都要分工合作、各司其職才能為客戶提供良好的服務,從而帶來多贏的局面。從內容與網路的結合模式上看,內容的發布已經走過了ICP的內容(套用)伺服器和IDC這兩個階段。IDC的熱潮也催生了託管服務提供商這一角色。但是,IDC並不能解決內容的有效發布問題。內容位於網路的中心並不能解決骨幹頻寬的占用和建立IP網路上的流量秩序。因此將內容推到網路的邊緣,為用戶提供就近性的邊緣服務,從而保證服務的質量和整個網路上的訪問秩序就成了一種顯而易見的選擇。而這就是內容發布網(CDN)服務模式。CDN的建立解決了困擾內容運營商的內容"集中與分散"的兩難選擇,無疑對於構建良好的網際網路價值鏈是有價值的,也是不可或缺的最優網站加速服務。目前,國內訪問量較高的大型網站如新浪、網易等,均使用CDN網路加速技術,雖然網站的訪問巨大,但無論在什麼地方訪問都會感覺速度很快。而一般的網站如果伺服器在網通,電信用戶訪問很慢,如果伺服器在電信,網通用戶訪問又很慢。
它採取了分散式網路快取結構(即國際上流行的webcache技術),通過在現有的Internet中增加一層新的網路架構,將網站的內容發布到最接近用戶的cache伺服器內,通過DNS負載均衡的技術,判斷用戶來源就近訪問cache伺服器取得所需的內容,解決Internet網路擁塞狀況,提高用戶訪問網站的回響速度,如同提供了多個分布在各地的加速器,以達到快速、可冗餘的為多個網站加速的目的。
CDN的特點
1、本地Cache加速提高了企業站點(尤其含有大量圖片和靜態頁面站點)的訪問速度,並大大提高以上性質站點的穩定性。2、鏡像服務消除了不同運營商之間互聯的瓶頸造成的影響,實現了跨運營商的網路加速,保證不同網路中的用戶都能得到良好的訪問質量。
3、遠程加速遠程訪問用戶根據DNS負載均衡技術智慧型自動選擇Cache伺服器,選擇最快的Cache伺服器,加快遠程訪問的速度
4、頻寬最佳化自動生成伺服器的遠程Mirror(鏡像)cache伺服器,遠程用戶訪問時從cache伺服器上讀取數據,減少遠程訪問的頻寬、分擔網路流量、減輕原站點WEB伺服器負載等功能。
5、集群抗攻擊廣泛分布的CDN節點加上節點之間的智慧型冗於機制,可以有效地預防黑客入侵以及降低各種D.D.o.S攻擊對網站的影響,同時保證較好的服務質量。
CDN中的關鍵技術包含以下幾個方面;
(1)內容發布:它藉助於建立索引、快取、流分裂、組播(Multicast)等技術,將內容發布或投遞到距離用戶最近的遠程服務點(POP)處;
(2)內容路由:它是整體性的網路負載均衡技術,通過內容路由器中的重定向(DNS)機制,在多個遠程POP上均衡用戶的請求,以使用戶請求得到最近內容源的回響;
(3)內容交換:它根據內容的可用性、伺服器的可用性以及用戶的背景,在POP的快取伺服器上,利用套用層交換、流分裂、重定向(ICP、WCCP)等技術,智慧型地平衡負載流量;
(4)性能管理:它通過內部和外部監控系統,獲取網路部件的狀況信息,測量內容發布的端到端性能(如包丟失、延時、平均頻寬、啟動時間、幀速率等),保證網路處於最佳的運行狀態。
P4P與傳統CDN、P2P的對比
7月30日訊息:德國一個名為iPoque的研究機構在2007年研究了一百多萬網民將近3TB的匿名數據流量,調查地區包括澳大利亞、東歐、德國、中東和南歐地區。調查發現,目前網路頻寬“消費大戶”是P2P檔案共享,在中東占據了49%,東歐地區占據了84%。從全球來看,晚上時段的網路頻寬有95%被P2P占據。據國內權威部門統計,當前P2P流量已經占整個網際網路流量的約70%,並且正在以每年350%的速度增長。P2P流量消耗了巨大的網路頻寬,尤其是國際頻寬,使網路基礎設施不堪重負,運營商苦不堪言。問題的癥結不在於P2P,而在於交換的機制。P2P過於強調“對等”,每個節點之間的交換完全是無序的。一個北京的用戶,既可能和廣州的用戶進行檔案片段的交換,也可能和遠在美國的某用戶進行交換。顯然,無序的交換導致了無謂的跨地區甚至是跨國的“流量旅行”,這耗費了寶貴的國內和國際頻寬資源,代價巨大。
如果正好用戶都在同一個地區,那么,本地化的交換的成本就會大大降低。這也正是P4P的簡單原理——讓P2P也玩“同城”。P4P全稱是“ProactivenetworkProviderParticipationforP2P(電信運營商主動參與P2P網路)”。與P2P隨機挑選Peer(對等機)不同,P4P協定可以協調網路拓撲數據,能夠有效選擇節點,從而提高網路路由效率。仍以上述例子來說,北京的用戶就可以優先和北京同城的用戶來實現檔案片段的交換,再擴展至較遠的地區,有十分的必要時,才會出國進行檔案片段交換。當然,P4P的運行機制,要遠遠超過“同城交換”的概念,它還會根據用戶的上行、下載頻寬進行綜合判斷,以進行最有效選擇,最大化整體交換的效率。
關鍵技術
(1)內容發布:它藉助於建立索引、快取、流分裂、組播(Multicast)等技術,將內容發布或投遞到距離用戶最近的遠程服務點(POP)處;
(2)內容路由:它是整體性的網路負載均衡技術,通過內容路由器中的重定向(DNS)機制,在多個遠程POP上均衡用戶的請求,以使用戶請求得到最近內容源的回響;
(3)內容交換:它根據內容的可用性、伺服器的可用性以及用戶的背景,在POP的快取伺服器上,利用套用層交換、流分裂、重定向(ICP、WCCP)等技術,智慧型地平衡負載流量;
(4)性能管理:它通過內部和外部監控系統,獲取網路部件的狀況信息,測量內容發布的端到端性能(如包丟失、延時、平均頻寬、啟動時間、幀速率等),保證網路處於最佳的運行狀態。
主要特點
1、本地Cache加速提高了企業站點(尤其含有大量圖片和靜態頁面站點)的訪問速度,並大大提高以上性質站點的穩定性
2、鏡像服務消除了不同運營商之間互聯的瓶頸造成的影響,實現了跨運營商的網路加速,保證不同網路中的用戶都能得到良好的訪問質量。
3、遠程加速遠程訪問用戶根據DNS負載均衡技術智慧型自動選擇Cache伺服器,選擇最快的Cache伺服器,加快遠程訪問的速度
4、頻寬最佳化自動生成伺服器的遠程Mirror(鏡像)cache伺服器,遠程用戶訪問時從cache伺服器上讀取數據,減少遠程訪問的頻寬、分擔網路流量、減輕原站點WEB伺服器負載等功能。
5、集群抗攻擊廣泛分布的CDN節點加上節點之間的智慧型冗餘機制,可以有效地預防黑客入侵以及降低各種D.D.o.S攻擊對網站的影響,同時保證較好的服務質量。
產品優勢
CDN能幾乎涵蓋國內所有線路。而在可靠性上,CDN在結構上實現了多點的冗餘,即使某一個節點由於意外發生故障,對網站的訪問能夠被自動導向其他的健康節點進行回響。CDN能輕鬆實現網站的全國鋪設,不必考慮伺服器的投入與託管、不必考慮新增頻寬的成本、不必考慮多台伺服器的鏡像同步、不必考慮更多的管理維護技術人員。
中國市場
初期我國CDN市場發展緩慢,2006年後市場陡然升溫,國內較為有名的CDN服務商有思必達、藍汛等,但整體CDN市場規模、運營成熟度、服務能力和技術研發均較國外存在一定的差距。目前我們存在以下類型的CDN服務商:
CDN 服務商 | 優勢 | 劣勢 |
專業CDN服務商 | 專注核心業務發展,易擴大經營規模;進入市場較早,具有成熟的運營機制和較高的服務能力。 | 受制於 電信運營商頻寬租用費用,頻寬成本是剛性的,不能形成價格優勢。由於電信運營商運營支撐系統的不靈活導致 頻寬資費設定不靈活,不能按需索取,導致CDN的價格居高不下 |
提供CDN服務的IDC 運營商 | 擁有頻寬資源優勢,進入 市場較容易 | 需要添置大量的 伺服器、 網路設備及存儲設備,投資成本高 |
電信運營商 | 1.擁有巨大的頻寬和 網路優勢,其頻寬成本是 彈性的,可以配置最優的CDN服務網路;資本雄厚,有實力建設規模龐大的CDN網路,擁有品牌優勢,與眾多 網際網路公司關係密切,能夠引導網際網路公司使用CDN服務。 2.已建成流媒體等專用CDN網路在此基礎上進行升級和改造,可快速推出多種 CDN業務。 | 1.CDN行業屬於技術驅動型產業,電信運營商的CDN技術儲備較 薄弱。 2.互聯互通問題導致運營商只能在自己的網路上做CDN業務,跨網路運營的問題較難解決 3.CDN不是電信運營商的 主營業務,缺乏運營經驗和 服務能力。 |
自建CDN | 1.節約服務成本,可控性高 2.免受CDN市場價格波動的困擾,利於成本降低 | 1.初期投資較大,且增加 運營和研發成本 2.非核心業務,易分散對主營業務的精力 3. 節點數少,不能完全滿足需求 |
國外CDN服務商 | 1.資金雄厚,具備技術、運營和服務實力,利於業務開展。 2.在國內開始建設節點,利於 市場開拓。 | 1.與國內一些IDC和ISP採取代理合作的方式來銷售自己的服務,難以大規模開展業務 2.非正規競爭,存在 安全隱患,將域名解析權掌控在 國外運營商的手裡 |
免費自助CDN | 1.CDN產品免費提供,專注於對網站運維技術的一站式解決。 2.自助式CDN解決方案,簡單易用,監控解析功能齊全。 | 1.現在處於 起步階段,功能和服務能力比較弱 2.對於CDN服務內容有限制,需要 備案 |
內容存儲技術
CDN需要考慮兩個方面的內容存儲問題,一個是內容源的集中存儲,另一個是內容在Cache節點中的分散式存儲。由於內容的規模比較大,內容的吞吐量較大,因此,通常採用海量存儲架構。目前常用的存儲技術主要有直連附加存儲(DAS)、網路附加存儲(NAS)和存儲區域網(SAN)。DAS是直接連線在各種伺服器或客戶端擴展接口下的數據存儲設備,完全以伺服器為中心,寄生在相應伺服器或客戶端上,本身是硬體的堆疊,不帶有任何存儲作業系統,網路客戶端通過訪問伺服器瀏覽存儲設備的信息。NAS可以提供高速的數據I/O訪問,降低了媒體伺服器由於相應數據訪問請求而承擔的CPU負荷,使媒體伺服器性能得到大幅提升,NAS把數據放在同一個伺服器里讓不同用戶共享。SAN允許伺服器在共享存儲裝置的同時仍能高速傳送數據,共享式區域網路通過高速連線將伺服器與存儲介質相互連通,具有可擴展性高、可用性高和容錯能力強的優點,可以輕鬆升級,易於管理,有助於改善整個系統的成本狀況。HFMS是針對流媒體內容海量存儲開發的一種檔案存儲技術,針對傳統的採用直接檔案複製帶來的種種弊端,採用Segment技術,以流廣播形式傳送新複製的片段,到終端用戶處的總延遲在50ms以內,用戶不容易察覺到。在極端情況下,當所有用戶都在同一時間觀看同一熱門節目的片段時,可同時以廣播形式播放。HMFS實現了流媒體內容的分段存儲和服務,提升了系統服務性能。
對於VOD內容的存儲,可以根據網路規模,採用不同的存儲方案。對於小規模網路,可以採用DAS;中等規模的網路採用NAS;對於大規模的網路可以採用SAN存儲方案。根據數據量大和實時性強的特點,建議採用SAN和HMFS結合存儲技術進一步最佳化流媒體數據存儲。
媒體內容分發技術
內容分發技術是通過網路的構建減小IP骨幹網路的傳輸壓力,將連線到IP網路上的內容迅速分發到用戶終端。CDN主要由初始伺服器、分布在邊緣的快取伺服器、重定向DNS伺服器和內容交換伺服器組成。初始伺服器負責生成伺服器信息內容;快取伺服器負責存儲初始伺服器的部分或全部信息內容;重定向DNS伺服器向用戶提供最近的伺服器IP位址,減輕骨幹網的壓力;內容交換伺服器完成各快取伺服器之間的負載均衡功能;內容管理伺服器負責整個網路各快取伺服器中存儲的內容的管理,為各快取伺服器制定相應的快取策略,以提高快取伺服器的服務質量。
分段分發技術
流媒體對邊緣內容的完整性沒有要求,節點只需存儲少量的節目或節目片段即可實時推送內容,為用戶提供完整的服務。當用戶點播的內容只有部分片段或沒有時,系統將採用分發技術進行內容的快速分發。
部分分發技術
部分分發技術可提升邊緣系統的命中率,如果對10%的內容採用全複製,20%的內容採用50%複製,50%的內容採用10%複製,那么,系統可以實現95%以上的命中率,大大降低骨幹網的負荷,具有優越的分發性能。
負載均衡技術
負載均衡是整個CDN的核心,負載均衡的準確性和效率直接決定了整個CDN的效率和性能。
負載均衡技術將網路的流量儘可能均勻地分配到幾個能完成相同任務的伺服器或網路節點上進行處理,避免部分網路節點過載而另一部分節點空閒的不利狀況,既可以提高網路流量,又可以提高網路的整體性能。