簡介
在大多數方面,HEVC是H.264/MPEG-4 AVC中概念的擴展。兩者都通過比較視頻幀的不同部分來找到冗餘的區域,包括單幀和後續幀。然後用簡短描述代替原始像素替換這些冗餘區域。 HEVC的主要變化包括將模式比較和差分編碼區域擴展到16×16像素到大小達64×64,改進的可變塊大小分割,改進了同一圖像內的“幀內”預測,改進了運動矢量預測和運動區域合併,改進的運動補償濾波,以及稱為採樣自適應偏移濾波的附加濾波步驟。有效地使用這些改進需要更多的信號處理能力來壓縮視頻,但對解壓縮所需的計算量的影響較小。
HEVC由視頻編碼聯合協作小組(JCT-VC)開發,這是ISO / IEC MPEG和ITU-T VCEG之間的合作。 ISO/IEC組將其稱為MPEG-H第2部分,將ITU-T稱為H.265。 HEVC標準的第一個版本於2013年1月批准並於2013年6月發布。第二個版本具有多視圖擴展(MV-HEVC),範圍擴展(RExt)和可擴展性擴展(SHVC),於2014年完成並獲得批准2015年初完成了3D視頻擴展(3D-HEVC),並於2016年初完成了螢幕內容編碼(SCC)的擴展,並於2017年初發布,涵蓋了包含渲染圖形,文本或視頻的視頻。動畫以及(或代替)相機捕捉的視頻場景。 2017年10月,該標準被Primetime艾美工程獎認可為對電視技術產生重大影響。
HEVC包含參與JCT-VC的組織擁有的專利所涵蓋的技術。實施使用HEVC的設備或軟體應用程式可能需要HEVC專利持有者的許可。 ISO/IEC和ITU要求屬於其組織的公司以合理和非歧視性許可(RAND)條款提供其專利。專利許可可以直接從每個專利持有人處獲得,或通過專利許可機構獲得,例如MPEG LA,HEVC Advance和Velos Media。當前所有專利許可機構提供的綜合許可費用高於AVC。許可費是網路上HEVC採用率低的主要原因之一,也是一些最大的科技公司(亞馬遜,AMD,Apple,ARM,思科,谷歌,英特爾,微軟,Mozilla,Netflix,Nvidia和更多)已加入開放媒體聯盟,旨在於2017年底完成免版稅替代視頻編碼格式AV1。AV1規範的初始版本最終於2018年3月28日發布。
歷史
先前工作
2004年,ITU-T視頻編碼專家組(VCEG)開始對技術進步進行重大研究,以便能夠創建新的視頻壓縮標準(或H.264/MPEG-4 AVC標準的大量面向壓縮的增強)。 2004年10月,調查了各種可能增強H.264/MPEG-4 AVC標準的技術。 2005年1月,在VCEG的下次會議上,VCEG開始將某些主題指定為“關鍵技術領域”(KTA)以供進一步調查。建立了一個名為KTA代碼庫的軟體代碼庫來評估此類提案。KTA軟體基於聯合模型(JM)參考軟體,該軟體由MPEG和VCEG聯合視頻團隊為H.264 / MPEG-4 AVC開發。其他提議的技術已整合到KTA軟體中,並在未來四年的實驗評估中進行了測試。MPEG和VCEG建立了視頻編碼聯合協作小組(JCT-VC)來開發HEVC標準。
考慮了兩種標準化增強壓縮技術的方法:創建新標準或創建H.264 / MPEG-4 AVC的擴展。該項目暫定名稱為H.265和H.NGVC(下一代視頻編碼),並且是VCEG工作的主要部分,直到2010年它與MPEG進入HEVC聯合項目。
與H.264 / MPEG-4 AVC高配置檔案相比,NGVC的初步要求是能夠在相同的主觀圖像質量下降低50%的比特率,並且計算複雜度是該設備的1/2到3倍。高調。NGVC能夠在與高解析度相同的視頻質量下提供25%的比特率降低和50%的複雜性降低,或者提供更高的比特率降低,同時具有更高的複雜度。
ISO/IEC運動圖像專家組(MPEG)於2007年啟動了一個類似的項目,暫定名為高性能視頻編碼。在2007年7月之前,已經決定將比特率降低50%的協定作為該項目的目標。通過對VCEG開發的KTA參考軟體編碼器的修改進行早期評估。到2009年7月,實驗結果顯示,與AVC High Profile相比,平均比特減少約20%;這些結果促使MPEG與VCEG合作啟動其標準化工作。
標準化
VCEG和MPEG於2010年1月發布了關於視頻壓縮技術的正式聯合徵集提案,並在4月舉行的MPEG&VCEG視頻編碼聯合協作組(JCT-VC)第一次會議上對提案進行了評估。2010年。共提交了27份完整提案。評估表明,在許多測試案例中,一些提案可以達到與AVC相同的視覺質量,只有一半的比特率,計算複雜度增加了2-10倍,並且一些提議獲得了良好的主觀質量和比特率結果具有比參考AVC高輪廓編碼更低的計算複雜度。在那次會議上,聯合項目採用了高效視頻編碼(HEVC)這一名稱。從那次會議開始,JCT-VC將一些最佳建議的特徵集成到單個軟體代碼庫和“正在考慮的測試模型”中,並進行了進一步的實驗以評估各種提議的特徵。HEVC的第一個工作草案規範是在2010年10月的第三次JCT-VC會議上制定的。在後來的JCT-VC會議中,HEVC的編碼工具和配置發生了許多變化。
2013年1月25日,國際電聯宣布HEVC已獲得ITU-T替代批准程式(AAP)的第一階段批准(同意)同一天,MPEG宣布HEVC已經在MPEG標準化過程中被提升為國際標準最終草案(FDIS)。
2013年4月13日,HEVC/H.265被批准為ITU-T標準。該標準由ITU-T於2013年6月7日正式發布,ISO/IEC於2013年11月25日正式發布。
2014年7月11日,MPEG宣布第二版HEVC將包含三個最近完成的擴展,即多視圖擴展(MV-HEVC),範圍擴展(RExt)和可擴展性擴展(SHVC)。
2014年10月29日,HEVC/H.265第2版被批准為ITU-T標準。它於2015年1月12日正式發布。
2015年4月29日,HEVC/H.265第3版被批准為ITU-T標準。
2016年6月3日,HEVC/H.265第4版在ITU-T中獲得同意,並在2016年10月的投票中未獲批准。
2016年12月22日,HEVC/H.265第4版被批准為ITU-T標準。
專利
2014年9月29日,MPEG LA宣布其HEVC許可證,涵蓋23家公司的重要專利。首批100,000個“設備”(包括軟體實施)是免版稅的,之後每台設備的費用為0.20美元,而年度上限為2500萬美元。這比AVC的費用要貴得多,每台設備的費用為0.10美元,相同的100,000豁免,年度上限為650萬美元。 MPEG LA對內容本身不收取任何費用,這是他們最初授權AVC時所嘗試的內容,但隨後在內容製作者拒絕支付時被撤銷。該許可證已經擴展到包括HEVC標準第2版中的配置檔案。
當MPEG LA條款公布時,評論者指出,一些知名玩家不屬於該組。其中包括AT&T,微軟,諾基亞和摩托羅拉。當時的猜測是,這些公司將形成自己的許可池,以與MPEG LA池競爭或增加。這樣一個小組於2015年3月26日正式宣布為HEVC Advance。這些條款涵蓋500項重要專利,於2015年7月22日公布,其費率取決於銷售國家,設備類型,HEVC配置檔案,HEVC擴展和HEVC可選功能。與MPEG LA條款不同,HEVC Advance通過收益分享費用重新引入了使用HEVC編碼的內容的許可費。
最初的HEVC Advance許可證對於1區國家/地區的每台設備的最高使用費率為2.60美元,內容使用費率為HEVC視頻服務產生的收入的0.5%。 HEVC Advance許可證中的1區國家包括美國,加拿大,歐盟,日本,韓國,澳大利亞,紐西蘭等。 2區國家/地區是未列入1區國家/地區列表的國家/地區。 HEVC Advance許可證對於2區國家/地區的每台設備的最高使用費率為1.30美元。與MPEG LA不同,沒有年度上限。除此之外,HEVC Advance還收取了HEVC中視頻服務編碼內容產生的收入的0.5%的特權使用費率。
當它們被宣布時,行業觀察者對設備的“不合理和貪婪”費用產生了相當大的反響,這些費用大約是MPEG LA費用的七倍。一起添加,設備需要的許可證價格為2.80美元,是AVC的28倍,以及內容的許可費用。這導致要求“內容所有者團結起來並同意不同意HEVC Advance”。其他人認為,這些費率可能會導致公司轉向Daala和VP9等競爭標準。
2015年12月18日,HEVC Advance宣布了專利費率的變化。這些變化包括將1區國家的最高專利費率降至每台設備2.03美元,創建年度專利費上限,以及免除最終用戶免費內容的版稅。一家公司的年度特權使用費上限為4000萬美元,內容為500萬美元,可選功能為200萬美元。
2016年2月3日,Technicolor SA宣布他們已退出HEVC Advance專利池,並將直接授權他們的HEVC專利。
2016年11月22日,HEVC Advance宣布了一項重大舉措,修訂了他們的政策,允許HEVC的軟體實施直接分發給消費者移動設備和個人計算機免版稅,無需專利許可。
2017年3月31日,Velos Media宣布其HEVC許可證涵蓋愛立信,松下,高通公司,夏普和索尼的必要專利。
編碼效率
大多數視頻編碼標準的設計主要旨在獲得最高的編碼效率。編碼效率是能夠以儘可能低的比特率對視頻進行編碼,同時保持一定的視頻質量水平。有兩種標準方法來測量視頻編碼標準的編碼效率,即使用客觀度量,例如峰值信噪比(PSNR),或使用視頻質量的主觀評估。視頻質量的主觀評估被認為是衡量視頻編碼標準的最重要方式,因為人類主觀地感知視頻質量。
HEVC受益於使用更大的編碼樹單元(CTU)大小。這已經在使用HM-8.0 HEVC編碼器的PSNR測試中顯示,其中它被迫使用逐漸變小的CTU尺寸。對於所有測試序列,當與64×64 CTU大小相比時,顯示當強制使用32×32 CTU大小時HEVC比特率增加2.2%,並且當被迫使用16×時增加11.0% 16 CTU尺寸。在A類測試序列中,視頻的解析度為2560×1600,與64×64 CTU大小相比,顯示當強制使用32×32 CTU大小時,HEVC比特率增加了5.7% ,當被迫使用16×16 CTU尺寸時,增加了28.2%。測試表明,大CTU尺寸可提高編碼效率,同時還可縮短解碼時間。
HEVC Main Profile(MP)在編碼效率方面與H.264 / MPEG-4 AVC High Profile(HP),MPEG-4 Advanced Simple Profile(ASP),H.263 High Latency Profile(HLP)和H進行了比較.262 / MPEG-2主要配置檔案(MP)。視頻編碼是為娛樂套用完成的,並且使用HM-8.0 HEVC編碼器為9個視頻測試序列製作了12個不同的比特率。在九個視頻測試序列中,五個處於HD解析度,而四個處於WVGA(800×480)解析度。 HEVC的比特率降低基於PSNR確定,HEVC與H.264 / MPEG-4 AVC HP相比具有35.4%的比特率降低,與MPEG-4 ASP相比降低63.7%,與H.263 HLP相比降低65.1% ,與H.262 / MPEG-2 MP相比,有70.8%。
HEVC MP還與H.264 / MPEG-4 AVC HP進行了比較,以獲得主觀視頻質量。視頻編碼是針對娛樂套用進行的,並且對於使用HM-5.0 HEVC編碼器的九個視頻測試序列進行了四種不同的比特率。主觀評估是在早於PSNR比較的日期進行的,因此它使用了性能略低的HEVC編碼器的早期版本。使用平均意見得分值基於主觀評估確定比特率降低。與H.264 / MPEG-4 AVC HP相比,HEVC MP的整體主觀比特率降低為49.3%。
ÉcolePolytechniqueFédéraledeLausanne(EPFL)做了一項研究,以高於HDTV的解析度評估HEVC的主觀視頻質量。這項研究是用三個視頻完成的,解析度為3840×1744(24 fps),3840×2048(30 fps),3840×2160(30 fps)。五秒鐘的視頻序列顯示了人們在街頭,交通和開源計算機動畫電影Sintel的場景。使用HM-6.1.1 HEVC編碼器和JM-18.3 H.264 / MPEG-4 AVC編碼器以五種不同的比特率對視頻序列進行編碼。使用平均意見得分值基於主觀評估確定主觀比特率降低。該研究將HEVC MP與H.264 / MPEG-4 AVC HP進行了比較,結果表明,對於HEVC MP,基於PSNR的平均比特率降低為44.4%,而基於主觀視頻質量的平均比特率降低為66.5%。
在2013年4月發布的HEVC性能比較中,使用3840×2160視頻序列將HEVC MP和Main 10 Profile(M10P)與H.264 / MPEG-4 AVC HP和High 10 Profile(H10P)進行比較。使用HM-10.0 HEVC編碼器和JM-18.4 H.264 / MPEG-4 AVC編碼器對視頻序列進行編碼。對於幀間視頻,基於PSNR的平均比特率降低為45%。
在2013年12月發布的視頻編碼器比較中,將HM-10.0 HEVC編碼器與x264編碼器(版本r2334)和VP9編碼器(版本v1.2.0-3088-ga81bd12)進行了比較。該比較使用Bjøntegaard-Delta比特率(BD-BR)測量方法,其中負值表示比特率降低多少,正值表示相同PSNR的比特率增加多少。在比較中,HM-10.0 HEVC編碼器具有最高的編碼效率,並且平均而言,為了獲得相同的客觀質量,x264編碼器需要將比特率提高66.4%,而VP9編碼器需要提高比特率減少79.4%。
在2014年5月發布的主觀視頻性能比較中,JCT-VC將HEVC Main配置檔案與H.264 / MPEG-4 AVC High配置檔案進行了比較。該比較使用平均意見得分值,由BBC和蘇格蘭西部大學進行。使用HM-12.1 HEVC編碼器和JM-18.5 H.264/MPEG-4 AVC編碼器對視頻序列進行編碼。該比較使用一系列解析度,HEVC的平均比特率降低為59%。 HEVC的平均比特率降低為480p為52%,720p為56%,1080p為62%,4K UHD為64%。
在EPFL於2014年8月發布的主觀視頻編解碼器比較中,將HM-15.0 HEVC編碼器與VP9 1.2.0-5183編碼器和JM-18.8 H.264/MPEG-4 AVC編碼器進行了比較。四個4K解析度序列以五種不同的比特率編碼,編碼器設定為使用一秒的內部周期。在比較中,HM-15.0 HEVC編碼器具有最高的編碼效率,並且平均而言,對於相同的主觀質量,與VP9 1.2.0-5183編碼器相比,比特率可以降低49.4%,並且可以降低與JM-18.8 H.264 / MPEG-4 AVC編碼器相比,增加了52.6%。
2016年8月,Netflix公布了一項大型研究的結果,該研究將領先的開源HEVC編碼器x265與領先的開源AVC編碼器x264和參考VP9編碼器libvpx進行了比較。Netflix使用先進的視頻多方法評估融合(VMAF)視頻質量測量工具,發現x265的比特率相同,質量比x264低35.4%至53.3%,比VP9低17.8%至21.8%。
特點
與H.264 / MPEG-4 AVC HP相比,HEVC旨在顯著提高編碼效率,即以可比較的圖像質量將比特率要求降低一半,但代價是計算複雜度增加。HEVC的設計目標是允許視頻內容的數據壓縮比高達1000:1。根據套用要求,HEVC編碼器可以犧牲計算複雜性,壓縮率,對錯誤的魯棒性和編碼延遲時間。與H.264 / MPEG-4 AVC相比,改進HEVC的兩個關鍵特性是支持更高解析度的視頻和改進的並行處理方法。
HEVC針對下一代HDTV顯示器和內容捕獲系統,具有逐行掃描幀速率和QVGA(320x240)至4320p(7680x4320)的顯示解析度,以及在噪聲級別,色彩空間和動態方面的改善圖像質量範圍。