視頻編碼的含義
原始視頻數據的存儲空間大，1080P 7 s視頻需要817 MB
原始視頻數據傳輸佔用較大帶寬，以11 Mbps的帶寬傳輸上述7 s視頻需要10分鐘
經過H.264編碼和壓縮後，視頻大小僅為708 k，10 Mbps帶寬僅需要500 ms，可以滿足實時傳輸的需求。 因此，必須將從視頻採集傳感器收集的原始視頻進行視頻編碼。
根本
那麼，為什麼可以將巨大的原始視頻編碼為非常小的視頻？ 這是什麼技術？ 在討論技術之前，我們應該首先建立連續圖像視頻的概念。
核心思想是刪除冗餘信息：
空間冗餘：圖片的相鄰像素之間存在很強的相關性
時間冗餘：視頻序列中相鄰圖片之間的相似內容
編碼冗餘：不同的像素值具有不同的概率
視覺冗餘：人類視覺系統對某些細節不敏感
知識冗餘：可以從先驗知識和背景知識中獲得規律性的結構
視頻本質上是連續且快速播放的一系列圖片，因此壓縮視頻的最簡單方法是壓縮圖片的每一幀。 例如，較早的MJPEG編碼將壓縮視頻中的每一幀圖片。 這種編碼方法只有幀內編碼，它使用空間樣本預測進行編碼。 圖像隱喻是將每個幀都視為圖片，並使用JPEG編碼格式來壓縮圖片。 這種編碼僅考慮圖片中冗餘信息的壓縮。
然而，由於幀之間的時間相關性，已經開發了一些可以使用幀間編碼的高級編碼器。 簡而言之，通過搜索算法選擇幀上的某些區域，然後計算當前幀。這是在前後參考幀之間具有矢量差的編碼形式。 通過圖2中接下來的兩個連續幀，我們可以看到滑雪者正在向前移動，但實際上雪景正在向後移動，並且參考了P幀可以對幀（I幀或其他P幀）進行編碼，其大小編碼後很小，壓縮率很高。
關於參考鏈接 框架 http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
一些學生可能對這兩張圖片的來源感興趣。 這是要實現的兩行FFmpeg命令。 有關FFmpeg的更多詳細信息，請參見以下章節：
第一行生成帶有運動矢量的視頻
第二行將每幀輸出為圖片
使用該命令
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-％03d.bmp'
除了空間冗餘和時間冗餘壓縮，主要還有編碼壓縮和視覺壓縮。 以下是編碼器的主要流程圖：
圖3和圖4是兩個過程。 圖3是幀內編碼，圖4是幀間編碼。 從圖中看到的主要區別是第一步是不同的。 實際上，這兩個過程也是結合在一起的。 一般來說，I幀和P幀分別使用幀內編碼和幀間編碼。
編碼器選擇
我整理了編碼器的原理和基本過程。 編碼器經歷了數十年的發展。 它已經從僅支持幀內編碼發展到如今由H.265和VP9代表的新一代編碼器。 目前，我們分析了一些常見的編碼器，我們將帶您探索編碼器的世界。
H.264
簡介
H.264 / AVC項目旨在創建視頻標準。 與舊標準相比，它可以以較低的帶寬（換句話說，只有MPEG-2，H.263或MPEG-4 Part 2的一半或更小的帶寬）提供高質量的視頻，而又不會增加太多的設計複雜性。無法實現或實施成本過高。 另一個目的是提供足夠的靈活性，以用於各種應用程序，網絡和系統，包括高和低帶寬，高和低視頻分辨率，廣播，DVD存儲，RTP / IP網絡和ITU-T多媒體電話系統。
H.264 / AVC包含一系列新功能，不僅使其比以前的編解碼器更高效，而且可以在各種網絡環境中的應用程序中使用。 這種技術基礎使H.264成為包括YouTube在內的在線視頻公司使用的主要編解碼器，但是使用它並不是一件容易的事。 從理論上講，使用H.264需要很多錢。 專利費。
專利許可
與MPEG-2的第一部分和第二部分以及MPEG-4的第二部分一樣，使用H.264 / AVC的產品製造商和服務提供商需要向專利持有人支付專利許可費。 這些專利許可的主要來源是一個名為MPEG-LA LLC的私人組織。 該組織與MPEG標準化組織無關，但該組織還管理MPEG-2第一部分系統，第二部分視頻和MPEG-4第一部分。 分為兩部分的視頻和其他技術專利許可。
其他專利許可需要申請另一個名為VIA Licensing的私有組織，該組織還管理音頻壓縮標準（例如MPEG-2 AAC和MPEG-4 Audio）的專利許可。
H.264的開源實現
openh264是思科實施的開源H.264編碼程序。 儘管H.264要求高昂的專利費，但是專利費有年度限制。 在Cisco支付OpenH264的年度專利費後，OpenH264實際上是免費的。
x264是根據GPL授權的視頻編碼免費軟件。 x264的主要功能是執行H.264 / MPEG-4 AVC視頻編碼，而不是作為解碼器。
排除成本問題進行比較：
openh264的CPU使用率比x264的CPU使用率低得多
openh264僅支持基準配置文件，x264支持更多配置文件
HEVC / H.265
簡介
高效視頻編碼（HEVC）是一種視頻壓縮標準（也稱為H.265），被認為是ITU-T H.264 / MPEG-4 AVC標準的後繼產品。 2004年，ISO / IEC運動圖像專家組（MPEG）和ITU-T視頻編碼專家組（VCEG）開始發展為ISO / IEC 23008-2 MPEG-H第2部分或ITU-T H.265。 HEVC / H.265視頻壓縮標準的第一版於13年2013月264日被接受為國際電信聯盟（ITU-T）的正式標準。HEVC被認為不僅可以提高視頻質量，而且可以達到兩倍的效果。 H.4 / MPEG-50 AVC的壓縮率（相當於在相同畫質下比特率降低4％），並且可以支持8192K分辨率甚至是超高清電視（UHDTV），達到4320×8（XNUMXK分辨率）。
專利許可
HEVC要求所有使用H.265技術的內容製造商（包括Apple，YouTube，Netflix，Facebook和Amazon）都要支付其內容收入的0.5％作為技術使用費。 整個流媒體市場每年達到約100億美元，而且還在繼續增長。在增長中，徵收0.5％的稅絕對是一筆不小的費用。 他們並沒有放過設備製造商，其中電視製造商需要為每台設備支付1.5美元，移動設備製造商為每台設備支付0.8美元的專利費。 他們甚至沒有放過製造商，例如藍光設備播放器，遊戲機和錄像機，每個製造商必須支付1.1美元。
H.265 / HEVC的開源實現
libde265 HEVC由struktur公司根據開放源代碼許可證GNU較小通用公共許可證（LGPL）提供，並且觀看者可以在較慢的Internet速度下欣賞最高質量的圖像。 與以前的基於H.264標準的解碼器相比，libde265 HEVC解碼器可以將全高清內容帶給兩倍的觀眾，或者將流傳輸所需的帶寬減少50％。
x265由MulticoreWare開發，並根據GPL協議開源。
VP8
簡介
VP8是一種開放式視頻壓縮格式，最早由On2 Technologies開發，然後由Google發布。 同時，Google還發布了VP8編碼的實現庫：libvpx，它以BSD許可條款的形式發布，並隨後增加了使用專利的權利。 經過一番爭論，VP8的授權最終被確認為開源授權。
當前，支持VP8的Web瀏覽器是Opera，Firefox和Chrome。
專利許可
2013年11月，Google與MPEG LA和8個專利持有人達成協議，允許Google獲得VP8及其以前的VPx和其他可能侵犯專利的編碼。 同時，Google還可以免費向VP8用戶重新授權相關專利。 ，該協議也適用於下一代VPx編碼。 到目前為止，MPEG LA已經放棄了VP8專利集中許可聯盟的建立，並且VPXNUMX用戶將能夠確定免費使用此代碼，而不必擔心可能會侵犯專利使用費。
VP8的開源實現
Libvpx是VP8的唯一開源實現。 它是由On2 Technologies開發的。 Google收購它後，便打開了源代碼。 該許可證非常寬鬆，可以自由使用。
VP9
簡介
VP9的開發始於2011年第三季度。目標是在相同圖像質量下，與VP50編碼相比，將文件大小減少8％。 另一個目標是在編碼效率上超越HEVC編碼。
13年2012月9日，Chromium瀏覽器添加了對VP9編碼的支持。 Chrome瀏覽器從21年2013月XNUMX日開始支持VPXNUMX編碼的視頻播放。
Google宣布將於9年17月2013日完成VP9代碼的開發，屆時Chrome瀏覽器將默認指導VP18代碼。 2014年9月XNUMX日，Mozilla向Firefox瀏覽器添加了VPXNUMX支持。
3年2015月1.4.0日，Google發布了libvpx10，該版本增加了對12位和4位位深，2：2：4和4：4：9色度採樣以及VPXNUMX多核編碼/解碼的支持。
專利許可
VP9是一種開放格式的免版稅視頻編碼格式。
VP9的開源實現
libvpx是由Google開發和維護的唯一的VP9開源實現。 VP8和VP9共享一些代碼，其餘分別是VP8和VP9的編解碼器實現。
VP9與H.264和HEVC的比較
HEVC和H.264在不同分辨率下的比較
與H.264 / MPEG-4相比，HEVC的平均比特率降低為：
可以看出，比特率下降了60％以上
HEVC（H.265）在VP9和H.264的比特率節省方面具有更大的優勢，在相同的PSNR下，分別節省48.3％和75.8％
H.264在編碼時間方面具有巨大優勢。 與VP9和HEVC（H.265）相比，HEVC是VP6的9倍，而VP9是H.40的近264倍。
