音視頻開發與學習

我們首先假設某人對音頻和視頻的了解為零，並且從未學習過任何與數字信號處理相關的知識。數學基礎基本上是高中階段的，但他熟悉C / C ++開發，至少熟悉特定平台下的編譯和調試IDE。

關注兩個開源項目ffmpeg和webRTC，主要研究ffmpeg的視頻部分和webRTC的音頻部分。

首先，從視頻解碼開始。這是最簡單的一種。調用ffmpeg視頻解碼的基本代碼只有100行左右。視頻解碼只需要了解h.264，80%+場景都是這種編碼格式，了解基本的H.264 sps pps NAL等文件格式概念，了解YUV圖像格式原理，了解YUV轉RGB ，這樣就可以做圖片渲染了，可以實現一個簡單的視頻播放器。（基本在第一階段）

然後，要了解視頻編碼，建議從x264開始，對x264編碼的簡單調用少於100行。編碼比解碼更複雜，因為解碼不需要配置任何參數，並且編碼具有大量需要配置的參數。剛開始時，僅了解一些基本概念，例如幀速率，常用的流控制方法ABR CRF，GOP，I / B / P Frame分別是什麼意思。（再次熟悉X264編碼）

音頻部分的編解碼器類似於視頻的編解碼器。在初始階段，您只需要了解EAAC +和Silk兩種編碼器，了解聲音通道，採樣率等概念，並了解Wave文件格式。可以是一個簡單的音頻播放器。（製作音頻播放器）

音頻的複雜部分不是編解碼器，而是聲音效果。查看webRTC中的“音頻處理”模塊，了解以下概念：去噪NS，迴聲消除AEC，靜音檢測VAD，自動增益控制AGC和內置的webRTC。儘管該算法不是最佳算法，但它可以解決90％以上的問題，值得學習。（了解webrtc音頻處理）

了解了這一點之後，我需要考慮一個問題，是要採用工程路線還是算法路線。如果這是一條算法路線，那麼我必須學習數學。數字信號處理的背後是大量的基本數學理論。如果這是一條工程路線，那麼您必須學習跨平台開發，學習在多個平台下的音頻和視頻的收集，回放和處理，以及學習在多個平台下的彙編語言優化。（與平台有關）

音頻和視頻是一個很深的領域，您將一生都無法完成學習，但是該領域的優勢是知識更新的速度相對較慢，所學到的東西不容易消除，並且經驗的積累非常重要。