關鍵字：異步音頻和視頻MPEG-2 PCR DTS PTS編碼器解碼器
隨著我國數字電視的飛速發展以及城市廣播電視網絡數字化的發展，越來越多的人開始使用機頂盒觀看數字電視節目。 但是在通過機頂盒觀看電視節目的過程中，觀看者有時會發現某些音頻和視頻不同步。 這也引起了我們的注意。
現象與測試
貴陽市於2007年底基本完成了廣播電視網絡的數字化轉型，貴州電視台的節目也進入了數字網絡傳輸。 進入數字網絡後，發現本站的幾個節目在某些地區出現音視頻不同步的現象，尤其是在衛星視頻頻道和人民頻道播出新聞時。 為了找出問題所在，我們決定在程序的整個傳輸路徑上進行口形同步測試。 測試使用的設備是Tektronix WFM7120。 在進行音頻/視頻延遲測量時，還需要通過TG700 DVG7生成一系列短彩條視頻信號，並將音頻序列以5s的間隔嵌入到這組視頻信號中，然後將其發送到被測系統，最後將信號發送到WFM7120，以測量音頻和視頻之間的時序差異。
廣播控制中心內部測試
如圖1所示，為了測量電視台系統中是否存在音頻/視頻延遲差異，我們使用檢查時間將TG700生成的測試信號記錄到廣播硬盤中，通過硬盤播放，並將測試信號輸入到延遲器。 在幀同步模塊之後，它在頻道上廣播，然後我們在傳輸部門將信號傳輸到網絡公司的編碼器之前測量這三個信號。 測量結果表明，這三個信號的音頻/視頻延遲差不超過12ms，即一個場不夠，說明該信號在廣播控制中心沒有音頻和視頻同步的問題。
測試不同的機頂盒
對於第二個測量點，我們選擇了網絡公司的前端計算機室。 如圖2所示，我們選擇了目前在中國用於測試的機頂盒的主要品牌。 通過我們使用的原始編碼器對TG700測試信號進行編碼後，將其插入我們當前正在廣播的頻道中。 然後，使用前端計算機室中的機頂盒對電視信號進行解調。 解碼後的音頻/視頻信號在經過A / D並通過Panasonic D7120錄像機嵌入模擬信號之後，再發送到WFM950進行測量。 測量結果表明，這些類型的機頂盒的音頻/視頻延遲差異是不同的，有些超過150ms，有些落後300ms。 這表明，不同的機頂盒在解調和解碼相同的數字電視信號之後，具有不同的能力來維持音頻/視頻信號之間的同步關係。
測試不同的編碼器
如圖3所示，我們仍然使用TG700信號發生器來測試不同的編碼器，並使編碼器，調製器和機頂盒能夠構建一個模擬的廣播/觀看環境。 在這裡，我們使用幾種不同品牌的編碼器。 對TG700的測試信號進行編碼後，由同一調製器對其進行調製，然後由同一機頂盒對其進行解碼。 它也由D950處理並發送到WFM7120進行測量。 最終的測量結果是，它們的某些音頻/視頻延遲差異為30ms，有的達到300ms，這表明不同的編碼器對機頂盒最終觀看信號的音頻/視頻同步具有更大的影響。
原因分析
MPEG-2系統的時序原理
當前，在我國的數字電視傳輸系統中，MPEG-2標準是重要的音頻和視頻壓縮標準。 它在源端對節目信號進行壓縮，編碼和多路復用，在接收端對信號進行多路分解和解碼。 已被廣泛使用。 我們正在使用的數字傳輸系統基於MPEG-2標準。 讓我們看一下MPEG-2的系統結構，如圖4所示。
從圖4可以看出，在壓縮編碼器去除了冗餘信息之後，音頻和視頻信號形成了基本流。 該基本代碼流不能直接存儲或傳輸。 必須將其發送到特定的包裝機。 基本代碼流根據某種格式分為幾段，並添加特定的標識字符以形成所謂的打包基本代碼流（PES）。 PES數據包是具有可變長度的音頻和視頻數據包。 然後，音頻和視頻PES數據包以及輔助數據被發送到傳輸子系統，傳輸子系統被分為固定長度為188b的小數據包，並通過時分複用進行複用。 形成單個TS流，並且TS流在通過信道傳輸之後到達接收端。
眾所周知，同步是正確顯示電視的必要條件。 對於數字電視，由於在壓縮和編碼過程中使用了緩衝區來存儲信號，因此多路復用器中信號的時間軸發生了變化，加上數據冗餘量也有所不同，壓縮率也有所不同，因此時間軸發生了很大的變化，特別是在幀組層處理中，B幀和P幀的順序也發生了變化。 所有這些使數字電視信號的同步完全失去了原始序列的概念。 一種實現同步的有效方法是，每經過指定的時間間隔，就在信號代碼流中添加一個時間標籤。 使用此標籤，可以在顯示之前的解碼過程中根據此時間標籤對接收端進行重新排序，在壓縮和編碼之前重建圖像的順序以及聲音和圖像之間的時間關係，從而實現圖像同步和聲音與圖像同步。
從圖4還可以看出，MPEG-27編碼器中只有一個公共系統時鐘STC（2MHz）。 該時鐘用於生成時間戳，以指示音頻/視頻的正確解碼和顯示時間。 同時，它可用於指示採樣瞬時系統時鐘時間的瞬時值。 時鐘通過輸入視頻的線路同步鎖相。 當輸入是SDI信號時，編碼器的系統時鐘由時鐘除以10生成。這是編碼器中常見系統時鐘的出現，以及解碼器中時鐘的重新生成和正確的使用時間戳，這些時間戳為解碼器中的操作正確同步提供了基礎。 為了實現編解碼器的時鐘同步，在編碼器中對STC系統時鐘進行計數，並且每隔一定的傳輸時間，在選定的TS數據包的適配頭中將計數器的採樣值傳輸到接收器，以進行解碼。處理器的程序時鐘參考信號，即PCR。 PCR有效位為42b，其中高位33b為PCR_Base，即以27MHz時鐘為單位的計數值和時鐘除以300；低位9b為PCR_Extension，即以27MHz時鐘為單位的計數值作為單位。 除了PCR，解碼時間標籤DTS和顯示時間標籤PTS也非常重要。 它們類似於PCR_Base。 它們也是用編碼器的27MHz系統時鐘除以300作為單位計數值來創建的。 其中，DTS用於指示解碼器何時解碼接收到的圖像和音頻幀，而PTS用於通知何時顯示解碼後的圖像幀。
當使用雙向編碼時，必須在顯示特定圖像之前的一段時間內對特定圖像進行解碼，以便可以將其用作對B幀圖像進行解碼的源數據。 例如，圖像的顯示順序是IBBP，但是圖像的傳輸順序是IPBB。 MPEG參考模型認為解碼是瞬時發生的，即解碼和顯示是同時執行的。 對於音頻幀和圖像B幀，解碼時間和顯示時間相同，並且PTS與DTS相同，因此僅需要發送PTS。 對於視頻I幀和P幀，由於幀重新排序，解碼時間和顯示時間不同，並且必須同時發送PTS和DTS。 解碼器收到IPBB圖像序列時，必須先解碼I幀和P幀圖像，然後再解碼第一個B幀圖像。 解碼器一次只能解碼一幀圖像，因此它首先解碼I幀圖像並將其存儲。 當P幀圖像被解碼時，其輸出並顯示解碼的I幀圖像，然後解碼並顯示B幀圖像。 表1、2、3和4列出了編碼器的輸入和輸出圖像的順序，每幀的PTS和DTS值以及解碼器對圖像的每幀的解碼和顯示順序。
在表1中，由13幀圖像構成一組圖像，第一幀I幀使用幀內編碼，第二和第三B幀是通過從第一和第四幀進行雙向預測而獲得的，第四幀P幀是通過第一幀。 源自前瞻預測。 在對第一幀進行編碼之後，編碼器首先緩衝第二和第三幀，對第四幀進行編碼，然後對第二和第三幀進行編碼，依此類推，最終的編碼輸出序列顯示在表2中。
從表3和表4可以看出，當解碼器接收到包含I幀圖像的某個訪問單元時，文件數據包應包含DTS和PTS，這兩個標籤的值之間的時間間隔為1圖像週期。 在I幀圖像為P幀之後，文件數據包中還應該有一個DTS和一個PTS，兩個標籤的值之間的時間間隔為三個圖像週期。 然後有兩個B幀，其文件數據包僅包含PTS。 也就是說，在解碼後經過一幀的延遲之後，將播放並顯示I幀圖像。 顯示I幀時，對第四幀P幀進行解碼，但不播放和顯示。 首先將其緩存，然後播放並顯示2I幀後，立即解碼並顯示3B幀，然後解碼並顯示4B幀，然後顯示緩衝的7P幀，並同時解碼和緩衝1P幀，依此類推。 可以看出，解碼和顯示的圖像序列與表XNUMX中輸入的圖像序列一致。
解碼器的定時原理（機頂盒）
PTS和DTS僅為33b值。 如果沒有參考由PCR表示的時間軸，則此值無意義。 為了保持正確的解碼，編碼器和解碼器（機頂盒）的系統時鐘必須保持鎖定狀態，即它們的頻率保持相同，並且各自計數器的初始值相同。
解碼器（機頂盒）中有一個頻率約為27MHz的壓控振盪器（VCO）。 輸出信號作為系統時鐘發送到計數器，以生成當前的STC樣本值，類似於PCR，該值是42b的值。 其中，高33b是27粉紅頻率後以300MHz時鐘為單位的計數值，而低9b是以27MHz時鐘為單位的計數值。 當新程序到達解碼器（機頂盒）時，解碼器（機頂盒）從代碼流中獲取PCR值，將其PCR_Extention值與當前STC的低9b位進行比較，並獲得錯誤信號，然後通過鎖相環電路。 調整壓控振盪器，使解碼器（機頂盒）的系統時鐘頻率與編碼器的系統時鐘頻率一致。 從代碼流中順序獲取每個幀的PTS和DTS值，並將它們與當前STC值的高33b位進行比較。 如果DTS值大於STC值，則對代碼流進行緩衝，並同時監視STC值的變化。 當STC值增加到等於DTS值時，對幀代碼流進行解碼。 當STC值等於PTS值時，播放幀。 如果由於傳輸網絡的緩衝延遲抖動，當代碼流到達解碼器（機頂盒）時，其PTS值已經小於STC值，則解碼器（機頂盒）將跳過此幀，並丟棄幀數據。 由於PTS和DTS是根據PCR值生成的，因此必須將獲得的第一個PCR值用作初始值，以設置解碼器（機頂盒）的STC計數器使其值相同，否則，時基會有所不同。 ，從而解碼錯誤。 音頻和視頻的處理類似，但是不存在時序重排的問題。 圖5示出了解碼器（機頂盒）PCR的工作原理圖。
音頻和視頻不同步的原因
在實際應用中，某些編碼器由於輸入視頻信號的時基不穩定而導致其輸出時鐘抖動，並且幀同步間隔不是40ms。 對於這些編碼器，根據PCR和緩衝延遲設置初始DTS值後，通過將固定值添加到先前的DTS來獲得每個幀的DTS值（該值可以計算如下：27MHz除以300，即90kHz，PAL TV為每秒25幀，因此該值為90000/25 = 3600），根據幀類型和GOP類型計算PTS值。 但是，在此期間PCR值沒有增加3600，這導致DTS和PTS相對於PCR變大或變小。 一些解碼器（機頂盒）不使用壓控振盪器，其係統時鐘為固定的27MHz，但使用接收到的PCR值初始化本地系統時鐘計數器的值。 編碼器和解碼器（機頂盒）無法保持嚴格的鎖定，這可能導致解碼器（機頂盒）丟失幀。 但是，某些解碼器（機頂盒）在幀丟失後不再嚴格按照DTS和PTS進行解碼和顯示，而是根據緩衝區的情況進行解碼，因為視頻和音頻編碼的延遲不同，可能會導致音頻這幅畫不同步。
另外，在從編碼器到解碼器（機頂盒）的傳輸過程中，由於存在諸如多路復用器和調製器之類的可變延遲緩衝鏈路，PCR包的傳輸延遲可能不是恆定的，從大到大。小的。 如果PCR不正確，可能還會出現上述問題。
總結一下
從以上分析可以看出，編碼器和解碼器（機頂盒）都可能導致音頻和視頻的異步發生。 經過對各種品牌編碼器的測試，本站選擇了具有較好測試指標的編碼器，並更換了原來的編碼器，大大改善了電視音視頻不同步的現象。 在引入機頂盒的下一步中，網絡公司還將加強對相關指標的測試，以提高收視率。 當然，在推進我國廣播電視數字化的過程中，我們仍然需要電視工作者和設備製造商的共同努力，才能最終取得圓滿成功。v
我們的其他產品：
