2020-07-02 15:15:59
來源：AVCiT魅視
AVCiT魅視始終堅持一個觀點：IP化的產品，還原出來的圖像在同等清晰度下，碼率越低越好，延時越低越好。低碼率的計算機屏幕編碼技術，是巨頭們重金投入的方向，也是AVCiT魅視重金投入的方向。
分享一篇來自騰訊音視頻實驗室的技術文章：
壓縮效率比H.265更高，揭秘騰訊無線投屏背后的屏幕編碼技術
2019-05-16
騰訊無線投屏是騰訊音視頻實驗室為解決會議室高頻場景痛點而研發的一款會議類產品。無線投屏提高了會議效率，簡化了會議流程。自上線以來得到了廣泛的應用。無線投屏涉及技術面廣，技術難度大，為了提升用戶體驗，騰訊無線投屏在網絡適應性，鼠標優化，擴展屏及視頻編解碼技術等方面做了大量攻堅，使我們的產品在各個方面處于業界領先水平。本文將給大家揭秘騰訊無線投屏背后的屏幕編碼技術（Tencent Screen Encoder，以下簡稱TSE）,對于屏幕內容圖像，TSE相比x265(normal模式)，壓縮效率提升55%。
1. 屏幕內容簡介
屏幕內容圖像是直接從各類設備（計算機，移動終端等）的圖像顯示單元捕獲的。常見的屏幕內容有計算機圖形和文本圖像、自然視頻與圖形/文字混合的圖像以及計算機生成的動畫圖像等。屏幕圖像在桌面協作，桌面共享，第二屏幕，云游戲等各種場景中普遍存在。
圖1-典型屏幕內容圖像
由計算機生成的屏幕圖像和攝像頭捕獲的自然圖像之間有明顯的差別——圖形文本這類計算機生成圖像通常沒有噪聲，色調離散，線條細膩，邊緣銳利；而攝像機拍攝視頻通常是有噪聲，色調連續，紋理比較復雜的。
傳統視頻編碼采用的混合編碼結構對于屏幕內容而言效果不是很好，對于比較細的高頻紋理，采用混合編碼方式編碼后會損失細節，且容易產生振鈴效應，如下圖所示：
圖2-屏幕內容采用混合編碼的效果圖
由于屏幕圖像與傳統視頻具有顯著不同的特點，我們需要尋求新的編碼工具，充分挖掘屏幕圖像本身的特征，以此來大幅度提高屏幕圖像的編碼效率。2016年，HEVC正式發布了第四版本HEVC-SCC（HEVC Screen Content Coding Extension），該版本針對屏幕內容做了大量優化，增加了全新的編碼工具，大大提升了屏幕內容的編碼效率。
2. HEVC-SCC關鍵技術介紹
HEVC-SCC于2016年正式發布，它在HEVC和HEVC-RExt的基礎上，增加了一些編碼工具集，具體如下圖：
圖3 HEVC各版本新增編碼工具集
從上圖可知，HEVC-SCC增加的主要工具集有：
幀內塊拷貝（Intra Block Copy，以下簡稱IBC）：除了傳統的幀內和幀間預測模式，HEVC-SCC引入了一種新的編碼模式IBC，該模式的PU采用當前幀已重建塊作為預測塊，可以認為IBC是當前編碼圖像內的運動補償；
調色板模式（Palette Mode）：對于屏幕內容圖像，很多編碼塊內部的顏色數是有限的。調色板模式枚舉這些顏色值生成顏色表，然后為每個樣本傳遞一個索引以指示它屬于顏色表中的哪種顏色。和基于預測-變換的傳統編碼方法相比，對于顏色數相對較集中的屏幕內容圖像，調色板模式往往更加有效。
自適應顏色變換（Adaptive Color Transform：ACT）：屏幕內容普遍采用RGB的顏色空間，消除不同顏色分量之間的冗余對于提升編碼效率非常重要。HEVC-SCC支持將殘差自適應轉換到不同顏色空間，一個RGB顏色空間的圖像塊可以直接編碼，也可以在編碼時自適應的轉換到YCoCg顏色空間進行編碼以提升其編碼效率。
自適應運動矢量分辨率（Adaptive Motion Vector Resolution：AMVR）：一般相機捕獲的圖像通常是運動連續的，但屏幕內容的運動通常是離散的，其精細粒度是像素級的。因此，對于大部分屏幕內容，并不需要做分像素運動補償。在HEVC-SCC中，可以在slice級來控制運動矢量MV的精度（整像素還是分像素）。
這幾個新的編碼工具集極大的提升了屏幕內容圖像的編碼效率。根據相關資料統計，對于屏幕圖像，在無損情況下，HEVC-SCC相比HEVC-RExt壓縮效率提升36%（AI模式）和20%（LD模式），而在有損模式下，HEVC-SCC相比HEVC-RExt壓縮效率提升更是高達56%（AI模式）和40%（LD模式）。這其中，又以IBC和調色板編碼技術的性能提升效果最顯著。其中，IBC的編碼增益在30%以上，而調色板編碼可以在IBC的基礎上，再提升10-15%。接下來，我們將重點介紹IBC和調色板編碼技術。
1）IBC編碼
對于文字、圖形等屏幕內容序列，同一幀中存在很多重復紋理，即具有較強的空間相關性。如圖4所示，圖中紅色和藍色框所示區域的紋理幾乎是一致的，如果在編碼當前塊時，能夠參考當前幀已編碼完的塊，則能大大提升編碼效率。
圖4-屏幕圖像空間相關性示例
針對屏幕圖像空間相關性強的特點，屏幕內容編碼引入了新的預測技術，即IBC技術。IBC和幀間圖像預測類似，只不過IBC的預測塊是由當前編碼圖像幀的重建塊產生的。IBC是在PU級進行的，我們可以將它視為一個幀間PU。幀間模式的設計讓IBC和普通的幀間預測模式更靈活的連接起來。比如，一個幀間編碼的CU可以有兩個PU，一個使用傳統的幀間預測，另一個使用IBC。
雖然IBC和幀間模型是統一的，但幀間預測模型并不能直接用于IBC。相對傳統幀間預測模型，IBC具有以下一些限制條件：
1）IBC參考的是環路濾波之前的重建像素；
2）當前圖像如果被用于參考，它會被標記為長期參考幀。當整張圖像解碼完后，它會進行環路濾波，然后加入到DPB中作為短期參考幀。
3）IBC的預測塊不能和當前CU重疊，以防止未重建好的樣本被用于預測；
4）預測塊和當前CU應位于同一個slice和同一個tile；
5）預測塊的搜索區域要嚴格限制在圖5所示的灰色區域部分，以免影響并行處理；
6）IBC的塊矢量（Block Vector）必須是整像素精度；
圖5-IBC搜索區域（灰色部分）
2）調色板模式
調色板模式對于顏色數比較少的編碼塊效果特別好。與傳統的基于預測+變換的混合編碼結構不同，調色板模式通過顏色表和索引來完成像素級的重建。編碼端將CU的顏色生成一個顏色表，對于CU內的每個像素，會傳輸一個顏色表索引，解碼端根據顏色表和索引來對各個像素進行重建。如果某個像素在顏色表中找不到合適的顏色，調色板模式會將該像素
圖6-調色板編碼實例
3. 屏幕編碼技術實現及優化
去年，音視頻實驗室對外推出了無線投屏應用。無線投屏用戶的大部分應用場景都是PPT，Word等文檔類分享，這些內容非常適合屏幕內容編碼技術。由于IBC和調色板模式對于提升屏幕內容圖像編碼效率效果最顯著，我們在屏幕編碼技術中實現了IBC和調色板模式編碼技術。
IBC和調色板模式雖然壓縮效率很高，但是它的編碼復雜度也是非常高的，對于投屏這類實時應用，編碼速度是非常關鍵的。因此，為了能滿足實時應用，我們對IBC和調色板技術做了大量優化。在算法層面，我們采用了快速高效的顏色表生成算法，以及采用基于hash表搜索的優化技術來代替傳統的運動估計方法。同時，加入了大量提前退出算法以提升速度。另外，對于其中的關鍵模塊，加入了SIMD優化，使得編碼速度進一步提升。
經過優化后，IBC和調色板編碼的編碼性能得到了明顯提升，以下是我們優化后的質量對比數據，其中x265使用的是ultrafast和normal模式，具體的命令行如下：
-p ultrafast/normal --psnr --no-psy --input-res 1920x1080 --fps 15/1 in.yuv -o out.265 --qp 37 --pools 4 --frame-threads 1 --keyint 1000 -f 500 --ipratio 1 --bframes 0 --rc-lookahead 0
圖7-TSE與x265對屏幕內容的壓縮效率/編碼耗時對比
圖8-TSE與x265對攝像頭采集序列的壓縮效率/編碼耗時對比
綜合來看，對于攝像頭采集序列，TSE的編碼效率相比于x265-ultrafast模式有20%左右提升。對于屏幕內容序列，TSE相比于x265-ultrafast模式的提升在70%以上。對于x265-normal模式有55%左右的提升。而在編碼耗時方面，對于屏幕內容序列，在不打開IBC和PLT的情況下，TSE的平均編碼耗時僅為x265-ultrafast的33%左右；打開PLT和IBC后，TSE的平均編碼耗時是x265-ultrafast的50%左右。對于攝像頭采集序列，TSE的平均編碼耗時是x265-ultrafast的88%左右。
主觀質量對比方面，對于文檔類序列，TSE編碼重建主觀質量明顯優于x265。圖9是文字分別經過TSE和x265編碼之后的效果圖，我們可以看到，x265編碼的振鈴效應非常明顯，而TSE幾乎看不出來。
圖9-TSE與x265編碼主觀對比圖
4. 總結
屏幕編碼技術是針對屏幕內容圖像的編碼技術，其相對H.265編碼壓縮效率具有明顯優勢。屏幕編碼技術對于無線投屏，會議，在線教育等各種屏幕內容應用比較多的場景，具有重要意義。
音視頻實驗室經過技術攻堅，順利實現了IBC和調色板模式編碼技術，并在騰訊無線投屏和騰訊會議中上線應用。優化后的TSE和x265-normal模式相比，壓縮效率提升了55%左右，同時，編碼速度也明顯比x265快，達到了實時可用的程度。采用TSE編碼方式后，對于屏幕內容圖像，在節省編碼碼率的同時提升了主觀質量。
文章來源：騰訊音視頻實驗室
(https://cloud.tencent.com/developer/article/1427159)
