即时通讯音视频开发（三）：视频编解码之编码基础

前言

即时通讯应用中的实时音视频技术，几乎是IM开发中的最后一道高墙。原因在于：实时音视频技术 = 音视频处理技术 + 网络传输技术 的横向技术应用集合体，而公共互联网不是为了实时通信设计的。有关实时音视频开发时的技术难题请参见《音视频云声网Agora：从demo到实用，中间还差1万个WebRTC》：http://www.52im.net/article-119-1.html

本文主要讲解实时音视频技术中视频技术的编码理论知识。

系列文章

本文是系列文章中的第3篇，本系列文章的大纲如下：

• 《即时通讯音视频开发（一）：视频编解码之理论概述》
• 《即时通讯音视频开发（二）：视频编解码之数字视频介绍》
• 《即时通讯音视频开发（三）：视频编解码之编码基础》（本文）
• 《即时通讯音视频开发（四）：视频编解码之预测技术介绍》
• 《即时通讯音视频开发（五）：认识主流视频编码技术H.264》
• 《即时通讯音视频开发（六）：如何开始音频编解码技术的学习》
• 《即时通讯音视频开发（七）：音频基础及编码原理入门》
• 《即时通讯音视频开发（八）：常见的实时语音通讯编码标准》
• 《即时通讯音视频开发（九）：实时语音通讯的回音及回音消除概述》
• 《即时通讯音视频开发（十）：实时语音通讯的回音消除技术详解》
• 《即时通讯音视频开发（十一）：实时语音通讯丢包补偿技术详解》
• 《即时通讯音视频开发（十二）：多人实时音视频聊天架构探讨》
• 《即时通讯音视频开发（十三）：实时视频编码H.264的特点与优势》
• 《即时通讯音视频开发（十四）：实时音视频数据传输协议介绍》
• 《即时通讯音视频开发（十五）：聊聊P2P与实时音视频的应用情况》
• 《即时通讯音视频开发（十六）：移动端实时音视频开发的几个建议》
• 《即时通讯音视频开发（十七）：视频编码H.264、V8的前世今生》
• 《即时通讯音视频开发（十八）：详解音频编解码的原理、演进和应用选型》
• 《即时通讯音视频开发（十九）：零基础，史上最通俗视频编码技术入门》（必读）
  

1. 如何理解压缩码流？

可按2部分进行理解：

• 语法：码流中各个元素的位置关系。
  如：01001001…，表示图像编码类型(01)，宏块类型(00)，编码系数1001等。
• 语义：每个语法元素所表达的意义。
  例如：图像编码类型。
  

2. 编码层次的组成

编码层次由如下部分组成：

• 序列（Sequence）
• 图像组（Group of Pictures，GOP）
• 图像（Picture）
• 条带（Slice）
• 宏块（Macroblock，MB）
• 块(Block)
  

3. 具体的码流结构

4. PB帧编码

5. IBBP序列编码对象

• 序列是指一段连续编码的并具有相同参数的视频图像。
• 序列起始码是指专有的一段比特串，标识一个序列的压缩数据的开始。如MPEG-2的序列起始码为十六进制数000001(B3)。
• 序列头是指记录序列信息，包含档次（Profile），级别（Level），宽度，高度，是否是逐行序列，帧率等内容。
• 序列结束码是指专有的一段比特串，标识该序列的压缩数据的结束。如MPEG-2的序列结束码为十六进制数000001(B7)。
  

6. 图像组编码对象

7. 图像编码结构

包括：

• 图像。
• 图像起始码：专有的一段比特串，标识一个图像的压缩数据的开始。
  如MPEG-2的图像起始码为十六进制数000001(00)。
• 图像头：记录图像信息。
  包含图像编码类型，图像距离，图像编码结构，图像是否为逐行扫描。
  

8. 图像分块编码

9. 条带编码结构

• 条带：多个宏块的组合。
• 条带起始码：专有的一段比特串，标识一个条带的压缩数据的开始。如MPEG-2的条带起始码为十六进制数000001(0~AF)。
• 条带头：记录当前图像的相关信息。含条带位置，条带量化参数，宏块编码技术标识等。
  

10. 条带编码对象

11. 宏块编码结构

• 宏块：16x16的像素块（对亮度而言）。
• 宏块内容：宏块编码类型，编码模式，参考帧索引，运动矢量信息，宏块编码系数等。
  

12. 宏块编码对象

13. 块编码结构

• 8x8或4x4块的变换量化系数的熵编码数据。
• CBP (Coded Block Patten)：用来指示块的变换量化系数是否全为零。
  对于YUV(4:2:0)编码，CBP通常6比特长，每个比特对应一个块，当某一块的变换量化系数全为零时，其对应比特位值为0，否则为1。
• 每个块的变换量化系数的最后用一个EOB (End of Block)符号来标识。
  

14. 视频编解码关键技术

• 预测：通过帧内预测和帧间预测降低视频图像的空间冗余和时间冗余。
• 变换：通过从时域到频域的变换，去除相邻数据之间的相关性，即去除空间冗余。
• 量化：通过用更粗糙的数据表示精细的数据来降低编码的数据量，或者通过去除人眼不敏感的信息来降低编码数据量。
• 扫描：将二维变换量化数据重新组织成一维的数据序列。
• 熵编码：根据待编码数据的概率特性减少编码冗余。
  

15. 预测

空间预测：利用图像空间相邻像素的相关性来预测的方法

• 帧内预测技术：利用当前编码块周围已经重构出来的像素预测当前块
• Intra图像编码（I帧）
  

时间预测：利用时间上相邻图像的相关性来预测的方法

• 帧间预测：运动估计（Motion Estimation，ME），运动补偿（Motion Compensation，MC）
• Inter图像编码：前向预测编码图像（P帧），双向预测编码图像（B帧）
  

16. 帧内预测

• I帧图像的每个宏块都采用帧内（Intra）预测编码模式。
• 宏块分成8x8或者4x4块，对每个块采用帧内预测编码，称作Intra8x8或者Intra4x4。
• 帧内预测有多个预测方向：水平，垂直，左下，右上。
• 帧内预测还有直流（DC）预测。
• 色度块预测还有平面预测。
  

17. 量化

1量化原理

将含有大量的数据集合映射到含有少量的数据集合中。

2一般情况下量化后高频部分包含大量的零系数

3量化对主观质量的影响

18. 码率控制

受到缓冲区，带宽的限制，编码码率不能无限制的增长，因此需要通过码率控制来将编码码流控制在目标码率范围内。

一般通过调整量化参数的手段控制码率：

• 帧级控制
• 条带级控制
• 宏块级控制
  

码率控制考虑的问题：

• 防止码流有较大的波动，导致缓冲区发生溢出，
• 同时保持缓冲区尽可能的充满，让图像质量尽可能的好而且稳定
  

CBR（Constant Bit Rate）：比特率稳定，但图像质量变化大。VBR（Variable Bit Rate）：比特率波动大，但图像质量稳定。

码率控制算法：

• 码率分配
• 码率控制
  

码率控制属于非标准技术，编码端有，解码端没有。

附录：更多实时音视频技术文章

[1] 开源实时音视频技术WebRTC的文章：
《开源实时音视频技术WebRTC的现状》
《简述开源实时音视频技术WebRTC的优缺点》
《访谈WebRTC标准之父：WebRTC的过去、现在和未来》
《良心分享：WebRTC 零基础开发者教程（中文）[附件下载]》
《WebRTC实时音视频技术的整体架构介绍》
《新手入门：到底什么是WebRTC服务器，以及它是如何联接通话的？》
《WebRTC实时音视频技术基础：基本架构和协议栈》
《浅谈开发实时视频直播平台的技术要点》
《[观点] WebRTC应该选择H.264视频编码的四大理由》
《基于开源WebRTC开发实时音视频靠谱吗？第3方SDK有哪些？》
《开源实时音视频技术WebRTC中RTP/RTCP数据传输协议的应用》
《简述实时音视频聊天中端到端加密（E2EE）的工作原理》
《实时通信RTC技术栈之：视频编解码》
《开源实时音视频技术WebRTC在Windows下的简明编译教程》
《网页端实时音视频技术WebRTC：看起来很美，但离生产应用还有多少坑要填？》
《了不起的WebRTC：生态日趋完善，或将实时音视频技术白菜化》
《腾讯技术分享：微信小程序音视频与WebRTC互通的技术思路和实践》
《融云技术分享：基于WebRTC的实时音视频首帧显示时间优化实践》
>> 更多同类文章 ……

[2] 实时音视频开发的其它精华资料：
《实时语音聊天中的音频处理与编码压缩技术简述》
《网易视频云技术分享：音频处理与压缩技术快速入门》
《学习RFC3550：RTP/RTCP实时传输协议基础知识》
《基于RTMP数据传输协议的实时流媒体技术研究（论文全文）》
《声网架构师谈实时音视频云的实现难点(视频采访)》
《浅谈开发实时视频直播平台的技术要点》
《还在靠“喂喂喂”测试实时语音通话质量？本文教你科学的评测方法！》
《实现延迟低于500毫秒的1080P实时音视频直播的实践分享》
《移动端实时视频直播技术实践：如何做到实时秒开、流畅不卡》
《如何用最简单的方法测试你的实时音视频方案》
《技术揭秘：支持百万级粉丝互动的Facebook实时视频直播》
《简述实时音视频聊天中端到端加密（E2EE）的工作原理》
《移动端实时音视频直播技术详解（一）：开篇》
《移动端实时音视频直播技术详解（二）：采集》
《移动端实时音视频直播技术详解（三）：处理》
《移动端实时音视频直播技术详解（四）：编码和封装》
《移动端实时音视频直播技术详解（五）：推流和传输》
《移动端实时音视频直播技术详解（六）：延迟优化》
《理论联系实际：实现一个简单地基于HTML5的实时视频直播》
《IM实时音视频聊天时的回声消除技术详解》
《浅谈实时音视频直播中直接影响用户体验的几项关键技术指标》
《如何优化传输机制来实现实时音视频的超低延迟？》
《首次披露：快手是如何做到百万观众同场看直播仍能秒开且不卡顿的？》
《Android直播入门实践：动手搭建一套简单的直播系统》
《网易云信实时视频直播在TCP数据传输层的一些优化思路》
《实时音视频聊天技术分享：面向不可靠网络的抗丢包编解码器》
《P2P技术如何将实时视频直播带宽降低75%？》
《专访微信视频技术负责人：微信实时视频聊天技术的演进》
《腾讯音视频实验室：使用AI黑科技实现超低码率的高清实时视频聊天》
《微信团队分享：微信每日亿次实时音视频聊天背后的技术解密》
《近期大热的实时直播答题系统的实现思路与技术难点分享》
《福利贴：最全实时音视频开发要用到的开源工程汇总》
《七牛云技术分享：使用QUIC协议实现实时视频直播0卡顿！》
《实时音视频聊天中超低延迟架构的思考与技术实践》
《理解实时音视频聊天中的延时问题一篇就够》
《实时视频直播客户端技术盘点：Native、HTML5、WebRTC、微信小程序》
《写给小白的实时音视频技术入门提纲》
《微信多媒体团队访谈：音视频开发的学习、微信的音视频技术和挑战等》
《腾讯技术分享：微信小程序音视频技术背后的故事》
《微信多媒体团队梁俊斌访谈：聊一聊我所了解的音视频技术》
《新浪微博技术分享：微博短视频服务的优化实践之路》
《实时音频的混音在视频直播应用中的技术原理和实践总结》
《以网游服务端的网络接入层设计为例，理解实时通信的技术挑战》
《腾讯技术分享：微信小程序音视频与WebRTC互通的技术思路和实践》
《新浪微博技术分享：微博实时直播答题的百万高并发架构实践》
《技术干货：实时视频直播首屏耗时400ms内的优化实践》
《爱奇艺技术分享：轻松诙谐，讲解视频编解码技术的过去、现在和将来》
《零基础入门：实时音视频技术基础知识全面盘点》
《实时音视频面视必备：快速掌握11个视频技术相关的基础概念》
《淘宝直播技术干货：高清、低延时的实时视频直播技术解密》
>> 更多同类文章 ……
（原文链接：http://www.cnblogs.com/xkfz007/archive/2012/07/29/2613824.html）

感谢站长

谢谢楼主分享，头脑好乱

编码知识有空再详细看看

感谢楼主分享，支持系列

很详细，很完整，mark一下

谢谢分享

谢谢分享

感谢楼主分享

脑瓜子嗡嗡的吧

引用：look 发表于 2020-04-06 17:38
脑瓜子嗡嗡的吧

慢慢学

这个系列的文章很适合刚入门的想，很不错

引用：海绵 发表于 2023-03-30 15:46
这个系列的文章很适合刚入门的想，很不错

音视频基础理论经久不衰，都是经典