强列建议将Protobuf作为你的即时通讯应用数据传输格式

前言

即时通讯应用（包括IM聊天应用、实时消息推送应用等）在选择数据传输格式的时候，相信没有真正实践过的人，都会犹豫该怎么选择。在即时通讯开发者同行的眼里，怎么选择其实是个极富争议话题。不过本文作者强烈建议将Protobuf作为您的即时通讯应用的首选通讯协议格式，理由请见下文。

据说，手机QQ的数据传输协议已在使用Protobuf了，而从官方流出资料来看微信早就在使用Protobuf（而且为了尽可能地压缩流量，甚至对Protobuf进行了极致优化）。

推荐阅读：《Protobuf通信协议详解：代码演示、详细原理介绍等》。论坛里有另一个篇关于即时通讯数据传输格式选择的文章，也可以参考一下：《如何选择即时通讯应用的数据传输格式》。

更多资料

Protobuf官方主页：https://github.com/52im/protobuf
移动端IM开发问题：http://www.52im.net/thread-133-1-1.html
即时通讯综合性资料：http://www.52im.net/forum.php?mod=collection&action=view&ctid=10
即时通讯安全性资料：http://www.52im.net/forum.php?mod=collection&action=view&ctid=6
实时音视频开发资料：http://www.52im.net/forum.php?mod=collection&action=view&ctid=4
即时通讯的架构设计：http://www.52im.net/forum.php?mod=collection&action=view&ctid=7
更多资料精选请查看：http://www.52im.net/forum.php?mod=collection&op=all

Protobuf简介

一条消息数据，用protobuf序列化后的大小是json的10分之一，xml格式的20分之一，是二进制序列化的10分之一，总体看来ProtoBuf的优势还是很明显的。

protobuf是google提供的一个开源序列化框架，类似于XML，JSON这样的数据表示语言，详情访问protobuf的google官方网站。

protobuf在google中是一个比较核心的基础库，作为分布式运算涉及到大量的不同业务消息的传递，如何高效简洁的表示、操作这些业务消息在google这样的大规模应用中是至关重要的。而protobuf这样的库正好是在效率、数据大小、易用性之间取得了很好的平衡。

详情请参见Protobuf官方主页：https://github.com/52im/protobuf。

Protobuf简单总结

• 灵活、高效：
  灵活（方便接口更新）、高效（效率经过google的优化，传输效率比普通的XML等高很多）；
• 易于使用：
  开发人员通过按照一定的语法定义结构化的消息格式，然后送给命令行工具，工具将自动生成相关的类，可以支持java、c++、python等语言环境。通过将这些类包含在项目中，可以很轻松的调用相关方法来完成业务消息的序列化与反序列化工作。
• 语言支持：
  原生支持c++,java,python等。
  

Protobuf支持的开发语言

截止目前，Protobuf官方工程主页上显示的已支持的开发语言多达10种，分别有：C++、Java、Python、Objective-C、C#、JavaNano、JavaScript、Ruby、Go、PHP，基本上主流的语言都已支持。



详情请参见Protobuf的官方工程主页：https://github.com/52im/protobuf。

个人总结的适用Protobuf的场合

• 需要和其它系统做消息交换的，对消息大小很敏感的。那么protobuf适合了，它语言无关，消息空间相对xml和json等节省很多。
• 小数据的场合。如果你是大数据，用它并不适合。
• 项目语言是c++,java,python的，因为它们可以使用google的源生类库，序列化和反序列化的效率非常高。其它的语言需要第三方或者自己写，序列化和反序列化的效率不保证。
  

总体而言，protobuf还是非常好用的，被很多开源系统用于数据通信的工具，在google也是核心的基础库。

写在最后

此外，Facebook的thrift据说也很有特色，2007年由Facebook开发，之后在2008年加到Apache计划中。是一个跨语言的轻量级RPC消息和数据交换框架，Thrift能生成的语言有: C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk, and OCaml，这是它的一大优点。

关于Thrift工程，详见官方主页：http://thrift.apache.org/

全站即时通讯技术资料分类

[1] 网络编程基础资料：
《TCP/IP详解 - 第11章·UDP：用户数据报协议》
《TCP/IP详解 - 第17章·TCP：传输控制协议》
《TCP/IP详解 - 第18章·TCP连接的建立与终止》
《TCP/IP详解 - 第21章·TCP的超时与重传》
《理论经典：TCP协议的3次握手与4次挥手过程详解》
《理论联系实际：Wireshark抓包分析TCP 3次握手、4次挥手过程》
《计算机网络通讯协议关系图（中文珍藏版）》
《NAT详解：基本原理、穿越技术(P2P打洞)、端口老化等》
《UDP中一个包的大小最大能多大？》
《Java新一代网络编程模型AIO原理及Linux系统AIO介绍》
《NIO框架入门(三)：iOS与MINA2、Netty4的跨平台UDP双向通信实战》
《NIO框架入门(四)：Android与MINA2、Netty4的跨平台UDP双向通信实战》
>> 更多同类文章 ……

[2] 有关IM/推送的通信格式、协议的选择：
《为什么QQ用的是UDP协议而不是TCP协议？》
《移动端即时通讯协议选择：UDP还是TCP？》
《如何选择即时通讯应用的数据传输格式》
《强列建议将Protobuf作为你的即时通讯应用数据传输格式》
《移动端IM开发需要面对的技术问题（含通信协议选择）》
《简述移动端IM开发的那些坑：架构设计、通信协议和客户端》
《理论联系实际：一套典型的IM通信协议设计详解》
《58到家实时消息系统的协议设计等技术实践分享》
>> 更多同类文章 ……

[3] 有关IM/推送的心跳保活处理：
《Android进程保活详解：一篇文章解决你的所有疑问》
《Android端消息推送总结：实现原理、心跳保活、遇到的问题等》
《为何基于TCP协议的移动端IM仍然需要心跳保活机制？》
《微信团队原创分享：Android版微信后台保活实战分享(进程保活篇)》
《微信团队原创分享：Android版微信后台保活实战分享(网络保活篇)》
《移动端IM实践：实现Android版微信的智能心跳机制》
《移动端IM实践：WhatsApp、Line、微信的心跳策略分析》
>> 更多同类文章 ……

[4] 有关WEB端即时通讯开发：
《新手入门贴：史上最全Web端即时通讯技术原理详解》
《Web端即时通讯技术盘点：短轮询、Comet、Websocket、SSE》
《SSE技术详解：一种全新的HTML5服务器推送事件技术》
《Comet技术详解：基于HTTP长连接的Web端实时通信技术》
《WebSocket详解（一）：初步认识WebSocket技术》
《socket.io实现消息推送的一点实践及思路》
>> 更多同类文章 ……

[5] 有关IM架构设计：
《浅谈IM系统的架构设计》
《简述移动端IM开发的那些坑：架构设计、通信协议和客户端》
《一套原创分布式即时通讯(IM)系统理论架构方案》
《从零到卓越：京东客服即时通讯系统的技术架构演进历程》
《蘑菇街即时通讯/IM服务器开发之架构选择》
《腾讯QQ1.4亿在线用户的技术挑战和架构演进之路PPT》
《微信技术总监谈架构：微信之道——大道至简(演讲全文)》
《如何解读《微信技术总监谈架构：微信之道——大道至简》》
《快速裂变：见证微信强大后台架构从0到1的演进历程（一）》
《17年的实践：腾讯海量产品的技术方法论》
>> 更多同类文章 ……

[6] 有关IM安全的文章：
《即时通讯安全篇（一）：正确地理解和使用Android端加密算法》
《即时通讯安全篇（二）：探讨组合加密算法在IM中的应用》
《即时通讯安全篇（三）：常用加解密算法与通讯安全讲解》
《即时通讯安全篇（四）：实例分析Android中密钥硬编码的风险》
《传输层安全协议SSL/TLS的Java平台实现简介和Demo演示》
《理论联系实际：一套典型的IM通信协议设计详解（含安全层设计）》
《微信新一代通信安全解决方案：基于TLS1.3的MMTLS详解》
《来自阿里OpenIM：打造安全可靠即时通讯服务的技术实践分享》
>> 更多同类文章 ……

[7] 有关实时音视频开发：
《即时通讯音视频开发（一）：视频编解码之理论概述》
《即时通讯音视频开发（二）：视频编解码之数字视频介绍》
《即时通讯音视频开发（三）：视频编解码之编码基础》
《即时通讯音视频开发（四）：视频编解码之预测技术介绍》
《即时通讯音视频开发（五）：认识主流视频编码技术H.264》
《即时通讯音视频开发（六）：如何开始音频编解码技术的学习》
《即时通讯音视频开发（七）：音频基础及编码原理入门》
《即时通讯音视频开发（八）：常见的实时语音通讯编码标准》
《即时通讯音视频开发（九）：实时语音通讯的回音及回音消除概述》
《即时通讯音视频开发（十）：实时语音通讯的回音消除技术详解》
《即时通讯音视频开发（十一）：实时语音通讯丢包补偿技术详解》
《即时通讯音视频开发（十二）：多人实时音视频聊天架构探讨》
《即时通讯音视频开发（十三）：实时视频编码H.264的特点与优势》
《即时通讯音视频开发（十四）：实时音视频数据传输协议介绍》
《即时通讯音视频开发（十五）：聊聊P2P与实时音视频的应用情况》
《即时通讯音视频开发（十六）：移动端实时音视频开发的几个建议》
《即时通讯音视频开发（十七）：视频编码H.264、V8的前世今生》
《简述开源实时音视频技术WebRTC的优缺点》
《良心分享：WebRTC 零基础开发者教程（中文）》
>> 更多同类文章 ……

[8] IM开发综合文章：
《移动端IM开发需要面对的技术问题》
《开发IM是自己设计协议用字节流好还是字符流好？》
《请问有人知道语音留言聊天的主流实现方式吗？》
《IM系统中如何保证消息的可靠投递（即QoS机制）》
《谈谈移动端 IM 开发中登录请求的优化》
《完全自已开发的IM该如何设计“失败重试”机制？》
《微信对网络影响的技术试验及分析（论文全文）》
《即时通讯系统的原理、技术和应用（技术论文）》
《开源IM工程“蘑菇街TeamTalk”的现状：一场有始无终的开源秀》
>> 更多同类文章 ……

[9] 开源移动端IM技术框架资料：
《开源移动端IM技术框架MobileIMSDK：快速入门》
《开源移动端IM技术框架MobileIMSDK：常见问题解答》
《开源移动端IM技术框架MobileIMSDK：压力测试报告》
《开源移动端IM技术框架MobileIMSDK：Android版Demo使用帮助》
《开源移动端IM技术框架MobileIMSDK：Java版Demo使用帮助》
《开源移动端IM技术框架MobileIMSDK：iOS版Demo使用帮助》
《开源移动端IM技术框架MobileIMSDK：Android客户端开发指南》
《开源移动端IM技术框架MobileIMSDK：Java客户端开发指南》
《开源移动端IM技术框架MobileIMSDK：iOS客户端开发指南》
《开源移动端IM技术框架MobileIMSDK：Server端开发指南》
>> 更多同类文章 ……

[10] 有关推送技术的文章：
《iOS的推送服务APNs详解：设计思路、技术原理及缺陷等》
《Android端消息推送总结：实现原理、心跳保活、遇到的问题等》
《扫盲贴：认识MQTT通信协议》
《一个基于MQTT通信协议的完整Android推送Demo》
《求教android消息推送：GCM、XMPP、MQTT三种方案的优劣》
《移动端实时消息推送技术浅析》
《扫盲贴：浅谈iOS和Android后台实时消息推送的原理和区别》
《绝对干货：基于Netty实现海量接入的推送服务技术要点》
《移动端IM实践：谷歌消息推送服务(GCM)研究（来自微信）》
《为何微信、QQ这样的IM工具不使用GCM服务推送消息？》
>> 更多同类文章 ……

[11] 更多即时通讯技术好文分类：
http://www.52im.net/forum.php?mod=collection&op=all

（原文链接：http://blog.sina.com.cn/s/blog_406127500102uy6e.html，有删节和修改）

看的还是不是太懂，这个不就是数据传输，如果协议本身就是json ，需要拿这个转换吗？

引用：sxb 发表于 2016-05-04 19:35
看的还是不是太懂，这个不就是数据传输，如果协议本身就是json ，需要拿这个转换吗？

应用层来看JSON跟Protobuf就是文本格式跟2进制格式的区别，但不是你这种理解。
假设一个布尔量，用JSON的话，可能是这样的：{sucess:true}，你数数看这一共占几个字节？而2进制协议可能只需要一个bit（也就是1位，1个字节等于8位）：0或1，这样斤斤计较下来，一个完整的协议如果用2进制来表示，则数据长度要短太多了。在移动端省下来的这些字节，就是帮你省了流量，很现实的问题。

PC端多数时候还是为了方便，比如JSON这种格式就很直观易读，而移动端因为电量和流量都是有限资源，所以大家还不能那么奢侈地大手大脚地玩，只能斤斤计较。

很棒，非常感谢~

谢谢分享

很棒，非常感谢~

pb非常方便，除了节省交换的数据量之外，另一个很好的优点是非常容易兼容老的客户端。假设线上有很多手机端，因为业务或bug原因需要修改交互的协议格式，pb可以通过optional来增加新字段，在不强制客户端升级的情况下就能兼容老的数据。

引用：weixiaoyao 发表于 2019-01-14 10:45
pb非常方便，除了节省交换的数据量之外，另一个很好的优点是非常容易兼容老的客户端。假设线上有很多手机端 ...

说的好

引用：weixiaoyao 发表于 2019-01-14 10:45
pb非常方便，除了节省交换的数据量之外，另一个很好的优点是非常容易兼容老的客户端。假设线上有很多手机端 ...

很赞

https://www.jianshu.com/p/a24c88c0526a
初学者再看这篇文章应该理解会更清晰

引用：mark_lin 发表于 2020-06-16 23:56
https://www.jianshu.com/p/a24c88c0526a
初学者再看这篇文章应该理解会更清晰

这两篇也可以：
《Protobuf通信协议详解：代码演示、详细原理介绍等》
《如何选择即时通讯应用的数据传输格式》

引用：JackJiang 发表于 2020-06-17 11:06
这两篇也可以：
《Protobuf通信协议详解：代码演示、详细原理介绍等》
《如何选择即时通讯应用的数据传 ...

我以为Protobuf协议的目的是为了减少传输的数据量，要提高安全性还是要依靠TLS。请教下是这么理解吗@JackJiang 谢谢，因为我并没有搜到有关pb安全性方面的资料

引用：mark_lin 发表于 2020-06-18 22:51
我以为Protobuf协议的目的是为了减少传输的数据量，要提高安全性还是要依靠TLS。请教下是这么理解吗@Jack ...

是的，pb是数据格式，不好说安全性跟数据格式有关。必竟，JSON、XML、protobuf放一起比较，没有人会从安全性这个角度来看问题，因为不关它们的事。