来自阿里OpenIM：打造安全可靠即时通讯服务的技术实践分享

前言

即时通讯作为移动应用的常用组件，开发起来却并不简单，除了需要研究通讯协议，保证安全性，还要应对复杂的移动网络情况，以提供高可用性的服务。OpenIM是阿里巴巴推出的，集成于阿里百川项目中的移动端IM开放服务。阿里百川是阿里巴巴集团无线开放平台，为移动开发者（涵盖移动创业者）提供快速搭建APP、加速APP商业化、提升用户体验的解决方案。

受访者介绍

敖闰（符小宝），旺旺团队技术总监。一直从事移动互联网相关产品研发工作。加入阿里前，主导开发Qualcomm BREW平台上WWW Embedded Browser。2009年加入阿里后负责云OS Framework及Apps工作，2012年开始负责阿里旺旺团队的研发工作。

OpenIM目前的团队配置情况

OpenIM来自于旺旺事业部，旺旺事业部历史比较悠久，从2003年淘宝成立初期，旺旺团队同时成立，旺旺产品和淘宝一起成长，迅速成长为全球最大的客服沟通平台(日均消息量10亿级，DAU亿级）。目前团队上百人，包括产品运营团队，技术团队，测试团队等，其中技术团队含 IM服务端技术团队，及全平台的客户端技术团队(Android, iOS, Windows, Mac, H5) 。已授权IM相关专利数近百项。

OpenIM介绍以及在业务上的特色

OpenIM是阿里巴巴面向应用开发者开放的免费即时通信服务，由阿里旺旺团队提供。作为即时通讯基础组件，已经支持了手机淘宝，阿里旺旺，旺信，天猫，聚划算，去啊等阿里系内部应用。现在，开发者基于OpenIM，可量身定制“类微信”“类旺信”“类千牛”的应用。

阿里希望构建云（阿里提供的基础服务）+端（各类APP）的全新移动时代商业生态，来满足消费者个性化、场景化的无线生活和无处不在的需求。移动互联网时代，为了增强人与人之间的连接，各类App都需要基础的沟通功能。开发者开发一套高可用性的IM系统，成本非常高。我们将拥有12年技术沉淀、历经多次双十一考验的即时通讯能力及客服平台能力开放出来，帮助开发者轻松实现沟通功能，降低App开发成本。

OpenIM除了基础的IM功能之外，同时开放的还有全球最大的客服平台功能。基于该客服平台的旺旺/千牛，目前在电商行业已服务上千万卖家。

大规模即时通讯技术上的难点

大概有下面四个技术难点：

• 如何确保系统的高可用性？因为IM服务一旦中断，对用户体验的伤害非常大，所以，一定要保证服务的高可用性。
• 如何在移动网络环境下优化电量，流量，及长连接的健壮性？现在移动网络有2G、3G、4G各种制式，并且随时可能切换和中断，移动网络优化可以说是面向移动服务的共同问题。
• 如何确保IM系统的整体安全？因为用户的消息是个人隐私，因此要从多个层面来保证IM系统的安全性。
• 如何降低开发者集成门槛？这个是针对第三方IM服务来说的，如果集成成本太高，开发者用起来不方便，在实际使用中也会出现各种问题。
  

如何确保IM的高可用性？OpenIM的服务端架构又是怎样的？

经过多年双11的考验，我们IM服务的可用性持续保持99.99%以上。旺旺团队逐步形成了系统高可用性解决方案。

具体策略包括：

• 水平伸缩的系统架构：
  全系统无单点设计，各个业务系统环节均可水平伸缩，同时负载均衡系统，会实时的进行流量分配，让整个系统运行在合理的水位。
• 异地多活去中心化部署：
  去中心化的异地多机房部署，多个机房同时提供服务，任何一个点的故障，其他机房能够即时承接。
• 自动化故障隔离容灾系统：
  对于服务器的故障，能够实时的检测并且自动的隔离，快速的切换流量到正常的服务器。
• 完备的监控和预警体系：
  基于阿里巴巴运维体系的完备的监控和预警，让我们对整个系统的运行状态了如指掌。
  

整个系统分为：

• 接入层(客户端)：
  负责客户端接入。
• 接入层(服务端)：
  负责App Server和OpenIM服务器的对接。
• 协议路由：
  消息路由和业务逻辑层，负责消息路由和各种业务逻辑处理。
• 数据层：
  负责用户、业务数据的缓存，持久化等。
  

OpenIM针对移动网络的特点做了哪些优化？

做的优化有：

• 极简协议：
  OpenIM采用完全私有的二进制协议：确保数据加密安全的同时，流量消耗极少。同时心跳包协议对IM的电量和流量影响很大，OpenIM在心跳包协议上进行了极简设计：仅 1 Byte 。
• 智能心跳：
  OpenIM独特的保活机制,自动适应不同的网络环境，智能调整心跳频率，将参数调整到最优状态。
• 智能唤醒：
  众所周知，Android手机电量消耗一直为大家所诟病。 后台各种应用不断唤醒手机，致使手机待机时间大为缩短。OpenIM能以最低限度唤醒手机进行必要的保活，保证连接的健康及消息的及时到达: OpenIM与系统以及其他应用进行交互，如果有其他应用唤醒了手机，OpenIM将避免冗余唤醒，节约设备的电量消耗。
• 多路复用，共享连接：
  OpenIM的SDK广泛使用在阿里的各移动应用中，如手机淘宝、天猫、旺信、千牛、去啊等。通常来说，多个IM App会有多条物理TCP长连接，OpenIM支持多应用共享复用一条TCP长连接，保活的流量将从N倍变为1倍; 唤醒手机次数也由N个应用唤醒变为1个应用唤醒。由于这些阿里应用覆盖用户群较大，OpenIM会自动共享阿里应用已经存在的物理连接，极大减少电量和流量开销。
• 多路复用, 共同保活：
  同时，Android系统资源紧张时会在后台清理进程，当某个OpenIM所在应用被清理后，通常OpenIM消息也就无法实时触达。但由于“多路复用”机制，只要当前任一应用(包括阿里应用)还存活，OpenIM均能顺利工作，有效提升了长连接的健壮性。
  

OpenIM在安全上做了哪些事情？

基于旺旺海量消息(每日十亿级)数据样本及旺旺安全的多年技术沉淀，OpenIM为开发者提供了与支付宝，淘宝，天猫同等级别的安全服务，从账号安全，传输安全，存储安全，内容安全等各个维度提供了完整的安全方案。

• 帐号安全：
  OpenIM各自域的用户帐号经过MD5加密后进行传输和存储，保证开发者用户数据的私密性及安全。OpenIM客服帐号，享受阿里系账号的所有安全功能：数字证书，一键校验，手机验证等。
• 数据传输安全：
  包括：完全私有的二进制通讯协议；动态秘钥，全链路加密传输。
• 本地存储安全：
  就是将本地数据库加密。
• 内容安全：
  
  • 恶意内容检测：支持可配置的关键字系统，支持风险提醒和过滤；支持恶意链接(钓鱼链接等)和二维码图片的风险识别：基于阿里系内最大的恶意链接库(WenKing)。
  • 反垃圾安全：基于每天海量消息（十亿级）和用户（亿级）综合行为的基础数据，构建的大型反垃圾系统，实现恶意行为的实时监控。基于文本及图片模型的垃圾识别算法，支持恶意内容的实时监控。恶意内容样本的系统自学习，提升系统的召回率。
    

全站即时通讯技术资料分类

[1] 网络编程基础资料：
《TCP/IP详解 - 第11章·UDP：用户数据报协议》
《TCP/IP详解 - 第17章·TCP：传输控制协议》
《TCP/IP详解 - 第18章·TCP连接的建立与终止》
《TCP/IP详解 - 第21章·TCP的超时与重传》
《理论经典：TCP协议的3次握手与4次挥手过程详解》
《理论联系实际：Wireshark抓包分析TCP 3次握手、4次挥手过程》
《计算机网络通讯协议关系图（中文珍藏版）》
《NAT详解：基本原理、穿越技术(P2P打洞)、端口老化等》
《UDP中一个包的大小最大能多大？》
《Java新一代网络编程模型AIO原理及Linux系统AIO介绍》
《NIO框架入门(三)：iOS与MINA2、Netty4的跨平台UDP双向通信实战》
《NIO框架入门(四)：Android与MINA2、Netty4的跨平台UDP双向通信实战》
>> 更多同类文章 ……

[2] 有关IM/推送的通信格式、协议的选择：
《为什么QQ用的是UDP协议而不是TCP协议？》
《移动端即时通讯协议选择：UDP还是TCP？》
《如何选择即时通讯应用的数据传输格式》
《强列建议将Protobuf作为你的即时通讯应用数据传输格式》
《移动端IM开发需要面对的技术问题（含通信协议选择）》
《简述移动端IM开发的那些坑：架构设计、通信协议和客户端》
《理论联系实际：一套典型的IM通信协议设计详解》
《58到家实时消息系统的协议设计等技术实践分享》
>> 更多同类文章 ……

[3] 有关IM/推送的心跳保活处理：
《Android进程保活详解：一篇文章解决你的所有疑问》
《Android端消息推送总结：实现原理、心跳保活、遇到的问题等》
《为何基于TCP协议的移动端IM仍然需要心跳保活机制？》
《微信团队原创分享：Android版微信后台保活实战分享(进程保活篇)》
《微信团队原创分享：Android版微信后台保活实战分享(网络保活篇)》
《移动端IM实践：实现Android版微信的智能心跳机制》
《移动端IM实践：WhatsApp、Line、微信的心跳策略分析》
>> 更多同类文章 ……

[4] 有关WEB端即时通讯开发：
《新手入门贴：史上最全Web端即时通讯技术原理详解》
《Web端即时通讯技术盘点：短轮询、Comet、Websocket、SSE》
《SSE技术详解：一种全新的HTML5服务器推送事件技术》
《Comet技术详解：基于HTTP长连接的Web端实时通信技术》
《WebSocket详解（一）：初步认识WebSocket技术》
《socket.io实现消息推送的一点实践及思路》
>> 更多同类文章 ……

[5] 有关IM架构设计：
《浅谈IM系统的架构设计》
《简述移动端IM开发的那些坑：架构设计、通信协议和客户端》
《一套原创分布式即时通讯(IM)系统理论架构方案》
《从零到卓越：京东客服即时通讯系统的技术架构演进历程》
《蘑菇街即时通讯/IM服务器开发之架构选择》
《腾讯QQ1.4亿在线用户的技术挑战和架构演进之路PPT》
《微信技术总监谈架构：微信之道——大道至简(演讲全文)》
《如何解读《微信技术总监谈架构：微信之道——大道至简》》
《快速裂变：见证微信强大后台架构从0到1的演进历程（一）》
《17年的实践：腾讯海量产品的技术方法论》
>> 更多同类文章 ……

[6] 有关IM安全的文章：
《即时通讯安全篇（一）：正确地理解和使用Android端加密算法》
《即时通讯安全篇（二）：探讨组合加密算法在IM中的应用》
《即时通讯安全篇（三）：常用加解密算法与通讯安全讲解》
《即时通讯安全篇（四）：实例分析Android中密钥硬编码的风险》
《传输层安全协议SSL/TLS的Java平台实现简介和Demo演示》
《理论联系实际：一套典型的IM通信协议设计详解（含安全层设计）》
《微信新一代通信安全解决方案：基于TLS1.3的MMTLS详解》
《来自阿里OpenIM：打造安全可靠即时通讯服务的技术实践分享》
>> 更多同类文章 ……

[7] 有关实时音视频开发：
《即时通讯音视频开发（一）：视频编解码之理论概述》
《即时通讯音视频开发（二）：视频编解码之数字视频介绍》
《即时通讯音视频开发（三）：视频编解码之编码基础》
《即时通讯音视频开发（四）：视频编解码之预测技术介绍》
《即时通讯音视频开发（五）：认识主流视频编码技术H.264》
《即时通讯音视频开发（六）：如何开始音频编解码技术的学习》
《即时通讯音视频开发（七）：音频基础及编码原理入门》
《即时通讯音视频开发（八）：常见的实时语音通讯编码标准》
《即时通讯音视频开发（九）：实时语音通讯的回音及回音消除概述》
《即时通讯音视频开发（十）：实时语音通讯的回音消除技术详解》
《即时通讯音视频开发（十一）：实时语音通讯丢包补偿技术详解》
《即时通讯音视频开发（十二）：多人实时音视频聊天架构探讨》
《即时通讯音视频开发（十三）：实时视频编码H.264的特点与优势》
《即时通讯音视频开发（十四）：实时音视频数据传输协议介绍》
《即时通讯音视频开发（十五）：聊聊P2P与实时音视频的应用情况》
《即时通讯音视频开发（十六）：移动端实时音视频开发的几个建议》
《即时通讯音视频开发（十七）：视频编码H.264、V8的前世今生》
《简述开源实时音视频技术WebRTC的优缺点》
《良心分享：WebRTC 零基础开发者教程（中文）》
>> 更多同类文章 ……

[8] IM开发综合文章：
《移动端IM开发需要面对的技术问题》
《开发IM是自己设计协议用字节流好还是字符流好？》
《请问有人知道语音留言聊天的主流实现方式吗？》
《IM系统中如何保证消息的可靠投递（即QoS机制）》
《谈谈移动端 IM 开发中登录请求的优化》
《完全自已开发的IM该如何设计“失败重试”机制？》
《微信对网络影响的技术试验及分析（论文全文）》
《即时通讯系统的原理、技术和应用（技术论文）》
《开源IM工程“蘑菇街TeamTalk”的现状：一场有始无终的开源秀》
>> 更多同类文章 ……

[9] 开源移动端IM技术框架资料：
《开源移动端IM技术框架MobileIMSDK：快速入门》
《开源移动端IM技术框架MobileIMSDK：常见问题解答》
《开源移动端IM技术框架MobileIMSDK：压力测试报告》
《开源移动端IM技术框架MobileIMSDK：Android版Demo使用帮助》
《开源移动端IM技术框架MobileIMSDK：Java版Demo使用帮助》
《开源移动端IM技术框架MobileIMSDK：iOS版Demo使用帮助》
《开源移动端IM技术框架MobileIMSDK：Android客户端开发指南》
《开源移动端IM技术框架MobileIMSDK：Java客户端开发指南》
《开源移动端IM技术框架MobileIMSDK：iOS客户端开发指南》
《开源移动端IM技术框架MobileIMSDK：Server端开发指南》
>> 更多同类文章 ……

[10] 有关推送技术的文章：
《iOS的推送服务APNs详解：设计思路、技术原理及缺陷等》
《Android端消息推送总结：实现原理、心跳保活、遇到的问题等》
《扫盲贴：认识MQTT通信协议》
《一个基于MQTT通信协议的完整Android推送Demo》
《求教android消息推送：GCM、XMPP、MQTT三种方案的优劣》
《移动端实时消息推送技术浅析》
《扫盲贴：浅谈iOS和Android后台实时消息推送的原理和区别》
《绝对干货：基于Netty实现海量接入的推送服务技术要点》
《移动端IM实践：谷歌消息推送服务(GCM)研究（来自微信）》
《为何微信、QQ这样的IM工具不使用GCM服务推送消息？》
>> 更多同类文章 ……

[11] 更多即时通讯技术好文分类：
http://www.52im.net/forum.php?mod=collection&op=all

（原文链接：http://www.infoq.com/cn/news/2015/07/openim-interview）

那阿里悟空又是个什么鬼！

态感谢了！

好全的资料！这是一个宝库

没有用过

最近公司在使用openfire

握草，阿里还整了这么个东东，长见识了，这个OpenIM能直接拿来用吗？有没有大神用过？

引用：ashura12342000 发表于 2017-05-03 20:04
握草，阿里还整了这么个东东，长见识了，这个OpenIM能直接拿来用吗？有没有大神用过？

跟那阿里悟空云IM一样，差不多都是面子货，整着整着就没声音了

刚开发了一个基于openIM的app，可惜老板要我推翻openIM，自己写个即时通讯服务器，我的内心是崩溃的

引用：tiandao 发表于 2017-06-28 09:04
刚开发了一个基于openIM的app，可惜老板要我推翻openIM，自己写个即时通讯服务器，我的内心是崩溃的

好悲情