请选择 进入手机版 | 继续访问电脑版

默认
发表评论 3
来自阿里OpenIM:打造安全可靠即时通讯服务的技术实践分享

前言


即时通讯作为移动应用的常用组件,开发起来却并不简单,除了需要研究通讯协议,保证安全性,还要应对复杂的移动网络情况,以提供高可用性的服务。OpenIM是阿里巴巴推出的,集成于阿里百川项目中的移动端IM开放服务。阿里百川是阿里巴巴集团无线开放平台,为移动开发者(涵盖移动创业者)提供快速搭建APP、加速APP商业化、提升用户体验的解决方案。

受访者介绍


敖闰(符小宝),旺旺团队技术总监。一直从事移动互联网相关产品研发工作。加入阿里前,主导开发Qualcomm BREW平台上WWW Embedded Browser。2009年加入阿里后负责云OS Framework及Apps工作,2012年开始负责阿里旺旺团队的研发工作。

OpenIM目前的团队配置情况


OpenIM来自于旺旺事业部,旺旺事业部历史比较悠久,从2003年淘宝成立初期,旺旺团队同时成立,旺旺产品和淘宝一起成长,迅速成长为全球最大的客服沟通平台(日均消息量10亿级,DAU亿级)。目前团队上百人,包括产品运营团队,技术团队,测试团队等,其中技术团队含 IM服务端技术团队,及全平台的客户端技术团队(Android, iOS, Windows, Mac, H5) 。已授权IM相关专利数近百项。

OpenIM介绍以及在业务上的特色


OpenIM是阿里巴巴面向应用开发者开放的免费即时通信服务,由阿里旺旺团队提供。作为即时通讯基础组件,已经支持了手机淘宝,阿里旺旺,旺信,天猫,聚划算,去啊等阿里系内部应用。现在,开发者基于OpenIM,可量身定制“类微信”“类旺信”“类千牛”的应用。

阿里希望构建云(阿里提供的基础服务)+端(各类APP)的全新移动时代商业生态,来满足消费者个性化、场景化的无线生活和无处不在的需求。移动互联网时代,为了增强人与人之间的连接,各类App都需要基础的沟通功能。开发者开发一套高可用性的IM系统,成本非常高。我们将拥有12年技术沉淀、历经多次双十一考验的即时通讯能力及客服平台能力开放出来,帮助开发者轻松实现沟通功能,降低App开发成本。

OpenIM除了基础的IM功能之外,同时开放的还有全球最大的客服平台功能。基于该客服平台的旺旺/千牛,目前在电商行业已服务上千万卖家。

大规模即时通讯技术上的难点


大概有下面四个技术难点:

  • 如何确保系统的高可用性?因为IM服务一旦中断,对用户体验的伤害非常大,所以,一定要保证服务的高可用性。
  • 如何在移动网络环境下优化电量,流量,及长连接的健壮性?现在移动网络有2G、3G、4G各种制式,并且随时可能切换和中断,移动网络优化可以说是面向移动服务的共同问题。
  • 如何确保IM系统的整体安全?因为用户的消息是个人隐私,因此要从多个层面来保证IM系统的安全性。
  • 如何降低开发者集成门槛?这个是针对第三方IM服务来说的,如果集成成本太高,开发者用起来不方便,在实际使用中也会出现各种问题。

如何确保IM的高可用性?OpenIM的服务端架构又是怎样的?


经过多年双11的考验,我们IM服务的可用性持续保持99.99%以上。旺旺团队逐步形成了系统高可用性解决方案。

具体策略包括:

  • 水平伸缩的系统架构:
    全系统无单点设计,各个业务系统环节均可水平伸缩,同时负载均衡系统,会实时的进行流量分配,让整个系统运行在合理的水位。
  • 异地多活去中心化部署:
    去中心化的异地多机房部署,多个机房同时提供服务,任何一个点的故障,其他机房能够即时承接。
  • 自动化故障隔离容灾系统:
    对于服务器的故障,能够实时的检测并且自动的隔离,快速的切换流量到正常的服务器。
  • 完备的监控和预警体系:
    基于阿里巴巴运维体系的完备的监控和预警,让我们对整个系统的运行状态了如指掌。

62622356gw1etky8s9ar7j20ok0i6dh8.jpg

整个系统分为:

  • 接入层(客户端):
    负责客户端接入。
  • 接入层(服务端):
    负责App Server和OpenIM服务器的对接。
  • 协议路由:
    消息路由和业务逻辑层,负责消息路由和各种业务逻辑处理。
  • 数据层:
    负责用户、业务数据的缓存,持久化等。

OpenIM针对移动网络的特点做了哪些优化?


做的优化有:

  • 极简协议:
    OpenIM采用完全私有的二进制协议:确保数据加密安全的同时,流量消耗极少。同时心跳包协议对IM的电量和流量影响很大,OpenIM在心跳包协议上进行了极简设计:仅 1 Byte 。
  • 智能心跳:
    OpenIM独特的保活机制,自动适应不同的网络环境,智能调整心跳频率,将参数调整到最优状态。
  • 智能唤醒:
    众所周知,Android手机电量消耗一直为大家所诟病。 后台各种应用不断唤醒手机,致使手机待机时间大为缩短。OpenIM能以最低限度唤醒手机进行必要的保活,保证连接的健康及消息的及时到达: OpenIM与系统以及其他应用进行交互,如果有其他应用唤醒了手机,OpenIM将避免冗余唤醒,节约设备的电量消耗。
  • 多路复用,共享连接:
    OpenIM的SDK广泛使用在阿里的各移动应用中,如手机淘宝、天猫、旺信、千牛、去啊等。通常来说,多个IM App会有多条物理TCP长连接,OpenIM支持多应用共享复用一条TCP长连接,保活的流量将从N倍变为1倍; 唤醒手机次数也由N个应用唤醒变为1个应用唤醒。由于这些阿里应用覆盖用户群较大,OpenIM会自动共享阿里应用已经存在的物理连接,极大减少电量和流量开销。
  • 多路复用, 共同保活:
    同时,Android系统资源紧张时会在后台清理进程,当某个OpenIM所在应用被清理后,通常OpenIM消息也就无法实时触达。但由于“多路复用”机制,只要当前任一应用(包括阿里应用)还存活,OpenIM均能顺利工作,有效提升了长连接的健壮性。

OpenIM在安全上做了哪些事情?


基于旺旺海量消息(每日十亿级)数据样本及旺旺安全的多年技术沉淀,OpenIM为开发者提供了与支付宝,淘宝,天猫同等级别的安全服务,从账号安全,传输安全,存储安全,内容安全等各个维度提供了完整的安全方案。

  • 帐号安全:
    OpenIM各自域的用户帐号经过MD5加密后进行传输和存储,保证开发者用户数据的私密性及安全。OpenIM客服帐号,享受阿里系账号的所有安全功能:数字证书,一键校验,手机验证等。
  • 数据传输安全:
    包括:完全私有的二进制通讯协议;动态秘钥,全链路加密传输。
  • 本地存储安全:
    就是将本地数据库加密。
  • 内容安全:
    • 恶意内容检测:支持可配置的关键字系统,支持风险提醒和过滤;支持恶意链接(钓鱼链接等)和二维码图片的风险识别:基于阿里系内最大的恶意链接库(WenKing)。
    • 反垃圾安全:基于每天海量消息(十亿级)和用户(亿级)综合行为的基础数据,构建的大型反垃圾系统,实现恶意行为的实时监控。基于文本及图片模型的垃圾识别算法,支持恶意内容的实时监控。恶意内容样本的系统自学习,提升系统的召回率。

全站即时通讯技术资料分类


[1] 网络编程基础资料:
TCP/IP详解 - 第11章·UDP:用户数据报协议
TCP/IP详解 - 第17章·TCP:传输控制协议
TCP/IP详解 - 第18章·TCP连接的建立与终止
TCP/IP详解 - 第21章·TCP的超时与重传
理论经典:TCP协议的3次握手与4次挥手过程详解
理论联系实际:Wireshark抓包分析TCP 3次握手、4次挥手过程
计算机网络通讯协议关系图(中文珍藏版)
NAT详解:基本原理、穿越技术(P2P打洞)、端口老化等
UDP中一个包的大小最大能多大?
Java新一代网络编程模型AIO原理及Linux系统AIO介绍
NIO框架入门(三):iOS与MINA2、Netty4的跨平台UDP双向通信实战
NIO框架入门(四):Android与MINA2、Netty4的跨平台UDP双向通信实战
>> 更多同类文章 ……

[2] 有关IM/推送的通信格式、协议的选择:
为什么QQ用的是UDP协议而不是TCP协议?
移动端即时通讯协议选择:UDP还是TCP?
如何选择即时通讯应用的数据传输格式
强列建议将Protobuf作为你的即时通讯应用数据传输格式
移动端IM开发需要面对的技术问题(含通信协议选择)
简述移动端IM开发的那些坑:架构设计、通信协议和客户端
理论联系实际:一套典型的IM通信协议设计详解
58到家实时消息系统的协议设计等技术实践分享
>> 更多同类文章 ……

[3] 有关IM/推送的心跳保活处理:
Android进程保活详解:一篇文章解决你的所有疑问
Android端消息推送总结:实现原理、心跳保活、遇到的问题等
为何基于TCP协议的移动端IM仍然需要心跳保活机制?
微信团队原创分享:Android版微信后台保活实战分享(进程保活篇)
微信团队原创分享:Android版微信后台保活实战分享(网络保活篇)
移动端IM实践:实现Android版微信的智能心跳机制
移动端IM实践:WhatsApp、Line、微信的心跳策略分析
>> 更多同类文章 ……

[4] 有关WEB端即时通讯开发:
新手入门贴:史上最全Web端即时通讯技术原理详解
Web端即时通讯技术盘点:短轮询、Comet、Websocket、SSE
SSE技术详解:一种全新的HTML5服务器推送事件技术
Comet技术详解:基于HTTP长连接的Web端实时通信技术
WebSocket详解(一):初步认识WebSocket技术
socket.io实现消息推送的一点实践及思路
>> 更多同类文章 ……

[5] 有关IM架构设计:
浅谈IM系统的架构设计
简述移动端IM开发的那些坑:架构设计、通信协议和客户端
一套原创分布式即时通讯(IM)系统理论架构方案
从零到卓越:京东客服即时通讯系统的技术架构演进历程
蘑菇街即时通讯/IM服务器开发之架构选择
腾讯QQ1.4亿在线用户的技术挑战和架构演进之路PPT
微信技术总监谈架构:微信之道——大道至简(演讲全文)
如何解读《微信技术总监谈架构:微信之道——大道至简》
快速裂变:见证微信强大后台架构从0到1的演进历程(一)
17年的实践:腾讯海量产品的技术方法论
>> 更多同类文章 ……

[6] 有关IM安全的文章:
即时通讯安全篇(一):正确地理解和使用Android端加密算法
即时通讯安全篇(二):探讨组合加密算法在IM中的应用
即时通讯安全篇(三):常用加解密算法与通讯安全讲解
即时通讯安全篇(四):实例分析Android中密钥硬编码的风险
传输层安全协议SSL/TLS的Java平台实现简介和Demo演示
理论联系实际:一套典型的IM通信协议设计详解(含安全层设计)
微信新一代通信安全解决方案:基于TLS1.3的MMTLS详解
来自阿里OpenIM:打造安全可靠即时通讯服务的技术实践分享
>> 更多同类文章 ……

[7] 有关实时音视频开发:
即时通讯音视频开发(一):视频编解码之理论概述
即时通讯音视频开发(二):视频编解码之数字视频介绍
即时通讯音视频开发(三):视频编解码之编码基础
即时通讯音视频开发(四):视频编解码之预测技术介绍
即时通讯音视频开发(五):认识主流视频编码技术H.264
即时通讯音视频开发(六):如何开始音频编解码技术的学习
即时通讯音视频开发(七):音频基础及编码原理入门
即时通讯音视频开发(八):常见的实时语音通讯编码标准
即时通讯音视频开发(九):实时语音通讯的回音及回音消除概述
即时通讯音视频开发(十):实时语音通讯的回音消除技术详解
即时通讯音视频开发(十一):实时语音通讯丢包补偿技术详解
即时通讯音视频开发(十二):多人实时音视频聊天架构探讨
即时通讯音视频开发(十三):实时视频编码H.264的特点与优势
即时通讯音视频开发(十四):实时音视频数据传输协议介绍
即时通讯音视频开发(十五):聊聊P2P与实时音视频的应用情况
即时通讯音视频开发(十六):移动端实时音视频开发的几个建议
即时通讯音视频开发(十七):视频编码H.264、V8的前世今生
简述开源实时音视频技术WebRTC的优缺点
良心分享:WebRTC 零基础开发者教程(中文)
>> 更多同类文章 ……

[8] IM开发综合文章:
移动端IM开发需要面对的技术问题
开发IM是自己设计协议用字节流好还是字符流好?
请问有人知道语音留言聊天的主流实现方式吗?
IM系统中如何保证消息的可靠投递(即QoS机制)
谈谈移动端 IM 开发中登录请求的优化
完全自已开发的IM该如何设计“失败重试”机制?
微信对网络影响的技术试验及分析(论文全文)
即时通讯系统的原理、技术和应用(技术论文)
开源IM工程“蘑菇街TeamTalk”的现状:一场有始无终的开源秀
>> 更多同类文章 ……

[9] 开源移动端IM技术框架资料:
开源移动端IM技术框架MobileIMSDK:快速入门
开源移动端IM技术框架MobileIMSDK:常见问题解答
开源移动端IM技术框架MobileIMSDK:压力测试报告
开源移动端IM技术框架MobileIMSDK:Android版Demo使用帮助
开源移动端IM技术框架MobileIMSDK:Java版Demo使用帮助
开源移动端IM技术框架MobileIMSDK:iOS版Demo使用帮助
开源移动端IM技术框架MobileIMSDK:Android客户端开发指南
开源移动端IM技术框架MobileIMSDK:Java客户端开发指南
开源移动端IM技术框架MobileIMSDK:iOS客户端开发指南
开源移动端IM技术框架MobileIMSDK:Server端开发指南
>> 更多同类文章 ……

[10] 有关推送技术的文章:
iOS的推送服务APNs详解:设计思路、技术原理及缺陷等
Android端消息推送总结:实现原理、心跳保活、遇到的问题等
扫盲贴:认识MQTT通信协议
一个基于MQTT通信协议的完整Android推送Demo
求教android消息推送:GCM、XMPP、MQTT三种方案的优劣
移动端实时消息推送技术浅析
扫盲贴:浅谈iOS和Android后台实时消息推送的原理和区别
绝对干货:基于Netty实现海量接入的推送服务技术要点
移动端IM实践:谷歌消息推送服务(GCM)研究(来自微信)
为何微信、QQ这样的IM工具不使用GCM服务推送消息?
>> 更多同类文章 ……

[11] 更多即时通讯技术好文分类:
http://www.52im.net/forum.php?mod=collection&op=all

(原文链接:http://www.infoq.com/cn/news/2015/07/openim-interview

即时通讯网 - 即时通讯开发者社区! 来源: - 即时通讯开发者社区!

上一篇:即时通讯实时视频聊天技术提供QoS保证的方法下一篇:即时通讯安全篇(一):正确地理解和使用Android端加密算法

本帖已收录至以下技术专辑

评论 3
那阿里悟空又是个什么鬼!
态感谢了!
签名: asdf
好全的资料!这是一个宝库
签名: asdf

Processed in 0.234375 second(s), 40 queries , Gzip On.

返回顶部