腾讯QQ1.4亿在线用户的技术挑战和架构演进之路PPT [附件下载]

1、前言

众所周知海量互联网服务能力是世界公认的技术难题。经过十多年的发展，腾讯在海量互联网服务方面已有不少技术积累。PPT中以QQ IM后台服务为例，重现了QQ在线用户从百万级到亿级的整个过程中遇到的技术挑战，并与与会者分享了众多在海量互联网后台服务研发运营方面不为人知的秘密。

2、内容简介

QQ现在面临7亿活跃账户，每日1.4亿用户同时在线。QQ过万台IM服务器和百亿级的关系链对数每天接受千亿级的服务请求考验。在这些苛刻的数字面前腾讯要保证99.99%的可用性。当然团队在QQ在线从10万到1.4亿的整个过程也经历了很多破折，同时从十万级、百万级、千万级最终到亿级在线腾讯也吸取了很多教训。这也说明了腾讯对海量服务的理解是长期积累的结果。

1第一代架构难以支持百万级在线

PPT中提到了腾讯的第一代架构。他表示当达到一百万在线时，老架构会有各方面的瓶颈出现。以接入服务器的内存为例，单个在线用户的存储量约为2KB，索引和在线状态50字节。好友表400个好友 * 5字节/好友等于2000字节。大致来说，2G内存只能支持一百万在线用户。与此同时，还有CPU/网卡包量和流量/交换机流量等瓶颈。其他服务器也面临类似情况。单台服务器支撑不下所有在线用户/注册用户。第一代架构已无以为继。

腾讯通平台部高级技术总监庄泗华认为十万级到百万级在线的关键技术是高性能和实现7乘24小时连续服务。实现高性能的关键因素包括绝不使用企业级解决方案、逻辑层多进程、万有一失的无锁设计、用户态IPC、MySQL分库分表以及好友表自写文件存储。而通过大系统小做、平滑重构、核心数据放入共享内存、接入层与逻辑层分离以及命令分发动态配置化可保证QQ后台实现7乘24小时连续服务。

2第二代架构难以支持千万级在线

同样第二代架构也存在一些问题。包括同步流量太大、状态同步服务器遇到单机瓶颈、所有在线用户的在线状态信息量太大、单台接入服务器存不下等问题。并且当在线数进一步增加，单台状态同步服务器不能满足需求，单台状态同步服务器支撑不了所有在线用户，单台接入服务器也支撑不了所有在线用户的在线状态信息。

通过深入分析，腾讯发现后台机器越来越多，单机死机/故障就会经常出现。同时每周新代码的发布也导致BUG不断出现，严重影响服务。监控机制的相对原始导致报警设置不全。最后当运维操作通过vim或者mysql进行时也非常容易失误。

腾讯通平台部高级技术总监庄泗华表示想要解决这些问题就需要对现有架构进行改造。这包括对外提供高可用性的服务、对内提供高可运维性的系统。同时灰度发布、运营监控、容灾以及运维自动化/半自动化也是解决千万级在线所面临问题的关键技术。

3亿级在线时代的到来

随着亿时代在线到来，腾讯也面临了新的问题。通过对原有系统持续完善已经很难支撑亿级在线。

庄泗华表示亿时代在线的四个关键特性：高性能、高可用性、高可运维性和高灵活性。由于互联网行业要求每个月出一个新版本。所以必须提供高灵活性的业务支持。作为硬件层面来说，高可运维性则需要物理架构详细到机架、并具备故障分析智能化、运维操作组件化和负载自动转移等特性的支持。而要保证系统的高性能，自写存储层是至关重要的因素。庄泗华还表示在线量每提升一个量级，技术难度也会提升一个量级。

最后庄泗华认为互联网行业有自己的技术规律，需要做自己的技术积累。而腾讯IM服务的未来战略就是全球化分布、高效率的研发以及监控告警的智能化。

3、PPT主讲者介绍

庄泗华 腾讯通平台部高级技术总监、腾讯T4级技术专家、腾讯软件开发通道分会会长。
中科院计算技术研究所硕士 2004年毕业加入腾讯，是腾讯培养出的第一位T4专家级毕业生。
一直致力于QQ IM后台海量服务系统的研发和运营工作。
负责过QQ群聊系统、QQ接入与基础通信服务系统等后台系统的研发和运营，见证了QQ在线从800万到1.4亿的整个过程。

4、PPT截图预览

5、PPT附件下载

腾讯IM架构：1亿在线背后的技术挑战_2020.pdf (1.49 MB , 下载次数: 2950 , 售价: 2 金币)

5 年前 上传

请点击文件名下载附件！
售价: 2 金币  [记录]  [如何获取金钱？]

推荐文章

点击进入：《17年的实践：腾讯海量产品的技术方法论》

附录1：全站精品资源下载

[[1] 精品源码下载：
《Java NIO基础视频教程、MINA视频教程、Netty快速入门视频 [有源码]》
《轻量级即时通讯框架MobileIMSDK的iOS源码（开源版）[附件下载]》
《开源IM工程“蘑菇街TeamTalk”2015年5月前未删减版完整代码 [附件下载]》
《微信本地数据库破解版(含iOS、Android)，仅供学习研究 [附件下载]》
《NIO框架入门(四)：Android与MINA2、Netty4的跨平台UDP双向通信实战 [附件下载]》
《NIO框架入门(三)：iOS与MINA2、Netty4的跨平台UDP双向通信实战 [附件下载]》
《NIO框架入门(二)：服务端基于MINA2的UDP双向通信Demo演示 [附件下载]》
《NIO框架入门(一)：服务端基于Netty4的UDP双向通信Demo演示 [附件下载]》
《用于IM中图片压缩的Android工具类源码，效果可媲美微信 [附件下载]》
《高仿Android版手机QQ可拖拽未读数小气泡源码 [附件下载]》
《一个WebSocket实时聊天室Demo：基于node.js+socket.io [附件下载]》
《Android聊天界面源码：实现了聊天气泡、表情图标(可翻页) [附件下载]》
《高仿Android版手机QQ首页侧滑菜单源码 [附件下载]》
《开源libco库：单机千万连接、支撑微信8亿用户的后台框架基石 [源码下载]》
《分享java AMR音频文件合并源码，全网最全》
《微信团队原创Android资源混淆工具：AndResGuard [有源码]》
《一个基于MQTT通信协议的完整Android推送Demo [附件下载]》
《Android版高仿微信聊天界面源码 [附件下载]》
《高仿手机QQ的Android版锁屏聊天消息提醒功能 [附件下载]》
《高仿iOS版手机QQ录音及振幅动画完整实现 [源码下载]》
《Android端社交应用中的评论和回复功能实战分享[图文+源码]》
《Android端IM应用中的@人功能实现：仿微博、QQ、微信，零入侵、高可扩展[图文+源码]》
《仿微信的IM聊天时间显示格式(含iOS/Android/Web实现)[图文+源码]》
《Android版仿微信朋友圈图片拖拽返回效果 [源码下载]》
《手把手教你实现网页端社交应用中的@人功能：技术原理、代码示例等》

[2] 精品文档和工具下载：
《计算机网络通讯协议关系图（中文珍藏版）[附件下载]》
《史上最全即时通讯软件简史（精编大图版）[附件下载]》
《重磅发布：《阿里巴巴Android开发手册(规约)》[附件下载]》
《阿里技术结晶：《阿里巴巴Java开发手册(规约)-终极版》[附件下载]》
《基于RTMP协议的流媒体技术的原理与应用（技术论文）[附件下载]》
《独家发布《TCP/IP详解 卷1：协议》CHM版 [附件下载]》
《良心分享：WebRTC 零基础开发者教程（中文）[附件下载]》
《MQTT协议手册（中文翻译版）[附件下载]》
《经典书籍《UNIX网络编程》最全下载(卷1+卷2、中文版+英文版)[附件下载]》
《音视频开发理论入门书籍之《视频技术手册(第5版)》[附件下载]》
《国际电联H.264视频编码标准官方技术手册（中文版）[附件下载]》
《Apache MINA2.0 开发指南（中文版）[附件下载]》
《网络通讯数据抓包和分析工具 Wireshark 使用教程(中文) [附件下载]》
《最新收集NAT穿越(p2p打洞)免费STUN服务器列表 [附件下载]》
《高性能网络编程经典：《The C10K problem(英文)》[附件下载]》
《即时通讯系统的原理、技术和应用（技术论文）[附件下载]》
《技术论文：微信对网络影响的技术试验及分析[附件下载]》
《华为内部3G网络资料： WCDMA系统原理培训手册[附件下载]》
《网络测试：Android版多路ping命令工具EnterprisePing[附件下载]》
《Android反编译利器APKDB：没有美工的日子里继续坚强的撸》
《一款用于P2P开发的NAT类型检测工具 [附件下载]》
《两款增强型Ping工具：持续统计、图形化展式网络状况 [附件下载]》
《Android保活从入门到放弃：乖乖引导用户加白名单吧(附7大机型加白示例)》

[3] 精选视频、演讲PPT下载：
《美图海量用户的IM架构零基础演进之路(PPT)[附件下载]》
《开源实时音视频工程WebRTC的架构详解与实践总结(PPT+视频)[附件下载]》
《QQ空间百亿级流量的社交广告系统架构实践(视频+PPT)[附件下载]》
《海量实时消息的视频直播系统架构演进之路(视频+PPT)[附件下载]》
《YY直播在移动弱网环境下的深度优化实践分享(视频+PPT)[附件下载]》
《QQ空间移动端10亿级视频播放技术优化揭秘(视频+PPT)[附件下载]》
《RTC实时互联网2017年度大会精选演讲PPT [附件下载]》
《微信分享开源IM网络层组件库Mars的技术实现(视频+PPT)[附件下载]》
《微服务理念在微信海量用户后台架构中的实践(视频+PPT)[附件下载]》
《移动端IM开发和构建中的技术难点实践分享(视频+PPT)[附件下载]》
《网易云信的高品质即时通讯技术实践之路(视频+PPT)[附件下载]》
《腾讯音视频实验室：直面音视频质量评估之痛(视频+PPT)[附件下载]》
《腾讯QQ1.4亿在线用户的技术挑战和架构演进之路PPT[附件下载]》
《微信朋友圈海量技术之道PPT[附件下载]》
《手机淘宝消息推送系统的架构与实践(音频+PPT)[附件下载]》
《如何进行实时音视频的质量评估与监控(视频+PPT)[附件下载]》
《Go语言构建高并发消息推送系统实践PPT(来自360公司)[附件下载]》
《网易IM云千万级并发消息处理能力的架构设计与实践PPT [附件下载]》
《手机QQ的海量用户移动化实践分享(视频+PPT)[附件下载]》
《钉钉——基于IM技术的新一代企业OA平台的技术挑战(视频+PPT)[附件下载]》
《微信技术总监谈架构：微信之道——大道至简(PPT讲稿)[附件下载]》
《Netty的架构剖析及应用案例介绍(视频+PPT)[附件下载]》
《声网架构师谈实时音视频云的实现难点(视频采访)》
《滴滴打车架构演变及应用实践(PPT讲稿)[附件下载]》
《微信海量用户背后的后台系统存储架构(视频+PPT)[附件下载]》
《在线音视频直播室服务端架构最佳实践(视频+PPT)[附件下载]》
《从0到1：万人在线的实时音视频直播技术实践分享(视频+PPT)[附件下载]》
《微信移动端应对弱网络情况的探索和实践PPT[附件下载]》
《Android版微信从300KB到30MB的技术演进(PPT讲稿)[附件下载]》
《从零开始搭建瓜子二手车IM系统(PPT)[附件下载]》
《极光分享：高并发海量消息推送系统架构演进(视频+PPT)[附件下载]》
《微信红包系统可用性设计实践(PPT) [附件下载]》
《微信红包数据架构演变(PPT) [附件下载]》
《百度网盘千万节点的P2P架构设计(PPT) [附件下载]》
《瓜子IM智能客服系统的数据架构设计(PPT) [附件下载]》
《基于C++构建微信客户端跨平台开发框架(PPT) [附件下载]》
《WebSocket标准协议手册（稀缺中文版+英文原版）[附件下载]》

附录2：IM架构设计文章汇总

《浅谈IM系统的架构设计》
《简述移动端IM开发的那些坑：架构设计、通信协议和客户端》
《一套海量在线用户的移动端IM架构设计实践分享(含详细图文)》
《一套原创分布式即时通讯(IM)系统理论架构方案》
《从零到卓越：京东客服即时通讯系统的技术架构演进历程》
《蘑菇街即时通讯/IM服务器开发之架构选择》
《腾讯QQ1.4亿在线用户的技术挑战和架构演进之路PPT》
《微信后台基于时间序的海量数据冷热分级架构设计实践》
《微信技术总监谈架构：微信之道——大道至简(演讲全文)》
《如何解读《微信技术总监谈架构：微信之道——大道至简》》
《快速裂变：见证微信强大后台架构从0到1的演进历程（一）》
《17年的实践：腾讯海量产品的技术方法论》
《移动端IM中大规模群消息的推送如何保证效率、实时性？》
《现代IM系统中聊天消息的同步和存储方案探讨》
《WhatsApp技术实践分享：32人工程团队创造的技术神话》
《微信朋友圈千亿访问量背后的技术挑战和实践总结》
《腾讯资深架构师干货总结：一文读懂大型分布式系统设计的方方面面》
《以微博类应用场景为例，总结海量社交系统的架构设计步骤》
《快速理解高性能HTTP服务端的负载均衡技术原理》
《子弹短信光鲜的背后：网易云信首席架构师分享亿级IM平台的技术实践》
《微信技术分享：微信的海量IM聊天消息序列号生成实践（算法原理篇）》
《新手入门：零基础理解大型分布式架构的演进历史、技术原理、最佳实践》
《一套高可用、易伸缩、高并发的IM群聊、单聊架构方案设计实践》
《社交软件红包技术解密(一)：全面解密QQ红包技术方案——架构、技术实现等》
《即时通讯新手入门：一文读懂什么是Nginx？它能否实现IM的负载均衡？》
《从游击队到正规军(一)：马蜂窝旅游网的IM系统架构演进之路》
《从游击队到正规军(二)：马蜂窝旅游网的IM客户端架构演进和实践总结》
《从游击队到正规军(三)：基于Go的马蜂窝旅游网分布式IM系统技术实践》
《瓜子IM智能客服系统的数据架构设计（整理自现场演讲，有配套PPT）》
《阿里钉钉技术分享：企业级IM王者——钉钉在后端架构上的过人之处》
《微信后台基于时间序的新一代海量数据存储架构的设计实践》
《IM开发基础知识补课(九)：想开发IM集群？先搞懂什么是RPC！》
《IM开发基础知识补课(十)：大型IM系统有多难？万字长文，搞懂异地多活！》
《阿里技术分享：电商IM消息平台，在群聊、直播场景下的技术实践》
《一套亿级用户的IM架构技术干货(上篇)：整体架构、服务拆分等》
《从新手到专家：如何设计一套亿级消息量的分布式IM系统》
《企业微信的IM架构设计揭秘：消息模型、万人群、已读回执、消息撤回等》
《融云技术分享：全面揭秘亿级IM消息的可靠投递机制》
《IM开发技术学习：揭秘微信朋友圈这种信息推流背后的系统设计》
《阿里IM技术分享(三)：闲鱼亿级IM消息系统的架构演进之路》
《基于实践：一套百万消息量小规模IM系统技术要点总结》
《跟着源码学IM(十)：基于Netty，搭建高性能IM集群（含技术思路+源码）》
《一套十万级TPS的IM综合消息系统的架构实践与思考》
《直播系统聊天技术(八)：vivo直播系统中IM消息模块的架构实践》
《得物从0到1自研客服IM系统的技术实践之路》
《海量用户IM聊天室的架构设计与实践》
《企业微信针对百万级组织架构的客户端性能优化实践》
《一套分布式IM即时通讯系统的技术选型和架构设计》
《陌陌技术分享：陌陌IM在后端KV缓存架构上的技术实践》
《微信团队分享：来看看微信十年前的IM消息收发架构，你做到了吗》
《携程技术分享：亿级流量的办公IM及开放平台技术实践》
《百度公共IM系统的Andriod端IM SDK组件架构设计与技术实现》
《转转平台IM系统架构设计与实践(一)：整体架构设计》
《支持百万人超大群聊的Web端IM架构设计与实践》
《一年撸完百万行代码，企业微信的全新鸿蒙NEXT客户端架构演进之路》
《转转客服IM聊天系统背后的技术挑战和实践分享》

虽然对企鹅一点好感都没有，但是不得不承认qq架构的强悍。ppt里的内容还是有干货的，很好的分享！

演讲的视频我找到地址了，绝对干货，感兴趣的看看：http://v.qq.com/cover/l/lsallcrrs0yjsgk.html

引用：fengge8ylfx 发表于 2016-03-22 01:47
虽然对企鹅一点好感都没有，但是不得不承认qq架构的强悍。ppt里的内容还是有干货的，很好的分享！

大家都对某鹅好奇，这个演讲值得推荐。

第一次听腾讯技术分享

mark

如果有视频就好了

引用：IM_emily2017 发表于 2017-06-28 11:56
如果有视频就好了

这个演讲没有找到视频，抱歉

学习学习

学习学习

学习，必须mark

真的希望可以买金币，哈哈

引用：cenji 发表于 2017-12-26 15:12
真的希望可以买金币，哈哈

暂时买不了

内容不错，学习。

必须学习一下，谢谢分享

厉害

回复里提到的那个视频不见了。有么有哪位高人指点？

引用：JamesWu 发表于 2018-11-06 16:29
回复里提到的那个视频不见了。有么有哪位高人指点？

是的，这个视频链接失效了，很多人分享技术只是一时的，很快就没了

美呆呆