请选择 进入手机版 | 继续访问电脑版

默认
打赏 发表评论 7
想开发IM:买成品怕坑?租第3方怕贵?找开源自已撸?尽量别走弯路了... 找站长给点建议
架构之道:3个程序员成就微信朋友圈日均10亿发布量[有视频]
微信扫一扫关注!

本文根据微信高级工程师、朋友圈负责人陈明在2015年ArchSummit深圳大会的演讲“微信朋友圈技术之道”整理而成。


1、前言


截止到2015年7月,微信每月活跃用户约5.49亿,朋友圈每天的发表量(包括赞和评论)超过10亿,浏览量超过100亿。得益于4G网络的发展,以上数据仍有很快的增长,而且相对于PC互联网时代,移动互联网时代的峰值要来得更加凶猛。比如,2015年元月的流量到了平时的2倍,而峰值则达到了平时峰值的2倍,相当于平时正常流量的5倍,这对整个系统的考验是很残酷的。本次分享将简单介绍微信后台团队的开发模式、微信朋友圈的架构以及在性能上的一些工作,供各位参考。

2、基本介绍


微信朋友圈后台研发团队由三位工程师组成。开发模式采用了敏捷的方式,大概一个月一个小版本,一个季度出一个大版本,另外每天都会有不停的后台更新,很多是用户看不见的,也有一些是AB测试,比如选择一亿的用户,或者一定百分比的用户,或者一部分男性用户和女性用户来做AB测试。开发语言主要使用C++,正在往C++11上迁移,编译器在往GCC 4.8.2迁移。

服务器的配置基本都是普通的服务器,最好的服务器也就是64G内存,这部分占比不多,大部分是32G内存,也有很少一部分8G内存的。硬盘是SSD和SATA都有。CPU以16核居多,有一部分新机器是32核。至于带宽则是比较多的,对外带宽很大。

3、架构概述


整个微信是微服务的架构,每一个请求后面可能会涉及到几百个服务,每一个服务都有一个QoS,目的是对一些重要的服务进行保证。比如除夕晚上流量达到平时的5倍,这时整个系统的性能肯定不够,所以要优先保证什么呢?优先保证支付,优先保证红包的体验。红包体验保证了,再保证消息,比如点对点两人之间的消息。这两个保证的前提下,再保证群聊。如果群聊也能保证,再保证朋友圈。性能不够时将优先级低的服务暂时停掉,这个过程是不需要人工干预的。

微信的架构跟普通的架构差不多,最上面是终端通过接入服务器接进来。接入层主要是长连接,长连接主要是为了安卓系统,一个是减少建立新连接的性能消耗,另一个是为了推送通知,因为Google服务在国内基本是不可用的,安卓系统上的推送通知都是用长连接完成。

然后到逻辑层。逻辑层包括注册、消息、群聊、朋友圈等等,还有iOS系统的通知。iOS系统跟安卓不一样在于,一个iOS App进入后台之后只有大概15秒的存活期,所以iOS上的推送通知要用API的Push完成,不在接入层做。

再往下走就是存储代理层,这一层主要负责一些关键数据的维护操作,比如用户在账号里面的动作操作和事故信息。存储代理层下面对接KV存储,这个KV存储是不负责业务逻辑的,只是单纯的Key-Value映射,以及负载均衡和容错。(有关KV存储系统的详细说明,可以参考微信架构师许家滔在QCon北京2014上的演讲“微信后台存储架构”。)

涉及朋友圈数据的有四个核心的表:

  • 一个是发布。发布数据记录了来自所有用户所有的feed,比如一个用户发布了几张图片,每张图片的URL是什么,在CDN里的URL是什么,它有哪些元属性,谁可以看,谁不可以看等等。
  • 一个是相册。相册是每个用户独立的,记录了该用户所发布的所有内容。
  • 一个是评论。评论就是针对某个具体发布的朋友评论和点赞操作。
  • 一个是时间线。所谓“刷朋友圈”,就是刷时间线,就是一个用户所有朋友的发布内容。

上面提到过,微信现在每天的发布有10亿多,浏览量超过100亿,对性能的要求很高,所以上面的存储都是做成可以水平扩展的。对于水平扩展的实现,下面举例说明。

4、应用原理


比如有两个用户小王和Mary。小王和Mary各自有各自的相册,可能在同一台服务器上,也可能在不同的服务器上。现在小王上传了一张图片到自己的朋友圈。上传图片不经过微信后台服务器,而是直接上传到最近的腾讯CDN节点,所以非常快。图片上传到该CDN后,小王的微信客户端会通知微信的朋友圈CDN:这里有一个新的发布(比如叫K2),这个发布的图片URL是什么,谁能看到这些图片,等等此类的元数据,来把这个发布写到发布的表里。

在发布的表写完之后,会把这个K2的发布索引到小王的相册表里。所以相册表其实是很小的,里面只有索引指针。相册表写好了之后,会触发一个批处理的动作。这个动作就是去跟小王的每个好友说,小王有一个新的发布,请把这个发布插入到每个好友的时间线里面去。

然后比如说现在Mary上朋友圈了,而Mary是小王的一个好友。Mary拉自己的时间线的时候,时间线会告诉到有一个新的发布K2,然后Mary的微信客户端就会去根据K2的元数据去获取图片在CDN上的URL,把图片拉到本地。

在这个过程中,发布是很重的,因为一方面要写一个自己的数据副本,然后还要把这个副本的指针插到所有好友的时间线里面去。如果一个用户有几百个好友的话,这个过程会比较慢一些。这是一个单数据副本写扩散的过程。但是相对应的,读取就很简单了,每一个用户只需要读取自己的时间线表,就这一个动作就行,而不需要去遍历所有好友的相册表。

为什么选择这样一个写扩散的模型?因为读是有很多失败的。一个用户如果要去读两百个好友的相册表,极端情况下可能要去两百个服务器上去问,这个失败的可能性是很大的。但是写失败了就没关系,因为写是可以等待的,写失败了就重新去拷贝,直到插入成功为止。所以这样一个模型可以很大的减少服务的开销。

至于赞和评论的实现,是相对简单的。上面说了微信后台有一个专门的表存储评论和赞的数据,比如Kate是Mary和小王的朋友的话,刷到了K2这一条发布,就会同时从评论表里面拉取对应K2的、Mary留下的评论内容,插入到K2内容的下方。而如果另一个人不是Mary和小王的共同朋友,则不会看到这条评论。

5、容灾方案


容灾有不同的层次,先看区域性的。微信在上海有一个IDC,该IDC是由三个独立的园区——A、B、C三个园区构成的。每一个园区都有独立的供电、制冷,独立的带宽,带宽同时连接联通、电信,而且每个园区的容量都有富余。三个园区直接有高速连接。所以无论任何一个区,比如C区整个不可用了,那么用户的客户端会自动连接到另外两个区,这两个区有足够的容量承载所有的服务。这种切换是无损的、无感知的。

第二个层次的容灾是跨地域的。微信最早在国内有一个上海的数据中心,这个数据中心承载了全国所有的用户。后来有一天上海来了个海啸还是什么的,所有数据都没了,于是后来在深圳又建立一个数据中心,上海服务北方用户,深圳服务南方。后来因为微信发展海外用户,于是在香港建立了第三个数据中心,主要服务东南亚、南亚、中东和非洲。后来在加拿大又建立了第四个数据中心,主要服务美洲和欧洲。

这第二个层次的数据中心跟上面说的园区不太一样。每一个微信用户事实上都属于一个特定的数据中心,比如两个北方的用户,他们的数据都在上海的数据中心,如果说上海数据中心跟其他数据中心的连接断了,这两个用户之间的通信是不会受到影响的。但如果有一个外国朋友在加拿大的数据中心,那么他跟国内用户的通信就可能受到影响。数据中心之间是有专线连接的,但实际上国内到国外的专线渠道并不太有保障,所以专线出问题的时候,两个数据中心之间的数据交换会切换到公网上,走普通的互联网。

新建一个数据中心涉及到很多同步,微信消息的数据同步是通过一个idcqueue组件实现的,是一个异步的数据同步方式。这个异步的写操作可能会由于网络阻塞或者其他原因,慢个一两秒种、几分钟甚至半天,但它会一直重试,能够保持正确性。而对于朋友圈来说,朋友圈是多数据副本的模型,那么多数据副本在跨数据中心同步的时候如何保证正确性,如何保证没有冲突?

解法其实也简单,只要单项同步最初的发布写操作。比如小王这个用户是在上海数据中心的,他在自己相册上新增了一条发布K2,那么就只要单项同步把K2写到香港去就好了。反过来,比如Mary是在香港,那么她有新的发布,只要在香港写进去之后,单项同步到上海就可以了。这样就不存在时间线多数据副本同步的问题了,只要在各个数据中心内分别做批处理。

当然有关这一块还有很多细节的问题,尤其是因为国内到国外的网络延迟很大,从大陆ping美国可能两百个毫秒,ping阿根廷或者南非可能有四百个毫秒,另外公网的丢包也比较严重,这对于数据同步的实现是很有影响的。这种情况就不适合用TCP了,TCP是针对大带宽、小延迟、有序的环境设计的,所以微信在跨数据中心做数据同步这一块就自己研发了一套类TCP的协议,这种协议对高延迟、高丢包有很高的容忍度,能够做到每秒同步几百兆到上G的数据。另一方面,由于从专线切换到公网存在信息安全隐患,这其中的数据加密也是很重要的一个工作。

(注:关于灾备方案,微信后台架构的文章里也有详细提及快速裂变:见证微信强大后台架构从0到1的演进历程(二)

6、关于作者


xuming.png 陈明
微信高级工程师、朋友圈负责人,2012年加入微信后台团队,负责微信后台核心服务的研发,包括朋友圈、即时通信、基础设施等。他获得清华大学计算机系学士和博士学位,研究方向是分布式系统。在加入微信前,他在腾讯搜索和微软亚洲研究院工作多年,内容包括搜索架构与分布式存储等。

演讲视频



7、演讲PPT下载


http://www.52im.net/thread-178-1-1.html

附录:全站精品资源下载


[1] 精品源码下载:
Java NIO基础视频教程、MINA视频教程、Netty快速入门视频 [有源码]
轻量级即时通讯框架MobileIMSDK的iOS源码(开源版)[附件下载]
开源IM工程“蘑菇街TeamTalk”2015年5月前未删减版完整代码 [附件下载]
微信本地数据库破解版(含iOS、Android),仅供学习研究 [附件下载]
NIO框架入门(四):Android与MINA2、Netty4的跨平台UDP双向通信实战 [附件下载]
NIO框架入门(三):iOS与MINA2、Netty4的跨平台UDP双向通信实战 [附件下载]
NIO框架入门(二):服务端基于MINA2的UDP双向通信Demo演示 [附件下载]
NIO框架入门(一):服务端基于Netty4的UDP双向通信Demo演示 [附件下载]
用于IM中图片压缩的Android工具类源码,效果可媲美微信 [附件下载]
高仿Android版手机QQ可拖拽未读数小气泡源码 [附件下载]
一个WebSocket实时聊天室Demo:基于node.js+socket.io [附件下载]
Android聊天界面源码:实现了聊天气泡、表情图标(可翻页) [附件下载]
高仿Android版手机QQ首页侧滑菜单源码 [附件下载]
开源libco库:单机千万连接、支撑微信8亿用户的后台框架基石 [源码下载]
分享java AMR音频文件合并源码,全网最全
微信团队原创Android资源混淆工具:AndResGuard [有源码]
一个基于MQTT通信协议的完整Android推送Demo [附件下载]
Android版高仿微信聊天界面源码 [附件下载]
高仿手机QQ的Android版锁屏聊天消息提醒功能 [附件下载]
高仿iOS版手机QQ录音及振幅动画完整实现 [源码下载]
Android端社交应用中的评论和回复功能实战分享[图文+源码]
Android端IM应用中的@人功能实现:仿微博、QQ、微信,零入侵、高可扩展[图文+源码]
仿微信的IM聊天时间显示格式(含iOS/Android/Web实现)[图文+源码]
Android版仿微信朋友圈图片拖拽返回效果 [源码下载]

[2] 精品文档和工具下载:
计算机网络通讯协议关系图(中文珍藏版)[附件下载]
史上最全即时通讯软件简史(精编大图版)[附件下载]
重磅发布:《阿里巴巴Android开发手册(规约)》[附件下载]
阿里技术结晶:《阿里巴巴Java开发手册(规约)-终极版》[附件下载]
基于RTMP协议的流媒体技术的原理与应用(技术论文)[附件下载]
独家发布《TCP/IP详解 卷1:协议》CHM版 [附件下载]
良心分享:WebRTC 零基础开发者教程(中文)[附件下载]
MQTT协议手册(中文翻译版)[附件下载]
经典书籍《UNIX网络编程》最全下载(卷1+卷2、中文版+英文版)[附件下载]
音视频开发理论入门书籍之《视频技术手册(第5版)》[附件下载]
国际电联H.264视频编码标准官方技术手册(中文版)[附件下载]
Apache MINA2.0 开发指南(中文版)[附件下载]
网络通讯数据抓包和分析工具 Wireshark 使用教程(中文) [附件下载]
最新收集NAT穿越(p2p打洞)免费STUN服务器列表 [附件下载]
高性能网络编程经典:《The C10K problem(英文)》[附件下载]
即时通讯系统的原理、技术和应用(技术论文)[附件下载]
技术论文:微信对网络影响的技术试验及分析[附件下载]
华为内部3G网络资料: WCDMA系统原理培训手册[附件下载]
网络测试:Android版多路ping命令工具EnterprisePing[附件下载]
Android反编译利器APKDB:没有美工的日子里继续坚强的撸
一款用于P2P开发的NAT类型检测工具 [附件下载]
两款增强型Ping工具:持续统计、图形化展式网络状况 [附件下载]
Android保活从入门到放弃:乖乖引导用户加白名单吧(附7大机型加白示例)

[3] 精选视频、演讲PPT下载:
美图海量用户的IM架构零基础演进之路(PPT)[附件下载]
开源实时音视频工程WebRTC的架构详解与实践总结(PPT+视频)[附件下载]
QQ空间百亿级流量的社交广告系统架构实践(视频+PPT)[附件下载]
海量实时消息的视频直播系统架构演进之路(视频+PPT)[附件下载]
YY直播在移动弱网环境下的深度优化实践分享(视频+PPT)[附件下载]
QQ空间移动端10亿级视频播放技术优化揭秘(视频+PPT)[附件下载]
RTC实时互联网2017年度大会精选演讲PPT [附件下载]
微信分享开源IM网络层组件库Mars的技术实现(视频+PPT)[附件下载]
微服务理念在微信海量用户后台架构中的实践(视频+PPT)[附件下载]
移动端IM开发和构建中的技术难点实践分享(视频+PPT)[附件下载]
网易云信的高品质即时通讯技术实践之路(视频+PPT)[附件下载]
腾讯音视频实验室:直面音视频质量评估之痛(视频+PPT)[附件下载]
腾讯QQ1.4亿在线用户的技术挑战和架构演进之路PPT[附件下载]
微信朋友圈海量技术之道PPT[附件下载]
手机淘宝消息推送系统的架构与实践(音频+PPT)[附件下载]
如何进行实时音视频的质量评估与监控(视频+PPT)[附件下载]
Go语言构建高并发消息推送系统实践PPT(来自360公司)[附件下载]
网易IM云千万级并发消息处理能力的架构设计与实践PPT [附件下载]
手机QQ的海量用户移动化实践分享(视频+PPT)[附件下载]
钉钉——基于IM技术的新一代企业OA平台的技术挑战(视频+PPT)[附件下载]
微信技术总监谈架构:微信之道——大道至简(PPT讲稿)[附件下载]
Netty的架构剖析及应用案例介绍(视频+PPT)[附件下载]
声网架构师谈实时音视频云的实现难点(视频采访)
滴滴打车架构演变及应用实践(PPT讲稿)[附件下载]
微信海量用户背后的后台系统存储架构(视频+PPT)[附件下载]
在线音视频直播室服务端架构最佳实践(视频+PPT)[附件下载]
从0到1:万人在线的实时音视频直播技术实践分享(视频+PPT)[附件下载]
微信移动端应对弱网络情况的探索和实践PPT[附件下载]
Android版微信从300KB到30MB的技术演进(PPT讲稿)[附件下载]
从零开始搭建瓜子二手车IM系统(PPT)[附件下载]
极光分享:高并发海量消息推送系统架构演进(视频+PPT)[附件下载]
微信红包系统可用性设计实践(PPT) [附件下载]
微信红包数据架构演变(PPT) [附件下载]
百度网盘千万节点的P2P架构设计(PPT) [附件下载]
瓜子IM智能客服系统的数据架构设计(PPT) [附件下载]
基于C++构建微信客户端跨平台开发框架(PPT) [附件下载]
WebSocket标准协议手册(稀缺中文版+英文原版)[附件下载]

(原文链接:http://www.infoq.com/cn/presentations/technology-of-weixin-moments/

即时通讯网 - 即时通讯开发者社区! 来源: - 即时通讯开发者社区!

上一篇:有人知道语音留言聊天等大文件或大数据量的主流实现方式吗?下一篇:一份微信后台技术架构的总结性笔记

本帖已收录至以下技术专辑

推荐方案
评论 7

签名: 来看看啊
太牛了
厉害了
签名: 烦心事一大堆
视频下不动。。。。估计是我来的太晚了
引用:hclovehf 发表于 2019-12-14 18:42
视频下不动。。。。估计是我来的太晚了

来晚了
签名: 《vivo手机上的系统级消息推送平台的架构设计实践》http://www.52im.net/thread-4008-1-1.html
一个字,🐂
签名: now start 。。。
打赏楼主 ×
使用微信打赏! 使用支付宝打赏!

返回顶部