原标题：高峰之巅：腾讯的“春节”保卫战
2021年春节，在全国上下“就地过年”的号召下，很多人第一次经历了除夕夜没有与家人团聚。而对邹方明来说，除夕夜在公司加班早已是家常便饭，过去九年，他的年夜饭时间都是与同事们一起度过。
以往，邹方明和同事们习惯叫海底捞的外卖到公司，大家以一顿火锅来为过去的一年收尾，但今年，因为搬到新的大厦，不能开火，所以大家只能跑到公司对面的一个餐厅去吃饭。
所谓的年夜饭，整个过程也十分平淡，没有人喝酒，吃饭时间也只有5点半到6点半约一个小时，用餐完毕，大家都快速回到了工作岗位上。因为不出意外的话，晚上7点他们会迎来一波用户高峰，而接下来的时间，他们的任务就是监测一波又一波的用户高峰，并应对可能到来的突发流量。
伴随着新年的钟声敲响，邹方明眼前的监测软件一切正常，他们终于可以松一口气，因为又挺过了一年“春保”。
邹方明现在是腾讯基础架构部自研业务中心总监，他所在部门的主要职责是做腾讯内部自研业务的研发支撑，简单来说，就是该部门接入了腾讯超过90%的业务，用户平时使用的腾讯产品，如微信、QQ等，底层的技术支撑都与它相关。
而“春保”是春节重保的简称，邹方明告诉21世纪经济报道，腾讯的产品以社交产品为主，而社交产品一定会有热点事件、关键时刻以及重点保护时刻，其中，春节则是挑战最大、任务最重的重点保护时刻。
据悉，腾讯内部开始设立“春保”项目是从2013年春节开始。腾讯云副总裁、腾讯基础架构部总经理肖志立在接受记者采访时表示，春节的高峰期其实在PC互联网时代就有，只不过那时候，用户上网还没有那么方便，所以当时的高峰不是在除夕，而是在初四或初五，大家过完春节开始工作后，要把一些照片上传到QQ空间进行分享，但整体来说，那时候的保障压力不是很大。
但从2012年开始，尤其是当微信出现之后，移动互联网的浪潮席卷而来，用户的沟通互动变得更加实时，也由此催生出真正的春节高峰。之所以说这是真正的高峰，是因为与过去PC互联网时代相比，它的峰值有了成百上千倍的增长，当然，这种巨大的反差，也给从事技术保障的工作人员，留下了许多惨痛的回忆。
意外不断的“春保”
对邹方明来说，2013年是他第一次经历春保，那也是他最“痛苦”的一年。
当时，2011年1月发布的微信正快速发展，2012年3月，微信的用户量突破1亿，到了2013年初，微信的用户量已经突破3亿。而邹方明是微信聊天图片以及聊天视频整套系统的研发负责人，如上文所述，2013年之前，腾讯内部并没有明确的春保概念，邹方明也没遇到过增长如此之快的产品，所以，在他脑海里，也没想过微信会突然出现“大拥堵”。
2013年的除夕，在整个移动社交如火如荼的背景下，人们在移动端的互动变得越发频繁。微信里，用户们拉起各种群聊，并开始群发拜年视频。社交产品的魅力在于它的裂变，一传十，十传百，但对技术人员来说，这种裂变带来的则是恐怖的高并发。
邹方明回忆，2013年除夕，拜年视频的量突然增长了六、七倍，这已经超过他们的储备。当时，面对突如其来的巨大视频量，邹方明有些束手无策，因为没有准备预备方案，也无法临时调取更多服务器资源，为了保护整个系统不崩掉，他们只能采取降级的方法。
这里的降级，是指限制用户发视频的大小，一开始的限制是10兆以上的视频不让发，后来变成6兆、4兆、2兆，整个降级过程从当日晚上7点一直持续到10点，整整三个小时。邹方明称，8点多最高峰的时候，他们几乎限制了70%-80%的用户发视频，这是非常可怕的，期间他们也收到了大量用户投诉，但当时确实束手无策，只能通过这种粗暴的方式，把流量高峰熬过去。
有了2013年春节的惨痛经验之后，腾讯内部开始进行“春保”筹备。邹方明介绍，“春保”项目的筹备周期基本上从每年10月份开始，持续两到三个月左右。筹备过程中，产品和技术团队会先把春节期间的产品玩法大致都确定下来，然后再根据这些玩法来衡量各个产品要用多少带宽和存储等。
当然，这个时候并不是产品提出多少资源需求就都能满足，邹方明团队还会把需求和资源做一个着重的平衡，目的是在资源有限的情况下，通过技术的提升和柔性的策略，确保各个产品的用户体验。
但2015年春节，在进行了“春保”准备下，意外还是发生了。因为2014年10月，微信上线了小视频功能，可以分享到朋友圈和聊天界面，所以春保前夕，即10月、11月时，微信小视频的用户量并不大，在做预估时，也根据它的量级给了几十倍的容量。
可到了2015年除夕，微信小视频突然产生了超出预期的巨大峰值。在春晚开始前的一个小时左右，小视频的发布量激增，系统开始出现故障。邹方明和同事们开始紧急扩容，但是，由于当时微信小视频的系统是复用腾讯视频的，更加偏向PGC，而不是UGC，所以处理过程也更加复杂。
邹方明回忆称，当时紧急扩容了一个索引模块后，索引没问题了，但随着量继续上涨，前端接入模块又出现问题，然后处理好接入模块后，另一个视频处理模块又不行了。
“所以当天晚上，问题也持续了约三个小时，当我们把能扩的地方都扩完之后，用户高峰已经过去”，邹方明说，虽然整个系统没有受影响，但是对用户来说，这个除夕的小视频体验是不好的。所以2015年春节过后，腾讯基础架构部对整个视频系统架构做了调整，并针对小视频的场景做了优化。
抗住红包压力
2015年春节，除了微信小视频带来的紧急状况之外，腾讯“春保”实际上还迎来了另外一场大考——微信红包的春晚互动。
肖志立向记者表示，大概2014年11月，他们从微信支付团队得知，春节要和春晚合作进行一场红包活动，触达的用户规模会很大。当时，距离春节只有两个月的时间，这对肖志立团队而言，无疑是一次重大考验。
肖志立称，当时面临的问题主要有三个：首先是原来的红包系统肯定不能用了，因为原来的系统本来是面向公司内部几万人使用的，现在要扩大到给10亿用户发红包，整个系统必须重做。
其次，春节的红包活动是通过春晚口播的形式，让用户参与抢红包，这里面的挑战是很难预估系统要承载多少访问量。“不知道要承受多大的压力，这其实是做架构的大忌，但我们当时确实没有任何参考”，肖志立说。
最后，是这次技术保障工作只许成功，不许失败，“如果失败，那就是在全国人民前面丢脸，所以技术层面的压力会比任何时候都大”。
在这不到两个月的时间里，肖志立带着腾讯基础架构部的红包系统团队和微信支付团队一起，通宵达旦的待在深圳腾讯大厦，每天基本上是晚上12点钟提交版本，凌晨1点开始做测试，大概凌晨三四点钟出结果，大家再继续上来研究第二天如何优化和改造。
一直到2015年2月10日左右，整个红包系统基本上确定了下来。但直到除夕前三天，整个团队仍然在改代码，因为在反复测试过程中，只要发现可能带来风险的地方，肖志立都会让团队把它改掉，“我们必须尽量把所有风险都排除掉”。
最终，腾讯的2015年春晚红包活动圆满完成，微信支付也凭借这次合作，在移动支付领域完成了对支付宝的追赶。据微信官方数据显示，2015年除夕当日，微信红包收发总量达到10.1亿次，在20点到次日凌晨零点48分的时间里，春晚微信摇一摇互动总量则达到110亿次。
腾讯基础架构部技术运营中心总监肖攀告诉21世纪经济报道记者，对于红包系统来说，如果遇到了超预期的巨大流量压力，他们也会采取一些降级的办法，比如从金额上做一些限制，这样就可以把并发量快速降下来。
另外据肖攀介绍，整个红包系统其实像漏斗一样，它每一层都在过滤，所以抢红包的“抢”这一下，是用户并发量最高的，其次是拆，等到最后真正的交易环节，其实用户并发量已经少了很多。
虽然近几年，微信红包的发展速度也很快，但是再也不会像2015年那样出现从10万量级到10亿量级的飞跃式增长。目前，微信红包的用户量已经接近于微信的用户量，春节期间并发量的增长也相对稳定，对腾讯的红包系统来说，现在的主要工作就是对系统进行不断优化，降低成本和资源。
“春保”变成常态
邹方明告诉记者，若回顾腾讯过去九年的春保，大致可以分为两个阶段，第一个阶段是2013年至2016年，可以称为承载力不足的阶段。
在这段时间，有业务快速发展的原因，也有腾讯自身技术架构不完善的原因，总之就是系统能力不够支撑业务的增长，导致了各种故障的出现。所以这个时期，主要工作就是提升承载能力，除了增加硬件设备，在技术手段上，也要不断进行性能提升。
第二个阶段则是2016年以后，这个阶段，在过去几年的沉淀和优化下，腾讯的承载能力已经基本没有问题，这时候要做的就是精益求精。伴随着用户对产品体验的要求不断增加，腾讯也需要在保证系统正常运行的基础上，不断优化承载能力，比如过去，可能对技术的要求是不能拒绝服务超过30分钟，而现在，拒绝服务的情况已经不会发生，对技术的要求则变成服务的时延不能超过5分钟。
今年的春保，肖志立整体体验下来，感觉十分顺畅，所有的高峰期都在预测范围内。所以，对肖志立带领的腾讯基础架构部来说，像春保这样的重点时刻的保障工作，在现有的业务条件下，压力已经趋于平稳，要提防的主要是一些突然出现的关键时刻。
比如2020年初，因为新冠疫情的原因，让2019年底才上线的腾讯会议迎来了一次关键时刻。按照腾讯会议团队原先的目标，是预计2020年底的DAU达到5万，到2月中旬时，腾讯会议的同时在线用户已经突破400万，达到了1000倍的增长。
这种大幅的增长，也给腾讯基础架构部带来了巨大的挑战。肖志立表示，其实单从技术层面，在线用户几百万的业务腾讯有很多，做这种业务的支撑也不是什么难题。但当时之所以情况紧急，是因为疫情的影响下，他们无法找到足够的物理资源，比如运营商的BGP宽带满足不了，外网的IP地址也满足不了，一些设备供应商无法复工，各种设备也供应不上。
这个时候，这些硬件的问题只能通过软件来想办法解决。肖志立称，IP地址不够，就想办法用端口复用的技术，新机器供应不了，就从全国各地调用自己的服务器，重新通过虚拟化或者软件架构的方式去适配，争取先把腾讯会议的业务支撑起来。
就是在这种条件极为艰巨的情况下，腾讯会议完成了100万核的扩容。其实从难度上来讲，腾讯会议的紧急扩容要比2015年应对春晚红包活动更难，因为这是在完全没有准备的情况下，应对的一次挑战。而腾讯之所以能够顶住压力，也是因为过去经历了太多次像“春保”一样的重要时刻。
邹方明便表示，现在从故障发生的频率和维护的稳定性来说，技术保障工作变得更加容易了，因为大家都身经百战，很多员工从2013年春保工作至今，对每个业务的性能和需求都十分熟悉。所以现在出现大状况，主要就是因为没想到，但实际上，这种没想到的情况也已经越来越少。
（作者：白杨 编辑：李清宇）
