“王者荣耀”高并发背后的故事

发布时间：2025-11-04 19:20:33 来源：技术快报 作者：应用开发

背景

“王者荣耀”是王者荣耀一款国民级手机游戏，用户体量巨大，高并故事而且一直保持着较高的发背更新频率。这种业务场景下，王者荣耀突发也变得非常频繁，高并故事然而业务体验是发背至关重要的，使用 CDN 必不可少。王者荣耀类似地，高并故事经常有带宽突发的发背场景，比如新闻爆点视频、王者荣耀大型直播活动、高并故事热门影视剧上线、发背热门游戏等应用发布。王者荣耀同时，高并故事由于家庭带宽和移动网络的发背快速升级，突发带宽量级越来越大，经常达到 Tb 级，甚至 10Tb 。如何快速、低成本地保障业务突发，成为 CDN 的一大挑战。

2007 年，腾讯自建 CDN 启用，接入了***个业务腾讯网。到现在 CDN 带宽量级，从最早的数十 Gb，WordPress模板发展到现在的数十 Tb；单业务的带宽也越来越大，大部分业务常量带宽在几百 Gb，部分突发业务达到了 10Tb。网络的快速升级，移动用户爆发式增长，以及视频类业务包括点播和直播的兴起，使得业务突发越来越频繁，突发带宽越来越高，对CDN的要求也越来越高。

自建 CDN 得益于腾讯业务的蓬勃发展，先后支持了游戏下载、流媒体视频加速、春节红包等腾讯内部业务；2014 年腾讯将 CDN 全面能力开放，成为 腾讯云 CDN 产品，除承载内部业务外，也开始接入第三方客户，比如快手点播、斗鱼直播等。以上各种业务都有突发场景，也有很强的成本诉求，在如何低成本地保障业务突发，腾讯 CDN 积累了丰富的经验。接下来就挑战和问题、解决方案、效果三个方面来解析。香港云服务器

一、挑战和问题

下面将从业务特点开始，分析目前存在的挑战和问题。

1、 业务特点和挑战

CDN 多样化的场景，注定了突发业务充满挑战。突发业务具有体量大、场景多样化、 无规律等特点。

体量大，需要准备更多的资源；场景多样化，需要满足不同的资源需求；无规律性则对我们的扩容效率提了很高的要求。

2、 目前存在的问题

仅仅为了满足业务突发需求而储备大量的资源，高防服务器成本太高，会造成资源极大的浪费。所以一般会通过复用资源来应对业务突发。但是直接复用资源，存在两个问题：

二、解决方案

腾讯云 CDN 通过虚拟化复用现有资源，搭建全业务通用的突发池，所有平台共享 Buffer。 突发池中的设备为 Docker 虚拟机，虚拟机有不同的规格，只要业务有需求，都可以按需使用。突发池中的带宽储备达到了 10Tb，基本能满足所有业务突发需求 。任何业务有突发需求，配合自动化上架接口，可在 10 分钟完成 10Tb 突发池的扩容。

1、 突发池系统架构

突发池系统架构见图 1

图 1 突发池系统架构

虚拟机和物理机部署了上报 Agent，业务信息和服务器负载每分钟都会上报到监控系统。监控系统会根据历史带宽预测一个值，并与当前带宽比较，如果当前带宽超过预测值的 50%，则认为有突发。根据带宽上涨的比例，系统会自动从突发池中扩容相应数据的设备。针对提前准备的突发活动，运维可以指定带宽需求量，之后系统便会自动计算设备需求并扩容。

分钟粒度上报的服务器负载信息则为监控系统做调度决策提供了依据。系统会依据机房剩余带宽、服务器带宽、CPU、IO 等综合信息决定虚拟机是否需要从直通车中启用或者禁用。用户访问时先请求直通车调度系统，直通车会根据调度策略返回一个 302 地址，302 地址中为实际 CDN 资源地址。用户跳转到 302 地址，并获取实际内容。

2、技术优化

使用虚拟化技术复用资源的重要前提是，不影响现有业务。这就要求对资源有充分的隔离，比如 CPU／磁盘，以及对带宽的使用。下面是实现过程中存在的几个问题及解决方案：

精准控制单机负载：负载过高会影响业务质量，需要对单机负载进行精准的控制。

解决方案：

限制磁盘大小：Docker 在 ext3/ext4 文件系统中无法对文件／目录级别进行磁盘大小限制。

解决方案：

CPU绑定：默认是绑定所有 CPU，部分单 CPU 负载高会影响母机业务。

解决方案：

效果

突发池上线后，高效支持了王者荣耀下载、NBA 直播、KPL/LPL 游戏直播等多次大型突发活动，节约成本 2000万。通过共享 buffer，搭建突发池能显著提高突发能力和降低成本。

总结

腾讯云 CDN 通过 Docker 技术复用资源，搭建 Tb 级别突发池，能支持直播、点播、静态等各种业务突发，能自动检测到业务突发需求并在 10 分钟内完成资源扩容，具有发布快，成本低等特点。资源复用能提高资源利用率，为业务提供极大的突发池，但要注意复用业务之间不能相互影响，这需要对服务器进行实时的监控和及时的调度。

另外还有一些待改进的地方，比如内核参数基于容器隔离，方便不同业务调优；部分业务客户端不支持 302 跳转，调度系统需要支持域名调度方式。 

相关文章