T/TAF 134-2022 基于5G移动边缘计算的云游戏技术要求

　　团 体 标 准

　　T/TAF 134—2022

　　基于 5G 移动边缘计算的云游戏技术要求

　　Technical requirements of cloud gaming based on 5G mobile edge computing

　　2022-09-15 发布 2022-09-15 实施

　　电信终端产业协会 发布

　　前 言

　　本文件按照 GB/T 1.1—2020《标准化工作导则 第 1 部分：标准化文件的结构和起草规则》的规定起草。

　　请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

　　本文件由电信终端产业协会提出并归口。

　　本文件起草单位：咪咕互动娱乐有限公司、中移(苏州)软件技术有限公司、中国信息通信研究院、炫彩互动网络科技有限公司、华为技术有限公司、百度在线网络技术 (北京)有限公司。

　　本文件主要起草人 ：李鹤、司美玲、王泉、宋雪飞、房雅丁、武涛、林瑞杰、苏兆飞、曾晨曦、张朗、仲阳、唐勇、刘晓军、陈进、黄云霞、乔峙、穆琳、 曹涛、黄勇。

　　基于5G移动边缘计算的云游戏技术要求

　　1 范围

　　本文件规定了云游戏系统在 5G 移动边缘计算场景下的产业结构、部署模式、参考架构、云游戏能力部署技术要求、基于 5G 网络与分流能力的云游戏技术要求、云边协同技术要求及安全性要求。

　　本文件适用于云游戏系统在 5G 移动边缘计算场景下的架构设计、开发和运维。

　　2 规范性引用文件

　　本文件没有规范性引用文件。

　　3 术语和定义

　　3.1

　　云游戏 cloud gaming

　　将游戏放在云端服务器运行的游戏方式。“云游戏”模式下，游戏的存储、计算、渲染 等都在云端完成，玩家可以通过任意终端、随时随地的体验到高品质游戏。

　　3.2

　　云游戏实例 cloud gaming instance

　　类似虚拟机实例的概念，它包含了一款游戏在云端可运行的基础环境，包括CPU 、GPU 、 内存、存储、网络等。

　　3.3

　　边缘应用 edge computing application

　　部署在边缘计算节点中的应用程序。

　　3.4

　　用户面功能 user plane function

　　5G 核心网基础设施系统架构的基本组成部分，作为移动基础设施和数据网之间的连接点，分组路由和转发，数据包检查，用户平面部分策略规则实施等。是边缘计算流量的唯一入口。

　　3.5

　　用户设备 user equipment

　　用户使用的终端设备。

　　3.6

　　移动边缘计算平台 mobile edge platform

　　移动边缘计算平台，提供边缘应用在边缘基础设施上的运行环境， 以及边缘服务。

　　3.7

　　网络云 network cloud

　　网络云具备云计算的基本特征，提供电信网络服务，承载部署 5G 核心网元，用户数据和增值业务平台，以及与之相关的网管支撑类平台，同时为云上应用提供电信级的高可靠性保障、标准化的运维能力和接口。

　　3.8

　　边缘云 edge cloud

　　分布在网络边缘侧，提供实时数据处理、分析决策的小规模云数据中心。

　　3.9

　　网络边缘云 network edge cloud

　　在边缘侧建设的网络云。

　　3.10

　　云游戏玩家 cloud gaming player

　　云游戏使用者，是以个人消费为目的而购买、使用云游戏产品和服务的个体社会成员,是产品和服务的最终使用者。

　　3.11

　　云游戏运营商 cloud gaming operator

　　云游戏运营者，通过自主开发或取得其它游戏开发商的代理权运营云游戏，以出售游戏时间、游戏道具或相关服务为玩家提供增值服务和放置游戏内置广告，从而获得收入的公司。

　　3.12

　　云游戏平台提供商 cloud gaming platform provider

　　云游戏平台(PaaS，云游戏服务平台、云游戏运营平台)提供者，提供云端接入管理、流化管理、游戏管理、资源管理等平台功能。

　　3.13

　　云服务提供商 cloud service provider

　　云游戏基础设施(IaaS)提供者，以资源池的形式向云游戏平台提供信息技术、软件、IDC 资源等，为云游戏运行提供算力。

　　3.14

　　电信运营商 network operator

　　云游戏的网络的提供者，为云游戏终端提供到云游戏平台的网络连接与流量分流，为云游戏平台节点提供网络连接。

　　3.15

　　网络能力开放平台 open platform for network capability

　　基于 API 接口调用，以便管理、调度、流控、监控网络能力的平台。

　　4 缩略语

　　下列缩略语适用于本文件

　　3GPP：第三代合作伙伴计划(3rd Generation Partnership Project)

　　AF：应用功能(Application Function)

　　AMF：接入与移动性管理功能(Access and Mobility Management Function)

　　BSF： 绑定支持功能(Binding Support Function)

　　BP：分支点(Branching Point)

　　DN：数据网络(Data Network)

　　EC：边缘计算(Edge computing)

　　ID：标识(Identifier)

　　IP： 网际互连协议(Internet Protocol)

　　LADN：本地区域数据网络(Local Area Data Network)

　　LCM： 生命周期管理(LifeCycle Management)

　　MEC： 多接入边缘计算(Multi-access Edge computing)

　　MEO：平台(MEC Orchestrator MEC)

　　MEAO：边缘计算应用编排器(MEC application Orchestrator)

　　NEF： 网络开放功能(Network Exposure Function)

　　NFVI： 网络功能虚拟化基础设施(Network Functions Virtualization Infrastructure)

　　PCF： 策略控制功能(Policy Control Function)

　　PDU：分组数据单元(Packet Data Unit)

　　QoS：服务质量(Quality of Service)

　　SMF：会话管理功能(Session Management Function)

　　SSC：会话与业务连续性(Session and Service Continuity)

　　SSCMSP：会话与业务连续性模式选择策略(Session and Service Continuity Mode Select Policy)

　　UDM： 统一数据管理(Unified Data Management)

　　UE： 用户设备(User Equipment)

　　UL CL： 上行分类器(Uplink Classifier)

　　UPF： 用户面功能(User Plane Function)

　　VIM：虚拟化基础设施管理(Virtualization Infrastructure Manager)

　　5 基于 5G 移动边缘计算的产业结构及云游戏部署模式

　　5.1 基于 5G 移动边缘计算的产业结构

　　云游戏角色包含云游戏玩家、云游戏运营商、云游戏平台提供商、云服务提供商、电信运营商，其产业结构见图 1。

　　图1 云游戏产业结构

　　云游戏角色可能兼具多重角色，例如，云游戏平台提供商兼具云服务提供商，提供云基础设施及算力，云游戏平台与云基础设施之间可以是紧耦合或松耦合;电信运营商兼具云服务提供商，提供云基础设施及算力，云游戏平台提供商的云游戏平台部署在电信运营商的云基础设施上，云游戏平台与云基础设施之间是松耦合。

　　5.2 基于 5G 移动边缘计算的云游戏部署模式

　　见图 2，基于 5G 移动边缘计算的云游戏部署模式有两种。

　　——模式 1:基于 ETSI 定义的边缘计算框架， 电信运营商提供 5G 网络和边缘计算平台系统及边缘计算平台，云游戏服务平台部署在边缘计算平台上;

　　——模式 2:基于公有云下沉模式， 电信运营商仅提供 5G 网络，边缘云由云服务提供商提供，云游戏服务平台部署在边缘云上。

　　图2 基于 5G 移动边缘计算的云游戏部署模式

　　6 基于 5G 移动边缘计算的云游戏参考架构

　　6.1 云游戏对 5G 边缘计算的业务需求

　　受限于网络能力，云游戏一直无法快速发展，直到 5G 网络的出现，才使得在移动终端上普及云游戏成为可能。云游戏业务在 5G 网络下对带宽、时延和资源分配的需求如下：

　　a) 5G 网络带宽： 一般情况下，单个云游戏实例下行峰值网络传输带宽不小于 50Mbps;针对 4K分辨率，60 帧的场景，下行峰值网络带宽不小于 100Mbps;

　　b) 5G 网络延迟：UE 到边缘资源池中云游戏实例的网络延迟不大于 20ms，针对电竞场馆部署边缘资源的情况下，网络延迟不大于 10ms;

　　c) 边缘资源池：游戏实例根据业务需求调整规格，根据用户体验需求和资源负载情况，均衡分配游戏实例。

　　6.2 云游戏参考架构

　　6.2.1 基于 ETSI 定义的边缘计算框架的云游戏参考架构

　　见图 3，电信运营商提供 5G 边缘计算系统，包含 5G 网络和边缘计算平台系统。

　　图3 基于 ETSI 定义的边缘计算框架的云游戏参考架构

　　5G 边缘计算平台系统架构，其包含以下功能实体：MEC 主机、系统管理级的边缘计算运营管理平台和 MEC 边缘编排器(MEO)、主机级管理的虚拟化基础设施管理(VIM)和边缘计算平台管理(MEPM)。云游戏运营模块，负责资源调度等功能，其部署在边缘计算运营管理平台内;云游戏服务平台部署在 MEC 主机内。此外，MEC 主机还包含边缘计算平台(MEP)、虚拟化基础设施(NFVI)。从部署位置来看，MEPM 可以和主机一起部署在边缘，也可以和系统级网元一起部署在相对集中的位置。

　　5G 核心网的用户面功能 UPF 可以灵活的下沉部署到网络边缘，而策略控制功能 PCF 以及会话管理 SMF 功能等控制面功能可以集中部署。UPF 实现 5G 边缘计算的数据面功能，边缘计算平台系统为云游戏服务平台提供运行环境。根据具体的应用场景，UPF 和边缘计算平台可以分开部署，也可以一体化部署。

　　5G 边缘计算平台系统和 UPF 之间为标准的 N6 接口，5G 边缘计算平台系统通过 N6 接口与 UPF相互传递数据。云游戏调用 5G 网络能力、通用 IT 能力及行业能力通过 MP1 接口及 MEP 的 API Gateway实现。其中，调用 5G 网络能力还需进一步通过边缘计算平台系统与 5G 网络的接口，接口有三种方式，一是以可信 AF 的角色通过 N5 接口与 PCF 进行交互，通过 PCF->SMF 实现网络能力调用;二是通过N33 接口与网络开放功能 NEF 进行交互，通过 NEF->PCF->SMF 实现网络能力调用;三是经互联网和网络能力开放平台与 NEF 进行交互，通过 NEF->PCF->SMF 实现网络能力调用。

　　6.2.2 基于公有云下沉模式的云游戏参考架构

　　见图 4，电信运营商仅提供 5G 网络，边缘云和中心云由云服务提供商提供，云游戏运营平台部署在中心云内，云游戏服务平台部署在边缘云或中心云内。中心云与边缘云经网络实现云边协同。

　　N9

　　图4 基于公有云下沉模式的云游戏参考架构

　　5G 边缘云和 UPF 之间为标准的 N6 接口，5G 边缘云通过 N6 接口与 UPF 相互传递数据。边缘计算平台系统调用 5G 网络开放能力有一种，即通过网络能力开放平台发起 API 调用，网络能力开放平台在收到网络能力 API 调用请求后，再与 NEF 进行交互，通过 NEF->PCF->SMF 实现网络能力调用。

　　7 基于 5G 边缘计算的云边协同技术要求

　　7.1 云边协同实现方式

　　一是基于 ETSI 定义的边缘计算框架，边缘计算运营管理平台作为中心云，支撑云游戏运营模块; MEC 主机作为边缘云，支撑云游戏服务平台。

　　二是基于公有云下沉模式，中心云支撑云游戏运营平台，边缘云支撑云游戏服务平台。

　　在云边协同机制下，中心云对边缘云和游戏用户进行管理，边缘云进行游戏云化、渲染、编码、串流，游戏用户通过 5G 网络访问本地的边缘节点游戏实例。

　　7.2 云边协同技术要求

　　7.2.1 云游戏中心云技术要求

　　云游戏中心云技术要求如下：

　　a) 提供边缘云的智能选点调度、边缘资源开通、镜像批量分发、云边协同等能力;

　　b) 提供边缘云的统一资源管理、边缘业务编排、集中运维、工单/计费/资产管理等功能;

　　c) 实例统一管理能力：对全部边缘云实例统一管理，根据不同区域需求动态调整不同边缘云实例类型;

　　d) 实例动态分配能力：中心云收到终端用户请求后，根据调度策略，并结合边缘云的云游戏实例使用情况，将请求调度到合适的边缘云，原则上调度到本区域的边缘云;

　　e) 边缘云与中心云协同能力：边缘云云游戏系统应把云游戏实例状态上报给中心云云游戏系统，用于资源管理和调度用户游戏请求。边缘云云游戏系统保存存档，并向中心云云游戏系统上传存档数据，上传游玩数据。中心云云游戏保存存档数据及记录存档状态;

　　f) 网络延迟： 中心云与边缘云之间的网络延迟应小于 20ms。

　　7.2.2 云游戏边缘云技术要求

　　云游戏边缘云技术要求如下：

　　a) 边缘云业务覆盖范围：每个边缘云需覆盖一个省份下的一个或多个地级市，对于特大城市、用户较多城市，可建设多个边缘云;

　　b) 边缘实例分配：根据不同业务需求，可调整实例类型;

　　c) 业务复用：边缘云资源空闲时，其算力可提供其他场景的客户使用，均摊建设成本;

　　d) 网络对接： 具备与运营商 5G 专网、QoS 业务、本地城域网对接能力，终端用户使用 5G 网络就近访问边缘云，进一步降低延迟;

　　e) 网络接入：边缘云具备多家运营商网络接入能力，针对不同网络终端的请求调配流量出口;针对电竞等场景，边缘云小型化、微型化，可快速部署、快速开通、运输方便。

　　8 基于 5G 边缘计算的云游戏能力部署技术要求

　　8.1 云游戏在边缘云的部署方式

　　云游戏的核心技术能力可以通过两种模式部署在边缘云上。

　　一是基于 ETSI 定义的边缘计算框架，云游戏作为 APP 通过 MP1 接口部署在边缘计算节点，并通过 MEP 的 API Gateway 实现网络能力、通用IT 能力及行业能力的调用。

　　二是基于公有云下沉模式，则根据边缘计算节点运营方提供的方式部署。

　　8.2 部署在边缘云的云游戏技术要求

　　8.2.1 概述

　　在 5G 边缘节点部署云游戏服务集合，将云游戏核心能力和业务系统能力下沉到边缘节点，实现用户的就近访问，降低用户交互的时延。其中云游戏核心能力包括系统原生架构、音视频的采集、编码和推流服务。业务系统包括资源调度系统、游戏云化系统和统一存档系统。

　　8.2.2 核心能力技术要求

　　核心能力技术要求如下：

　　a) 系统原生架构：针对端游提供 PC 系统和 X86 硬件架构;针对手游提供安卓系统和 ARM 硬件架构;

　　b) 音视频采集：提供云端游戏运行过程中视频图像、音频数据的抓取和推送能力;

　　c) 音视频编码：提供多种音视频流的编码压缩能力，如音频的 AAC、视频的 H264 、H265。音视频编码需具有根据运营策略、终端用户设置、网络传输质量等因素而调整编码配置的能力;

　　d) 推流服务：提供多种传输协议、可自动化的调整音视频编码码率，网络带宽，丢包策略的能力。提供弱网对抗的基本策略，从延时、清晰和流畅等不同维度进行平衡，对丢包、抖动、延时等网络问题进行优化，保证云游戏的清晰流畅体验。

　　8.2.3 业务系统技术要求

　　业务系统技术要求如下：

　　a) 资源调度系统：

　　1) 提供将用户请求根据一系列路由策略(负载均衡、地理位置、历史记录等)，分配到合适的服务节点的能力;

　　2) 提供管理游戏实例，记录游戏实例的状态以及变迁, 协调用户请求资源，根据云端游戏实例的状态，分配对应的空闲游戏实例能力;

　　3) 提供优化路由系统、云化系统，实现多区域部署、动态实例分配，降低用户启动游戏时延能力。

　　b) 游戏云化系统：

　　1) 游戏云化: 提供云化平台，点击游戏上架，可以上架游戏，生成注册接口的母版镜像文件并上传到 NFS 服务器，后续打开游戏时可以直接从 NFS 服务器上的母版镜像通过注册接口来安装游戏，然后启动并运行游戏;

　　2) 游戏热更新：提供热更新平台，点击游戏热更新，通过播流方式与手机建立连接，等待游戏更新完成后，点击提取热更新，将游戏热更新文件上传到 NFS 服务器，并通知云游戏服务端将该热更新文件同步到对应机房的所有 NFS 服务器上。

　　c) 统一存档系统：

　　1) 提供存档上传、下载、状态查询功能;

　　2) 实现集群式分布管理存档，实现游戏存档的存储、备份、读取、快速扩容等需求。

　　9 基于 5G 网络与分流能力的云游戏技术要求

　　9.1 基于 ETSI 定义的边缘计算框架获取 5G 网络与分流能力

　　云游戏作为应用部署在运营商的边缘计算节点上，通过边缘节点实现本地 UL CL 分流减少传输时延，云游戏应用不感知。当用户在边缘计算节点之间发生迁移，应由边缘计算平台的移动性管理功能为云游戏用户进行上下文迁移，并通知云游戏应用切换服务节点。

　　有线侧带宽需求可通过边缘计算平台的带宽管理实现有线侧的带宽控制;无线侧的带宽、时延保障需通过 QoS 保障能力实现，可以通过 MEP 的 API Gateway 和 N5 或 N33 接口调用 QoS 保障能力，也可直接经互联网从能力开放平台调用。

　　9.2 基于公有云下沉模式获取 5G 网络与分流能力

　　需通过云游戏所在边缘计算节点运营方调用大网能力开放平台分流 API 实现本地 UL CL 分流。

　　当用户在边缘计算节点之间发生迁移，由云游戏应用自己感知后通过调用大网分流能力实现云游戏边缘节点的切换。

　　有线侧带宽为固定传输专线或互联网专线接入，无法控制;无线侧的带宽、时延保障经互联网从能力开放平台调用 QoS 能力实现。

　　10 基于 5G 边缘计算的云游戏安全性要求

　　10.1 云边交互安全

　　应提供边缘云节点与终端、边缘云节点之间、以及边缘云节点与中心云之间的安全数据与管控通道。

　　10.2 网络安全

　　能检测到针对中心云平台以及边缘节点的网络攻击行为，能检测到虚拟机与宿主机、虚拟机与虚拟机之间的异常流量，应在检测到网络攻击行为、异常流量情况时进行告警。

　　10.3 数据安全

　　在数据存储方面，对于云游戏系统运行过程中产生的敏感数据，应统一按照加密或不可逆hash方式进行存储，所有敏感数据在进行输出(外部接口数据报文应答、日志打印等)时，必须进行脱敏处理后再输出。对于敏感性强的数据还应视情况使用黑白名单机制提高安全防护等级。

　　在数据传输方面，云游戏系统内部局域网的传输，数据可以不加密。所有的跨网络的接口通信、文件传输、系统访问均基于SSL/TLS的安全协议基础上进行，确保数据传输过程中数据安全。

　　参 考 文 献

　　[1] T/TAF 118—2022，云游戏术语和定义

　　[2] T/TAF 119—2022，云游戏参考架构

　　[3] GCC 1001-2020 绿色计算服务器可信赖技术要求