在超视频时代的音视频架构建设与演进中，应用场景的不断变化始终是最大的挑战。从web 2.0到移动端基础设施的全面建成，我们完成了文字信息的全面数字化；而从2016年“直播元年”至今，图像和语音信息的数字化进程仍在持续推进。例如，早期的流媒体直播中，1080p被视为高清直播的标准；而在今天的冬奥会直播等场景中，8k可能已经成为刚需，其像素数量是1080p的16倍。
此外，现代流媒体业务对视频流的要求不仅限于分辨率，还包括帧率。以阿里文娱2019年底推出的“帧享”解决方案为例，它将帧率提升至120 FPS，并对动态渲染提出了更高要求。过去人们认为帧率超过24 FPS人眼无法识别，因此高帧率没有实际意义，但近年来游戏开发技术的进步和李安等电影导演的实践，已经彻底打破了这一误解。
对于实时通信（RTC）来说，应用场景和相应的软件架构有显著差异。早期的赛事直播可以接受20秒的延迟，但在RTC场景下，人与人之间的即时互动使得用户对延迟的容忍度大大降低。从WebRTC方案到自研传输协议，相关尝试从未停止。尽管我们努力将延迟控制在100毫秒以内，并将可靠性提升至99.99%，但新的应用场景如全景直播、VR全球直播和云游戏又不断出现。云游戏对性能的要求尤为苛刻，有的游戏需要延迟低至50毫秒以内，帧率需达到60 FPS以上，分辨率越高越好，同时还涉及大量的动态渲染任务，消耗大量服务器资源，增加了整个链路的传输延迟。
那么，如何从云游戏的性能要求出发，扩展到整个超视频时代的架构设计呢？单纯关注软件可能难以实现，只有将硬件纳入考虑范围才能找到解决方案。
以软件为中心并非最佳选择。常规的云游戏技术架构如下图所示，主要参考自英特尔音视频白皮书和华为云游戏白皮书，并做了相应调整，基本符合当前大部分云游戏架构的设计。
在这一架构中，云游戏的服务主要在云端和公共网络上完成，用户无需下载游戏或购买高性能终端。游戏玩家的终端主要负责处理网络包、解码和显示渲染后的游戏画面，并将输入指令回传给服务器。
服务器端的链路更为复杂。云游戏管理平台是服务的起点，上下两条链路涉及云游戏的周边技术服务，如直播录制和游戏日志/记录存储。前者对时延要求较低，可以使用CDN分发音视频内容；后者属于常规游戏服务器设计范畴，提供正常服务即可。
关键在于云游戏容器集群这一层，其设计目标是确保每秒至少完成24帧的计算、动态渲染和编码传输，部分高要求场景需达到60 FPS，同时尽可能降低时延。
这一部分的技术挑战巨大，仅靠软件难以突破。从相关指标的历史演进来看，四年前移动端游戏本地渲染的基础目标是30 FPS，而如今虽然能实现60 FPS甚至更高，但讨论的场景已从本地渲染转向云端渲染。除非在学术层面取得突破，否则难以保证性能持续跨越式提升。
此外，渲染工作严重依赖硬件，渲染速度和质量的提升主要依赖于GPU工艺、性能以及配套软件的改进。
更复杂的游戏性能和整体时延控制对整个处理和传输链路提出了更高要求。以时延为例，它要求在编码、计算、渲染和传输等任何环节的处理时间都控制在较低范围内。三到四年前，业界专家曾表示，RPG类云游戏的传输时延容忍度为1000毫秒，但事实证明，玩家无法忍受长达1秒的输入延迟。如今，无论是通过公有云加速方案还是自建实时传输网络方案，即便是传输普通音视频流的RTC服务也只能保证延迟在100毫秒以内，而云游戏的计算量和带宽需求远高于普通音视频服务。
