信创升级面临性能短板
信创升级浪潮正席卷各行业,信创虚拟化、超融合及云平台被广泛应用于承载核心业务。这些核心业务对云平台的性能和稳定性要求极高。然而,简单的信创升级常伴随着性能下滑和稳定性欠佳等问题,极大地影响了改造效果。
以金融行业高频订单处理系统,工业自动化控制系统,医疗行业HIS系统与PACS系统,以及智能交通管理系统为例,这些对抢占调度要求高的业务系统,对云平台的计算能力、存储性能和数据处理速度的要求不断攀升。
在主流服务器采用的NUMA CPU 架构下,系统包含多个NUMA节点,每个节点又有多个CCX(Core Complex的缩写,即缓存一致性复合体)。该架构下,如何优化CPU调度,提升虚拟机性能,成为信创高质量升级的关键课题。
本文将以海光CPU架构为切入点,深入剖析 CCX 对虚拟机性能提升的影响机制,并提出切实可行的性能提升方案。
海光CPU架构关键技术解析
NUMA架构特性:多处理器系统基石
随着处理器技术逐渐逼近物理极限,多处理器集成技术应用而生,NUMA 架构凭借独特的设计理念,为提升系统性能开辟了新的方向。
NUMA(Non-Uniform Memory Access,非统一内存访问)作为一种多处理器系统架构,将内存和处理器划分为多个独立节点。当进程访问本地NUMA内存时,时延低;而经QPI总线访问远端内存时,时延显著增加。这一特性使得进程优先在本地节点分配内存,便于通过增加节点扩展内存和处理能力。这种架构适用于数据中心、高性能计算集群等大规模多处理器系统。
NUMA架构
CCX模块:协同计算的核心单元
CCX作为系统进行任务分配和处理的基本单元之一,源自AMD 在 Zen 架构,海光 C86 系列CPU延续了这一设计。每个CCX整合多个处理器核心,同一 CCX 内核心共享 L3 缓存,可减少约 15-20ns的跨核心数据访问延迟。通常一个NUMA包含2个CCX,每个CCX 集成 4 个 CPU 核心,这种模块化设计可灵活扩展核心数,从16 核到 64 核,满足不同场景需求。
CCX模块
跨CCX运行:降低了存储性能
线程是 CPU 调度的基本单位,其执行效率与缓存访问特性密切相关。同一 CCX 内,线程能够借助本地L3缓存,实现高效的数据交互。
然而在实际运行中,Linux内核会根据 CCX 负载和内存访问模式,动态调整线程在不同 CCX 间的分配。这虽提升了系统级资源利用率,但可能导致存储虚拟化工作线程分散到不同CCX(如图①-②所示),造成跨CCX缓存失效和远端访存,最终降低了存储性能。
跨CCX模块运行
那么,如何破解这一难题,成为提升系统性能的关键。
深信服CCX软亲和调度,解锁性能新高度
面对CCX调度难题,深信服信创超融合推出软亲和调度机制,实时监测业务负载变化,实现CPU资源的动态分配:
1.低负载场景:当CPU负载较低时,优先使用软亲和范围内的CPU,充分发挥资源访问的局部性优势,降低调度开销;
2.高负载场景:当CPU负载较高时,则会突破软亲和范围的限制,增加CPU资源供给,保证业务服务质量不受影响。
在C86场景下,深信服基于软亲和调度机制,频繁交互的存储服务线程进行CCX调度精细化编排:
1.CCX 利用率低时,聚合线程降时延:当CCX范围内CPU利用率低于特定阈值,将存储线程聚合在CCX内(如图③所示),降低通信时延,提升IO性能;
2.CCX 利用率高时,分散线程保吞吐:当CCX范围内CPU利用率高于特定阈值,允许存储线程在更大CPU范围内运行,避免资源争抢,减少通信延迟,保障系统吞吐。
深信服软亲和调度机制
这一优化策略,显著提升了小块性能,IOPS提高约20%,为用户带来了更高效的使用体验。
小块性能提升20%
深信服 CCX 软亲和调度 VS 传统方案
相较于业界其他方案,深信服的软亲和调度机制展现出显著优势:
传统调度方案的局限
业界多普遍依赖操作系统原生调度器CFS的通用负载均衡算法,缺乏对CCX拓扑层级的深度适配,导致跨CCX线程通信需频繁穿透L3缓存层级,影响系统性能。
加之,部分厂商采用硬亲和性绑定策略,虽避免了跨CCX开销,但牺牲了调度弹性。当绑定的CCX内运行高优先级计算任务时,容易引发资源争抢面临饥饿风险。
深信服软亲和调度机制
深信服通过为操作系统调度器提供CPU拓扑和负载指导信息,辅助系统做出更合理的调度决策,灵活调整CPU资源供给,实现低负载场景降时延,高负载场景保吞吐的效果,实现了性能与灵活性的平衡。
信创超融合的新未来
在国产海光CPU多核心、多CCX架构下,深信服信创超融合采用软亲和调度优化机制,为信创超融合领域的 IO 性能提升提供了切实可行的解决方案 。通过自适应的调整策略,充分发挥了CCX的架构优势,有效提升了系统的整体性能。
展望未来,随着信创产业的持续发展,深信服将继续深化技术创新,为推动信创超融合技术的进步,贡献更多的智慧与力量。