持续贡献开源社区,麒麟软件方案修复K8s NUMA调度BUG
Kubernetes(简称“K8s”或者“Kube”)是一个开源的,用于管理云平台中多个主机上的容器化的应用,K8s的目标是让部署容器化的应用简单并且高效,是理想的托管平台。K8s于2015年发布,并迅速成为事实上的容器编排标准。
在相关项目中,采用麒麟云原生平台,基于K8s调度相关的scheduler-plugins和node-feature-discovery项目深度定制开发了NUMA感知调度功能,以满足特定客户需求。在开发测试验证环节,分别发现开源社区的scheduler-plugins和node-feature-discovery项目存在以下问题。
问题现象描述
scheduler-plugins是K8s调度SIG的扩展库项目,用于增强K8s默认调度器的功能。其中,noderesourcetopology插件支持NUMA感知调度,但若某台服务器的NUMA节点中存在未插入内存条的情况,可能会出现问题:分配给Pod的NUMA节点组合中可能包含这些无内存的节点,导致Pod无法正常运行。
node-feature-discovery是K8s另一个SIG的项目,用于收集节点硬件信息,包括NUMA拓扑信息。同样,若某个节点的NUMA节点存在未插入内存条的情况,node-feature-discovery服务也可能无法启动,从而无法获取节点的NUMA拓扑信息。
问题定位
针对scheduler-plugins问题,经过定位发现:findSuitableCombination函数在选取NUMA node组合时未经过充分的考虑。如下图所示,该函数主要是在循环检查每一种NUMA node组合,针对具体一种NUMA node组合,首先计算组合内资源总和(下图所标识的第一步),接着判断该资源总和是否满足pod资源请求(下图所标识的第二步)。假设一种NUMA node组合为 "2,3,6",2和6的内存之和满足pod内存请求,但是3没有插入内存条,此时依然认为 "2,3,6"组合是满足要求的。
针对node-feature-discovery问题,经过定位发现,GetNumaMemoryResources函数在计算服务器上的NUMA node的memory与hugepages信息时发生错误,该函数默认所有NUMA node都有内存条,导致遍历计算某些未插入内存条的NUMA node的hugepages信息发生错误。如下图所示:getHugepagesBytes函数计算某些未插入内存条的NUMA node的hugepages信息会发生错误,导致整个node-feature-discovery服务启动失败。
问题修复
基于上述分析及定位,麒麟软件推出修复方案:
(1)针对scheduler-plugins问题,在循环检查每一种NUMA node组合中,先对具体的NUMA node组合进行有效性校验,对不存在某种资源的非法组合进行过滤,有效的组合才会进行接下来的计算。
(2)针对node-feature-discovery问题,GetNumaMemoryResources函数遍历计算服务器上的NUMA node的memory与hugepages信息时,如果getHugepagesBytes函数返回的错误是文件或者目录不存在则跳过该计算。
以上修复方案已第一时间反馈,并被CNCF社区接受。