中国联通人工智能服务器产品常态化测试公告

内容
 
发送至邮箱

中国联通人工智能服务器产品常态化测试公告

详情见附件
(注:以下内容为附件图片识别,个别文字可能不准确,请以附件为准)
中国联通人工智能服务器产品常态化测试公告
招标编号:ND*

一内容:
中国联通启动人工智能服务器产品常态化测试,现将有关事项公告如下:
一测试内容
本次测试产品为人工智能服务器,测试内容及测试标准见附件1:中国联通人
工智能服务器产品常态化测试规范。
二测试结果应用
本次测试包含通过型测试项和量化型测试项。任一项通过型测试项测试不通过
,则测试不合格。测试过程中因自身软硬件原因导致送测设备宕机关键组件
出现重大安全告警设备不稳定等问题的,则测试不合格。
测试合格将作为后续中国联通人工智能服务器产品集中采购资格审查合格的必
要条件。量化型测试项的测试结果将作为后续中国联通人工智能服务器产品集
中采购技术评审的一部分。
三测试安排
一测试申请
1.申请方式:报名测试的厂商须于本公告发布之日起不含发布日当天的五
个工作日内,将申请材料盖章扫描件通过电子邮件发送至测试组织单位及测试
实施单位联系人邮箱,逾期不接受报名。
2.申请材料:附件2:参测设备报名表法 (略) 营业执
照复印件。
3.测试组织单位:中国联通集团网络部总体组织,统筹协调
测试组织单位联系人:童俊杰 电话:*
Email:tongjj9chinaunicom.cn
4.测试实施单位:中讯邮 (略) 郑州分公司负责测试实施
现场技术支持/咨询和应答
测试实施单位联系人:申佳 电话:* Email:http://**
5.测试地点: (略) 互助路1号中讯邮 (略) 。
二测试要求
1.产品必须为成熟商用的人工智能服务器产品。
2.产品相关软件版本及补*必须为公开发布的正式商用版本。
3.参测设备须满足附件3:参测设备配置明细要求表的配置要求。
三测试启动会
请报名测试的厂商参加后续召开的测试启动会具体地点和日期以邮件方式告
知,测试启动会将宣贯本次测试相关管理规定,并就参测设备送交期限等相
关内容进行说明。
四测试费用
测试产生的所有相关成本与费用,均由参测厂商承担,具体费用将依据机房
供电人力等因素核定,并由测试实施单位收取。参测厂家需在测试开始前与
测试实施单位签订测试委托协议,并缴纳测试费用具体协议内容及收费
标准请详询测试实施单位联系人。无论测试结果是否通过测试规范的合格要
求,测试费均不退还。本次测试由中国联通集团委托测试实施单位承担测试工
作,测试实施单位委托中 (略) 制定测试规范并提供技术支撑工作。
五附件清单
附件1:中国联通人工智能服务器产品常态化测试规范
附件2:参测设备报名表
附件3:参测设备配置明细要求表
二监督部门
本招标项目的监督部门为/。
三联系方式
招 标 人:中国 (略)
地 址:/
联 系 人:童俊杰
电 话:*
电子邮件:tongjj9chinaunicom.cn
招标代理机构:中 (略)
地 址: (略) 鼓楼区南祖师庵7号
联 系 人: *宁鄂
电 话: *
电子邮件: dinhttp://**
招标人或其招标代理机构主要负责人项目负责人: 签名

招标人或其招标代理机构: 盖章
中国联通人工智能服务器产品常态化测试规范
中 国 联 合 网 络 通 信 有 限 公 司
2023年2月
第 I 页
目 录
目 录................................................................................................................................I
1 概述 ..............................................................................................................................1
1.1 测试目的 ...................................................................................................................................1
1.2 术语解释 ...................................................................................................................................1
1.3 测试内容 ...................................................................................................................................2
1.4 测试地点 ...................................................................................................................................2
2 测试环境 ......................................................................................................................3
2.1 环境总体要求 ...........................................................................................................................3
2.1.1 交流稳压电源要求....................................................................................................................3
2.1.2 测量仪表要求............................................................................................................................3
2.1.3 测试负载要求............................................................................................................................3
2.1.4 测试环境要求............................................................................................................................3
2.2 系统部署 ...................................................................................................................................3
2.3 硬件配置要求 ...........................................................................................................................4
2.3.1 被测服务器硬件配置................................................................................................................4
2.3.2 总体配置要求............................................................................................................................4
2.3.3 电源配置....................................................................................................................................4
2.3.4 风扇配置....................................................................................................................................4
2.3.5 磁盘要求....................................................................................................................................4
2.3.6 I/O端口要求...............................................................................................................................4
2.3.7 配合设备要求............................................................................................................................4
2.4 操作系统/软件配置要求 ..........................................................................................................4
2.4.1 操作系统要求............................................................................................................................4
3 测试方法 ......................................................................................................................5
3.1 测试工具 ...................................................................................................................................5
3.2 具体测试方法 ...........................................................................................................................5
3.3 同质化检验 ...............................................................................................................................5
3.3.1 同质化鉴定标准........................................................................................................................5
3.3.2 同质化处理方法........................................................................................................................6
3.4 测试评判标准 ...........................................................................................................................6
4 测试用例 ......................................................................................................................7
4.1 配置检验测试 ...........................................................................................................................7
第 II 页
4.1.1 机器外观检测............................................................................................................................7
4.1.2 CPU配置检测............................................................................................................................7
4.1.3 人工智能加速卡检测................................................................................................................8
4.1.4 主板配置检测............................................................................................................................8
4.1.5 内存配置检测............................................................................................................................8
4.1.6 硬盘配置检测............................................................................................................................9
4.1.7 RAID卡配置检测......................................................................................................................9
4.1.8 网络适配器检测......................................................................................................................10
4.1.9 电源配置检测..........................................................................................................................10
4.1.10 散热风扇检测........................................................................................................................10
4.2 管理功能测试 .........................................................................................................................12
4.2.1 本地管理功能..........................................................................................................................12
4.2.1.1 设备状态指示灯显示功能测试........................................................................................................12
4.2.2 远程管理功能..........................................................................................................................12
4.2.2.1 远程登录功能测试............................................................................................................................12
4.2.2.2 资产管理功能测试............................................................................................................................13
4.2.2.3 远程控制功能测试............................................................................................................................13
4.2.2.4 电源监控功能测试............................................................................................................................13
4.2.2.5 历史功耗查询功能测试....................................................................................................................14
4.2.2.6 温度监控功能测试............................................................................................................................14
4.2.2.7 RAID卡信息动态监控功能测试......................................................................................................14
4.2.2.8 风扇监控功能测试............................................................................................................................15
4.2.2.9 故障告警测试....................................................................................................................................15
4.2.2.10 虚拟光驱文件测试..........................................................................................................................16
4.2.2.11 远程安装操作系统测试..................................................................................................................16
4.2.2.12 设备远程连接安全性测试..............................................................................................................16
4.2.2.13 用户密码安全性测试......................................................................................................................17
4.2.2.14 用户权限管理测试..........................................................................................................................17
4.2.2.15 BIOS升级测试.................................................................................................................................18
4.2.2.16 BMC升级测试.................................................................................................................................18
4.2.2.17 VNC管理功能测试 .........................................................................................................................19
4.2.3 人工智能加速卡管理功能测试..............................................................................................19
4.2.3.1 人工智能加速卡资产管理功能测试................................................................................................19
4.2.3.2 人工智能加速卡固件版本管理测试................................................................................................19
4.2.3.3 人工智能加速卡功耗监控测试........................................................................................................20
4.2.3.4 人工智能加速卡温度监控测试........................................................................................................20
4.2.4 IPMI 2.0协议功能 ...................................................................................................................21
4.2.4.1 IPMI USER 命令...............................................................................................................................21
4.2.4.1.1 用户数据库查询........................................................................................................................21
4.2.4.1.2 BMC用户查询 ...........................................................................................................................21
4.2.4.2 IPMI LAN 命令.................................................................................................................................21
4.2.4.2.1 查询LAN接口参数配置信息....................................................................................................21
4.2.4.3 IPMI SOL 命令..................................................................................................................................22
4.2.4.3.1 SOL参数信息查询.....................................................................................................................22
第 III 页
4.2.4.3.2 KVM over IP ..............................................................................................................................22
4.2.4.4 IPMI BMC命令..................................................................................................................................22
4.2.4.4.1 获取BMC相关信息 ...................................................................................................................22
4.2.4.5 IPMI Power 命令...............................................................................................................................23
4.2.4.5.1 IPMI 远程开机...........................................................................................................................23
4.2.4.5.2 IPMI 远程关机...........................................................................................................................23
4.2.4.5.3 IPMI 远程复位...........................................................................................................................23
4.2.4.6 IPMI FRU命令...................................................................................................................................24
4.2.4.6.1 获取 FRU 设备的信息 ..............................................................................................................24
4.2.4.7 IPMI RAW 命令................................................................................................................................24
4.2.4.7.1 通过 IPMI 获取整机功耗..........................................................................................................24
4.2.4.8 IPMI SDR 命令..................................................................................................................................25
4.2.4.8.1 获取 SDR 相关信息 ..................................................................................................................25
4.2.4.8.2 获取传感器状态信息................................................................................................................25
4.2.4.9 IPMI SEL 命令 ..................................................................................................................................25
4.2.4.9.1 查询SEL信息.............................................................................................................................25
4.2.4.9.2 查询SEL日志信息.....................................................................................................................26
4.2.5 SNMP接口协议功能...............................................................................................................26
4.2.5.1 SNMP 协议版本支持测试................................................................................................................26
4.2.5.2 MIB 库支持测试 ...............................................................................................................................26
4.2.6 Redfish接口协议功能 .............................................................................................................27
4.2.6.1 查询指定CPU资源信息....................................................................................................................27
4.2.6.2 查询指定内存资源信息....................................................................................................................27
4.2.6.3 查询服务器指定存储控制器资源信息............................................................................................28
4.2.6.4 查询服务器指定硬盘资源信息........................................................................................................28
4.2.6.5 查询服务器指定网卡资源信息........................................................................................................29
4.2.6.6 查询指定人工智能加速卡资源信息................................................................................................30
4.3 可靠性测试 .............................................................................................................................31
4.3.1 磁盘冗余和热插拔测试..........................................................................................................31
4.3.2 电源冗余和热插拔测试..........................................................................................................31
4.3.3 风扇冗余和热插拔检测..........................................................................................................31
4.4 基本性能测试 .........................................................................................................................32
4.4.1 CPU与人工智能加速卡之间通信带宽测试..........................................................................32
4.4.2 人工智能加速卡与人工智能加速卡之间通信带宽测试......................................................32
4.5 应用性能测试 .........................................................................................................................33
4.5.1 AI训练能力测试......................................................................................................................33
4.5.1.1 PyTorch框架下使用BERT-Large模型训练性能.............................................................................33
4.5.1.2 PyTorch框架下使用MaskRCNN模型训练性能..............................................................................34
4.5.1.3 Pytorch框架下使用MobileNetV3模型训练性能.............................................................................34
4.5.1.4 Pytorch框架下使用ShuffleNetV1模型训练性能.............................................................................35
4.5.2 AI推理能力测试......................................................................................................................36
4.5.2.1 BERT-Large模型推理的性能测试...................................................................................................36
4.5.2.2 Yolov5模型推理的性能测试............................................................................................................36
第 IV 页
4.5.2.3 Bert-Base Chinese模型推理的性能测试..........................................................................................37
4.5.2.4 Resnet50模型推理的性能测试.........................................................................................................37
4.6 能耗测试 .................................................................................................................................38
4.6.1 能耗测试..................................................................................................................................38
4.7 压力测试 .................................................................................................................................39
4.7.1 压力测试..................................................................................................................................39
1
1 概述
本规范用于对中国联通人工智能服务器产品提出常态化测试要求,用于在招
标选型和工程 (略) 提供技术依据。
1.1 测试目的
进行中国联通人工智能服务器常态化测试。
1.2 术语解释
缩略语 英文 中文
AI Artificial Intelligence 人工智能
BIOS Basic Input Output System 基本输入输出
BMC Baseboard Management Controller 基板管理控制器
CMD Command 命令
CPU Central Processing Unit 中央处理器
COM Cluster Communication Port 串行通讯端口
GPU Graphics Processing Unit 图像处理器
IOPS Input/Output Operations Per Second 每秒的读写次数
IPMI Intelligent Platform Management
Interface
智能型平台管理接口
KVM Keyboard Video Mouse 键盘显示器鼠标
NVMe Non-Volatile Memory express 非易失性存储器标准
PCIE Peripheral Component Interconnect
Express
高速外设互联标准
RAID Redundant Arrays of Independent
Disks
独立磁盘冗余阵列
SAS Serial Attached SCSI 串行的SCSI接口
SATA Serial Advanced Technology
Attachment
串行高级技术附件
SNMP Simple Network Management Protocol 简单网络管理协议
SSD Solid State Desktop 固态硬盘
SDR SensorDataRepository 传感器数据信息库
SPEC Standard
PerformanceEvaluationCorporation
标准性能评估机构
USB Universal Serial Bus 通用串行总线
VGA Video Graphics Array 视频图形阵列
1.2.1 人工智能 Artificial Intelligence
2
人工智能是研究开发用于模拟延伸和扩展人的智能的理论方法技术及应用系
统的一门新的技术科学。
人工智能是计算机科学的一个分支,它目的是为了理解智能的实质,并生产出一种新
的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人语言识别
图像识别自然语言处理和专家系统等。人工智能是对人的意识思维的信息过程的模拟

1.2.2 机器学习 Machine learning
机器学习是一门多领域交叉计算科学,它涉及概率论统计学逼近论凸分析算
法复杂度理论等多门学科理论和算法,专门研究计算机怎样模拟或实现人类的学习行为,
以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。随着大数据
的出现,机器学习当前成为人工智能的主要方式。
1.3 测试内容
本次测试共分7部分的测试内容:
1) 配置检验测试
2) 管理功能测试
3) 可靠性测试
4) 基本性能测试
5) 应用性能测试
6) 能耗测试
7) 压力测试
1.4 测试地点
(略) 互助路1号中讯邮 (略)
3
2 测试环境
2.1 环境总体要求
2.1.1 交流稳压电源要求
交流电源电压为2202.2V,频率为500.5Hz且交流电源能够提供的最
大功率不低于10倍的测试功率。稳压电源的包括13次谐波的总谐波失真不得大于2%。测试
电压的峰值应当介于其有效值的1.34和1.49倍之间。
2.1.2 测量仪表要求
应使用经过校准并满足SPEC组织要求的功率计。
2.1.3 测试负载要求
测试回路应该尽可能短,以避免由于测试线路过长引起的测量误差。
2.1.4 测试环境要求
测试环境温度应该保持在1535范围内,相对湿度为2575,大气压力为86
kPa106kPa,测试中靠近样品处的空气流动速度应不大于0.5m/s,不应采用外部的风扇
空调或散热器来降低待测样品的温度。测试中,样品应置于非导热材料上。
2.2 系统部署
下图为整机能耗测试时采用的系统部署图,整机能耗测试遵循SPEC组织要求,其他测
试采用单机部署。

功率计
测试控制台
被测服务器
网线
串口线
电源线
4
2.3 硬件配置要求
2.3.1 被测服务器硬件配置
见测试配置要求。
2.3.2 总体配置要求
1) 送测设备配置必须与配置要求严格一致
2) 能耗测试时必须启用正常的设备功能,所有设备端口必须可用,如服务器远程管理
卡RAID卡网卡USB接口等电源模块风扇数量硬盘数量容量等均使用投
标配置
3) 操作系统安装完成后允许厂家通过配置优化系统环境,但是不得停止卸载操作系
统默认安装的服务及程序
4) 能耗测试过程中,设备的机箱盖后挡板必须完整,不得增加除了机房空调外的冷
却设备
5) 厂家必须提前准备好被测服务器的软硬件环境,设备进场上电后经过简单的环境配
置就可以进行正式测试,不得在测试现场进行安装调试。
6) 正式测试期间,训练型服务器PCIe拓扑统一采用Balance拓扑,即根据PCIe资源将人
工智能加速卡平均分配到各个CPU。
2.3.3 电源配置
测试环境设备电源模块的数量必须使用投标配置,测试环境下设备电源模块必须与
厂家说明书中的说明一致。
2.3.4 风扇配置
测试环境设备风扇配置数量必须使用投标配置,允许风扇根据环境温度及设备温度
自动调节转速,禁止手工强制停止或降低风扇转速。
2.3.5 磁盘要求
硬盘和RAID卡必须使用投标配置。系统如果有磁盘节能技术如磁盘休眠,禁止
在测试过程中采用。
2.3.6 I/O端口要求
设备所配置的I/O端口必须启用。
2.3.7 配合设备要求
参测厂商需同时提供机柜内光纤,办公区网线等配合物料。
2.4 操作系统/软件配置要求
2.4.1 操作系统要求
操作系统 版本要求
Linux Ubuntu 20.04
5
3 测试方法
3.1 测试工具
测试过程中所需测试软硬件设备,包括测试仪表等。
测试工具名称 测试仪表型号
压力测试工具 Stress 1.0.4
功耗测试工具 横河功率计WT310
人工智能加速卡驱动版

NVIDIA 470.161.03
A800-9000-npu-driver6.0
3.2 具体测试方法
1) 配置检验测试主要是通过检查相关设备的外观或第三方评测工具另外还包括开机
自检界面BIOS设置界面等进行验证。
2) 功能测试主要采用实际操作验证的方法检查实际功能。
3) 可靠性测试主要是检查相关模块冗余情况模拟故障情况长时间满负荷运行等手
段来检验其可靠性。
4) 性能测试主要通过上面列出的对应测试工具通过运行计算后得出各项具体的性能值
5) 整机能耗测试主要测试被测服务器在满负荷负载下的实际功率表现。
3.3 同质化检验
3.3.1 同质化鉴定标准
测试组会根据配置检验测试测试项目,进行同质化判定,符合以下任意一点,可
判定为同质化服务器,判定为同质化的服务器:
1) 送测服务器厂商品牌与其他参与投标厂商品牌相同
2) 送测服务器主板生产厂商品牌与其他投标厂商品牌相同
3) 送测服务器主板生产厂商品牌与其他送测服务器主板生产厂商品牌相同
4) 内部构造主板上主要部件的分布位置数量及颜色等进行判断,包括CPU内存
槽位风扇电源PCIe插槽位置等相似度80%以上,判断权重如下:
部件 评判标准 权重
CPU 在主板中的相对位置数量是否一致 30%
内存槽位 在主板中的相对位置数量是否一致 20%
风扇 机箱内部风扇的相对位置数量是否一致 20%
电源 相对主板的位置数量是否一致 15%
PCI-e插槽
PCI-
e插槽在主板中的相对位置类型速率规格数
量是否一致
15%
5) 外部构造服务器前面板及后面板的布局,包括硬盘前面板接口电源后面板
接口等相似度80%以上, 判断权重如下:
部件 评判标准 权重
6
部件 评判标准 权重
硬盘 分布位置数量托架颜色是否一致 20%前面板
前面板接口 USBVGA等接口的接口类型数量分布位
置是否一致
30%
电源 电源分布数量尺寸是否一致 30%
硬盘 分布位置数量托架颜色是否一致 15%
后面板
后面板接口 USBVGA等接口的位置类型数量是否一

5%
3.3.2 同质化处理方法
1) 参测厂家送测样品主板生产厂商品牌与其他测试厂商品牌相同的投标人,则测试组
将判定该厂家同质化检测不合格,取消测试资格
2) 如多个参测厂家的主板生产厂商一致,则视以下情况进行处理:
a) 各参测厂家均未出具送测样品主板生产厂家唯一授权,则各参测厂家需自行
协商保留一名参测厂家继续参与本次测试,其余同质化厂家须退出本次测试
,若无法在测试时间内自行协商一致,则判定所有相关参测厂家同质化检验
均不合格
b) 如某参测厂家出具送测样品主板生产厂家的唯一授权,则测试组将判定其余
相关参测厂家同质化检验均不合格
c) 如多名参测厂家出具送测样品主板生产厂家的唯一授权,则测试组将判定所
有相关参测厂家同质化检验均不合格
3) 对于其他方法判定为同质化的样品,各参测厂家需自行协商保留一名参测厂家继续
参与本次测试,其余同质化厂家须退出本次测试,若无法在测试时间内自行协商
一致,则判定所有相关参测厂家同质化检验均不合格。
3.4 测试评判标准
本方案测试项均为必测测试项
1) 配置检验测试,可靠性测试,压力测试中的测试项须全部通过,若其
中有一项用例不通过则视为不合格
2) 在正式测试过程中,因送测设备自身软硬件原因导致送测设备宕机关键组件出现
重大安全告警设备不稳定等问题的,该测试设备也视为不合格。
7
4 测试用例
4.1 配置检验测试
4.1.1 机器外观检测
测试编号 CU-PCS-T0411
测试目的 验证被测服务器产品外观信息是否与厂家标称值一致
测试条件
测试过程 1.
检测产品上标注的名称型号SN序列号检查铭牌检查印刷信息是否无覆盖或多层粘贴
2. 检测服务器机箱的结构,测量机箱的尺寸和高度。
预期结果 1. 产品外观信息与厂家标称值一致铭牌清楚明白印刷信息清楚明白
2.
检测被测服务器的机箱构架尺寸规格符合中国联通对应典型配置要求,提供上架套件
高度均应为U的倍数
主要部件支持免工具拆装
测试说明 Height:mm
Width:mm
Depth:mm
免工具拆装:
注:1U44.5mm1.75英寸
测试结果 名称:
型号:
SN序列号:
铭牌:
Height:mm
Width:mm
Depth:mm
4.1.2 CPU配置检测
测试编号 CU-PCS-T0412
测试目的 检测服务器实际配置的CPU型号主频内核数各级缓存以及CPU数量等信息。
测试条件
测试过程 1. 检查CPU背面印刷信息及主板CPU插座数量
2. 通过BIOS读取CPU信息
预期结果 各种测试方式获取的信息一致,配置与厂商标称一致
测试说明
测试结果 型号:
主频:
内核:
缓存:
8
数量:
4.1.3 人工智能加速卡检测
测试编号 CU-PCS-T0413
测试目的 检测人工智能加速卡的型号生产厂商序列号
测试条件 设备预装Linux操作系统并且各驱动程序安装正常
测试过程 1拆机查看人工智能加速卡型号信息及人工智能加速卡设备插槽数量并拍照
2在操作系统下,使用命令查询人工智能加速卡的厂家型号固件版本显存信息
预期结果 记录人工智能加速卡详细信息
核对开箱查看的人工智能加速卡信息和系统下读取的人工智能加速卡信息一致
测试说明
测试记录
4.1.4 主板配置检测
测试编

CU-PCS-T0414
测试目

检测被测服务器主板的核心信息
测试条

测试过

1.
整机正面,俯视,后部正视等角度分别拍照,获取如下信息:主板生产商
信息PCIE插槽类型和数量USB,COM,VGA,BMC管理口,数量和位

2. 通过BIOS信息读取,可检测到BIOS版本信息
预期结

获取的信息完整,且和厂商标称一致
测试说

测试结

主板生产商信息:
PCIE插槽类型和数量:
USB数量和位置:
COM数量和位置:
VGA数量和位置:
BMC管理口数量和位置:
单板管理芯片BMC的芯片信息
可检测到BIOS版本信息
4.1.5 内存配置检测
测试编号 CU-PCS-T0415
测试目的 检测被测服务器的内存槽位数实配数型号频率容量等信息。
测试条件
9
测试过程 1.
机箱俯视拍照,查看主板上内存槽位的分布及数量已插入条数内存空置槽位数量
2.
拔出内存条,对该内存条进行近处拍照正反面,查看内存厂家型号频率容量
预期结果 各种测试方式获取的信息一致,配置与厂商标称一致
测试说明
测试结果 槽位数:
实配数:
厂商:
型号:
频率:
容量:
4.1.6 硬盘配置检测
测试编号 CU-PCS-T0416
测试目的 检测服务器的硬盘最大支持个数,实配数型号容量接口类型
测试条件
测试过程 1.
被测服务器正面,后面拍照,查看被测服务器硬盘最大支持个数,
实配数
2.
拔出硬盘,对该硬盘进行近处拍照正面,后面接口,查看实配硬
盘型号容量转速仅HDD检测接口类型
预期结果 各种测试方式获取的信息一致,配置与厂商标称一致
测试说明
测试结果 最大支持个数:
实配数:
厂商:
型号:
容量:
接口类型:
4.1.7 RAID卡配置检测
测试编号 CU-PCS-T0417
测试目的 检测RAID卡是否板载是否支持电池/电容连接线接口型号芯片缓存大小
测试条件
测试过程 1.
被测RAID卡拍照,查看是板载还是插卡,是否支持电池/电容保护,连接线接口类型
2. 读取RAID信息,包括RAID卡型号芯片型号缓存大小等
预期结果 各种测试方式获取的信息一致,配置与厂商标称一致具备缓存保护机制。
10
测试说明
测试结果 板载/插卡:
是否支持电池/电容保护:
连接线接口类型:
RAID卡型号:
RAID卡芯片型号:
缓存大小:
4.1.8 网络适配器检测
测试编号 CU-PCS-T0418
测试目的 检测网络适配器的型号接口类型接口速率接口数量
测试条件
测试过程 1. 被测网卡拍照,查看被测网卡数量和类型
2.
通过BMC读取网卡信息,包括型号接口类型接口速率接口数量等
预期结果 各种测试方式获取的信息一致,配置与厂商标称一致
测试说明
测试结果 型号:
接口类型:
接口速率:
接口数量:
4.1.9 电源配置检测
测试编号 CU-PCS-T0419
测试目的 检验电源品牌型号输出功率转换效率
检测被测服务器的电源模块数量
测试条件
测试过程 1. 被测试电源模块拍照,电源模块信息包含电源品牌型号输出功率转换效率
2. 被测试服务器整机拍照,整机信息包含支持的电源模块数量
预期结果 电源配置与厂家标称值一致
测试说明 80PLUS认证标志或产品标识能效转换效率:
注:电源转换效率是衡量电源等级的重要参数,金牌电源的转换效率大于80%,铂金电源大于90%
测试结果 品牌:
型号:
输出功率: W
转换效率:
个数:
11
4.1.10 散热风扇检测
测试编号 CU-PCS-T04110
测试目的 检验风扇型号直径转速
检测被测服务器的风扇个数内部散热设计
测试条件
测试过程 1. 被测试风扇拍照,查看风扇型号直径转速
2. 被测试服务器整机拍照,整机信息包含风扇个数和内部散热设计
预期结果 检测到风扇信息应该与厂商标称值一致。
测试说明
测试结果 型号:
直径: mm
转速:
风扇个数:
内部散热设计:
12
4.2 管理功能测试
4.2.1 本地管理功能
4.2.1.1 设备状态指示灯显示功能测试
测试编号 CU-PCS-T4211
测试目的 检测被测服务器是否具备基本状态指示灯,包括但不限于:
电源指示灯
硬盘指示灯
健康状况指示灯
网络状态指示灯
测试条件 1. 被测服务器电源供电正常
测试过程 1.
接入电源,查看设备前面板电源指示灯并记录状态和颜色显示,查
看所有电源模块是否具备指示灯并记录状态颜色
2.
摁下开机按钮,观察电源指示灯并记录状态和颜色显示及变化,查
看并记录硬盘指示灯及网络指示灯颜色显示变化
3. 拔掉一个电源模块,查看健康状况指示灯变化
预期结果 设备各部件具备状态指示灯并能针对相应状态变化显示
测试说明
测试结果 1. 前面板电源指示灯状态: ,颜色: 状态: ,颜色:
2. 电源模块指示灯状态: ,颜色: 状态: ,颜色:
3. 硬盘指示灯状态: ,颜色: 状态: ,颜色:
4. 网络状态指示灯状态: ,颜色: 状态: ,颜色:
5. 健康状态指示灯状态: ,颜色: 状态: ,颜色:
4.2.2 远程管理功能
4.2.2.1 远程登录功能测试
测试编号 CU-PCS-T4221
测试目的 1. 检测设备具备BMC模块,提供独立的网络管理端口
2. 检测网络管理端口可配置IP进行远程接入管理
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
接入设备电源,连接网络管理端口至测试用笔记本的网络端口,配
置相同网段互通IP地址
2. 通过Web浏览器或Client接入网络管理端口提供的管理地址
3.
输入用户名和密码能够进入被测设备的远程管理界面,查看界面
功能生效,并截图
13
预期结果 1. 服务器具备BMC管理模块,提供独立的网络管理端口接入
2. 服务器BMC模块工作正常,网络管理端口接入及界面正常
测试说明
测试结果
4.2.2.2 资产管理功能测试
测试编号 CU-PCS-T4222
测试目的 检测设备支持通过管理接口进行资产管理
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密
码,登录进入远程管理界面
2.
进入资产管理相关界面或通过命令行,查看资产管理相关信息,须
具备以下内容:服务器的整机型号生产厂商序列号用户自定
义的服务器资产标签Asset Tag
3. 读取以上所要求资产管理信息并截图
预期结果 被测设备管理监控信息清晰完备
测试说明
测试结果 服务器的整机型号
生产厂商
序列号
用户自定义的服务器资产标签Asset Tag
4.2.2.3 远程控制功能测试
测试编号 CU-PCS-T4223
测试目的 验证通过网络远程管理界面对被测服务器可进行开机重启关机操作
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密码,登录进入远程管理界面
2. 参照设备远程管理操作手册进行如下操作:
3. 进行开机操作,观察接入设备的显示器信息
4. 进入设备操作系统后,自远程管理界面进行重启操作,观察接入设备的显示器信息
5. 重启进入操作系统后,自远程管理界面进行关机操作,观察接入设备的显示器信息
预期结果 可以远程对被测试服务器进行开机重启关机操作
测试说明 1. 步骤3中,设备开始启动
2. 步骤4中,设备进行重启
3. 步骤5中,设备正常关机
14
测试结果
4.2.2.4 电源监控功能测试
测试编号 CU-PCS-T4224
测试目的 验证被测服务器支持电源监控功能
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密码,登录进入远程管理界面
2. 进入被测服务器管理界面,或者通过命令行方式,查看电源监控信息
预期结果 可以监控到被测试服务器电源信息
测试说明
测试结果 可以监控的电源列表
4.2.2.5 历史功耗查询功能测试
测试编号 CU-PCS-T4225
测试目的 验证被测服务器支持历史功耗查询功能
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常。
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密码,登录进入远程管理界面
2. 在远程管理界面上,可以查询到被测试服务器的历史功耗数据。
预期结果 远程管理界面支持历史功耗数据查询。
测试说明
测试结果
4.2.2.6 温度监控功能测试
测试编号 CU-PCS-T4226
测试目的 验证被测服务器支持温度监控功能
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密码,登录进入远程管理界面
2. 进入被测服务器管理界面,或者通过命令行方式,查看温度监控信息。
预期结果 可以监控到被测试服务器温度信息CPU温度,进风口温度等
测试说明
测试结果 可以监控的温度列表
15
4.2.2.7 RAID卡信息动态监控功能测试
测试编号 CU-PCS-T4227
测试目的 验证被测服务器支持RAID卡信息动态监控功能
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密
码,登录进入远程管理界面
2.
进入被测服务器管理界面,查看RAID卡信息:RAID卡型号RAID卡状态
是否故障RAID类型逻辑盘数量物理盘数量
预期结果 可以监控到被测试服务器RAID卡信息
测试说明
测试结果 RAID卡型号
RAID卡状态是否故障
RAID类型
逻辑盘数量
物理盘数量
4.2.2.8 风扇监控功能测试
测试编号 CU-PCS-T4228
测试目的 验证被测服务器支持风扇监控功能
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密码,登录进入远程管理界面
2. 进入被测服务器管理界面,或者通过命令行方式,查看风扇监控信息。
预期结果 可以监控到被测试服务器风扇信息转速或百分比
测试说明
测试结果 风扇转速
风扇转速百分比
4.2.2.9 故障告警测试
测试编号 CU-PCS-T42209
测试目的 1. 验证被测设备远程管理系统提供统一告警平台
2. 验证告警信息的分级显示
3. 验证告警信息处理完成后的状态消除及显示
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密码,登录进入远程管理界面
2. 进入统一告警平台界面查看告警信息
3. 被测设备加电运行正常启动操作系统
16
4. 模拟以下异常信息并查看告警台,包括电源插拔风扇插拔硬盘插拔等
5. 恢复异常处理,查看告警台
6. 查看系统日志记录
预期结果 1. 步骤2中被测设备管理告警台无信息
2. 步骤4中异常信息准确出现在告警台,并分优先级显示
3. 步骤5中告警信息处理完毕后自告警台显示处理完成状态或消除
4. 系统日志记录异常信息及恢复信息等
5. 电源硬盘故障,有单独的指示灯
测试说明
测试结果 管理软件硬盘故障告警
管理软件电源故障告警
管理软件风扇故障告警
硬盘故障单独指示灯告警
电源故障单独指示灯告警
4.2.2.10 虚拟光驱文件测试
测试编号 CU-PCS-T42210
测试目的 1. 验证被测设备远程管理接入后支持虚拟光驱
2. 验证被测设备远程管理接入后支持远程挂载文件夹
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密
码,登录进入远程管理界面
2.
自管理界面进入虚拟光驱界面,可以模拟插入光盘镜像ISO文件,
并可以引导进行系统安装
3.
自管理界面将测试电脑文件夹挂载至被测服务器,在被测服务器
操作系统下可以识别并打开该文件夹
预期结果 1. 被测设备远程管理支持虚拟光驱功能
2. 被测设备远程管理接入后支持远程挂载文件夹
测试说明
测试结果 管理软件支持虚拟光驱
管理软件支持远程文件夹挂载
4.2.2.11 远程安装操作系统测试
测试编号 CU-PCS-T42211
测试目的 验证被测设备可通过远程管理软件进行操作系统远程安装
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测服务器网络管理地址,输入管理员用户名/密码,登录进入远程管理界面
17
2. 自管理界面进行远程操作系统安装操作
预期结果 能够对服务器进行安装操作系统操作。
测试说明 步骤2中操作系统安装成功
测试结果
4.2.2.12 设备远程连接安全性测试
测试编号 CU-PCS-T42212
测试目的 验证被测设备远程管理连接采用加密方式
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1. 使用http方式通过Web浏览器登录,无法登录或自动跳转到https
2. 使用https方式通过Web浏览器登录,可以登录
预期结果 http方式无法通过Web浏览器登录被测试服务器管理界面,https方式可以登录
测试说明
测试结果
4.2.2.13 用户密码安全性测试
测试编号 CU-PCS-T42213
测试目的 验证被测设备远程管理支持用户管理安全功能
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密
码,登录进入远程管理界面
2.
通过管理界面进行密码复杂度的安全功能测试,记录密码复杂度
要求规则,如密码是否必须有特殊字符大小写字母数字密码
长度要求等的限制
3.
通过管理界面进行密码有效期部分的功能测试,记录是否可以进
行有效期时间的设置
4.
通过管理界面进行密码登录失败锁定的功能测试,记录密码输入
有误被锁定的次数是否可以设置
预期结果 上述测试步骤234中密码复杂度密码有效期密码登录失败锁
定功能满足要求
测试说明
测试结果 密码复杂度要求
密码有效期设置
登录失败锁定次数
18
4.2.2.14 用户权限管理测试
测试编号 CU-PCS-T42214
测试目的 验证被测设备远程管理接入用户分级管理,并可创建用户用户组
及定义权限
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密
码,登录进入远程管理界面
2. 查看并验证管理员用户具备所有最高权限,进行密码修改
3.
重新进行远程管理登录,输入管理员用户名及原密码,无法登录系
统,输入新密码,登录进入系统,密码修改生效
4.
进入用户用户组管理界面,进行用户及用户组权限赋予权限删
除等操作
5.
重新用新创建的用户及密码登录管理界面,进行权限内操作及权
限外操作,查看是否生效
预期结果 能够对服务器进行安装操作系统操作。
测试说明 1. 管理员可为服务器配置不同权限的用户及用户组
2. 步骤5中用户超权限操作时,操作被拒绝
测试结果
4.2.2.15 BIOS升级测试
测试编号 CU-PCS-T42215
测试目的 验证被测设备可通过远程管理软件进行BIOS系统的补*升级
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
3. 准备2个BIOS版本
测试过程 1. 进入被测设备操作系统,并在开机自检画面记录主板BIOS版本号
2.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密码,登录进入远程管理界面
3. 自管理界面按操作手册进行远程BIOS补*升级
4. 重新启动被测设备,在开机自检画面记录主板BIOS版本号,验证其为升级补*后的版本号
预期结果 1. 步骤3中被测设备操作系统运行正常,BIOS文件上传成功
2. 步骤4中重启后管理界面显示升级后的主板BIOS版本
测试说明
测试结果
19
4.2.2.16 BMC升级测试
测试编号 CU-PCS-T42216
测试目的 验证被测设备可通过远程管理软件进行BMC系统的补*升级
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
3. 准备2个BMC版本
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密码,登录进入远程管理界面
2. 记录BMC版本信息
3. 自管理界面按操作手册进行远程BMC补*升级
4. 设备保持启动状态,再次登录管理界面查看BMC版本信息,验证其为升级补*后的版本号
预期结果 1. 步骤3中被测设备操作系统运行正常
2. 步骤4中显示升级后的BMC版本信息
测试说明
测试结果
4.2.2.17 VNC管理功能测试
测试编号 CU-PCS-T42217
测试目的 验证被测设备可提供VNC KVM的远程管理界面
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1. 被测服务器启用VNC服务
2.测试电脑通过VNC
Viewer连接被测设备网络管理地址,登录进入远程管理界面
3.
经过认证能够进入被测设备的远程管理界面,查看界面功能生效,并截图
预期结果 1. VNC接入及界面正常,可接受测试电脑键盘输入
测试说明
测试结果
4.2.3 人工智能加速卡管理功能测试
4.2.3.1 人工智能加速卡资产管理功能测试
测试编号 CU-PCS-T4231
测试目的 验证可通过被测设备远程管理系统进行人工智能加速卡资产信息序列号的查看
测试条件 1.准备1台被测设备,设备电源供电正常
2.配置测试笔记本电脑被测设备管理端口接入同一网络
3.设备为稳定的商用BIOS版本
设备业务操作系统中已正确安装人工智能加速卡驱动
测试过程 1.通过测试笔记本电脑登录被测设备的管理地址
20
2.进入管理界面,查看人工智能加速卡的序列号SerialNumber信息
3.读取人工智能加速卡的序列号信息并截图
4.登录到业务操作系统中,查看相应人工智能加速卡的序列号并截图
对比3,4步查询出来的人工智能加速卡序列号,是否一致
预期结果 步骤3和步骤4查询出来的人工智能加速卡序列号一致
测试说明
测试结果
4.2.3.2 人工智能加速卡固件版本管理测试
测试编号 CU-PCS-T4232
测试目的 验证可通过被测设备远程管理系统进行人工智能加速卡固件版本的查看
测试条件 1.准备1台被测设备,设备电源供电正常
2.配置测试笔记本电脑被测设备管理端口接入同一网络
3.设备为稳定的商用BIOS版本
4.设备业务操作系统中已正确安装人工智能加速卡驱动
测试过程 1.通过测试笔记本电脑登录被测设备的管理地址
2.进入管理界面,查看人工智能加速卡的固件版本信息
3.读取人工智能加速卡的固件版本信息并截图
4.登录到业务操作系统中,查看相应人工智能加速卡的固件版本并截图
5.对比3,4步查询出来的人工智能加速卡固件版本信息一致
预期结果 步骤3和步骤4查询出来的人工智能加速卡固件版本信息一致
测试说明
测试结果
4.2.3.3 人工智能加速卡功耗监控测试
测试编号 CU-PCS-T4233
测试目的 验证可通过被测设备远程管理系统进行人工智能加速卡当前功耗的查看监控
测试条件 1. 准备1台被测设备,设备电源供电正常
2. 配置测试笔记本电脑被测设备管理端口接入同一网络
3. 设备为稳定的商用BIOS版本
4. 设备业务操作系统中已正确安装人工智能加速卡驱动
测试过程 1. 通过测试笔记本电脑登录被测设备的管理地址
2. 进入管理界面,查看人工智能加速卡当前功耗信息
3. 读取人工智能加速卡的功耗信息并截图
4. 登录到业务操作系统中,查看人工智能加速卡的当前功耗值并截图
5. 对比3,4步查询出来的人工智能加速卡当前功耗值
预期结果 步骤3和步骤4查询出来的人工智能加速卡当前功耗值基本一致
测试说明 现场测试采集步骤之间存在时间差,数据差距在10%以内即可
测试结果
4.2.3.4 人工智能加速卡温度监控测试
测试编号 CU-PCS-T4234
测试目的 验证可通过被测设备远程管理系统进行人工智能加速卡当前温度的查看监控
测试条件 1. 准备1台被测设备,设备电源供电正常
21
2. 配置测试笔记本电脑被测设备管理端口接入同一网络
3. 设备为稳定的商用BIOS版本
4. 设备业务操作系统中已正确安装人工智能加速卡驱动
测试过程 1. 通过测试笔记本电脑登录被测设备的管理地址
2. 进入管理界面,查看人工智能加速卡当前温度信息
3. 读取人工智能加速卡的温度信息并截图
4. 登录到业务操作系统中,来查看人工智能加速卡的当前温度值并截图
5. 对比3,4步查询出来的人工智能加速卡当前温度值
预期结果 步骤3和步骤4查询出来的人工智能加速卡当前温度值基本一致
测试说明 现场测试采集步骤之间存在时间差,数据差距在10%以内即可
测试结果
4.2.4 IPMI 2.0协议功能
4.2.4.1 IPMI USER 命令
4.2.4.1.1 用户数据库查询
测试编号 CU-PCS-T42411
测试目的 验证被测服务器支持用户数据库查询功能
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试电脑上运行ipmitool -H ... -I lanplus -U -P user
summary,查询用户数据库概要信息
预期结果 被测服务器返回IPMI用户数据库摘要信息,包含最大用户数启用用户数固定用户数等
测试说明
测试结果 最大用户数:
启用用户数:
固定用户数:
4.2.4.1.2 BMC用户查询
测试编号 CU-PCS-T42412
测试目的 验证被测服务器支持BMC用户查询
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行ipmitool -H ... -I lanplus -U -P
user list,查询BMC用户信息
预期结果 被测服务器返回BMC用户信息
测试说明
测试结果
22
4.2.4.2 IPMI LAN 命令
4.2.4.2.1 查询LAN接口参数配置信息
测试编号 CU-PCS-T42421
测试目的 验证被测服务器支持LAN接口参数配置信息查询
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行 ipmitool -H ... -I lanplus -U -P lan
print 1,打印Lan 参数配置信息
预期结果 被测设备返回LAN接口参数配置信息,包含IP地址掩码网关MACSNMP
Community等
测试说明
测试结果 IP:
掩码:
网关:
MAC:
4.2.4.3 IPMI SOL 命令
4.2.4.3.1 SOL参数信息查询
测试编号 CU-PCS-T42431
测试目的 验证被测服务器支持SOL参数信息查询
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行ipmitool -H ... -I lanplus -U -P
sol info,显示SOL参数配置信息
预期结果 被测设备返回IPMI
SOL的参数信息,例如:是否启用SOL重试次数重试间隔等参数
测试说明
测试结果 SOL是否启用
重试次数
重试间隔
4.2.4.3.2 KVM over IP
测试编号 CU-PCS-T42432
测试目的 验证被测服务器支持IPMI模拟KVM
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 1. 通过IPMI命令重启被测服务器
2. 在被测服务器OS上进行配置,以支持KVM OVER IPMI SOL
3. 在测试电脑上运行ipmitool -H ... -I lanplus -U -P
sol activate,建立SOLKVM会话
4. 在测试笔记本上运行ipmitool -H ... -I lanplus -U
23
-P sol deactivate,去激活SOLKVM会话
预期结果 在步骤3中,笔记本上可以查看服务器启动的POST信息输出,被测
服务器可以接受测试笔记本的键盘输入
测试说明
测试结果 支持KVM over IP:是/否
4.2.4.4 IPMI BMC命令
4.2.4.4.1 获取BMC相关信息
测试编号 CU-PCS-T42441
测试目的 验证被测服务器支持获取BMC相关信息
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行 ipmitool -H ... -I lanplus -U -P
mc info,查询BMC的版本信息
预期结果 被测设备返回BMC固件版本IPMI版本设备是否可用额外支持
的设备(如SDRSELFRUChassis)等相关信息
测试说明
测试结果 BMC固件版本:
IPMI版本:
设备是否可用:
额外支持的设备(如SDRSELFRUChassis):
4.2.4.5 IPMI Power 命令
4.2.4.5.1 IPMI 远程开机
测试编号 CU-PCS-T42451
测试目的 验证被测服务器支持通过IPMI指令进行远程开机
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 1. 在测试笔记本上运行IPMITool命令,执行ipmitool -H ... -I
lanplus -U -P power on,远程开机
2. 在测试笔记本上运行IPMITool命令,执行ipmitool -H ... -I
lanplus -U -P power status,获取底板电源状态信息
预期结果 被测设备能够通过IPMI指令进行远程开机
测试说明
测试结果
4.2.4.5.2 IPMI 远程关机
测试编号 CU-PCS-T42452
测试目的 验证被测服务器支持通过IPMI指令进行远程关机
测试条件 1. 被测服务器电源供电正常
24
2. 测试电脑安装IPMITool测试软件
测试过程 1. 在测试笔记本上运行IPMITool命令,执行ipmitool -H ... -I
lanplus -U -P power off,远程关机
2. 在测试笔记本上运行IPMITool命令,执行ipmitool -H ... -I
lanplus -U -P power status,获取底板电源状态信息
预期结果 被测设备能够通过IPMI指令进行远程关机
测试说明
测试结果
4.2.4.5.3 IPMI 远程复位
测试编号 CU-PCS-T42453
测试目的 验证被测服务器支持通过IPMI指令进行远程复位
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 1. 在测试笔记本上运行IPMITool命令,执行ipmitool -H ... -I
lanplus -U -P power reset
2. 在测试笔记本上运行IPMITool命令,执行ipmitool -H ... -I
lanplus -U -P power status,查询电源状态信息
预期结果 被测设备能够通过IPMI指令进行远程复位
测试说明
测试结果
4.2.4.6 IPMI FRU命令
4.2.4.6.1 获取 FRU 设备的信息
测试编号 CU-PCS-T42461
测试目的 验证被测服务器支持通过IPMI指令获取设备信息
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行 ipmitool -H ... -I lanplus -U -P
fru,获取设备信息
预期结果 被测设备返回可FRU(可现场更换的器件)信息,包括主板厂家主
板序列号主板产品ID,被测设备型号被测设备厂家被测设备序
列号等
测试说明
测试结果 主板厂家:
主板序列号:
主板产品ID
被测设备型号:
被测设备厂家:
被测设备序列号:
25
4.2.4.7 IPMI RAW 命令
4.2.4.7.1 通过 IPMI 获取整机功耗
测试编号 CU-PCS-T42471
测试目的 验证被测服务器支持通过IPMI指令获取整机功耗
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行ipmitool -H ... -I lanplus -U -P
raw 0x30 0x16,获取整机功耗
预期结果 被测设备返回设备的整机功耗
测试说明 厂家提供相应的二进制指令
测试结果
4.2.4.8 IPMI SDR 命令
4.2.4.8.1 获取 SDR 相关信息
测试编号 CU-PCS-T42481
测试目的 验证被测服务器支持SDR信息获取
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行IPMITool命令,执行ipmitool -H ... -I
lanplus -U -P sdr info,查询SDR 的相关信息
预期结果 被测设备返回SDR的版本记录数(传感器数量)剩余空间等信息
测试说明
测试结果 SDR版本:
记录数(传感器数量):
剩余空间:
4.2.4.8.2 获取传感器状态信息
测试编号 CU-PCS-T42482
测试目的 验证被测服务器全部传感器信息获取功能
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行ipmitool -H ... -I lanplus -U -P
sdr list,获取全部传感器状态信息
预期结果 被测设备返回SDR中全部的传感器状态信息,记录传感器数量
测试说明
26
测试结果 查询信息
4.2.4.9 IPMI SEL 命令
4.2.4.9.1 查询SEL信息
测试编号 CU-PCS-T42491
测试目的 验证被测服务器支持SEL信息查询
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行ipmitool -H ... -I lanplus -U -P sel
info,显示SEL相关信息
预期结果 被测设备返回SEL版本信息条目数剩余空间存储空间使用率是否溢出最后添加时间等信息
测试说明
测试结果
4.2.4.9.2 查询SEL日志信息
测试编号 CU-PCS-T42492
测试目的 验证被测服务器支持SEL日志信息查询
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行ipmitool -H ... -I lanplus -U -P
sel list,查询SEL日志信息
预期结果 查询被测服务器SEL保存的日志信息
测试说明
测试结果
4.2.5 SNMP接口协议功能
4.2.5.1 SNMP 协议版本支持测试
测试编号 CU-PCS-T4251
测试目的 验证被测设备远程管理系统支持SNMPv3版本,并提供MIBTrap
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装MIB-BROWSER测试软件
测试过程 在被测服务器上配置SNMP V3协议,使用MIB-BROWSER以SNMP
V3方式访问设备
预期结果 测试电脑可以通过SNMP V3方式访问被测服务器
测试说明
27
测试结果
4.2.5.2 MIB 库支持测试
测试编号 CU-PCS-T4252
测试目的 验证被测服务器提供MIB库的功能List
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装MIB-BROWSER测试软件
测试过程 1. 测试电脑配置MIB-
BROWSER读取被测设备提供的固定版本MIB库
2. 记录MIB库所支持的GetSet等叶子节点功能项及数量>1000
3. 抽查MIB库所支持的GetSet等叶子节点功能项
预期结果 1. 记录被测设备MIB库List内容功能完整度
2. 抽查被测设备MIB库功能
测试说明
测试结果
4.2.6 Redfish接口协议功能
4.2.6.1 查询指定CPU资源信息
测试编号 CU-PCS-T4261
测试目的 验证通过Redfish接口查询指定CPU资源信息功能
测试条件 1. 服务器电源正常上电
2. 服务器裸机,未安装任何操作系统及相应 Agent
3. 使用稳定的商用版本BIOS
4.
服务器管理口创建用户,包括用户名密码,并赋予用户权限为管理权限
5. 配置测试笔记本电脑通过网络接入被测设备独立网络管理接口
6. 测试笔记本电脑安装 Postman 工具,并正确配置
测试过程 1. 在测试机 Postman 上运行 Redfish 命令,执行 Get 操作,URL:
http://**,deviceip
为 BMC IP 地址,cpuid 为 CPU 资源 ID
2. 查看Redfish命令的响应信息,结果 1
3. BMC WEB或者命令行查看服务器在位 CPU 的信息,结果 2
4. 重复步骤 1-3,遍历查询所有在位 CPU 的信息
预期结果 1.结果 1 中的响应信息包括下列信息:
厂商型号主频核数线程数序列号
2. 结果 2 中通过 BMC WEB 或者命令行查询信息和结果 1 中通过
Redfish 接口查询的 CPU 信息结果一致
测试说明 URL可按照厂家提供路径
测试结果
28
4.2.6.2 查询指定内存资源信息
测试编号 CU-PCS-T4262
测试目的 验证通过Redfish接口查询指定内存资源信息功能
测试条件 1. 服务器电源正常上电
2. 服务器裸机,未安装任何操作系统及相应 Agent
3. 使用稳定的商用版本BIOS
4.
服务器管理口创建用户,包括用户名密码,并赋予用户权限为管理权限
5. 配置测试笔记本电脑通过网络接入被测设备独立网络管理接口
6. 测试笔记本电脑安装 Postman 工具,并正确配置
测试过程 1. 在测试机 Postman 上运行 Redfish 命令,执行 Get 操作,URL:
http://** , deviceip 为
BMC IP 地址,Memoryid 为内存资源 ID
2. 查看 Redfish 命令的响应信息,结果 1
3. BMC WEB 或者命令行查看服务器在位内存信息,结果 2
4. 重复步骤 1-3,遍历查询所有在位内存的信息
预期结果 1. 结果 1 中的响应信息包括下列信息:
厂商类型型号容量频率序列号
2. 结果 2 中通过BMC WEB 或者操作系统命令查询信息和结果 1 中通过
Redfish 接口查询的内存信息结果一致
测试说明 URL可按照厂家提供路径
测试结果
4.2.6.3 查询服务器指定存储控制器资源信息
测试编号 CU-PCS-T4263
测试目的 验证通过Redfish接口获取服务器指定存储控制器资源信息功能
测试条件 1. 服务器电源正常上电
2. 服务器裸机,未安装任何操作系统及相应 Agent
3. 使用稳定的商用版本BIOS
4.
服务器管理口创建用户,包括用户名密码,并赋予用户权限为管理
权限
5. 配置测试笔记本电脑通过网络接入被测设备独立网络管理接口
6. 测试笔记本电脑安装 Postman 工具,并正确配置
测试过程 1. 在测试机 Postman 上运行 Redfish 命令,执行 Get 操作,URL:
http://** ,
deviceip 为 BMC IP 地址,systemid 为机箱资源 ID,storageid
存储资源 ID
2. 查看 Redfish 命令的响应信息,记为结果 1
3. 通过 BMC WEB 界面或者命令行查看服务器 RAID 卡信息,结果 2
29
4. 重复步骤 1-4,遍历查询所有 RAID 卡信息
预期结果 1. 结果 1 中的响应信息包括下列信息:
RAID卡厂商型号缓存大小
2. 结果 2 中通过BMC WEB 或者操作系统命令查询信息和结果 1
中通过 Redfish 接口查询的存储控制器信息结果一致
测试说明 URL可按照厂家提供路径
测试结果
4.2.6.4 查询服务器指定硬盘资源信息
测试编号 CU-PCS-T4264
测试目的 验证通过Redfish接口获取服务器指定存储控制器资源信息功能
测试条件 1. 服务器电源正常上电
2. 服务器裸机,未安装任何操作系统及相应 Agent
3. 使用稳定的商用版本BIOS
4.
服务器管理口创建用户,包括用户名密码,并赋予用户权限为管理
权限
5. 配置测试笔记本电脑通过网络接入被测设备独立网络管理接口
6. 测试笔记本电脑安装 Postman 工具,并正确配置
测试过程 1. 在测试机 Postman 上运行 Redfish 命令,执行 Get 操作,URL:
http://**
,deviceip 为 BMC IP 地址,systemid 为机箱资源 ID,storageid
存储资 源 ID,获取驱动器列表
2. 在测试机 Postman 上运行 Redfish 命令,执行 Get 操作,URL:
http://** ,
deviceip 为 BMC IP 地址,chassisid 为机箱资源
ID针对机架服务器,取值为 1, drivesid 硬盘 ID,获取硬盘信息
3. 查看 Redfish 命令的响应信息,结果 1
4. 通过 BMC WEB 界面或者命令行查看服务器硬盘信息,结果 2
5. 重复步骤 1-4,遍历查询所有硬盘的信息
预期结果 1. 结果 1 中的响应信息包括下列信息:
厂商型号接口类型介质类型容量固件版本序列号
2. 通过 BMC WEB 界面或者操作系统命令查询的硬盘信息和通过
Redfish 接口查询的硬盘信息一致
测试说明 URL可按照厂家提供路径
测试结果
4.2.6.5 查询服务器指定网卡资源信息
测试编号 CU-PCS-T4265
测试目的 验证通过Redfish接口获取服务器指定存储控制器资源信息功能
测试条件 1. 服务器电源正常上电
30
2. 服务器裸机,未安装任何操作系统及相应 Agent
3. 使用稳定的商用版本BIOS
4. 服务器管理口创建用户,包括用户名密码,并赋予用户权限为管理
权限
5. 配置测试笔记本电脑通过网络接入被测设备独立网络管理接口
6. 测试笔记本电脑安装 Postman 工具,并正确配置
测试过程 1. 在测试机 Postman 上运行 Redfish 命令,执行 Get 操作,URL:
http://**, deviceip
为 BMC IP 地址,chassisid 为机箱资源 ID,获取网卡资源列表
2. 查看 Redfish 命令的响应信息,记为结果 1
3. 在测试机 Postman 上运行 Redfish 命令,执行 Get 操作,URL:
http://**
ptersid,deviceip 为 BMC IP 地址,chassisid 为机箱资源 ID,
networkadaptersid 网卡 ID
4. 查看 Redfish 命令的响应信息,记为结果 2
5. 通过 BMC WEB 界面或者命令行查看服务器网卡信息,记为结果 3
6. 重复步骤 1-4,遍历查询所有网卡的信息
预期结果 1. 结果 2 中的响应信息包括下列信息:
芯片厂商型号接口类型网卡厂商位置
2. 通过 BMC WEB 界面或者命令行查询的网卡信息结果 3 和通过
Redfish 接口查询的网卡信息结果 2 一致
测试说明
测试结果
4.2.6.6 查询指定人工智能加速卡资源信息
测试编号 CU-PCS-T4266
测试目的 验证通过Redfish接口查询指定人工智能加速卡资源信息功能
测试条件 1. 服务器电源正常上电
2. 设备已安装规定操作系统并且驱动程序安装正常
3. 使用稳定的商用版本BIOS
4. 服务器管理口创建用户,包括用户名密码,并赋予用户权限为管理权限
5. 配置测试笔记本电脑通过网络接入被测设备独立网络管理接口
6. 测试笔记本电脑安装 Postman 工具,并正确配置
测试过程 1. 在测试机 Postman 上运行 Redfish 命令,执行 Get 操作,URL:
http://**,deviceip 为 BMC IP
地址,pciedevicesid为 人工智能加速卡所在PCIe 资源 ID
2. 查看Redfish命令的响应信息,结果 1
3. BMC WEB或者命令行查看服务器人工智能加速卡的信息,结果 2
4. 重复步骤 1-3,遍历查询所有在位人工智能加速卡的信息
预期结果 1.结果 1 中的响应信息包括下列信息:
名称芯片制造商型号固件版本序列号PCIe设备类型位置信息槽位号等信息
2. 结果 2 中通过 BMC WEB 或者命令行查询信息和结果 1 中通过 Redfish
接口查询的信息结果一致
测试说明 URL可按照厂家提供路径
31
测试结果
32
4.3 可靠性测试
4.3.1 磁盘冗余和热插拔测试
测试编号 CU-PCS-T0431
测试目的 检测磁盘冗余和热插拔
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1. 系统盘2块做RAID1
2. 拔掉一个系统盘
3. 重新插入一块新硬盘
预期结果 1. 拔掉系统盘后,被测服务器不出现复位重启等异常情况
2. 重新插入一块新硬盘,自动rebuilding
测试说明
测试结果
4.3.2 电源冗余和热插拔测试
测试编号 CU-PCS-T0432
测试目的 检测电源冗余和热插拔
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
3.设备预装Linux操作系统,预装人工智能加速卡加压软件和stress软件
测试过程 1. 设备所有电源模块接入,设备启动进入操作系统
2. 运行人工智能加速卡加压软件,将所有人工智能加速卡加压至满载
状态
3. 进入操作系统,对CPU进行100%加压
4. 对冗余的电源模块进行热插拔,在人工智能加速卡和CPU满负载的
情况下继续测试半小时
预期结果 1. 电源模块支持热插拔
2.
在压力测试过程中,更换或拔掉一个电源,系统不会产生死机或者重启

测试说明 支持NN冗余
测试结果
4.3.3 风扇冗余和热插拔检测
测试编号 CU-PCS-T0433
测试目的 检测风扇冗余和热插拔
测试条件 1. 被测服务器电源供电正常
33
2. 被测服务器网络连接正常
3.设备预装 Linux操作系统,预装人工智能加速卡加压软件
测试过程 1. 进入操作系统,对CPU进行100%加压
2. 使用人工智能加速卡加压软件,将所有人工智能加速卡加压至满载状

3. 对冗余的风扇模块进行热插拔
4. 持续运行三十分钟,观察整机运行状态,操作系统运行信息
预期结果 1. 风扇模块支持热插拔
2.
在压力测试过程中,更换或拔掉一个风扇,系统不会产生死机或者重启。
测试说明 支持N1冗余
为避免风险,在持续运行阶段,可通过模拟单风扇损坏情况进行测试。
测试结果
4.4 基本性能测试
4.4.1 CPU与人工智能加速卡之间通信带宽测试
测试编号 CU-PCS-T0441
测试目的 检测CPU与人工智能加速卡之间带宽
测试条件 1.服务器电源供电正常
2.设备为稳定的商用BIOS版本及BMC版本
3.设备已安装规定的操作系统并且各驱动程序安装正常
4.设备已安装规定的人工智能加速卡驱动软件计算引擎开发环
境等软件,且运行正常
测试过程 1.通过命令行查看人工智能加速卡在位情况及健康状况
2.被测服务器安装加速卡测试软件Driver
3.执行对应测试命令
4.遍历所有人工智能加速卡,重复执行步骤
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
2.步骤4中,获取8个人工智能加速卡的CPU到加速卡和加速卡到C
PU的带宽值,16个值取平均值得到CPU与人工智能加速卡之间通
信带宽GB/s,须满足配置要求
测试说明 1.性能值单位换算方法:1TB/s1024GB/s,1GB/s1024MB/s,1MB/
s1024KB/s,1KB/s1024B/s,1B/s8bit/s
本用例只针对训练机型,由测试单位提供测试工具记录
测试结果
4.4.2 人工智能加速卡与人工智能加速卡之间通信带宽测试
测试编号 CU-PCS-T0442
34
测试目的 检测人工智能加速卡之间通信带宽
测试条件 1.服务器电源供电正常
2.设备为稳定的商用BIOS版本及BMC版本
3.设备已安装规定的操作系统并且各驱动程序安装正常
4.设备已安装规定的人工智能加速卡驱动软件计算引擎开发环
境等软件,且运行正常
测试过程 1.通过命令行查看人工智能加速卡在位情况及健康状况
2.被测服务器安装加速卡测试软件Driver
3.执行对应测试命令
4.遍历所有人工智能加速卡,重复执行步骤
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
2.步骤4中,获取8个人工智能加速卡之间的通信带宽,去除对角线
的带宽值,对其余带宽值求平均值取得人工智能加速卡之间通信
带宽,须满足配置要求
测试说明 1.性能值单位换算方法:1TB/s1024GB/s,1GB/s1024MB/s,1MB/
s1024KB/s,1KB/s1024B/s,1B/s8bit/s
本用例只针对训练机型,由测试单位提供测试工具记录
测试结果
4.5 应用性能测试
4.5.1 AI训练能力测试
4.5.1.1 PyTorch框架下使用BERT-Large模型训练性能
测试编号 CU-PCS-T04511
测试目的 测试被测设备在PyTorch框架下,基于wikipedia数据集使用BERT-
large模型进行训练的性能
测试条件 1.设备电源供电正常
2.使用本地管理PC连接到服务器
3.设备为稳定的商用BIOS版本及BMC版本
4.设备已安装规定操作系统并且驱动程序安装正常
5.业务系统中已安装加速卡对应软件套件Driver
6.业务系统中已安装Python3.8及以上
7.业务系统中已安装Docker19.03及以上
8.业务系统中已导入Wikipedia2020/01/01数据集
9.业务系统中已导入测试容器镜像
测试过程 1.远程通过命令行登录被测试服务器,执行命令查询当前人工智
能加速卡的状态及健康状况
2.执行命令进行模型训练
说明:所有参数均不允许修改。
3.记录日志获取训练时间及每秒处理的样本数samples/s,日志打
印的模型准确率要求达到训练目标准确率
35
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
2.步骤3中,从日志中获取每秒处理的样本数samples/s,模型准
确率能够达到目标准确率
测试说明 本用例只针对英伟达训练型服务器测试,测试工具数据集由测试
组提供
测试结果
4.5.1.2 PyTorch框架下使用MaskRCNN模型训练性能
测试编号 CU-PCS-T04512
测试目的 测试被测设备在PyTorch框架下,基于coco2017数据集使用MaskR
CNN模型进行训练的性能
测试条件 1.1.设备电源供电正常
2.使用本地管理PC连接到服务器
3.设备为稳定的商用BIOS版本及BMC版本
4.设备已安装规定操作系统并且驱动程序安装正常
5.业务系统中已安装加速卡对应软件套件Driver
6.业务系统中已安装Python3.8及以上
7.业务系统中已安装Docker19.03及以上
8.业务系统中已导入COCO2017数据集
9.业务系统中已导入测试容器镜像
测试过程 1.远程通过命令行登录被测试服务器,执行命令查询当前人工智
能加速卡的状态及健康状况
2.进入代码目录。
3.执行命令进行模型训练
说明:所有参数均不允许修改。
4.记录日志获取训练时间及每秒处理的图片数images/sec,日志
打印的模型准确率要求达到训练目标准确率
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
2.步骤4中,从日志中获取每秒处理的图片数images/sec,模型准
确率能够达到目标准确率
测试说明 本用例只针对英伟达训练型服务器测试,测试工具数据集由测试
组提供
测试结果
4.5.1.3 Pytorch框架下使用MobileNetV3模型训练性能
测试编号 CU-PCS-T04513
测试目的 测试被测设备在PyTorch框架下,基于ImageNet2012数据集使用Mobi
leNetV3模型进行训练的性能
测试条件 1.1.设备电源供电正常
2.使用本地管理PC连接到服务器
3.设备为稳定的商用BIOS版本及BMC版本
4.设备已安装规定操作系统并且驱动程序安装正常
36
5.业务系统中已安装加速卡对应软件套件Driver
6.业务系统中已安装Python3.7.5
7.业务系统中已安装Docker19.03及以上
8.业务系统中已导入ImageNet2012数据集
9.业务系统中已导入测试容器镜像
10.测试代码获取:http://**-
PyTorchttp://**
ge100forPyTorch
测试过程 1.远程通过命令行登录被测试服务器,执行命令查询当前人工智能
加速卡的状态及健康状况
2.进入代码目录。
3.执行命令进行模型训练
说明:batchsize为512,所有参数均不允许修改。
4.记录日志获取训练时间及每秒处理的图片数FPS,日志打印的模
型准确率要求达到训练目标准确率
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
2.步骤4中,从日志中获取每秒处理的图片数FPS,模型准确率能够
达到目标准确率
测试说明 本用例只针对昇腾训练型服务器测试,测试工具数据集由测试组提

测试结果
4.5.1.4 Pytorch框架下使用ShuffleNetV1模型训练性能
测试编号 CU-PCS-T04514
测试目的 测试被测设备在PyTorch框架下,基于ImageNet2012数据集使用Shuf
fleNetV1模型进行训练的性能
测试条件 1.1.设备电源供电正常
2.使用本地管理PC连接到服务器
3.设备为稳定的商用BIOS版本及BMC版本
4.设备已安装规定操作系统并且驱动程序安装正常
5.业务系统中已安装加速卡对应软件套件Driver
6.业务系统中已安装Python3.7.5
7.业务系统中已安装Docker19.03及以上
8.业务系统中已导入ImageNet2012数据集
9.业务系统中已导入测试容器镜像
10.测试代码获取: http://**-
PyTorchttp://**
forPyTorch
测试过程 1.远程通过命令行登录被测试服务器,执行命令查询当前人工智能
加速卡的状态及健康状况
2.进入代码目录。
3.执行命令进行模型训练
说明:训练batchsize为8192,所有参数均不允许修改。
4.记录日志获取训练时间及每秒处理的图片数FPS,日志打印的模
37
型准确率要求达到训练目标准确率
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
2.步骤4中,从日志中获取每秒处理的图片数FPS,模型准确率能
够达到目标准确率
测试说明 本用例只针对昇腾训练型服务器测试,测试工具数据集由测试组
提供
测试结果
4.5.2 AI推理能力测试
4.5.2.1 BERT-Large模型推理的性能测试
测试编号 CU-PCS-T04521
测试目的 测试被测设备基于SQuAD数据集在BERT模型下的推理性能
测试条件 1.设备电源供电正常
2.使用本地管理PC连接到服务器
3.设备为稳定的商用BIOS版本及BMC版本
4.设备已安装规定操作系统并且驱动程序安装正常
5.业务系统中已安装加速卡对应软件套件Driver
6.业务系统中已安装Python3.8及以上
7.业务系统中已安装Docker19.03及以上
8.业务系统中已导入SQuAD1.1数据集
9.业务系统中已导入测试容器镜像
测试过程 1.远程通过命令行登录被测试服务器,执行命令查询当前人工智
能加速卡的状态及健康状况
2.执行命令进行模型推理
说明:所有参数均不允许修改。
3.记录日志获取训练时间及每秒处理的样本数samples/s,日志打
印的模型准确率要求达到目标准确率
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
2.步骤4中,从日志中获取每秒处理的样本数samples/s,模型准
确率能够达到目标准确率
测试说明 本用例只针对英伟达推理型服务器测试,测试工具数据集由测试
组提供
测试结果
4.5.2.2 Yolov5模型推理的性能测试
测试编号 CU-PCS-T04522
测试目的 测试被测设备基于Coco2017数据集在Yolo V5模型下的推理性能
测试条件 1.设备电源供电正常
2.使用本地管理PC连接到服务器
38
3.设备为稳定的商用BIOS版本及BMC版本
4.设备已安装规定操作系统并且驱动程序安装正常
5.业务系统中已安装加速卡对应软件套件Driver
6.业务系统中已安装Python3.8及以上
7.业务系统中已安装Docker19.03及以上
8.业务系统中已导入Coco2017数据集
9.业务系统中已导入测试容器镜像
测试过程 1.远程通过命令行登录被测试服务器,执行命令查询当前人工智
能加速卡的状态及健康状况
2.执行命令进行模型推理
说明:所有参数均不允许修改。
3.记录日志获取训练时间及每秒处理的样本数samples/s,日志打
印的模型准确率要求达到目标准确率
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
2.步骤4中,从日志中获取每秒处理的样本数samples/s,模型准
确率能够达到目标准确率
测试说明 本用例只针对英伟达推理型服务器测试,测试工具数据集由测试
组提供
测试结果
4.5.2.3 Bert-Base Chinese模型推理的性能测试
测试编号 CU-PCS-T04523
测试目的 测试被测设备基于PyTorch框架下使用Bert-Base
Chinese模型推理的性能
sequences/sec
测试条件 1.设备电源供电正常
2.使用本地管理PC连接到服务器
3.设备为稳定的商用BIOS版本及BMC版本
4.设备已安装规定操作系统并且驱动程序安装正常
5.业务系统中已安装加速卡对应软件套件Driver
6.业务系统中已安装Python3.7.5及以上
7.业务系统中已安装Docker19.03及以上
8.业务系统中已导入zhwiki数据集,链接: http://**
/zhwiki/latest/zhwiki-latest-pages- articles.xml.bz2
9.业务系统中已导入测试容器镜像
测试过程 1.远程通过命令行登录被测试服务器,执行命令查询当前人工智
能加速卡的状态及健康状况
2.执行命令进行模型推理
说明:
使用fp16精度,设定batch
size8,seqlength设置为384,所有参数均不允许修改
整机性能 单卡吞吐率 NPU卡数。
3.记录日志获取训练时间及每秒处理的样本数sequences/sec。
4. 执行模型后处理和精度计算脚本,统计精度测试结果。
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
39
2.步骤3中,从日志中获取每秒处理的样本数sequences/sec,步骤
4中,模型准确率能够达到目标准确率。
测试说明 本用例只针对昇腾推理型服务器测试,测试工具数据集由测试组
提供
测试结果
4.5.2.4 Resnet50模型推理的性能测试
测试编号 CU-PCS-T04524
测试目的 测试被测设备基于PyTorch框架下使用Resnet50模型推理的性能
samples/sec
测试条件 1.设备电源供电正常
2.使用本地管理PC连接到服务器
3.设备为稳定的商用BIOS版本及BMC版本
4.设备已安装规定操作系统并且驱动程序安装正常
5.业务系统中已安装加速卡对应软件套件Driver
6.业务系统中已安装Python3.7.5及以上
7.业务系统中已安装Docker19.03及以上
8.业务系统中已导入ImageNet2012数据集,链接: http://**-
net.org/download-images
9.业务系统中已导入测试容器镜像
测试过程 1.远程通过命令行登录被测试服务器,执行命令查询当前人工智
能加速卡的状态及健康状况
2.执行命令进行模型推理
说明:
使用fp16精度,设定batch
size64,所有参数均不允许修改
整机性能 单卡吞吐率 NPU卡数。
3.记录日志获取训练时间及每秒处理的样本数samples/sec。
4. 执行模型后处理和精度计算脚本,统计精度测试结果。
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
2.步骤3中,从日志中获取每秒处理的样本数samples/sec,步骤4
中,模型准确率能够达到目标准确率。
测试说明 本用例只针对昇腾推理型服务器测试,测试工具数据集由测试组
提供
测试结果
4.6 能耗测试
4.6.1 能耗测试
测试编号 CU-PCS-T0461
测试目的 测试服务器人工智能加速卡满载状态即人工智能加速卡利用率达到
100%且功耗值达到标称额定功率值下的功耗值
测试条件 1.准备1台被测设备,设备电源模块全部接入并供电正常
2.直接通过被测设备本地VGA接口连接显示器,通过本地USB或PS2
40
3.接口连接键盘鼠标
4.设备为稳定的商用BIOS版本
5.设备预装规定操作系统并且各驱动程序安装运行正常
6.在操作系统上安装人工智能加速卡加压软件
测试过程 1.参照电源模块信息记录
2.设备所有电源模块接入,连接线串行接入能耗测试仪表
3.除系统盘外,NVMESSD盘设置为JBOD模式
4.进入操作系统,使用软件对磁盘进行加压:
5.使用人工智能加速卡加压软件对所有人工智能加速卡加压,使人工
智能加速卡达到满载状态,即人工智能加速卡利用率达100%且功耗
值达额定功率值,并稳定在这个状态
6.加压至所有人工智能加速卡满载状态,并保持该状态运行二十分钟
,记录第6分钟至第15分钟内的整机平均功耗值,并通过日志记录加
压过程中所有人工智能加速卡的实时利用率和功耗值
预期结果 记录设备在人工智能加速卡满载状态下的十分钟内的整机功耗平均值
测试说明 1. 电源供电模块需全部激活,所有接入端子全部接入功耗测试仪表,验证被
测设备的BIOS设置BMC设置电源模块电源模块设置必须为负载均
衡策略等相关设置无异常配置策略,禁止关闭任何接口
2. 测试过程中,所有数据盘指示灯同时持续闪烁
3. 功耗测试过程中设备CPU无需加压
4. 根据实际情况,人工智能加速卡利用率达到100%且功耗值达到额定功率
值95%以上即符合测试条件。
测试结果
4.7 压力测试
4.7.1 压力测试
测试编号 CU-PCS-T0471
测试目的 测试服务器长时间压力下工作稳定性
测试条件 1.设备电源供电正常
2.直接通过被测设备本地VGA接口连接显示器,通过本地USB接
口连接键盘鼠标
3.设备为稳定的商用BIOS版本及BMC版本
4.设备预装规定的操作系统并且各驱动程序安装运行正常
5.设备预装stress软件
6.在操作系统上安装人工智能加速卡加压软件
测试过程 1.确保风扇为自动调速模式,取消功率封顶限制,被测设备所有电
源模块接入
2.清除被测设备所有系统日志,记录时钟开始时间
3.运行人工智能加速卡加压软件,将所有人工智能加速卡加压到
满载状态,即人工智能加速卡利用率达到100%且功耗值达到标称
额定功率值,并稳定在这个状态
4.运行stress软件,将CPU加压至满载状态
5.锁定系统屏幕,并用封条封闭机箱盖外设接口网络和管理端
41
口电源风扇部件等
6.测试24小时后,观察测试是否正常结束,在BMC上观察是否有相
关异常告警,系统mehttp://**以及BMC下日志是否有
报错
预期结果 1. 设备运行过程中压力程序运行正常
2. 设备24小时运行中,无重启,宕机等异常
测试说明
测试结果
42
43
44

45

46
详情见附件
(注:以下内容为附件图片识别,个别文字可能不准确,请以附件为准)
中国联通人工智能服务器产品常态化测试公告
招标编号:ND*

一内容:
中国联通启动人工智能服务器产品常态化测试,现将有关事项公告如下:
一测试内容
本次测试产品为人工智能服务器,测试内容及测试标准见附件1:中国联通人
工智能服务器产品常态化测试规范。
二测试结果应用
本次测试包含通过型测试项和量化型测试项。任一项通过型测试项测试不通过
,则测试不合格。测试过程中因自身软硬件原因导致送测设备宕机关键组件
出现重大安全告警设备不稳定等问题的,则测试不合格。
测试合格将作为后续中国联通人工智能服务器产品集中采购资格审查合格的必
要条件。量化型测试项的测试结果将作为后续中国联通人工智能服务器产品集
中采购技术评审的一部分。
三测试安排
一测试申请
1.申请方式:报名测试的厂商须于本公告发布之日起不含发布日当天的五
个工作日内,将申请材料盖章扫描件通过电子邮件发送至测试组织单位及测试
实施单位联系人邮箱,逾期不接受报名。
2.申请材料:附件2:参测设备报名表法 (略) 营业执
照复印件。
3.测试组织单位:中国联通集团网络部总体组织,统筹协调
测试组织单位联系人:童俊杰 电话:*
Email:tongjj9chinaunicom.cn
4.测试实施单位:中讯邮 (略) 郑州分公司负责测试实施
现场技术支持/咨询和应答
测试实施单位联系人:申佳 电话:* Email:http://**
5.测试地点: (略) 互助路1号中讯邮 (略) 。
二测试要求
1.产品必须为成熟商用的人工智能服务器产品。
2.产品相关软件版本及补*必须为公开发布的正式商用版本。
3.参测设备须满足附件3:参测设备配置明细要求表的配置要求。
三测试启动会
请报名测试的厂商参加后续召开的测试启动会具体地点和日期以邮件方式告
知,测试启动会将宣贯本次测试相关管理规定,并就参测设备送交期限等相
关内容进行说明。
四测试费用
测试产生的所有相关成本与费用,均由参测厂商承担,具体费用将依据机房
供电人力等因素核定,并由测试实施单位收取。参测厂家需在测试开始前与
测试实施单位签订测试委托协议,并缴纳测试费用具体协议内容及收费
标准请详询测试实施单位联系人。无论测试结果是否通过测试规范的合格要
求,测试费均不退还。本次测试由中国联通集团委托测试实施单位承担测试工
作,测试实施单位委托中 (略) 制定测试规范并提供技术支撑工作。
五附件清单
附件1:中国联通人工智能服务器产品常态化测试规范
附件2:参测设备报名表
附件3:参测设备配置明细要求表
二监督部门
本招标项目的监督部门为/。
三联系方式
招 标 人:中国 (略)
地 址:/
联 系 人:童俊杰
电 话:*
电子邮件:tongjj9chinaunicom.cn
招标代理机构:中 (略)
地 址: (略) 鼓楼区南祖师庵7号
联 系 人: *宁鄂
电 话: *
电子邮件: dinhttp://**
招标人或其招标代理机构主要负责人项目负责人: 签名

招标人或其招标代理机构: 盖章
中国联通人工智能服务器产品常态化测试规范
中 国 联 合 网 络 通 信 有 限 公 司
2023年2月
第 I 页
目 录
目 录................................................................................................................................I
1 概述 ..............................................................................................................................1
1.1 测试目的 ...................................................................................................................................1
1.2 术语解释 ...................................................................................................................................1
1.3 测试内容 ...................................................................................................................................2
1.4 测试地点 ...................................................................................................................................2
2 测试环境 ......................................................................................................................3
2.1 环境总体要求 ...........................................................................................................................3
2.1.1 交流稳压电源要求....................................................................................................................3
2.1.2 测量仪表要求............................................................................................................................3
2.1.3 测试负载要求............................................................................................................................3
2.1.4 测试环境要求............................................................................................................................3
2.2 系统部署 ...................................................................................................................................3
2.3 硬件配置要求 ...........................................................................................................................4
2.3.1 被测服务器硬件配置................................................................................................................4
2.3.2 总体配置要求............................................................................................................................4
2.3.3 电源配置....................................................................................................................................4
2.3.4 风扇配置....................................................................................................................................4
2.3.5 磁盘要求....................................................................................................................................4
2.3.6 I/O端口要求...............................................................................................................................4
2.3.7 配合设备要求............................................................................................................................4
2.4 操作系统/软件配置要求 ..........................................................................................................4
2.4.1 操作系统要求............................................................................................................................4
3 测试方法 ......................................................................................................................5
3.1 测试工具 ...................................................................................................................................5
3.2 具体测试方法 ...........................................................................................................................5
3.3 同质化检验 ...............................................................................................................................5
3.3.1 同质化鉴定标准........................................................................................................................5
3.3.2 同质化处理方法........................................................................................................................6
3.4 测试评判标准 ...........................................................................................................................6
4 测试用例 ......................................................................................................................7
4.1 配置检验测试 ...........................................................................................................................7
第 II 页
4.1.1 机器外观检测............................................................................................................................7
4.1.2 CPU配置检测............................................................................................................................7
4.1.3 人工智能加速卡检测................................................................................................................8
4.1.4 主板配置检测............................................................................................................................8
4.1.5 内存配置检测............................................................................................................................8
4.1.6 硬盘配置检测............................................................................................................................9
4.1.7 RAID卡配置检测......................................................................................................................9
4.1.8 网络适配器检测......................................................................................................................10
4.1.9 电源配置检测..........................................................................................................................10
4.1.10 散热风扇检测........................................................................................................................10
4.2 管理功能测试 .........................................................................................................................12
4.2.1 本地管理功能..........................................................................................................................12
4.2.1.1 设备状态指示灯显示功能测试........................................................................................................12
4.2.2 远程管理功能..........................................................................................................................12
4.2.2.1 远程登录功能测试............................................................................................................................12
4.2.2.2 资产管理功能测试............................................................................................................................13
4.2.2.3 远程控制功能测试............................................................................................................................13
4.2.2.4 电源监控功能测试............................................................................................................................13
4.2.2.5 历史功耗查询功能测试....................................................................................................................14
4.2.2.6 温度监控功能测试............................................................................................................................14
4.2.2.7 RAID卡信息动态监控功能测试......................................................................................................14
4.2.2.8 风扇监控功能测试............................................................................................................................15
4.2.2.9 故障告警测试....................................................................................................................................15
4.2.2.10 虚拟光驱文件测试..........................................................................................................................16
4.2.2.11 远程安装操作系统测试..................................................................................................................16
4.2.2.12 设备远程连接安全性测试..............................................................................................................16
4.2.2.13 用户密码安全性测试......................................................................................................................17
4.2.2.14 用户权限管理测试..........................................................................................................................17
4.2.2.15 BIOS升级测试.................................................................................................................................18
4.2.2.16 BMC升级测试.................................................................................................................................18
4.2.2.17 VNC管理功能测试 .........................................................................................................................19
4.2.3 人工智能加速卡管理功能测试..............................................................................................19
4.2.3.1 人工智能加速卡资产管理功能测试................................................................................................19
4.2.3.2 人工智能加速卡固件版本管理测试................................................................................................19
4.2.3.3 人工智能加速卡功耗监控测试........................................................................................................20
4.2.3.4 人工智能加速卡温度监控测试........................................................................................................20
4.2.4 IPMI 2.0协议功能 ...................................................................................................................21
4.2.4.1 IPMI USER 命令...............................................................................................................................21
4.2.4.1.1 用户数据库查询........................................................................................................................21
4.2.4.1.2 BMC用户查询 ...........................................................................................................................21
4.2.4.2 IPMI LAN 命令.................................................................................................................................21
4.2.4.2.1 查询LAN接口参数配置信息....................................................................................................21
4.2.4.3 IPMI SOL 命令..................................................................................................................................22
4.2.4.3.1 SOL参数信息查询.....................................................................................................................22
第 III 页
4.2.4.3.2 KVM over IP ..............................................................................................................................22
4.2.4.4 IPMI BMC命令..................................................................................................................................22
4.2.4.4.1 获取BMC相关信息 ...................................................................................................................22
4.2.4.5 IPMI Power 命令...............................................................................................................................23
4.2.4.5.1 IPMI 远程开机...........................................................................................................................23
4.2.4.5.2 IPMI 远程关机...........................................................................................................................23
4.2.4.5.3 IPMI 远程复位...........................................................................................................................23
4.2.4.6 IPMI FRU命令...................................................................................................................................24
4.2.4.6.1 获取 FRU 设备的信息 ..............................................................................................................24
4.2.4.7 IPMI RAW 命令................................................................................................................................24
4.2.4.7.1 通过 IPMI 获取整机功耗..........................................................................................................24
4.2.4.8 IPMI SDR 命令..................................................................................................................................25
4.2.4.8.1 获取 SDR 相关信息 ..................................................................................................................25
4.2.4.8.2 获取传感器状态信息................................................................................................................25
4.2.4.9 IPMI SEL 命令 ..................................................................................................................................25
4.2.4.9.1 查询SEL信息.............................................................................................................................25
4.2.4.9.2 查询SEL日志信息.....................................................................................................................26
4.2.5 SNMP接口协议功能...............................................................................................................26
4.2.5.1 SNMP 协议版本支持测试................................................................................................................26
4.2.5.2 MIB 库支持测试 ...............................................................................................................................26
4.2.6 Redfish接口协议功能 .............................................................................................................27
4.2.6.1 查询指定CPU资源信息....................................................................................................................27
4.2.6.2 查询指定内存资源信息....................................................................................................................27
4.2.6.3 查询服务器指定存储控制器资源信息............................................................................................28
4.2.6.4 查询服务器指定硬盘资源信息........................................................................................................28
4.2.6.5 查询服务器指定网卡资源信息........................................................................................................29
4.2.6.6 查询指定人工智能加速卡资源信息................................................................................................30
4.3 可靠性测试 .............................................................................................................................31
4.3.1 磁盘冗余和热插拔测试..........................................................................................................31
4.3.2 电源冗余和热插拔测试..........................................................................................................31
4.3.3 风扇冗余和热插拔检测..........................................................................................................31
4.4 基本性能测试 .........................................................................................................................32
4.4.1 CPU与人工智能加速卡之间通信带宽测试..........................................................................32
4.4.2 人工智能加速卡与人工智能加速卡之间通信带宽测试......................................................32
4.5 应用性能测试 .........................................................................................................................33
4.5.1 AI训练能力测试......................................................................................................................33
4.5.1.1 PyTorch框架下使用BERT-Large模型训练性能.............................................................................33
4.5.1.2 PyTorch框架下使用MaskRCNN模型训练性能..............................................................................34
4.5.1.3 Pytorch框架下使用MobileNetV3模型训练性能.............................................................................34
4.5.1.4 Pytorch框架下使用ShuffleNetV1模型训练性能.............................................................................35
4.5.2 AI推理能力测试......................................................................................................................36
4.5.2.1 BERT-Large模型推理的性能测试...................................................................................................36
4.5.2.2 Yolov5模型推理的性能测试............................................................................................................36
第 IV 页
4.5.2.3 Bert-Base Chinese模型推理的性能测试..........................................................................................37
4.5.2.4 Resnet50模型推理的性能测试.........................................................................................................37
4.6 能耗测试 .................................................................................................................................38
4.6.1 能耗测试..................................................................................................................................38
4.7 压力测试 .................................................................................................................................39
4.7.1 压力测试..................................................................................................................................39
1
1 概述
本规范用于对中国联通人工智能服务器产品提出常态化测试要求,用于在招
标选型和工程 (略) 提供技术依据。
1.1 测试目的
进行中国联通人工智能服务器常态化测试。
1.2 术语解释
缩略语 英文 中文
AI Artificial Intelligence 人工智能
BIOS Basic Input Output System 基本输入输出
BMC Baseboard Management Controller 基板管理控制器
CMD Command 命令
CPU Central Processing Unit 中央处理器
COM Cluster Communication Port 串行通讯端口
GPU Graphics Processing Unit 图像处理器
IOPS Input/Output Operations Per Second 每秒的读写次数
IPMI Intelligent Platform Management
Interface
智能型平台管理接口
KVM Keyboard Video Mouse 键盘显示器鼠标
NVMe Non-Volatile Memory express 非易失性存储器标准
PCIE Peripheral Component Interconnect
Express
高速外设互联标准
RAID Redundant Arrays of Independent
Disks
独立磁盘冗余阵列
SAS Serial Attached SCSI 串行的SCSI接口
SATA Serial Advanced Technology
Attachment
串行高级技术附件
SNMP Simple Network Management Protocol 简单网络管理协议
SSD Solid State Desktop 固态硬盘
SDR SensorDataRepository 传感器数据信息库
SPEC Standard
PerformanceEvaluationCorporation
标准性能评估机构
USB Universal Serial Bus 通用串行总线
VGA Video Graphics Array 视频图形阵列
1.2.1 人工智能 Artificial Intelligence
2
人工智能是研究开发用于模拟延伸和扩展人的智能的理论方法技术及应用系
统的一门新的技术科学。
人工智能是计算机科学的一个分支,它目的是为了理解智能的实质,并生产出一种新
的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人语言识别
图像识别自然语言处理和专家系统等。人工智能是对人的意识思维的信息过程的模拟

1.2.2 机器学习 Machine learning
机器学习是一门多领域交叉计算科学,它涉及概率论统计学逼近论凸分析算
法复杂度理论等多门学科理论和算法,专门研究计算机怎样模拟或实现人类的学习行为,
以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。随着大数据
的出现,机器学习当前成为人工智能的主要方式。
1.3 测试内容
本次测试共分7部分的测试内容:
1) 配置检验测试
2) 管理功能测试
3) 可靠性测试
4) 基本性能测试
5) 应用性能测试
6) 能耗测试
7) 压力测试
1.4 测试地点
(略) 互助路1号中讯邮 (略)
3
2 测试环境
2.1 环境总体要求
2.1.1 交流稳压电源要求
交流电源电压为2202.2V,频率为500.5Hz且交流电源能够提供的最
大功率不低于10倍的测试功率。稳压电源的包括13次谐波的总谐波失真不得大于2%。测试
电压的峰值应当介于其有效值的1.34和1.49倍之间。
2.1.2 测量仪表要求
应使用经过校准并满足SPEC组织要求的功率计。
2.1.3 测试负载要求
测试回路应该尽可能短,以避免由于测试线路过长引起的测量误差。
2.1.4 测试环境要求
测试环境温度应该保持在1535范围内,相对湿度为2575,大气压力为86
kPa106kPa,测试中靠近样品处的空气流动速度应不大于0.5m/s,不应采用外部的风扇
空调或散热器来降低待测样品的温度。测试中,样品应置于非导热材料上。
2.2 系统部署
下图为整机能耗测试时采用的系统部署图,整机能耗测试遵循SPEC组织要求,其他测
试采用单机部署。

功率计
测试控制台
被测服务器
网线
串口线
电源线
4
2.3 硬件配置要求
2.3.1 被测服务器硬件配置
见测试配置要求。
2.3.2 总体配置要求
1) 送测设备配置必须与配置要求严格一致
2) 能耗测试时必须启用正常的设备功能,所有设备端口必须可用,如服务器远程管理
卡RAID卡网卡USB接口等电源模块风扇数量硬盘数量容量等均使用投
标配置
3) 操作系统安装完成后允许厂家通过配置优化系统环境,但是不得停止卸载操作系
统默认安装的服务及程序
4) 能耗测试过程中,设备的机箱盖后挡板必须完整,不得增加除了机房空调外的冷
却设备
5) 厂家必须提前准备好被测服务器的软硬件环境,设备进场上电后经过简单的环境配
置就可以进行正式测试,不得在测试现场进行安装调试。
6) 正式测试期间,训练型服务器PCIe拓扑统一采用Balance拓扑,即根据PCIe资源将人
工智能加速卡平均分配到各个CPU。
2.3.3 电源配置
测试环境设备电源模块的数量必须使用投标配置,测试环境下设备电源模块必须与
厂家说明书中的说明一致。
2.3.4 风扇配置
测试环境设备风扇配置数量必须使用投标配置,允许风扇根据环境温度及设备温度
自动调节转速,禁止手工强制停止或降低风扇转速。
2.3.5 磁盘要求
硬盘和RAID卡必须使用投标配置。系统如果有磁盘节能技术如磁盘休眠,禁止
在测试过程中采用。
2.3.6 I/O端口要求
设备所配置的I/O端口必须启用。
2.3.7 配合设备要求
参测厂商需同时提供机柜内光纤,办公区网线等配合物料。
2.4 操作系统/软件配置要求
2.4.1 操作系统要求
操作系统 版本要求
Linux Ubuntu 20.04
5
3 测试方法
3.1 测试工具
测试过程中所需测试软硬件设备,包括测试仪表等。
测试工具名称 测试仪表型号
压力测试工具 Stress 1.0.4
功耗测试工具 横河功率计WT310
人工智能加速卡驱动版

NVIDIA 470.161.03
A800-9000-npu-driver6.0
3.2 具体测试方法
1) 配置检验测试主要是通过检查相关设备的外观或第三方评测工具另外还包括开机
自检界面BIOS设置界面等进行验证。
2) 功能测试主要采用实际操作验证的方法检查实际功能。
3) 可靠性测试主要是检查相关模块冗余情况模拟故障情况长时间满负荷运行等手
段来检验其可靠性。
4) 性能测试主要通过上面列出的对应测试工具通过运行计算后得出各项具体的性能值
5) 整机能耗测试主要测试被测服务器在满负荷负载下的实际功率表现。
3.3 同质化检验
3.3.1 同质化鉴定标准
测试组会根据配置检验测试测试项目,进行同质化判定,符合以下任意一点,可
判定为同质化服务器,判定为同质化的服务器:
1) 送测服务器厂商品牌与其他参与投标厂商品牌相同
2) 送测服务器主板生产厂商品牌与其他投标厂商品牌相同
3) 送测服务器主板生产厂商品牌与其他送测服务器主板生产厂商品牌相同
4) 内部构造主板上主要部件的分布位置数量及颜色等进行判断,包括CPU内存
槽位风扇电源PCIe插槽位置等相似度80%以上,判断权重如下:
部件 评判标准 权重
CPU 在主板中的相对位置数量是否一致 30%
内存槽位 在主板中的相对位置数量是否一致 20%
风扇 机箱内部风扇的相对位置数量是否一致 20%
电源 相对主板的位置数量是否一致 15%
PCI-e插槽
PCI-
e插槽在主板中的相对位置类型速率规格数
量是否一致
15%
5) 外部构造服务器前面板及后面板的布局,包括硬盘前面板接口电源后面板
接口等相似度80%以上, 判断权重如下:
部件 评判标准 权重
6
部件 评判标准 权重
硬盘 分布位置数量托架颜色是否一致 20%前面板
前面板接口 USBVGA等接口的接口类型数量分布位
置是否一致
30%
电源 电源分布数量尺寸是否一致 30%
硬盘 分布位置数量托架颜色是否一致 15%
后面板
后面板接口 USBVGA等接口的位置类型数量是否一

5%
3.3.2 同质化处理方法
1) 参测厂家送测样品主板生产厂商品牌与其他测试厂商品牌相同的投标人,则测试组
将判定该厂家同质化检测不合格,取消测试资格
2) 如多个参测厂家的主板生产厂商一致,则视以下情况进行处理:
a) 各参测厂家均未出具送测样品主板生产厂家唯一授权,则各参测厂家需自行
协商保留一名参测厂家继续参与本次测试,其余同质化厂家须退出本次测试
,若无法在测试时间内自行协商一致,则判定所有相关参测厂家同质化检验
均不合格
b) 如某参测厂家出具送测样品主板生产厂家的唯一授权,则测试组将判定其余
相关参测厂家同质化检验均不合格
c) 如多名参测厂家出具送测样品主板生产厂家的唯一授权,则测试组将判定所
有相关参测厂家同质化检验均不合格
3) 对于其他方法判定为同质化的样品,各参测厂家需自行协商保留一名参测厂家继续
参与本次测试,其余同质化厂家须退出本次测试,若无法在测试时间内自行协商
一致,则判定所有相关参测厂家同质化检验均不合格。
3.4 测试评判标准
本方案测试项均为必测测试项
1) 配置检验测试,可靠性测试,压力测试中的测试项须全部通过,若其
中有一项用例不通过则视为不合格
2) 在正式测试过程中,因送测设备自身软硬件原因导致送测设备宕机关键组件出现
重大安全告警设备不稳定等问题的,该测试设备也视为不合格。
7
4 测试用例
4.1 配置检验测试
4.1.1 机器外观检测
测试编号 CU-PCS-T0411
测试目的 验证被测服务器产品外观信息是否与厂家标称值一致
测试条件
测试过程 1.
检测产品上标注的名称型号SN序列号检查铭牌检查印刷信息是否无覆盖或多层粘贴
2. 检测服务器机箱的结构,测量机箱的尺寸和高度。
预期结果 1. 产品外观信息与厂家标称值一致铭牌清楚明白印刷信息清楚明白
2.
检测被测服务器的机箱构架尺寸规格符合中国联通对应典型配置要求,提供上架套件
高度均应为U的倍数
主要部件支持免工具拆装
测试说明 Height:mm
Width:mm
Depth:mm
免工具拆装:
注:1U44.5mm1.75英寸
测试结果 名称:
型号:
SN序列号:
铭牌:
Height:mm
Width:mm
Depth:mm
4.1.2 CPU配置检测
测试编号 CU-PCS-T0412
测试目的 检测服务器实际配置的CPU型号主频内核数各级缓存以及CPU数量等信息。
测试条件
测试过程 1. 检查CPU背面印刷信息及主板CPU插座数量
2. 通过BIOS读取CPU信息
预期结果 各种测试方式获取的信息一致,配置与厂商标称一致
测试说明
测试结果 型号:
主频:
内核:
缓存:
8
数量:
4.1.3 人工智能加速卡检测
测试编号 CU-PCS-T0413
测试目的 检测人工智能加速卡的型号生产厂商序列号
测试条件 设备预装Linux操作系统并且各驱动程序安装正常
测试过程 1拆机查看人工智能加速卡型号信息及人工智能加速卡设备插槽数量并拍照
2在操作系统下,使用命令查询人工智能加速卡的厂家型号固件版本显存信息
预期结果 记录人工智能加速卡详细信息
核对开箱查看的人工智能加速卡信息和系统下读取的人工智能加速卡信息一致
测试说明
测试记录
4.1.4 主板配置检测
测试编

CU-PCS-T0414
测试目

检测被测服务器主板的核心信息
测试条

测试过

1.
整机正面,俯视,后部正视等角度分别拍照,获取如下信息:主板生产商
信息PCIE插槽类型和数量USB,COM,VGA,BMC管理口,数量和位

2. 通过BIOS信息读取,可检测到BIOS版本信息
预期结

获取的信息完整,且和厂商标称一致
测试说

测试结

主板生产商信息:
PCIE插槽类型和数量:
USB数量和位置:
COM数量和位置:
VGA数量和位置:
BMC管理口数量和位置:
单板管理芯片BMC的芯片信息
可检测到BIOS版本信息
4.1.5 内存配置检测
测试编号 CU-PCS-T0415
测试目的 检测被测服务器的内存槽位数实配数型号频率容量等信息。
测试条件
9
测试过程 1.
机箱俯视拍照,查看主板上内存槽位的分布及数量已插入条数内存空置槽位数量
2.
拔出内存条,对该内存条进行近处拍照正反面,查看内存厂家型号频率容量
预期结果 各种测试方式获取的信息一致,配置与厂商标称一致
测试说明
测试结果 槽位数:
实配数:
厂商:
型号:
频率:
容量:
4.1.6 硬盘配置检测
测试编号 CU-PCS-T0416
测试目的 检测服务器的硬盘最大支持个数,实配数型号容量接口类型
测试条件
测试过程 1.
被测服务器正面,后面拍照,查看被测服务器硬盘最大支持个数,
实配数
2.
拔出硬盘,对该硬盘进行近处拍照正面,后面接口,查看实配硬
盘型号容量转速仅HDD检测接口类型
预期结果 各种测试方式获取的信息一致,配置与厂商标称一致
测试说明
测试结果 最大支持个数:
实配数:
厂商:
型号:
容量:
接口类型:
4.1.7 RAID卡配置检测
测试编号 CU-PCS-T0417
测试目的 检测RAID卡是否板载是否支持电池/电容连接线接口型号芯片缓存大小
测试条件
测试过程 1.
被测RAID卡拍照,查看是板载还是插卡,是否支持电池/电容保护,连接线接口类型
2. 读取RAID信息,包括RAID卡型号芯片型号缓存大小等
预期结果 各种测试方式获取的信息一致,配置与厂商标称一致具备缓存保护机制。
10
测试说明
测试结果 板载/插卡:
是否支持电池/电容保护:
连接线接口类型:
RAID卡型号:
RAID卡芯片型号:
缓存大小:
4.1.8 网络适配器检测
测试编号 CU-PCS-T0418
测试目的 检测网络适配器的型号接口类型接口速率接口数量
测试条件
测试过程 1. 被测网卡拍照,查看被测网卡数量和类型
2.
通过BMC读取网卡信息,包括型号接口类型接口速率接口数量等
预期结果 各种测试方式获取的信息一致,配置与厂商标称一致
测试说明
测试结果 型号:
接口类型:
接口速率:
接口数量:
4.1.9 电源配置检测
测试编号 CU-PCS-T0419
测试目的 检验电源品牌型号输出功率转换效率
检测被测服务器的电源模块数量
测试条件
测试过程 1. 被测试电源模块拍照,电源模块信息包含电源品牌型号输出功率转换效率
2. 被测试服务器整机拍照,整机信息包含支持的电源模块数量
预期结果 电源配置与厂家标称值一致
测试说明 80PLUS认证标志或产品标识能效转换效率:
注:电源转换效率是衡量电源等级的重要参数,金牌电源的转换效率大于80%,铂金电源大于90%
测试结果 品牌:
型号:
输出功率: W
转换效率:
个数:
11
4.1.10 散热风扇检测
测试编号 CU-PCS-T04110
测试目的 检验风扇型号直径转速
检测被测服务器的风扇个数内部散热设计
测试条件
测试过程 1. 被测试风扇拍照,查看风扇型号直径转速
2. 被测试服务器整机拍照,整机信息包含风扇个数和内部散热设计
预期结果 检测到风扇信息应该与厂商标称值一致。
测试说明
测试结果 型号:
直径: mm
转速:
风扇个数:
内部散热设计:
12
4.2 管理功能测试
4.2.1 本地管理功能
4.2.1.1 设备状态指示灯显示功能测试
测试编号 CU-PCS-T4211
测试目的 检测被测服务器是否具备基本状态指示灯,包括但不限于:
电源指示灯
硬盘指示灯
健康状况指示灯
网络状态指示灯
测试条件 1. 被测服务器电源供电正常
测试过程 1.
接入电源,查看设备前面板电源指示灯并记录状态和颜色显示,查
看所有电源模块是否具备指示灯并记录状态颜色
2.
摁下开机按钮,观察电源指示灯并记录状态和颜色显示及变化,查
看并记录硬盘指示灯及网络指示灯颜色显示变化
3. 拔掉一个电源模块,查看健康状况指示灯变化
预期结果 设备各部件具备状态指示灯并能针对相应状态变化显示
测试说明
测试结果 1. 前面板电源指示灯状态: ,颜色: 状态: ,颜色:
2. 电源模块指示灯状态: ,颜色: 状态: ,颜色:
3. 硬盘指示灯状态: ,颜色: 状态: ,颜色:
4. 网络状态指示灯状态: ,颜色: 状态: ,颜色:
5. 健康状态指示灯状态: ,颜色: 状态: ,颜色:
4.2.2 远程管理功能
4.2.2.1 远程登录功能测试
测试编号 CU-PCS-T4221
测试目的 1. 检测设备具备BMC模块,提供独立的网络管理端口
2. 检测网络管理端口可配置IP进行远程接入管理
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
接入设备电源,连接网络管理端口至测试用笔记本的网络端口,配
置相同网段互通IP地址
2. 通过Web浏览器或Client接入网络管理端口提供的管理地址
3.
输入用户名和密码能够进入被测设备的远程管理界面,查看界面
功能生效,并截图
13
预期结果 1. 服务器具备BMC管理模块,提供独立的网络管理端口接入
2. 服务器BMC模块工作正常,网络管理端口接入及界面正常
测试说明
测试结果
4.2.2.2 资产管理功能测试
测试编号 CU-PCS-T4222
测试目的 检测设备支持通过管理接口进行资产管理
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密
码,登录进入远程管理界面
2.
进入资产管理相关界面或通过命令行,查看资产管理相关信息,须
具备以下内容:服务器的整机型号生产厂商序列号用户自定
义的服务器资产标签Asset Tag
3. 读取以上所要求资产管理信息并截图
预期结果 被测设备管理监控信息清晰完备
测试说明
测试结果 服务器的整机型号
生产厂商
序列号
用户自定义的服务器资产标签Asset Tag
4.2.2.3 远程控制功能测试
测试编号 CU-PCS-T4223
测试目的 验证通过网络远程管理界面对被测服务器可进行开机重启关机操作
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密码,登录进入远程管理界面
2. 参照设备远程管理操作手册进行如下操作:
3. 进行开机操作,观察接入设备的显示器信息
4. 进入设备操作系统后,自远程管理界面进行重启操作,观察接入设备的显示器信息
5. 重启进入操作系统后,自远程管理界面进行关机操作,观察接入设备的显示器信息
预期结果 可以远程对被测试服务器进行开机重启关机操作
测试说明 1. 步骤3中,设备开始启动
2. 步骤4中,设备进行重启
3. 步骤5中,设备正常关机
14
测试结果
4.2.2.4 电源监控功能测试
测试编号 CU-PCS-T4224
测试目的 验证被测服务器支持电源监控功能
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密码,登录进入远程管理界面
2. 进入被测服务器管理界面,或者通过命令行方式,查看电源监控信息
预期结果 可以监控到被测试服务器电源信息
测试说明
测试结果 可以监控的电源列表
4.2.2.5 历史功耗查询功能测试
测试编号 CU-PCS-T4225
测试目的 验证被测服务器支持历史功耗查询功能
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常。
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密码,登录进入远程管理界面
2. 在远程管理界面上,可以查询到被测试服务器的历史功耗数据。
预期结果 远程管理界面支持历史功耗数据查询。
测试说明
测试结果
4.2.2.6 温度监控功能测试
测试编号 CU-PCS-T4226
测试目的 验证被测服务器支持温度监控功能
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密码,登录进入远程管理界面
2. 进入被测服务器管理界面,或者通过命令行方式,查看温度监控信息。
预期结果 可以监控到被测试服务器温度信息CPU温度,进风口温度等
测试说明
测试结果 可以监控的温度列表
15
4.2.2.7 RAID卡信息动态监控功能测试
测试编号 CU-PCS-T4227
测试目的 验证被测服务器支持RAID卡信息动态监控功能
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密
码,登录进入远程管理界面
2.
进入被测服务器管理界面,查看RAID卡信息:RAID卡型号RAID卡状态
是否故障RAID类型逻辑盘数量物理盘数量
预期结果 可以监控到被测试服务器RAID卡信息
测试说明
测试结果 RAID卡型号
RAID卡状态是否故障
RAID类型
逻辑盘数量
物理盘数量
4.2.2.8 风扇监控功能测试
测试编号 CU-PCS-T4228
测试目的 验证被测服务器支持风扇监控功能
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密码,登录进入远程管理界面
2. 进入被测服务器管理界面,或者通过命令行方式,查看风扇监控信息。
预期结果 可以监控到被测试服务器风扇信息转速或百分比
测试说明
测试结果 风扇转速
风扇转速百分比
4.2.2.9 故障告警测试
测试编号 CU-PCS-T42209
测试目的 1. 验证被测设备远程管理系统提供统一告警平台
2. 验证告警信息的分级显示
3. 验证告警信息处理完成后的状态消除及显示
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密码,登录进入远程管理界面
2. 进入统一告警平台界面查看告警信息
3. 被测设备加电运行正常启动操作系统
16
4. 模拟以下异常信息并查看告警台,包括电源插拔风扇插拔硬盘插拔等
5. 恢复异常处理,查看告警台
6. 查看系统日志记录
预期结果 1. 步骤2中被测设备管理告警台无信息
2. 步骤4中异常信息准确出现在告警台,并分优先级显示
3. 步骤5中告警信息处理完毕后自告警台显示处理完成状态或消除
4. 系统日志记录异常信息及恢复信息等
5. 电源硬盘故障,有单独的指示灯
测试说明
测试结果 管理软件硬盘故障告警
管理软件电源故障告警
管理软件风扇故障告警
硬盘故障单独指示灯告警
电源故障单独指示灯告警
4.2.2.10 虚拟光驱文件测试
测试编号 CU-PCS-T42210
测试目的 1. 验证被测设备远程管理接入后支持虚拟光驱
2. 验证被测设备远程管理接入后支持远程挂载文件夹
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密
码,登录进入远程管理界面
2.
自管理界面进入虚拟光驱界面,可以模拟插入光盘镜像ISO文件,
并可以引导进行系统安装
3.
自管理界面将测试电脑文件夹挂载至被测服务器,在被测服务器
操作系统下可以识别并打开该文件夹
预期结果 1. 被测设备远程管理支持虚拟光驱功能
2. 被测设备远程管理接入后支持远程挂载文件夹
测试说明
测试结果 管理软件支持虚拟光驱
管理软件支持远程文件夹挂载
4.2.2.11 远程安装操作系统测试
测试编号 CU-PCS-T42211
测试目的 验证被测设备可通过远程管理软件进行操作系统远程安装
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测服务器网络管理地址,输入管理员用户名/密码,登录进入远程管理界面
17
2. 自管理界面进行远程操作系统安装操作
预期结果 能够对服务器进行安装操作系统操作。
测试说明 步骤2中操作系统安装成功
测试结果
4.2.2.12 设备远程连接安全性测试
测试编号 CU-PCS-T42212
测试目的 验证被测设备远程管理连接采用加密方式
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1. 使用http方式通过Web浏览器登录,无法登录或自动跳转到https
2. 使用https方式通过Web浏览器登录,可以登录
预期结果 http方式无法通过Web浏览器登录被测试服务器管理界面,https方式可以登录
测试说明
测试结果
4.2.2.13 用户密码安全性测试
测试编号 CU-PCS-T42213
测试目的 验证被测设备远程管理支持用户管理安全功能
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密
码,登录进入远程管理界面
2.
通过管理界面进行密码复杂度的安全功能测试,记录密码复杂度
要求规则,如密码是否必须有特殊字符大小写字母数字密码
长度要求等的限制
3.
通过管理界面进行密码有效期部分的功能测试,记录是否可以进
行有效期时间的设置
4.
通过管理界面进行密码登录失败锁定的功能测试,记录密码输入
有误被锁定的次数是否可以设置
预期结果 上述测试步骤234中密码复杂度密码有效期密码登录失败锁
定功能满足要求
测试说明
测试结果 密码复杂度要求
密码有效期设置
登录失败锁定次数
18
4.2.2.14 用户权限管理测试
测试编号 CU-PCS-T42214
测试目的 验证被测设备远程管理接入用户分级管理,并可创建用户用户组
及定义权限
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密
码,登录进入远程管理界面
2. 查看并验证管理员用户具备所有最高权限,进行密码修改
3.
重新进行远程管理登录,输入管理员用户名及原密码,无法登录系
统,输入新密码,登录进入系统,密码修改生效
4.
进入用户用户组管理界面,进行用户及用户组权限赋予权限删
除等操作
5.
重新用新创建的用户及密码登录管理界面,进行权限内操作及权
限外操作,查看是否生效
预期结果 能够对服务器进行安装操作系统操作。
测试说明 1. 管理员可为服务器配置不同权限的用户及用户组
2. 步骤5中用户超权限操作时,操作被拒绝
测试结果
4.2.2.15 BIOS升级测试
测试编号 CU-PCS-T42215
测试目的 验证被测设备可通过远程管理软件进行BIOS系统的补*升级
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
3. 准备2个BIOS版本
测试过程 1. 进入被测设备操作系统,并在开机自检画面记录主板BIOS版本号
2.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密码,登录进入远程管理界面
3. 自管理界面按操作手册进行远程BIOS补*升级
4. 重新启动被测设备,在开机自检画面记录主板BIOS版本号,验证其为升级补*后的版本号
预期结果 1. 步骤3中被测设备操作系统运行正常,BIOS文件上传成功
2. 步骤4中重启后管理界面显示升级后的主板BIOS版本
测试说明
测试结果
19
4.2.2.16 BMC升级测试
测试编号 CU-PCS-T42216
测试目的 验证被测设备可通过远程管理软件进行BMC系统的补*升级
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
3. 准备2个BMC版本
测试过程 1.
通过测试电脑登录被测设备网络管理地址,输入管理员用户名/密码,登录进入远程管理界面
2. 记录BMC版本信息
3. 自管理界面按操作手册进行远程BMC补*升级
4. 设备保持启动状态,再次登录管理界面查看BMC版本信息,验证其为升级补*后的版本号
预期结果 1. 步骤3中被测设备操作系统运行正常
2. 步骤4中显示升级后的BMC版本信息
测试说明
测试结果
4.2.2.17 VNC管理功能测试
测试编号 CU-PCS-T42217
测试目的 验证被测设备可提供VNC KVM的远程管理界面
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1. 被测服务器启用VNC服务
2.测试电脑通过VNC
Viewer连接被测设备网络管理地址,登录进入远程管理界面
3.
经过认证能够进入被测设备的远程管理界面,查看界面功能生效,并截图
预期结果 1. VNC接入及界面正常,可接受测试电脑键盘输入
测试说明
测试结果
4.2.3 人工智能加速卡管理功能测试
4.2.3.1 人工智能加速卡资产管理功能测试
测试编号 CU-PCS-T4231
测试目的 验证可通过被测设备远程管理系统进行人工智能加速卡资产信息序列号的查看
测试条件 1.准备1台被测设备,设备电源供电正常
2.配置测试笔记本电脑被测设备管理端口接入同一网络
3.设备为稳定的商用BIOS版本
设备业务操作系统中已正确安装人工智能加速卡驱动
测试过程 1.通过测试笔记本电脑登录被测设备的管理地址
20
2.进入管理界面,查看人工智能加速卡的序列号SerialNumber信息
3.读取人工智能加速卡的序列号信息并截图
4.登录到业务操作系统中,查看相应人工智能加速卡的序列号并截图
对比3,4步查询出来的人工智能加速卡序列号,是否一致
预期结果 步骤3和步骤4查询出来的人工智能加速卡序列号一致
测试说明
测试结果
4.2.3.2 人工智能加速卡固件版本管理测试
测试编号 CU-PCS-T4232
测试目的 验证可通过被测设备远程管理系统进行人工智能加速卡固件版本的查看
测试条件 1.准备1台被测设备,设备电源供电正常
2.配置测试笔记本电脑被测设备管理端口接入同一网络
3.设备为稳定的商用BIOS版本
4.设备业务操作系统中已正确安装人工智能加速卡驱动
测试过程 1.通过测试笔记本电脑登录被测设备的管理地址
2.进入管理界面,查看人工智能加速卡的固件版本信息
3.读取人工智能加速卡的固件版本信息并截图
4.登录到业务操作系统中,查看相应人工智能加速卡的固件版本并截图
5.对比3,4步查询出来的人工智能加速卡固件版本信息一致
预期结果 步骤3和步骤4查询出来的人工智能加速卡固件版本信息一致
测试说明
测试结果
4.2.3.3 人工智能加速卡功耗监控测试
测试编号 CU-PCS-T4233
测试目的 验证可通过被测设备远程管理系统进行人工智能加速卡当前功耗的查看监控
测试条件 1. 准备1台被测设备,设备电源供电正常
2. 配置测试笔记本电脑被测设备管理端口接入同一网络
3. 设备为稳定的商用BIOS版本
4. 设备业务操作系统中已正确安装人工智能加速卡驱动
测试过程 1. 通过测试笔记本电脑登录被测设备的管理地址
2. 进入管理界面,查看人工智能加速卡当前功耗信息
3. 读取人工智能加速卡的功耗信息并截图
4. 登录到业务操作系统中,查看人工智能加速卡的当前功耗值并截图
5. 对比3,4步查询出来的人工智能加速卡当前功耗值
预期结果 步骤3和步骤4查询出来的人工智能加速卡当前功耗值基本一致
测试说明 现场测试采集步骤之间存在时间差,数据差距在10%以内即可
测试结果
4.2.3.4 人工智能加速卡温度监控测试
测试编号 CU-PCS-T4234
测试目的 验证可通过被测设备远程管理系统进行人工智能加速卡当前温度的查看监控
测试条件 1. 准备1台被测设备,设备电源供电正常
21
2. 配置测试笔记本电脑被测设备管理端口接入同一网络
3. 设备为稳定的商用BIOS版本
4. 设备业务操作系统中已正确安装人工智能加速卡驱动
测试过程 1. 通过测试笔记本电脑登录被测设备的管理地址
2. 进入管理界面,查看人工智能加速卡当前温度信息
3. 读取人工智能加速卡的温度信息并截图
4. 登录到业务操作系统中,来查看人工智能加速卡的当前温度值并截图
5. 对比3,4步查询出来的人工智能加速卡当前温度值
预期结果 步骤3和步骤4查询出来的人工智能加速卡当前温度值基本一致
测试说明 现场测试采集步骤之间存在时间差,数据差距在10%以内即可
测试结果
4.2.4 IPMI 2.0协议功能
4.2.4.1 IPMI USER 命令
4.2.4.1.1 用户数据库查询
测试编号 CU-PCS-T42411
测试目的 验证被测服务器支持用户数据库查询功能
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试电脑上运行ipmitool -H ... -I lanplus -U -P user
summary,查询用户数据库概要信息
预期结果 被测服务器返回IPMI用户数据库摘要信息,包含最大用户数启用用户数固定用户数等
测试说明
测试结果 最大用户数:
启用用户数:
固定用户数:
4.2.4.1.2 BMC用户查询
测试编号 CU-PCS-T42412
测试目的 验证被测服务器支持BMC用户查询
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行ipmitool -H ... -I lanplus -U -P
user list,查询BMC用户信息
预期结果 被测服务器返回BMC用户信息
测试说明
测试结果
22
4.2.4.2 IPMI LAN 命令
4.2.4.2.1 查询LAN接口参数配置信息
测试编号 CU-PCS-T42421
测试目的 验证被测服务器支持LAN接口参数配置信息查询
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行 ipmitool -H ... -I lanplus -U -P lan
print 1,打印Lan 参数配置信息
预期结果 被测设备返回LAN接口参数配置信息,包含IP地址掩码网关MACSNMP
Community等
测试说明
测试结果 IP:
掩码:
网关:
MAC:
4.2.4.3 IPMI SOL 命令
4.2.4.3.1 SOL参数信息查询
测试编号 CU-PCS-T42431
测试目的 验证被测服务器支持SOL参数信息查询
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行ipmitool -H ... -I lanplus -U -P
sol info,显示SOL参数配置信息
预期结果 被测设备返回IPMI
SOL的参数信息,例如:是否启用SOL重试次数重试间隔等参数
测试说明
测试结果 SOL是否启用
重试次数
重试间隔
4.2.4.3.2 KVM over IP
测试编号 CU-PCS-T42432
测试目的 验证被测服务器支持IPMI模拟KVM
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 1. 通过IPMI命令重启被测服务器
2. 在被测服务器OS上进行配置,以支持KVM OVER IPMI SOL
3. 在测试电脑上运行ipmitool -H ... -I lanplus -U -P
sol activate,建立SOLKVM会话
4. 在测试笔记本上运行ipmitool -H ... -I lanplus -U
23
-P sol deactivate,去激活SOLKVM会话
预期结果 在步骤3中,笔记本上可以查看服务器启动的POST信息输出,被测
服务器可以接受测试笔记本的键盘输入
测试说明
测试结果 支持KVM over IP:是/否
4.2.4.4 IPMI BMC命令
4.2.4.4.1 获取BMC相关信息
测试编号 CU-PCS-T42441
测试目的 验证被测服务器支持获取BMC相关信息
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行 ipmitool -H ... -I lanplus -U -P
mc info,查询BMC的版本信息
预期结果 被测设备返回BMC固件版本IPMI版本设备是否可用额外支持
的设备(如SDRSELFRUChassis)等相关信息
测试说明
测试结果 BMC固件版本:
IPMI版本:
设备是否可用:
额外支持的设备(如SDRSELFRUChassis):
4.2.4.5 IPMI Power 命令
4.2.4.5.1 IPMI 远程开机
测试编号 CU-PCS-T42451
测试目的 验证被测服务器支持通过IPMI指令进行远程开机
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 1. 在测试笔记本上运行IPMITool命令,执行ipmitool -H ... -I
lanplus -U -P power on,远程开机
2. 在测试笔记本上运行IPMITool命令,执行ipmitool -H ... -I
lanplus -U -P power status,获取底板电源状态信息
预期结果 被测设备能够通过IPMI指令进行远程开机
测试说明
测试结果
4.2.4.5.2 IPMI 远程关机
测试编号 CU-PCS-T42452
测试目的 验证被测服务器支持通过IPMI指令进行远程关机
测试条件 1. 被测服务器电源供电正常
24
2. 测试电脑安装IPMITool测试软件
测试过程 1. 在测试笔记本上运行IPMITool命令,执行ipmitool -H ... -I
lanplus -U -P power off,远程关机
2. 在测试笔记本上运行IPMITool命令,执行ipmitool -H ... -I
lanplus -U -P power status,获取底板电源状态信息
预期结果 被测设备能够通过IPMI指令进行远程关机
测试说明
测试结果
4.2.4.5.3 IPMI 远程复位
测试编号 CU-PCS-T42453
测试目的 验证被测服务器支持通过IPMI指令进行远程复位
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 1. 在测试笔记本上运行IPMITool命令,执行ipmitool -H ... -I
lanplus -U -P power reset
2. 在测试笔记本上运行IPMITool命令,执行ipmitool -H ... -I
lanplus -U -P power status,查询电源状态信息
预期结果 被测设备能够通过IPMI指令进行远程复位
测试说明
测试结果
4.2.4.6 IPMI FRU命令
4.2.4.6.1 获取 FRU 设备的信息
测试编号 CU-PCS-T42461
测试目的 验证被测服务器支持通过IPMI指令获取设备信息
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行 ipmitool -H ... -I lanplus -U -P
fru,获取设备信息
预期结果 被测设备返回可FRU(可现场更换的器件)信息,包括主板厂家主
板序列号主板产品ID,被测设备型号被测设备厂家被测设备序
列号等
测试说明
测试结果 主板厂家:
主板序列号:
主板产品ID
被测设备型号:
被测设备厂家:
被测设备序列号:
25
4.2.4.7 IPMI RAW 命令
4.2.4.7.1 通过 IPMI 获取整机功耗
测试编号 CU-PCS-T42471
测试目的 验证被测服务器支持通过IPMI指令获取整机功耗
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行ipmitool -H ... -I lanplus -U -P
raw 0x30 0x16,获取整机功耗
预期结果 被测设备返回设备的整机功耗
测试说明 厂家提供相应的二进制指令
测试结果
4.2.4.8 IPMI SDR 命令
4.2.4.8.1 获取 SDR 相关信息
测试编号 CU-PCS-T42481
测试目的 验证被测服务器支持SDR信息获取
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行IPMITool命令,执行ipmitool -H ... -I
lanplus -U -P sdr info,查询SDR 的相关信息
预期结果 被测设备返回SDR的版本记录数(传感器数量)剩余空间等信息
测试说明
测试结果 SDR版本:
记录数(传感器数量):
剩余空间:
4.2.4.8.2 获取传感器状态信息
测试编号 CU-PCS-T42482
测试目的 验证被测服务器全部传感器信息获取功能
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行ipmitool -H ... -I lanplus -U -P
sdr list,获取全部传感器状态信息
预期结果 被测设备返回SDR中全部的传感器状态信息,记录传感器数量
测试说明
26
测试结果 查询信息
4.2.4.9 IPMI SEL 命令
4.2.4.9.1 查询SEL信息
测试编号 CU-PCS-T42491
测试目的 验证被测服务器支持SEL信息查询
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行ipmitool -H ... -I lanplus -U -P sel
info,显示SEL相关信息
预期结果 被测设备返回SEL版本信息条目数剩余空间存储空间使用率是否溢出最后添加时间等信息
测试说明
测试结果
4.2.4.9.2 查询SEL日志信息
测试编号 CU-PCS-T42492
测试目的 验证被测服务器支持SEL日志信息查询
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装IPMITool测试软件
测试过程 在测试笔记本上运行ipmitool -H ... -I lanplus -U -P
sel list,查询SEL日志信息
预期结果 查询被测服务器SEL保存的日志信息
测试说明
测试结果
4.2.5 SNMP接口协议功能
4.2.5.1 SNMP 协议版本支持测试
测试编号 CU-PCS-T4251
测试目的 验证被测设备远程管理系统支持SNMPv3版本,并提供MIBTrap
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装MIB-BROWSER测试软件
测试过程 在被测服务器上配置SNMP V3协议,使用MIB-BROWSER以SNMP
V3方式访问设备
预期结果 测试电脑可以通过SNMP V3方式访问被测服务器
测试说明
27
测试结果
4.2.5.2 MIB 库支持测试
测试编号 CU-PCS-T4252
测试目的 验证被测服务器提供MIB库的功能List
测试条件 1. 被测服务器电源供电正常
2. 测试电脑安装MIB-BROWSER测试软件
测试过程 1. 测试电脑配置MIB-
BROWSER读取被测设备提供的固定版本MIB库
2. 记录MIB库所支持的GetSet等叶子节点功能项及数量>1000
3. 抽查MIB库所支持的GetSet等叶子节点功能项
预期结果 1. 记录被测设备MIB库List内容功能完整度
2. 抽查被测设备MIB库功能
测试说明
测试结果
4.2.6 Redfish接口协议功能
4.2.6.1 查询指定CPU资源信息
测试编号 CU-PCS-T4261
测试目的 验证通过Redfish接口查询指定CPU资源信息功能
测试条件 1. 服务器电源正常上电
2. 服务器裸机,未安装任何操作系统及相应 Agent
3. 使用稳定的商用版本BIOS
4.
服务器管理口创建用户,包括用户名密码,并赋予用户权限为管理权限
5. 配置测试笔记本电脑通过网络接入被测设备独立网络管理接口
6. 测试笔记本电脑安装 Postman 工具,并正确配置
测试过程 1. 在测试机 Postman 上运行 Redfish 命令,执行 Get 操作,URL:
http://**,deviceip
为 BMC IP 地址,cpuid 为 CPU 资源 ID
2. 查看Redfish命令的响应信息,结果 1
3. BMC WEB或者命令行查看服务器在位 CPU 的信息,结果 2
4. 重复步骤 1-3,遍历查询所有在位 CPU 的信息
预期结果 1.结果 1 中的响应信息包括下列信息:
厂商型号主频核数线程数序列号
2. 结果 2 中通过 BMC WEB 或者命令行查询信息和结果 1 中通过
Redfish 接口查询的 CPU 信息结果一致
测试说明 URL可按照厂家提供路径
测试结果
28
4.2.6.2 查询指定内存资源信息
测试编号 CU-PCS-T4262
测试目的 验证通过Redfish接口查询指定内存资源信息功能
测试条件 1. 服务器电源正常上电
2. 服务器裸机,未安装任何操作系统及相应 Agent
3. 使用稳定的商用版本BIOS
4.
服务器管理口创建用户,包括用户名密码,并赋予用户权限为管理权限
5. 配置测试笔记本电脑通过网络接入被测设备独立网络管理接口
6. 测试笔记本电脑安装 Postman 工具,并正确配置
测试过程 1. 在测试机 Postman 上运行 Redfish 命令,执行 Get 操作,URL:
http://** , deviceip 为
BMC IP 地址,Memoryid 为内存资源 ID
2. 查看 Redfish 命令的响应信息,结果 1
3. BMC WEB 或者命令行查看服务器在位内存信息,结果 2
4. 重复步骤 1-3,遍历查询所有在位内存的信息
预期结果 1. 结果 1 中的响应信息包括下列信息:
厂商类型型号容量频率序列号
2. 结果 2 中通过BMC WEB 或者操作系统命令查询信息和结果 1 中通过
Redfish 接口查询的内存信息结果一致
测试说明 URL可按照厂家提供路径
测试结果
4.2.6.3 查询服务器指定存储控制器资源信息
测试编号 CU-PCS-T4263
测试目的 验证通过Redfish接口获取服务器指定存储控制器资源信息功能
测试条件 1. 服务器电源正常上电
2. 服务器裸机,未安装任何操作系统及相应 Agent
3. 使用稳定的商用版本BIOS
4.
服务器管理口创建用户,包括用户名密码,并赋予用户权限为管理
权限
5. 配置测试笔记本电脑通过网络接入被测设备独立网络管理接口
6. 测试笔记本电脑安装 Postman 工具,并正确配置
测试过程 1. 在测试机 Postman 上运行 Redfish 命令,执行 Get 操作,URL:
http://** ,
deviceip 为 BMC IP 地址,systemid 为机箱资源 ID,storageid
存储资源 ID
2. 查看 Redfish 命令的响应信息,记为结果 1
3. 通过 BMC WEB 界面或者命令行查看服务器 RAID 卡信息,结果 2
29
4. 重复步骤 1-4,遍历查询所有 RAID 卡信息
预期结果 1. 结果 1 中的响应信息包括下列信息:
RAID卡厂商型号缓存大小
2. 结果 2 中通过BMC WEB 或者操作系统命令查询信息和结果 1
中通过 Redfish 接口查询的存储控制器信息结果一致
测试说明 URL可按照厂家提供路径
测试结果
4.2.6.4 查询服务器指定硬盘资源信息
测试编号 CU-PCS-T4264
测试目的 验证通过Redfish接口获取服务器指定存储控制器资源信息功能
测试条件 1. 服务器电源正常上电
2. 服务器裸机,未安装任何操作系统及相应 Agent
3. 使用稳定的商用版本BIOS
4.
服务器管理口创建用户,包括用户名密码,并赋予用户权限为管理
权限
5. 配置测试笔记本电脑通过网络接入被测设备独立网络管理接口
6. 测试笔记本电脑安装 Postman 工具,并正确配置
测试过程 1. 在测试机 Postman 上运行 Redfish 命令,执行 Get 操作,URL:
http://**
,deviceip 为 BMC IP 地址,systemid 为机箱资源 ID,storageid
存储资 源 ID,获取驱动器列表
2. 在测试机 Postman 上运行 Redfish 命令,执行 Get 操作,URL:
http://** ,
deviceip 为 BMC IP 地址,chassisid 为机箱资源
ID针对机架服务器,取值为 1, drivesid 硬盘 ID,获取硬盘信息
3. 查看 Redfish 命令的响应信息,结果 1
4. 通过 BMC WEB 界面或者命令行查看服务器硬盘信息,结果 2
5. 重复步骤 1-4,遍历查询所有硬盘的信息
预期结果 1. 结果 1 中的响应信息包括下列信息:
厂商型号接口类型介质类型容量固件版本序列号
2. 通过 BMC WEB 界面或者操作系统命令查询的硬盘信息和通过
Redfish 接口查询的硬盘信息一致
测试说明 URL可按照厂家提供路径
测试结果
4.2.6.5 查询服务器指定网卡资源信息
测试编号 CU-PCS-T4265
测试目的 验证通过Redfish接口获取服务器指定存储控制器资源信息功能
测试条件 1. 服务器电源正常上电
30
2. 服务器裸机,未安装任何操作系统及相应 Agent
3. 使用稳定的商用版本BIOS
4. 服务器管理口创建用户,包括用户名密码,并赋予用户权限为管理
权限
5. 配置测试笔记本电脑通过网络接入被测设备独立网络管理接口
6. 测试笔记本电脑安装 Postman 工具,并正确配置
测试过程 1. 在测试机 Postman 上运行 Redfish 命令,执行 Get 操作,URL:
http://**, deviceip
为 BMC IP 地址,chassisid 为机箱资源 ID,获取网卡资源列表
2. 查看 Redfish 命令的响应信息,记为结果 1
3. 在测试机 Postman 上运行 Redfish 命令,执行 Get 操作,URL:
http://**
ptersid,deviceip 为 BMC IP 地址,chassisid 为机箱资源 ID,
networkadaptersid 网卡 ID
4. 查看 Redfish 命令的响应信息,记为结果 2
5. 通过 BMC WEB 界面或者命令行查看服务器网卡信息,记为结果 3
6. 重复步骤 1-4,遍历查询所有网卡的信息
预期结果 1. 结果 2 中的响应信息包括下列信息:
芯片厂商型号接口类型网卡厂商位置
2. 通过 BMC WEB 界面或者命令行查询的网卡信息结果 3 和通过
Redfish 接口查询的网卡信息结果 2 一致
测试说明
测试结果
4.2.6.6 查询指定人工智能加速卡资源信息
测试编号 CU-PCS-T4266
测试目的 验证通过Redfish接口查询指定人工智能加速卡资源信息功能
测试条件 1. 服务器电源正常上电
2. 设备已安装规定操作系统并且驱动程序安装正常
3. 使用稳定的商用版本BIOS
4. 服务器管理口创建用户,包括用户名密码,并赋予用户权限为管理权限
5. 配置测试笔记本电脑通过网络接入被测设备独立网络管理接口
6. 测试笔记本电脑安装 Postman 工具,并正确配置
测试过程 1. 在测试机 Postman 上运行 Redfish 命令,执行 Get 操作,URL:
http://**,deviceip 为 BMC IP
地址,pciedevicesid为 人工智能加速卡所在PCIe 资源 ID
2. 查看Redfish命令的响应信息,结果 1
3. BMC WEB或者命令行查看服务器人工智能加速卡的信息,结果 2
4. 重复步骤 1-3,遍历查询所有在位人工智能加速卡的信息
预期结果 1.结果 1 中的响应信息包括下列信息:
名称芯片制造商型号固件版本序列号PCIe设备类型位置信息槽位号等信息
2. 结果 2 中通过 BMC WEB 或者命令行查询信息和结果 1 中通过 Redfish
接口查询的信息结果一致
测试说明 URL可按照厂家提供路径
31
测试结果
32
4.3 可靠性测试
4.3.1 磁盘冗余和热插拔测试
测试编号 CU-PCS-T0431
测试目的 检测磁盘冗余和热插拔
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
测试过程 1. 系统盘2块做RAID1
2. 拔掉一个系统盘
3. 重新插入一块新硬盘
预期结果 1. 拔掉系统盘后,被测服务器不出现复位重启等异常情况
2. 重新插入一块新硬盘,自动rebuilding
测试说明
测试结果
4.3.2 电源冗余和热插拔测试
测试编号 CU-PCS-T0432
测试目的 检测电源冗余和热插拔
测试条件 1. 被测服务器电源供电正常
2. 被测服务器网络连接正常
3.设备预装Linux操作系统,预装人工智能加速卡加压软件和stress软件
测试过程 1. 设备所有电源模块接入,设备启动进入操作系统
2. 运行人工智能加速卡加压软件,将所有人工智能加速卡加压至满载
状态
3. 进入操作系统,对CPU进行100%加压
4. 对冗余的电源模块进行热插拔,在人工智能加速卡和CPU满负载的
情况下继续测试半小时
预期结果 1. 电源模块支持热插拔
2.
在压力测试过程中,更换或拔掉一个电源,系统不会产生死机或者重启

测试说明 支持NN冗余
测试结果
4.3.3 风扇冗余和热插拔检测
测试编号 CU-PCS-T0433
测试目的 检测风扇冗余和热插拔
测试条件 1. 被测服务器电源供电正常
33
2. 被测服务器网络连接正常
3.设备预装 Linux操作系统,预装人工智能加速卡加压软件
测试过程 1. 进入操作系统,对CPU进行100%加压
2. 使用人工智能加速卡加压软件,将所有人工智能加速卡加压至满载状

3. 对冗余的风扇模块进行热插拔
4. 持续运行三十分钟,观察整机运行状态,操作系统运行信息
预期结果 1. 风扇模块支持热插拔
2.
在压力测试过程中,更换或拔掉一个风扇,系统不会产生死机或者重启。
测试说明 支持N1冗余
为避免风险,在持续运行阶段,可通过模拟单风扇损坏情况进行测试。
测试结果
4.4 基本性能测试
4.4.1 CPU与人工智能加速卡之间通信带宽测试
测试编号 CU-PCS-T0441
测试目的 检测CPU与人工智能加速卡之间带宽
测试条件 1.服务器电源供电正常
2.设备为稳定的商用BIOS版本及BMC版本
3.设备已安装规定的操作系统并且各驱动程序安装正常
4.设备已安装规定的人工智能加速卡驱动软件计算引擎开发环
境等软件,且运行正常
测试过程 1.通过命令行查看人工智能加速卡在位情况及健康状况
2.被测服务器安装加速卡测试软件Driver
3.执行对应测试命令
4.遍历所有人工智能加速卡,重复执行步骤
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
2.步骤4中,获取8个人工智能加速卡的CPU到加速卡和加速卡到C
PU的带宽值,16个值取平均值得到CPU与人工智能加速卡之间通
信带宽GB/s,须满足配置要求
测试说明 1.性能值单位换算方法:1TB/s1024GB/s,1GB/s1024MB/s,1MB/
s1024KB/s,1KB/s1024B/s,1B/s8bit/s
本用例只针对训练机型,由测试单位提供测试工具记录
测试结果
4.4.2 人工智能加速卡与人工智能加速卡之间通信带宽测试
测试编号 CU-PCS-T0442
34
测试目的 检测人工智能加速卡之间通信带宽
测试条件 1.服务器电源供电正常
2.设备为稳定的商用BIOS版本及BMC版本
3.设备已安装规定的操作系统并且各驱动程序安装正常
4.设备已安装规定的人工智能加速卡驱动软件计算引擎开发环
境等软件,且运行正常
测试过程 1.通过命令行查看人工智能加速卡在位情况及健康状况
2.被测服务器安装加速卡测试软件Driver
3.执行对应测试命令
4.遍历所有人工智能加速卡,重复执行步骤
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
2.步骤4中,获取8个人工智能加速卡之间的通信带宽,去除对角线
的带宽值,对其余带宽值求平均值取得人工智能加速卡之间通信
带宽,须满足配置要求
测试说明 1.性能值单位换算方法:1TB/s1024GB/s,1GB/s1024MB/s,1MB/
s1024KB/s,1KB/s1024B/s,1B/s8bit/s
本用例只针对训练机型,由测试单位提供测试工具记录
测试结果
4.5 应用性能测试
4.5.1 AI训练能力测试
4.5.1.1 PyTorch框架下使用BERT-Large模型训练性能
测试编号 CU-PCS-T04511
测试目的 测试被测设备在PyTorch框架下,基于wikipedia数据集使用BERT-
large模型进行训练的性能
测试条件 1.设备电源供电正常
2.使用本地管理PC连接到服务器
3.设备为稳定的商用BIOS版本及BMC版本
4.设备已安装规定操作系统并且驱动程序安装正常
5.业务系统中已安装加速卡对应软件套件Driver
6.业务系统中已安装Python3.8及以上
7.业务系统中已安装Docker19.03及以上
8.业务系统中已导入Wikipedia2020/01/01数据集
9.业务系统中已导入测试容器镜像
测试过程 1.远程通过命令行登录被测试服务器,执行命令查询当前人工智
能加速卡的状态及健康状况
2.执行命令进行模型训练
说明:所有参数均不允许修改。
3.记录日志获取训练时间及每秒处理的样本数samples/s,日志打
印的模型准确率要求达到训练目标准确率
35
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
2.步骤3中,从日志中获取每秒处理的样本数samples/s,模型准
确率能够达到目标准确率
测试说明 本用例只针对英伟达训练型服务器测试,测试工具数据集由测试
组提供
测试结果
4.5.1.2 PyTorch框架下使用MaskRCNN模型训练性能
测试编号 CU-PCS-T04512
测试目的 测试被测设备在PyTorch框架下,基于coco2017数据集使用MaskR
CNN模型进行训练的性能
测试条件 1.1.设备电源供电正常
2.使用本地管理PC连接到服务器
3.设备为稳定的商用BIOS版本及BMC版本
4.设备已安装规定操作系统并且驱动程序安装正常
5.业务系统中已安装加速卡对应软件套件Driver
6.业务系统中已安装Python3.8及以上
7.业务系统中已安装Docker19.03及以上
8.业务系统中已导入COCO2017数据集
9.业务系统中已导入测试容器镜像
测试过程 1.远程通过命令行登录被测试服务器,执行命令查询当前人工智
能加速卡的状态及健康状况
2.进入代码目录。
3.执行命令进行模型训练
说明:所有参数均不允许修改。
4.记录日志获取训练时间及每秒处理的图片数images/sec,日志
打印的模型准确率要求达到训练目标准确率
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
2.步骤4中,从日志中获取每秒处理的图片数images/sec,模型准
确率能够达到目标准确率
测试说明 本用例只针对英伟达训练型服务器测试,测试工具数据集由测试
组提供
测试结果
4.5.1.3 Pytorch框架下使用MobileNetV3模型训练性能
测试编号 CU-PCS-T04513
测试目的 测试被测设备在PyTorch框架下,基于ImageNet2012数据集使用Mobi
leNetV3模型进行训练的性能
测试条件 1.1.设备电源供电正常
2.使用本地管理PC连接到服务器
3.设备为稳定的商用BIOS版本及BMC版本
4.设备已安装规定操作系统并且驱动程序安装正常
36
5.业务系统中已安装加速卡对应软件套件Driver
6.业务系统中已安装Python3.7.5
7.业务系统中已安装Docker19.03及以上
8.业务系统中已导入ImageNet2012数据集
9.业务系统中已导入测试容器镜像
10.测试代码获取:http://**-
PyTorchttp://**
ge100forPyTorch
测试过程 1.远程通过命令行登录被测试服务器,执行命令查询当前人工智能
加速卡的状态及健康状况
2.进入代码目录。
3.执行命令进行模型训练
说明:batchsize为512,所有参数均不允许修改。
4.记录日志获取训练时间及每秒处理的图片数FPS,日志打印的模
型准确率要求达到训练目标准确率
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
2.步骤4中,从日志中获取每秒处理的图片数FPS,模型准确率能够
达到目标准确率
测试说明 本用例只针对昇腾训练型服务器测试,测试工具数据集由测试组提

测试结果
4.5.1.4 Pytorch框架下使用ShuffleNetV1模型训练性能
测试编号 CU-PCS-T04514
测试目的 测试被测设备在PyTorch框架下,基于ImageNet2012数据集使用Shuf
fleNetV1模型进行训练的性能
测试条件 1.1.设备电源供电正常
2.使用本地管理PC连接到服务器
3.设备为稳定的商用BIOS版本及BMC版本
4.设备已安装规定操作系统并且驱动程序安装正常
5.业务系统中已安装加速卡对应软件套件Driver
6.业务系统中已安装Python3.7.5
7.业务系统中已安装Docker19.03及以上
8.业务系统中已导入ImageNet2012数据集
9.业务系统中已导入测试容器镜像
10.测试代码获取: http://**-
PyTorchttp://**
forPyTorch
测试过程 1.远程通过命令行登录被测试服务器,执行命令查询当前人工智能
加速卡的状态及健康状况
2.进入代码目录。
3.执行命令进行模型训练
说明:训练batchsize为8192,所有参数均不允许修改。
4.记录日志获取训练时间及每秒处理的图片数FPS,日志打印的模
37
型准确率要求达到训练目标准确率
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
2.步骤4中,从日志中获取每秒处理的图片数FPS,模型准确率能
够达到目标准确率
测试说明 本用例只针对昇腾训练型服务器测试,测试工具数据集由测试组
提供
测试结果
4.5.2 AI推理能力测试
4.5.2.1 BERT-Large模型推理的性能测试
测试编号 CU-PCS-T04521
测试目的 测试被测设备基于SQuAD数据集在BERT模型下的推理性能
测试条件 1.设备电源供电正常
2.使用本地管理PC连接到服务器
3.设备为稳定的商用BIOS版本及BMC版本
4.设备已安装规定操作系统并且驱动程序安装正常
5.业务系统中已安装加速卡对应软件套件Driver
6.业务系统中已安装Python3.8及以上
7.业务系统中已安装Docker19.03及以上
8.业务系统中已导入SQuAD1.1数据集
9.业务系统中已导入测试容器镜像
测试过程 1.远程通过命令行登录被测试服务器,执行命令查询当前人工智
能加速卡的状态及健康状况
2.执行命令进行模型推理
说明:所有参数均不允许修改。
3.记录日志获取训练时间及每秒处理的样本数samples/s,日志打
印的模型准确率要求达到目标准确率
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
2.步骤4中,从日志中获取每秒处理的样本数samples/s,模型准
确率能够达到目标准确率
测试说明 本用例只针对英伟达推理型服务器测试,测试工具数据集由测试
组提供
测试结果
4.5.2.2 Yolov5模型推理的性能测试
测试编号 CU-PCS-T04522
测试目的 测试被测设备基于Coco2017数据集在Yolo V5模型下的推理性能
测试条件 1.设备电源供电正常
2.使用本地管理PC连接到服务器
38
3.设备为稳定的商用BIOS版本及BMC版本
4.设备已安装规定操作系统并且驱动程序安装正常
5.业务系统中已安装加速卡对应软件套件Driver
6.业务系统中已安装Python3.8及以上
7.业务系统中已安装Docker19.03及以上
8.业务系统中已导入Coco2017数据集
9.业务系统中已导入测试容器镜像
测试过程 1.远程通过命令行登录被测试服务器,执行命令查询当前人工智
能加速卡的状态及健康状况
2.执行命令进行模型推理
说明:所有参数均不允许修改。
3.记录日志获取训练时间及每秒处理的样本数samples/s,日志打
印的模型准确率要求达到目标准确率
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
2.步骤4中,从日志中获取每秒处理的样本数samples/s,模型准
确率能够达到目标准确率
测试说明 本用例只针对英伟达推理型服务器测试,测试工具数据集由测试
组提供
测试结果
4.5.2.3 Bert-Base Chinese模型推理的性能测试
测试编号 CU-PCS-T04523
测试目的 测试被测设备基于PyTorch框架下使用Bert-Base
Chinese模型推理的性能
sequences/sec
测试条件 1.设备电源供电正常
2.使用本地管理PC连接到服务器
3.设备为稳定的商用BIOS版本及BMC版本
4.设备已安装规定操作系统并且驱动程序安装正常
5.业务系统中已安装加速卡对应软件套件Driver
6.业务系统中已安装Python3.7.5及以上
7.业务系统中已安装Docker19.03及以上
8.业务系统中已导入zhwiki数据集,链接: http://**
/zhwiki/latest/zhwiki-latest-pages- articles.xml.bz2
9.业务系统中已导入测试容器镜像
测试过程 1.远程通过命令行登录被测试服务器,执行命令查询当前人工智
能加速卡的状态及健康状况
2.执行命令进行模型推理
说明:
使用fp16精度,设定batch
size8,seqlength设置为384,所有参数均不允许修改
整机性能 单卡吞吐率 NPU卡数。
3.记录日志获取训练时间及每秒处理的样本数sequences/sec。
4. 执行模型后处理和精度计算脚本,统计精度测试结果。
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
39
2.步骤3中,从日志中获取每秒处理的样本数sequences/sec,步骤
4中,模型准确率能够达到目标准确率。
测试说明 本用例只针对昇腾推理型服务器测试,测试工具数据集由测试组
提供
测试结果
4.5.2.4 Resnet50模型推理的性能测试
测试编号 CU-PCS-T04524
测试目的 测试被测设备基于PyTorch框架下使用Resnet50模型推理的性能
samples/sec
测试条件 1.设备电源供电正常
2.使用本地管理PC连接到服务器
3.设备为稳定的商用BIOS版本及BMC版本
4.设备已安装规定操作系统并且驱动程序安装正常
5.业务系统中已安装加速卡对应软件套件Driver
6.业务系统中已安装Python3.7.5及以上
7.业务系统中已安装Docker19.03及以上
8.业务系统中已导入ImageNet2012数据集,链接: http://**-
net.org/download-images
9.业务系统中已导入测试容器镜像
测试过程 1.远程通过命令行登录被测试服务器,执行命令查询当前人工智
能加速卡的状态及健康状况
2.执行命令进行模型推理
说明:
使用fp16精度,设定batch
size64,所有参数均不允许修改
整机性能 单卡吞吐率 NPU卡数。
3.记录日志获取训练时间及每秒处理的样本数samples/sec。
4. 执行模型后处理和精度计算脚本,统计精度测试结果。
预期结果 1.步骤1中,所有人工智能加速卡均在位且运行正常,无告警
2.步骤3中,从日志中获取每秒处理的样本数samples/sec,步骤4
中,模型准确率能够达到目标准确率。
测试说明 本用例只针对昇腾推理型服务器测试,测试工具数据集由测试组
提供
测试结果
4.6 能耗测试
4.6.1 能耗测试
测试编号 CU-PCS-T0461
测试目的 测试服务器人工智能加速卡满载状态即人工智能加速卡利用率达到
100%且功耗值达到标称额定功率值下的功耗值
测试条件 1.准备1台被测设备,设备电源模块全部接入并供电正常
2.直接通过被测设备本地VGA接口连接显示器,通过本地USB或PS2
40
3.接口连接键盘鼠标
4.设备为稳定的商用BIOS版本
5.设备预装规定操作系统并且各驱动程序安装运行正常
6.在操作系统上安装人工智能加速卡加压软件
测试过程 1.参照电源模块信息记录
2.设备所有电源模块接入,连接线串行接入能耗测试仪表
3.除系统盘外,NVMESSD盘设置为JBOD模式
4.进入操作系统,使用软件对磁盘进行加压:
5.使用人工智能加速卡加压软件对所有人工智能加速卡加压,使人工
智能加速卡达到满载状态,即人工智能加速卡利用率达100%且功耗
值达额定功率值,并稳定在这个状态
6.加压至所有人工智能加速卡满载状态,并保持该状态运行二十分钟
,记录第6分钟至第15分钟内的整机平均功耗值,并通过日志记录加
压过程中所有人工智能加速卡的实时利用率和功耗值
预期结果 记录设备在人工智能加速卡满载状态下的十分钟内的整机功耗平均值
测试说明 1. 电源供电模块需全部激活,所有接入端子全部接入功耗测试仪表,验证被
测设备的BIOS设置BMC设置电源模块电源模块设置必须为负载均
衡策略等相关设置无异常配置策略,禁止关闭任何接口
2. 测试过程中,所有数据盘指示灯同时持续闪烁
3. 功耗测试过程中设备CPU无需加压
4. 根据实际情况,人工智能加速卡利用率达到100%且功耗值达到额定功率
值95%以上即符合测试条件。
测试结果
4.7 压力测试
4.7.1 压力测试
测试编号 CU-PCS-T0471
测试目的 测试服务器长时间压力下工作稳定性
测试条件 1.设备电源供电正常
2.直接通过被测设备本地VGA接口连接显示器,通过本地USB接
口连接键盘鼠标
3.设备为稳定的商用BIOS版本及BMC版本
4.设备预装规定的操作系统并且各驱动程序安装运行正常
5.设备预装stress软件
6.在操作系统上安装人工智能加速卡加压软件
测试过程 1.确保风扇为自动调速模式,取消功率封顶限制,被测设备所有电
源模块接入
2.清除被测设备所有系统日志,记录时钟开始时间
3.运行人工智能加速卡加压软件,将所有人工智能加速卡加压到
满载状态,即人工智能加速卡利用率达到100%且功耗值达到标称
额定功率值,并稳定在这个状态
4.运行stress软件,将CPU加压至满载状态
5.锁定系统屏幕,并用封条封闭机箱盖外设接口网络和管理端
41
口电源风扇部件等
6.测试24小时后,观察测试是否正常结束,在BMC上观察是否有相
关异常告警,系统mehttp://**以及BMC下日志是否有
报错
预期结果 1. 设备运行过程中压力程序运行正常
2. 设备24小时运行中,无重启,宕机等异常
测试说明
测试结果
42
43
44

45

46
    
查看详情》
相关推荐
 

招投标大数据

查看详情

附件

收藏

首页

登录

最近搜索

热门搜索