自定义 : 1.原厂正品 2.高度：≤6U机架式服务器 3.处理器：配置≥2颗Intel Xeon处理器，单颗处理器≥56核，基本主频≥2.0GHz 4.内存：配置≥32条64GB DDR5 4800MHz内存 5.硬盘：配置≥2块480G SSD硬盘，≥4块7.68T NVME SSD硬盘； 6.RAID卡：配置≥1块RAID卡，缓存≥2GB； 7.网络：配置≥2个万兆网络接口（含SFP+光模块），配置≥1块双口HDR 200Gb HCA卡及1根IB线缆； 8.GPU卡：配置≥8块NVIDIA H20 96GB GPU卡；为满足AI计算通信需求，要求基于bandwidthTest的Host to Device带宽≥55GB/s、基于p2pBandwidthLatencyTest实测的GPU卡间通信带宽≥740GB/s、基于stream实测的显存带宽≥3.2TB/s、基于nccl-test实测的8卡Allreduce通信性能≥420GB/s； 9.I/O扩展槽：可扩展≥10个PCIe 5.0 x16插槽； 10. 管理：配置AI服务器统一管理软件，支持服务器全方位性能监控，包括CPU 利用率、CPU温度、内存使用率、SWAP使用率，TCP重传率，UDP连接数，硬盘读写次数及读写时速率，出入风口温度，风扇转速及风扇占空比，网络发送速率、接收速率等，系统进程数等；支持服务器BMC、BIOS、硬盘、RAID卡、网卡批量升级，服务器BIOS、BMC、RAID批量配置；支持服务器硬盘故障预测、内存故障预测功能；支持流程管理功能，包括设备上架流程、设备下架流程、问题处理流程、测试环境变更流程、硬件变更改配流程、设备位置变更流程等； 11.AI平台：配置2个节点及以上的AI训推一体平台软件；支持通过平台快速构建交互式AI开发环境，提供Jupyter、Webshell在线交互开发功能，支持对接第三方开发工具VSCode、PyCharm；支持单机或分布式训练任务，可以提交Tensorflow、Caffe、pytorch、PaddlePaddle、MXNet框架的单机或分布式训练作业，支持大模型训练容错；支持推理服务部署，支持基于标准模型文件、自定义Docker镜像、yaml、Helm等多种部署方式；支持推理服务生命周期管理，支持服务上线过程中的离线测试、定时发布、流量调节、在线部署、多分桶测试、在线滚动更新、灰度发布、在线服务评估、服务下线等全流程服务管理能力；支持GPU共享，支持GPU显存隔离切分、GPU复用、Mig配置三种GPU共享方式；支持亲和性调度策略、可基于数据集缓存位置、交换机拓扑、节点亲和性等亲和性策略进行调度；支持平台内创建持久卷声明，并在推理服务部署模式挂载持久卷声明进行；提供数据缓存加速机制，数据集可高速并行缓存到计算节点本地，并提供缓存数据的生命周期管理，支持缓存进度查看，可进行缓存数据的增量更新、手动清理等。 12. 支持基于yum的模块安装与更新、实现应用软件及其依赖组件的高效安装与更新。 13. 售后服务：提供三年原厂售后支持服务，官方网站查询配置与实际供货配置一致； 14. 电源：配置冗余电源； 15. 制造商进行过至少1个NLP大模型如GPT2、GPT3等参数量大于10亿的NLP语言模型的扩展性测试，测试内容需包含单机多卡的性能测试和多机多卡的性能测试； 16. 制造商进行过AI多机并行加速性能测试，测试至少两种深度学习框架，使用ImageNet图片集，测试模型采用AlexNet，或Resnet从1个GPU卡到16个GPU卡的性能，加速比≥14x；;

自定义 : 1.原厂正品 2.高度：≤6U机架式服务器 3.处理器：配置≥2颗Intel Xeon处理器，单颗处理器≥28核，基本主频≥2.0GHz 4.内存：配置≥16根32GB ECC 内存，可扩展≥32根内存条 5.硬盘：配置≥2块480G SSD硬盘，≥4块3.84T NVME SSD硬盘，支持≥12块3.5寸硬盘扩展； 6.RAID卡：配置≥1块RAID卡，缓存≥2GB； 7.网络：配置≥4个千兆网络接口，配置≥2个万兆网络接口（含SFP+光模块），配置≥1块双口HDR 200GbHCA卡及1根IB线缆； 8.GPU卡：配置≥6块NVIDIA L20 48GB GPU卡； 9.I/O扩展槽：满配GPU卡后，同时支持≥4个PCIe x16插槽； 10.拓扑切换：支持在不断电情况下实现CPU-GPU间拓扑切换，支持Balance/Common/Cascade三种拓扑； 11. 管理：配置AI服务器统一管理软件，支持服务器全方位性能监控，包括CPU 利用率、CPU温度、内存使用率、SWAP使用率，TCP重传率，UDP连接数，硬盘读写次数及读写时速率，出入风口温度，风扇转速及风扇占空比，网络发送速率、接收速率等，系统进程数等；支持服务器BMC、BIOS、硬盘、RAID卡、网卡批量升级，服务器BIOS、BMC、RAID批量配置；支持服务器硬盘故障预测、内存故障预测功能；支持流程管理功能，包括设备上架流程、设备下架流程、问题处理流程、测试环境变更流程、硬件变更改配流程、设备位置变更流程等； 12.AI平台：配置1个节点（物理服务器）人工智能训推一体平台；支持通过平台快速构建交互式AI开发环境，提供Jupyter、Webshell在线交互开发，支持对接第三方开发工具VSCode、PyCharm；支持单机或分布式训练任务，可以提交Tensorflow、Caffe、pytorch、PaddlePaddle、MXNet框架的单机或分布式训练作业，支持大模型训练容错；支持推理服务部署，支持基于标准模型文件、自定义Docker镜像、原生部署yaml、Helm部署多种部署方式；支持推理服务生命周期管理，支持服务上线过程中的离线测试、定时发布、流量调节、在线部署、多分桶测试、在线滚动更新、灰度发布、在线服务评估、服务下线等全流程服务管理能力；支持GPU共享，支持GPU显存隔离切分、GPU复用、Mig配置三种GPU共享方式；支持亲和性调度策略、可基于数据集缓存位置、交换机拓扑、节点亲和性等亲和性策略进行调度；支持平台内创建持久卷声明，并在推理服务部署模式挂载持久卷声明进行；提供数据缓存加速机制，数据集可高速并行缓存到计算节点本地，并提供缓存数据的生命周期管理，支持缓存进度查看，可进行缓存数据的增量更新、手动清理等； 13.支持基于yum 的模块安装与更新、实现应用软件及其依赖组件的高效安装与更新，提供一年原厂技术支持服务。 14.电源：配置≥4个2200W电源； 15.售后服务：提供三年原厂售后质保服务；官网查询配置与实际供货配置一致； 16.要求制造商进行过至少1个NLP大模型如GPT2、GPT3等参数量大于10亿的NLP语言模型在GPU服务器上的扩展性测试，其中测试内容需包含单机多卡的性能测试和多机多卡的性能测试； 17. 制造商进行过AI多机并行加速性能测试，测试至少两种深度学习框架，使用ImageNet图片集，测试模型采用AlexNet，或Resnet从1个GPU卡到16个GPU卡的性能，加速比≥14x；;