“AI大模型推理运行环境”采购需求意向公开采购意向公告
发送至邮箱
“AI大模型推理运行环境”采购需求意向公开采购意向公告
为便于供应商了解采购信息，根据《物资服务集中采购需求管理暂行办法》等有关规定，现将“AI大模型推理运行环境”采购需求 意向公开的采购意向公开如下：
| 序号 | 采购项目名称 | 需求概况 | 初步技术参数 | 预算金额(万元) | 预计采购时间 | 备注 |
|---|---|---|---|---|---|---|
| 1 | “AI大模型推理运行环境”采购需求 意向公开 | 采购内容：本采购项目采购内容为AI大模型推理运行环境硬件1套及相关软件。硬件主要包括服务器（ (略) 理器、 (略) 理器、内存、硬盘、网络/卡、主机箱），显示器，公共数据存储设备，不间断电源等；软件主要包括操作系统、通用软件、专用软件等。提供开源大模型及配套软件安装调试及外挂专用数据库构建技术培训；提供接 (略) 域网技术服务，实现办公端调用大模型实现推理应用服务；3年免费上门技术服务。 采购数量：1台 主要功能或目标：推理运行环境为CUDA生态，总算力不低于0.*@*P16，支持9B参数以上的大模型推理，提供知识库调用、文章阅读、文本生成、多语言翻译等多种大模型基础服务能力；预部署主流开源大模型*B、Qwen1.5-14B、*-7B、*B、GLM-4-9B等，提供模型加速和并发推理方案，至少支持vLLM、fastchat、Xinference；支持模型切换能力，在前端模型推理服务不变的情况下，后端模型可任意切换；支持大模型应用基础软件，至少包括LangChain、LangChain-chatchat、nextchat等。 需满足的要求：如上。 | 1.硬件 （1） (略) 理器（CPU）：采用ARM或X86架构， (略) CPU模式；配置4个以上CPU，单个CPU核心数不低于32，主频不低于2.5G Hz。 （2） (略) 理器（GPU）：单卡FP16算力不低于96T FLOPS，单卡显存不低于24GB。 （3）内存：总内存不低于256GB，支持ECC。 （4）硬盘：固态硬盘（SSD），支持NvMe协议，单盘容量不低于3.84TB，总容量不低于7.68TB；选用国产化品牌。 （5）网络：至少支持1个千兆电口，1个万兆光口；服务 (略) 络支持IB或RoCE协议，速度不低于100Gbps，网口数量不少于8个。 （6）机箱：机架式机箱，4-6U可选，支持2+2冗余电源。 （7）显示器：液晶显示屏幕，不低于27英寸，分辨率不低于2K。 （8）公共数据存储：提供不低于64TB容量的全S (略) 络存储服务器，支持不低于 (略) 口， (略) 口和4个100G IB或 (略) 口。 （9）不间断电源（UPS）：容量不低于3千瓦时。 2.软件 （1）操作系统：Ubuntu、CentOS中任一操作系统； （2）通用软件：基础大模型推理服务系统，支持大模型的各类应用方式； （3）专用软件：相关配 (略) 理、微调、运维、推理服务等工具软件； （4）兼容性：与CPU、GPU、内存、硬盘、网络等硬件兼容良好。 3.办公环境 配置办公端可接入端口数量不小于200个，同时在线推理应用端不小于10个。 | 45.00 | 2024年11月 | 对接流程 1.对接形式。采取电话沟通、实地咨 (略) 反馈参与意向和意见建议。 2.对接时间。自意向公开之日（10月15日）起至意向公开截止（10月29日），共计15天。 3.对接地点： (略) (略) 南口镇后桃洼村*1号（导航至桃洼东公交站）。 4.对接材料清单。有意向供应商采 (略) 上传输的形式提交相关加盖公章营业执照或企事业法人代表证书副本复印件、单位及产品基本情况介绍。 5.联系人：宋先生 * 马先生 * |
注：1.本次意向公开的采购意向仅作为供应商了解初步采购安排的参考，采购项目具体情况以最终发布的采购公告和采购文件为准；
2.供 (略) 反馈参与意向和意见建议。
联系人：宋健
联系方式：*
为便于供应商了解采购信息，根据《物资服务集中采购需求管理暂行办法》等有关规定，现将“AI大模型推理运行环境”采购需求 意向公开的采购意向公开如下：
| 序号 | 采购项目名称 | 需求概况 | 初步技术参数 | 预算金额(万元) | 预计采购时间 | 备注 |
|---|---|---|---|---|---|---|
| 1 | “AI大模型推理运行环境”采购需求 意向公开 | 采购内容：本采购项目采购内容为AI大模型推理运行环境硬件1套及相关软件。硬件主要包括服务器（ (略) 理器、 (略) 理器、内存、硬盘、网络/卡、主机箱），显示器，公共数据存储设备，不间断电源等；软件主要包括操作系统、通用软件、专用软件等。提供开源大模型及配套软件安装调试及外挂专用数据库构建技术培训；提供接 (略) 域网技术服务，实现办公端调用大模型实现推理应用服务；3年免费上门技术服务。 采购数量：1台 主要功能或目标：推理运行环境为CUDA生态，总算力不低于0.*@*P16，支持9B参数以上的大模型推理，提供知识库调用、文章阅读、文本生成、多语言翻译等多种大模型基础服务能力；预部署主流开源大模型*B、Qwen1.5-14B、*-7B、*B、GLM-4-9B等，提供模型加速和并发推理方案，至少支持vLLM、fastchat、Xinference；支持模型切换能力，在前端模型推理服务不变的情况下，后端模型可任意切换；支持大模型应用基础软件，至少包括LangChain、LangChain-chatchat、nextchat等。 需满足的要求：如上。 | 1.硬件 （1） (略) 理器（CPU）：采用ARM或X86架构， (略) CPU模式；配置4个以上CPU，单个CPU核心数不低于32，主频不低于2.5G Hz。 （2） (略) 理器（GPU）：单卡FP16算力不低于96T FLOPS，单卡显存不低于24GB。 （3）内存：总内存不低于256GB，支持ECC。 （4）硬盘：固态硬盘（SSD），支持NvMe协议，单盘容量不低于3.84TB，总容量不低于7.68TB；选用国产化品牌。 （5）网络：至少支持1个千兆电口，1个万兆光口；服务 (略) 络支持IB或RoCE协议，速度不低于100Gbps，网口数量不少于8个。 （6）机箱：机架式机箱，4-6U可选，支持2+2冗余电源。 （7）显示器：液晶显示屏幕，不低于27英寸，分辨率不低于2K。 （8）公共数据存储：提供不低于64TB容量的全S (略) 络存储服务器，支持不低于 (略) 口， (略) 口和4个100G IB或 (略) 口。 （9）不间断电源（UPS）：容量不低于3千瓦时。 2.软件 （1）操作系统：Ubuntu、CentOS中任一操作系统； （2）通用软件：基础大模型推理服务系统，支持大模型的各类应用方式； （3）专用软件：相关配 (略) 理、微调、运维、推理服务等工具软件； （4）兼容性：与CPU、GPU、内存、硬盘、网络等硬件兼容良好。 3.办公环境 配置办公端可接入端口数量不小于200个，同时在线推理应用端不小于10个。 | 45.00 | 2024年11月 | 对接流程 1.对接形式。采取电话沟通、实地咨 (略) 反馈参与意向和意见建议。 2.对接时间。自意向公开之日（10月15日）起至意向公开截止（10月29日），共计15天。 3.对接地点： (略) (略) 南口镇后桃洼村*1号（导航至桃洼东公交站）。 4.对接材料清单。有意向供应商采 (略) 上传输的形式提交相关加盖公章营业执照或企事业法人代表证书副本复印件、单位及产品基本情况介绍。 5.联系人：宋先生 * 马先生 * |
注：1.本次意向公开的采购意向仅作为供应商了解初步采购安排的参考，采购项目具体情况以最终发布的采购公告和采购文件为准；
2.供 (略) 反馈参与意向和意见建议。
联系人：宋健
联系方式：*
招投标大数据
最近搜索
无
热门搜索
无
