仪器设备网上招标预告
发送至邮箱
仪器设备网上招标预告
| 采购项目名称 | 参考规格型号 | 采购数量 | 备注 |
| 模型推理加速优化 | 技术服务内容：模型推理加速优化服务功能需求：1.模型格式转换采购一套专业级模型转换与优化部署方案，该系统需具备将深度学习模型从原生框架（包括但不限于TensorFlow、PyTorch）向ONNX等标准化中间格式转换的能力，旨在确保模型能在多元化的硬件环境（CPU、GPU、嵌入式设备等）中实现高效部署与性能优化。2.ONNX模型优化采购ONNX模型优化方案，旨在将模型转换为低精度整数表示，精简冗余权重与神经元，缩减模型体积与内存占用，降低计算复杂度，提升推理速度，支持 (略) 下进行模型推理。3.模型推理工程化使用C++代码编写模型推理的核心代码，充分利用C++的性能优势，对内存管理和计算过程进行深度优化，以提升推理效率并减少硬件计算资源的消耗。同时，该解决方案需支持多线程或异步计算，实现模型的并行推理，支持多实例并行推理。4.向量数据库构建及存储构建一套多维度向量数据库，需支持128-1024维特征向量存储与检索以满足不同类型特征表示需求，同时需至少容纳#条128维向量记录。满足涵盖向量相似度计算前提下的低延迟响应。支持包括ANN搜索、过滤搜索、范围搜索、混合搜索、主键搜索等多种类型的搜索功能，以满足不同用例的需求。支持多种内存与磁盘索引/搜索算法、支持列式数据访问、支持组件解耦，灵活扩展、支持可调整的索引和搜索算法，以实现高效灵活的数据存储与检索能力。性能参数需求：1.ONNX模型优化需实现推理实时率<0.4。2.模型推理工程化后，多实例并行推理最大延迟<100毫秒。3.向量数据库需满足：高并发访问下支持≥500QPS，万级数据查询响应时间≤500毫秒，且存储#条128维向量时占用空间<1TB，确保低延迟、高吞吐与高效存储。联系人：杨老师# | 1.0 |
| 采购项目名称 | 参考规格型号 | 采购数量 | 备注 |
| 模型推理加速优化 | 技术服务内容：模型推理加速优化服务功能需求：1.模型格式转换采购一套专业级模型转换与优化部署方案，该系统需具备将深度学习模型从原生框架（包括但不限于TensorFlow、PyTorch）向ONNX等标准化中间格式转换的能力，旨在确保模型能在多元化的硬件环境（CPU、GPU、嵌入式设备等）中实现高效部署与性能优化。2.ONNX模型优化采购ONNX模型优化方案，旨在将模型转换为低精度整数表示，精简冗余权重与神经元，缩减模型体积与内存占用，降低计算复杂度，提升推理速度，支持 (略) 下进行模型推理。3.模型推理工程化使用C++代码编写模型推理的核心代码，充分利用C++的性能优势，对内存管理和计算过程进行深度优化，以提升推理效率并减少硬件计算资源的消耗。同时，该解决方案需支持多线程或异步计算，实现模型的并行推理，支持多实例并行推理。4.向量数据库构建及存储构建一套多维度向量数据库，需支持128-1024维特征向量存储与检索以满足不同类型特征表示需求，同时需至少容纳#条128维向量记录。满足涵盖向量相似度计算前提下的低延迟响应。支持包括ANN搜索、过滤搜索、范围搜索、混合搜索、主键搜索等多种类型的搜索功能，以满足不同用例的需求。支持多种内存与磁盘索引/搜索算法、支持列式数据访问、支持组件解耦，灵活扩展、支持可调整的索引和搜索算法，以实现高效灵活的数据存储与检索能力。性能参数需求：1.ONNX模型优化需实现推理实时率<0.4。2.模型推理工程化后，多实例并行推理最大延迟<100毫秒。3.向量数据库需满足：高并发访问下支持≥500QPS，万级数据查询响应时间≤500毫秒，且存储#条128维向量时占用空间<1TB，确保低延迟、高吞吐与高效存储。联系人：杨老师# | 1.0 |
招投标大数据
最近搜索
无
热门搜索
无
