大模型训练及推理加速

内容
 
发送至邮箱

大模型训练及推理加速

备案项目编号:2404-*-04-04-*
项目名称:大模型训练及推理加速
项目所在地: (略) (略) 高新区唐家湾 (略) 1号港湾1号科创园23栋5层502-1室
项目总投资:*.*元
项目规模及内容:项目主要通过算子优化、 (略) 络架构优化、模型高效蒸馏等技术,降低总体训练和推理成本,预计训练成本降低到1/10, 推理成本降低到1/50:1、建设支持70B、100B以上大模型预训练、微调的训练加速算子,支撑千卡训练,3D并行训练,加速比提升到10倍以上,成本降低50%以上;2、建设支撑70B、100B以上的大模型推理加速框架,支持多卡推理加速,加速比提升到5倍以上,成本降低50%以上;3、构建推理加速微服务框架,支持多机多卡原生微服务,提升GPU/NPU使用效率,提升服务响应性能,支持100+微服务部署。
建设单位: (略) 东信 (略)
备案机关:珠海高新区发展改革和财政金融局
备案申报日期:2024/04/27 09:14:54
复核通过日期:2024-04-27
项目起止年限:2024-06-01至2025-06-01
项目当前状态:办结(通过)

备案项目编号:2404-*-04-04-*
项目名称:大模型训练及推理加速
项目所在地: (略) (略) 高新区唐家湾 (略) 1号港湾1号科创园23栋5层502-1室
项目总投资:*.*元
项目规模及内容:项目主要通过算子优化、 (略) 络架构优化、模型高效蒸馏等技术,降低总体训练和推理成本,预计训练成本降低到1/10, 推理成本降低到1/50:1、建设支持70B、100B以上大模型预训练、微调的训练加速算子,支撑千卡训练,3D并行训练,加速比提升到10倍以上,成本降低50%以上;2、建设支撑70B、100B以上的大模型推理加速框架,支持多卡推理加速,加速比提升到5倍以上,成本降低50%以上;3、构建推理加速微服务框架,支持多机多卡原生微服务,提升GPU/NPU使用效率,提升服务响应性能,支持100+微服务部署。
建设单位: (略) 东信 (略)
备案机关:珠海高新区发展改革和财政金融局
备案申报日期:2024/04/27 09:14:54
复核通过日期:2024-04-27
项目起止年限:2024-06-01至2025-06-01
项目当前状态:办结(通过)

    
查看详情》
相关推荐
 

招投标大数据

查看详情

收藏

首页

最近搜索

热门搜索