面向大模型推理的3D存内计算关键技术研究
面向大模型推理的3D存内计算关键技术研究
图形处理芯片及智能计算系统技术创新中心根据工作需要,特此设立2023年度开放基金课题。
一、面向大模型推理的3D存内计算关键技术研究
研究方向:围绕生成式大模型(Large Language Model,LLM)在边缘侧和终端侧的高效推理需求,研究基于多层堆叠的存内计算架构技术,主要包括: 1)面向LLM推理的存内可变精度计算架构技术,开展基于SRAM的数字存内多精度计算单元电路设计与仿真; 2)基于3D-NoC的多层存内计算单元的垂直集成架构技术,开展基于标准总线接口的非一致性三维NoC电路设计与仿真; 3)面向典型LLM模型的推理任务部署策略等研究,设计典型LLM的低比特量化和推理部署算法。
牵引性指标:(1)提出至少1种适配多层堆叠的存内计算架构,该架构包含至少4个存内计算层,每层计算单元数目不低于8192个,NoC节点规模不小于4*4*4;(2)存内计算单元支持INT8、FP8和FP16的计算精度;(3)提出至少一种LLM推理任务部署策略,模型参数不少于20亿个;(4)提出至少一种性能评估算法,具备评估资源占用率、功耗和推理速度三种参量的能力。
研究周期:1年
经费预算:30万元
成果形式:多层堆叠存储计算架构研究报告一份、任务部署策略研究报告一份、性能评估算法一套、性能评估报告一份。
联系人: 呙 涛 185*****349(技术)
董庆平 156*****969(商务)
本项目采取线下对接报名方式,凡有意参加响应者,请于2023年11月17日17时前,与联系人对接报名。 申报要求: 1、申请的课题研究应满足指南信息所列研究目标,技术指标等要求,申请经费原则上不超过指南信息所列的参考经费。 2、暂不受理因学术不端、科研诚信不佳、重大失泄密等问题进入黑名单而尚未解禁的申请人和申请单位。 3、申请人按照附件建议书模板和经费概算书模板编制,并于2023年11月30日前提交至联系人,包含建议书(盖章件)1份、经费概算书(盖章件)1份,建议书和经费概算书电子版光盘。
招标
|
- 关注我们可获得更多采购需求 |
关注 |
湖北
湖北
湖北
湖北
湖北
湖北
最近搜索
无
热门搜索
无