图形处理芯片及智能计算系统技术创新中心根据工作需要，特此设立2023年度开放基金课题。

研究多模态场景下基于大语言模型的战场信息推理、分析能力，主要内容包括：多模态场景建模技术与大语言模型协同推理技术，根据不同模态的输入信息（包括但不限于图像、文本等），提取与融合有效特征，在大语言模型的基本软硬件环境下实现融合特征的嵌入；针对传统预训练-微调范式中，在领域数据上全量微调导致大语言模型灾难性遗忘的问题，研究参数高效微调方法，保留原有大语言模型能力的同时，提升其在特定领域的多模态推理能力，以支撑多模态场景下面向辅助决策的内容生成。

1. 实现基于大语言模型的多模态推理，模态包括文本、图像、结构化数据，问答准确率达到80%；

2. 实现可兼容不同下游大语言模型的推理框架，包括但不限于OPT、LLaMA、GLM等开源模型；

3. 通过微调较少参数的附加模块，实现大语言模型提示学习的推理方法，微调参数量为原始大语言模型万分之一，微调时间较原始大语言模型训练时间缩短25%。

1年

30万元

专利申报1项；研究报告1篇；基于大语言模型的多模态推理模型及源码。

联系人：李 鼎 158*****352（技术）

董庆平 156*****969（商务）

本项目采取线下对接报名方式，凡有意参加响应者，请于2023年11月17日17时前，与联系人对接报名。

1、申请的课题研究应满足指南信息所列研究目标，技术指标等要求，申请经费原则上不超过指南信息所列的参考经费。

2、暂不受理因学术不端、科研诚信不佳、重大失泄密等问题进入黑名单而尚未解禁的申请人和申请单位。

3、申请人按照附件建议书模板和经费概算书模板编制，并于2023年11月30日前提交至联系人，包含建议书（盖章件）1份、经费概算书（盖章件）1份，建议书和经费概算书电子版光盘。