国家发明专利证书

北京市科学技术研究院信息与人工智能技术研究所（以下简称“人工智能所”）与北京市科学技术研究院科技情报研究所合作，依托创新工程项目，在大语言模型多任务学习与自适应优化技术研究中取得重要进展。贾倪博士团队自主研发的《一种基于自适应激活缩放适配的大语言模型多任务学习方法》已授权国家发明专利（专利号：ZL 202411591529.5），相关成果同步发表于国际期刊IEEE Access（IF: 3.7）。

针对大语言模型多任务学习中普遍存在的任务间冲突、计算成本高昂及过拟合风险等难题，团队创新性地提出“自适应激活缩放网络”与低秩适配（LoRA）融合架构。基于输入特征生成多维度缩放因子，自适应调整前馈网络与注意力机制的激活值，同时引入跨任务共享的LoRA模块，有效缓解任务间“跷跷板效应”，使单一模型在10项异构任务（如文本分类、情感分析、语义推理）中平均准确率获得提升。整体上仅需优化0.385%的模型参数，显著降低GPU内存占用与训练时长，单卡A100即可完成多任务联合训练与优化，为工业级应用提供高性价比解决方案。在GLUE、IMDB等10项国际权威自然语言处理基准数据集测试中，该方法以85.97%的平均准确率与87.36%的macro F1-score得分超过MoE-LoRA、X-LoRA等现有方法，验证了其在多任务学习中的强泛化能力。

随着人工智能技术的飞速发展，相关产业正迎来革命性变化。人工智能所致力于复杂场景的多维智能感知与多模态信息处理、自主智能决策与智能体协同关键技术研究，并依托院创新工程、北京市自然科学基金、国家自然科学基金和北京市重点实验室，推动落实“人工智能+”战略，在垂类大模型及具身智能领域打造具有国内影响力的研究团队，更好地为北京国际科技创新中心建设服务。

(信息与人工智能技术研究所 文/图)