7 月 28 日 -30 日,顶级学术会议ACM中国图灵大会在武汉举办,围绕 " 通用智能,人机共生 " 主题,图灵奖得主、中国科学院院士、企业代表等与会探讨尖端技术及人工智能发展,展望计算科学未来。百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰解读文心大模型的核心技术,阐述人工智能产业模式,为人工智能技术及产业发声。
据了解,文心一言是百度自主研制的知识增强大语言模型,首先从数万亿数据和数千亿知识中融合学习得到预训练大模型,在此基础上采用有监督精调、人类反馈的强化学习和提示等技术,并具备知识增强、检索增强和对话增强等技术优势。
王海峰解读了文心大模型 3.5 的核心技术创新,通过飞桨与文心协同优化,文心大模型3.5实现了基础模型升级、精调技术创新、知识点增强、逻辑推理增强等,模型效果提升50%,训练速度提升2倍,推理速度提升30倍。
在基础模型训练上,采用了飞桨最先进的自适应混合并行训练技术及混合精度计算策略,并采用多种策略优化数据源及数据分布,加快了模型迭代速度,显著提升了模型效果和安全性。同时,百度研发团队创新了多类型多阶段有监督精调、多层次多粒度奖励模型、多损失函数混合优化策略、双飞轮结合的模型优化等技术,进一步提升模型效果及场景适配能力。
在知识增强和检索增强基础上,文心大模型 3.5 提出了 " 知识点增强技术 ",使得模型能够更好地利用精细的知识点来提升理解生成等方面的能力,进而提升对世界知识的掌握和运用。
在推理方面,通过大规模逻辑数据构建、逻辑知识建模、多粒度语义知识组合以及符号神经网络技术,提升文心大模型 3.5 在逻辑推理、数学计算及代码生成等任务上的表现。
文心大模型 3.5 还新增了插件机制,包括官方插件百度搜索和 ChatFile,使得文心一言能够生成实时准确信息和长文本摘要,拓展了大模型能力边界。
根据IDC最新发布的《AI 大模型技术能力评估报告,2023》,百度文心大模型 3.5 在14 个参评模型中拿下 12 项指标的 7 个满分,得到 " 综合评分第一,算法模型第一,行业覆盖第一 " 三个绝对第一。