最近，谷歌研究院在官网发布了创新框架AGREE，可增强大模型生成内容和引用的准确性。这一框架通过检索文档中的相关段落来增强大模型生成回答的事实基础，并提供相应的引用，从而提高回答的准确性，并为用户提供验证信息真实性的途径。
AGREE的核心技术是通过检索文档中的相关段落来增强大模型生成回答的事实基础，并提供相应的引用。这种方法不仅可以提高回答的准确性，还可以为用户提供验证信息真实性的途径，主要由训练阶段微调和测试时自适应两大块组成。
1、训练阶段微调
训练阶段微调是AGREE提升大模型自我归因能力的关键模块，在生成每一个回答时都能够提供支持其声明的可靠来源。
使用基础大模型生成回答，并利用自然语言推理模型（NLI）评估段落是否支持特定声明。AGREE框架使用NLI模型从未标记的查询中自动构建训练数据集，通过匹配回答和检索到的文档，为每个声明找到最相关的支持性段落。
在微调阶段，AGREE框架采用了LORA的轻量级微调技术，通过在大模型的权重矩阵上添加低秩更新，来实现高效且针对性的调整，有助于减少计算资源的消耗，同时保持模型的泛化能力。
2、测试时自适应
测试时自适应是一种动态、迭代的推理增强方法，帮助大模型在面对新的内容查询时，主动从大型语料库中检索相关信息，并对生成的回答进行补充和修正。
测试时自适应的工作流程开始于接收到一个新的查询，经过微调的大模型会首先根据其训练阶段学到的知识生成一个初步的回答，然后进入一个自动迭代的过程，大模型会自我评估生成的回答，并识别出其中尚未归因或需要进一步支持的声明。一旦识别出需要额外信息的声明，测试时自适应就会启动检索过程。这一过程涉及到在预先构建的语料库中搜索与未归因声明相关的段落。
这些段落被选出来后，大模型会尝试将它们与先前的回答结合起来，生成一个更加完善、准确的内容。同时会不断迭代循环，直至达到预定的推理效果或模型认为回答已足够完美为止。
