大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

本周精选了5篇LLM领域的优秀论文，为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息

1. Larimar: Large Language Models with Episodic Memory Control

这篇论文介绍了一种新型的类脑架构Larimar，旨在增强大型语言模型（LLMs）的分布式短期记忆能力。Larimar的这种记忆能力可以实现知识的一次性、动态更新，无需昂贵的重新训练或微调。在多个事实编辑基准实验中，结果表明，即使在具有挑战性的序列编辑设置中，Larimar也能达到与大多数竞争性基线相当的准确性，并且在速度方面表现出色，根据基础LLM的不同，速度可以提高4-10倍，同时还由于提出的架构简单、不特定于LLM，因此具有通用性。此外，作者还提供了Larimar中选择性遗忘事实和输入上下文长度泛化的机制，并展示了它们的有效性。

链接：Larimar: Large Language Models with Episodic Memory Control - AMiner

2. VideoAgent: Long-form Video Understanding with Large Language Model 

这篇论文主要介绍了一种名为VideoAgent的新型基于代理的视频理解系统。该系统采用大型语言模型作为核心代理，通过迭代地识别和整理关键信息来回答问题。为了实现这一点，视觉-语言基础模型作为工具来翻译和检索视觉信息。在EgoSchema和NExT-QA这两个具有挑战性的基准测试中，VideoAgent的表现优于现有最先进的方法，平均使用的帧数分别为54.1、8.4和8.2。这表明，与现有技术相比，该方法在有效性和效率方面具有明显优势，也揭示了基于代理的方法在推进长视频理解方面的潜力。

链接：VideoAgent: Long-form Video Understanding with Large Language Model as Agent - AMiner

3. Recurrent Drafter for Fast Speculative Decoding in Large Language Models

这篇论文主要介绍了一种改进的投机解码方法，旨在提高大型语言模型服务的效率。该方法利用了两种成熟技术的优势：经典的二模型投机解码方法，以及较新的单模型方法Medusa。受到Medusa的启发，我们的方法采用了单模型策略进行投机解码。然而，我们的方法通过使用一个轻量级的具有循环依赖设计的草稿头与经典投机解码中使用的小型草稿模型本质上相似，但无需处理完整变换器架构的复杂性。由于具有循环依赖，我们可以使用束搜索迅速过滤掉草稿头不希望的选择。结果是一种结合了单模型设计简单性的方法，并避免了Medusa中仅为推理创建数据依赖树注意力结构的必要性。我们通过在几个流行的开源语言模型上实证验证了所提出方法的有效性，并对采用此方法涉及的权衡进行了全面分析。

链接：Recurrent Drafter for Fast Speculative Decoding in Large Language Models - AMiner

4. RAFT: Adapting Language Model to Domain Specific RAG

这篇论文讨论了一种改进大型语言模型在特定领域内回答问题能力的训练方法，称为“Retrieval Augmented FineTuning”（RAFT）。在RAFT方法中，当模型接收到一个问题时，会检索到一组相关文档，模型需要学习忽略那些对回答问题没有帮助的文档，即所谓的干扰文档。RAFT通过直接引用来自相关文档的正确序列来帮助回答问题，这种方法与RAFT的链式思考风格响应结合，提高了模型的推理能力。在特定领域的RAG（Retrieval-Augmented Generation）中，RAFT在PubMed、HotpotQA和Gorilla数据集上持续改进了模型的性能，展示了一种用于改进预训练LLM（Large Language Models）的领域内RAG的后续训练方法。

链接：RAFT: Adapting Language Model to Domain Specific RAG - AMiner

5. Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases

这篇论文提出了一种端到端的系统设计，利用检索增强生成（RAG）方法来提高大型语言模型（LLM）在私有知识库中处理特定领域和时效性查询的事实准确性。该系统将RAG流水线与上游数据集处理和下游性能评估集成。为了解决LLM虚构事实的问题，研究者使用来自卡内基梅隆大学的大量资源制作的精选数据集对模型进行微调，该数据集与教师模型一起进行了注释。实验表明，该系统在生成特定领域和时效性查询的更准确答案方面是有效的。研究结果还揭示了使用小规模和偏斜数据集微调LLM的局限性。这项研究突出了RAG系统在增强LLM外部数据集方面的潜力，以提高知识密集型任务的性能。

链接：Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases - AMiner