Meta发布视频生成模子Movie Gen及RAG前沿总结
发布日期:2024-11-06 10:29 点击次数:160迭代式RAG、KG增强及界限数据注入大模子想路
著述转自公众号老刘说NLP
今天对于大模子有个进展,等于Meta发布视频模子Meta Movie Gen,主打的点是Movie Gen能胜仗生成带配景音乐的视频,咫尺Sora、Runway、Luma等一线居品王人无法提供该功能。然则,这个咫尺并未对外灵通,无法使用。
今天,陆续来看,看对于迭代式RAG的几种想路、特定界限数据注入到大模子的样子以及对于基于图谱的RAG增强样子三个问题。
不息跟进,不息想考,供民众沿途参考并想考。
一、对于迭代式RAG的几种想路
迭代式RAG处理的是那些波及隐式事实的查询,这类查询通常需要通过多法度的推理来解答。这些查询的谜底不会胜仗呈咫尺职何单一文本段落中,而是需要通过征集和处理多个文档中的信息,并将这些信息组合起来,通过知识推理得出论断。
迭代式RAG方法的中枢在于,会动态地禁止多法度的RAG过程,通过迭代地网罗或矫正信息,直到找到正确谜底。
1、基于策画的方法
在检索前阶段生成迟缓检索谈论,或在检索过程中动态生成,不错细化每次检索的要点,灵验地携带迭代式RAG系统。
举例,ReAct《React: Synergizing reasoning and acting in language models》迟缓更新每个法度的谈论,减少修起查询所需的知识差距。
IRCoT《Interleaving retrieval with chain- of-thought reasoning for knowledge-intensive multi-step questions》和RAT《Rat: Retrieval augmented thoughts elicit context-aware reasoning in long-horizon generation》使用想维链来携带RAG经过,基于先前调回的信息决定刻下检索谈论。
GenGround《Generate-then-ground in retrieval-augmented generation for multi-hop question answering》使LLM概况在两个阶段之间轮流进行,直到得出最终谜底:(1)生成一个更轻便的单步问题并产生胜仗谜底,(2)将问题-谜底对回溯到检索的文档,以考证和矫正预计中的任何不准确之处。这种迭代过程确保了更可靠和准确的反应。
2、基于信息差距填补的方法
ITRG《Retrieval-generation synergy augmented large language models》引入了一个迭代式检索-生成配合框架,基于现存知识生成谜底,然后陆续检索和生成后续轮次中未知部分的谜底。
访佛地,FLARE《Active retrieval augmented generation》在每次迭代中重新谛视并修改谜底中低概率的标记。
另一方面,Self-RAG《Self-rag: Learning to retrieve, generate, and critique through self-reflection》微调一个大模子,以自主决定何时搜索和何时罢手搜索并开动修起问题。
这些方法通过将复杂查询办法为一系列更轻便的检索操作,并迟缓团员末端以造成空洞谜底,从而灵验地处理隐式事实查询。
二、对于基于图谱的RAG增强样子
处理隐式事实查询需要从多个参考贵寓中空洞信息。无论是基于知识的图谱还是数据结构化的图谱,图或树王人当然地抒发了文本之间的关联商酌,因此十分相宜这类数据检索问题。
1、传统知识图谱Traditional Knowledge Graph
最先商量用于进步LLMs遵守的结构之一是传统知识图谱,其中每个节点代表一个实体,节点之间的边默示这些实体之间的商酌。
举例,《Unifying large language models and knowledge graphs: A roadmap》先容了LLMs和知识图谱(KGs)聚拢的前瞻性发展门道图,包括:
1)知识图谱增强的LLMs,在LLMs的预教训和推理阶段整合知识图谱,以加深模子对赢得知识的领略;
2)LLMs增强的知识图谱,期骗LLMs实施多样知识图谱任务,如镶嵌、补全、构建、图到文本生成和问答;
3)配合的LLMs+KGs方法,LLMs和KGs演出互补的扮装,通过数据和知识驱动的双向推理相互增强。
Rigel-KQGA《Knowledge graph-augmented language models for complex question answering》模子,是一个端到端的知识图谱问答模子,它字据查询预计所需的知识图谱节点,并将此与LLM聚拢起来得出谜底。像Think-on-Graph《Think-on-graph: Deep and responsible reasoning of large language model on knowledge graph》和KnowledgeNavigator《Knowledgenavigator: Leveraging large language models for enhanced reasoning over knowledge graph》这么的责任索要查询中波及的实体,然后在图上实施迭代的广度优先搜索(BFS),使用LLM行动想考机器来细目最优的探索旅途并实施剪枝。
R3《Right for right reasons: Large language models for verifiable commonsense knowledge graph question answering》引入了几种可能的知识公理通过LLM来处理查询,法令搜索商酌的知识子图,以评估刻下信息是否足以修起问题,陆续进行直到问题管束。
2、数据块图/树Data Chunk Graph/Tree
LLMs的突出阅读领略才气使它们概况灵验地领略文本,而无需将其办法成最细粒度的实体和商酌。在这种情况下,研究东谈主员开动尝试使用文本块或数据块行动图或树上的节点,使用边来默示高档或更复杂想象的关联。
Knowledge-Graph-Prompting《Knowledge graph prompting for multi-document question answering》商议了需要从(a)桥接问题依赖于法令推理,(b)比拟问题依赖于不同段落的并行推理,以及(c)结构问题依赖于相应文档结构中挖掘隐式事实的三种常见问题类型。
为了管束这些问题,Knowledge-Graph-Prompting使用实体识别、TF-IDF、KNN和文档结构档次来构建文档图,并索要子图以修起问题。
MoGG《Mix-of-granularity: Optimize the chunking granularity for retrieval-augmented generation》将一句话或两句话行动最小的语义单位,使用这些行动节点,并字据节点之间的语义相似性构建边。它还教训一个预计器来决定修起查询所需的文本粒度,通过决定需要多大的子图。
为了捕捉文本块之间更高档别的语义商酌,RAPTOR《Raptor: Recursive abstractive processing for tree-organized retrieval》使用聚类算法将最细粒度的文本块进行档次聚类。它在每个档次级别上总结新的语义信息,回忆起节点内折叠树中最必要的信息。
相似,GraphRAG《From local to global: A graph rag approach to query-focused summarization》选定了聚类方法。它最先基于语义相似性灵通最小的文本块,然后使用社区检测算法对节点进行分组。终末,它通过分析每个节点社区内的修起来总结查询的全局谜底。
三、特定界限数据注入到大模子的样子
图 6 步地了将特定界限数据注入到大型话语模子(LLM)中的三种样子:
1、基于查询索要界限数据行动荆棘文输入
在这种方法中,系统会字据用户的查询从界限数据中索要商酌的数据片断,并将这些片断行动荆棘文信息输入到LLM中。
这么,模子在生成修起时不错期骗这些荆棘文信息来提供愈加准确和商酌的修起。这种方法的优点在于它概况提供较好的证据性和安稳性,但挑战在于荆棘文窗口有限,且可能会在处理过程中丢失中间信息。
b) 教训微型模子调换外部信息的整合
在这种方法中,最先使用特定界限的数据教训一个微型模子。这个微型模子随后用于携带怎样整合外部信息到LLM中。
这种方法的优点是不错减少教训时辰和资源耗尽,况且不错处理多数的数据。但它的灵验性依赖于微型模子的才气,况且可能会限度LLM在处理更复杂任务时的性能。
c) 胜仗使用界限知识进行微调
在这种方法中,胜仗使用外部的界限特定知识对通用的大型话语模子进行微调,使其成为界限人人模子。
微调不错匡助模子快速掌持新的界限特定知识,进步其在特定任务上的表示。关联词,微调可能会影响模子在处理与教训数据不商酌或未包含在教训数据中的任务时的性能。
这三种方法各有上风和局限性,选定哪一种方法取决于数据源的特质、任务需求、以及可用的诡计资源。在本色应用中,可能会字据特定需乞降条目选定最合适的方法,或者将这些方法聚拢起来使用,以达到最好成果。
总结
本文主要归来了三个话题,对于迭代式RAG的几种想路、特定界限数据注入到大模子的样子以及对于基于图谱的RAG增强样子。