Retrieve Anything To Augment Large Language Models | Paper to HTML | Allen Institute for AI

Tags

Top Highlights

• 大規模言語モデル(LLM)は、知識、記憶、アライメント、行動における固有の限界に起因する大きな課題に直面している。これらの課題はLLMだけでは対処できず、知識ベース、記憶ストア、実証例、ツールなどの外界からの支援に頼る必要がある。

• 本研究では、LLMの検索補強の多様なニーズを1つの統一的な埋め込みモデルで包括的にサポートする新しいアプローチ、LLM Embedderを提案する

• 相互干渉を受けながら、異なる意味的関係を捉えることを目的としているため、このような統一的なモデルを学習することは容易ではない。この課題に対処するため、我々は学習手法を系統的に最適化

• models have demonstrated unprecedented performance across various general tasks, they still face a series of challenges, including issues such as hallucination [7, 21] , instruction following [5, 39] , and handling long contexts [1, 6] .

Toughts & Comments

memorism

動的な知識・メモリ大容量・物理空間に対応できていないとのこと。 モデルなので当たり前といえば当たり前だが、、、