连续查询有限记忆语言模型提升知识检索效率

摘要

CO-LMLM是一种新型语言模型，它将事实知识存储在外部知识库中，而非模型权重内。生成时，模型通过连续向量查询从知识库检索文本知识，无需依赖关系型查询。在维基百科和FineWeb-Edu上预训练后，CO-LMLM在困惑度和事实准确性上优于先前模型和传统LLM。