intsig

摘要： 文言文是通往中国古代丰富遗产和智慧的门户，但其复杂性给大多数没有专业知识的现代人构成了巨大的理解障碍。虽然大型语言模型（LLM）在自然语言处理（NLP）方面显示出了显著的能力，但它们在文言文理解（CCU）方面存在困难，特别是在对数据的要求和知识密集型的任务方面。为了应对这一困境，论文提出了TongGu（意为理解古代和现代），第一个专注于CCU的LLM。首先，论文构建了一个来自丰富的文言文语料库的两阶段指令调优数据集ACCN-INS，旨在解锁LLM的全部CCU潜力。其次，论文提出了冗余感知调优（RAT），以防止灾难性遗忘，使TongGu能够在保留其基础知识的同时获得新的能力。第三，论文提出了一种基于知识基础的CCU检索-增强生成（CCU-RAG）技术来减少幻觉。在24个不同的CCU任务上进行的广泛实验验证了TongGu的优越能力，强调了RAT和CCURAG的有效性。 阅读全文