RULER 测试
RULER (opens in a new tab) 测试是一个新的 LLM 测试方法，相比于 NIAH 大海捞针测试做了优化和扩展，其包含四种测试任务：增强的检索任务（NIAH 扩展版本）、多跳跟踪（Multi-hop Tracing）、信息聚合（CWE、FWE）、带干扰的问答（QA）。
增强的大海捞针（NIAH）
RULER 包含增强的大海捞针（NIAH）测试，分为四个子任务，评估模型的检索能力：
| 测试子项目 | 简要描述 |
|---|---|
| Single NIAH (S-NIAH) | 测试模型处理单一输入和单一目标输出的能力。 |
| Multi-keys NIAH (MK-NIAH) | 测试模型处理多键值对的能力，其中每个键关联一个单一输出。 |
| Multi-values NIAH (MV-NIAH) | 测试模型处理多键值对的能力，其中每个键关联多个值或输出。 |
| Multi-queries NIAH (MQ-NIAH) | 测试模型在多个查询条件下，综合处理并生成相应结果的能力。 |
Single NIAH 的测试结果如下：
NIAH-Multi-keys 的测试结果如下：
Multi-values 和 Multi-queries 的 NIAH 测试结果如下：
变量跟踪（VT）
多跳跟踪 - 变量跟踪（Multi-hop Tracing: Variable Tracking）：该任务主要检查模型能否在长上下文中成功识别并跟踪具有多跳连接的实体（变量）和指代关系。比如赋值 ，然后 、 ... 最终返回所有指向值 的变量名。
信息聚合（CWE、FWE）
信息聚合（CWE、FWE）：该任务为常用词（Common Words）/高频词（Frequent Words）提取，用于测试模型跨长上下文聚合常见信息的能力
问答（QA）
问答（QA）：该任务在现有短上下文问答数据集的输入中添加了干扰信息，以评估各种上下文大小下的问答能力。
LongBench 测试
LongBench (opens in a new tab) 测试是一个针对大语言模型长文本理解能力的评测基准。
LongBench 共有六大类、二十一个不同的中英双语任务，覆盖了单文档 QA、多文档 QA、摘要、Few-shot 学习、合成任务和代码补全等关键的长文本应用场景。
以下是 RWKV 和其他模型的 LongBench 测试分数对比，数据表格按照六个分类展示：
Single-Document QA （单文档问答）
单文档问答包含以下四种测试任务：
| 任务 | 任务说明 |
|---|---|
| NarrativeQA | 基于故事或剧本提问，包括对人物、情节、主题等重要元素的理解 |
| Qasper | 基于单篇论文的提出，问题由 NLP 的读者提出，并由 NLP 从业者回答 |
| MultiFieldQA-en | 基于单篇文档回答英文问题，文档所属的领域相对多元 |
| MultiFieldQA-zh | 基于单篇文档回答中文问题，文档所属的领域相对多元 |
Single-Document QA 测试结果：
Multi-Document QA（多文档问答）
多文档问答包含以下四种测试任务：
| 任务 | 任务说明 |
|---|---|
| HotpotQA | 基于 HotpotQA 文档回答问题，HotpotQA 涉及许多由母语人士根据两个相关段落编写的 2 跳问题 |
| 2WikiMultihopQA | 基于 2WikiMultihopQA 数据回答问题，2WikiMultihopQA 由最多 5 跳问题组成，这些问题通过手动设计的模板合成 |
| MuSiQue | 基于 MuSiQue 数据回答问题，MuSiQue 由最多 4 跳推理（4-hop reasoning）的简单问题组合而成 |
| DuReader | 基于 DuReader 的中文数据集回答相关问题，包含来自基于百度搜索和百度知道的 20 万个问题和 1M 文档 |
Multi-Document QA 测试结果：
Summarization（摘要）
摘要任务涉及以下四种测试：
| 任务 | 任务说明 |
|---|---|
| GovReport | 摘要任务，要求对政府的工作报告进行总结摘要 |
| QMSum | 摘要任务，要求基于用户的查询对会议记录进行摘要 |
| MultiNews | 多文档摘要任务，要求基于多篇新闻进行摘要 |
| VCSUM | 摘要任务，要求对中文会议记录进行总结摘要 |
摘要任务测试结果如下：
Few-shot Learning（小样本学习）
小样本学习包含以下四种测试任务：
| 任务 | 任务说明 |
|---|---|
| TREC | 分类任务，要求对问题进行分类，一共包含 50 个类别 |
| TriviaQA | 单文档问答任务，提供若干的 Few Shot 样例 |
| SAMSum | 对话摘要任务，提供若干的 Few Shot 样例 |
| LSHT | 中文分类任务，要求对新闻进行分类，一共包含 24 个类别 |
Few-shot Learning测试结果如下：
Synthetic Tasks（合成任务）
合成任务测试任务包含以下三种测试任务：
| 任务 | 任务说明 |
|---|---|
| PassageCount | 判断给定的若干的段落中不重复的段落一共有几个 |
| PassageRetrieval-en | 给定 30 个英文维基的段落，判断给定的摘要属于哪个段落 |
| PassageRetrieval-zh | 给定若干个出自 C4 数据集的中文段落，判断给定的摘要属于哪个段落 |
Synthetic Tasks 测试结果如下：
Code Completion（代码续写）
代码续写包含以下两种测试任务：
| 任务 | 任务说明 |
|---|---|
| LCC | 给定一段较长代码，要求预测出下一行代码 |
| RepoBench-P | 给定一个 github 仓库内多个文件中的代码（包含文件间依赖），要求预测出下一行代码 |
代码续写测试结果如下：