LANGUAGE / MRC
Orca
EMNLP 2023 Findings
A Few-shot Benchmark for Chinese Conversational Machine Reading Comprehension
中文对话式机器阅读理解 Benchmark，包含 831 段对话、4,742 个对话轮次，覆盖 33 个领域与 few-shot 泛化设置。
831对话
4,742对话轮次
33领域
01 / RESEARCH OVERVIEW
评测问题
在中文多轮对话中，模型能否结合当前轮次的相关材料给出自然回答，并迁移到未见领域？
02 / RESEARCH OVERVIEW
评测设计
包含 831 段对话、4,742 个轮次与 33 个领域。每一轮配有相关篇章，答案采用人工标注的自然回复，并设置零样本和少样本评测。
03 / RESEARCH OVERVIEW
研究贡献
相较整段对话共享固定材料的设置，Orca 更强调随轮次变化的阅读依据。论文提供三个基线及数据与模型资源，支持跨领域对话理解研究。
研究介绍与结果据论文原文 ↗整理；实验结论对应原文中的模型、数据与协议。
浏览全部 17 项 Benchmark ↗