TriviaAnsweringMachineREAL

TriviaAnsweringMachineREAL项目介绍

TriviaAnsweringMachineREAL是一个专为解答冷知识（trivia questions）而设计的项目。在这个项目中，参与者需要提交一个能够完成任务的系统，或是在这一环境中创造出具有对抗性的问题。这不仅有助于个人能力的提升，还能帮助整个项目团队共享数据和资源。项目并不要求所有参与者在预测答案方面表现优异，哪怕不是以预测答案为目标也完全没有问题。

项目背景

该项目以英语国家中学校间的学术竞赛——"Quiz bowl"（知识竞答）为背景。Quiz bowl与大家熟知的电视节目"Jeopardy"（危险边缘）有所区别。虽然两者都使用了抢答设备，但Jeopardy要求必须在题目完成后才能按按钮，Quiz bowl则允许在题目任意部分被打断但必须回答正确才能得分。

一个典型的quiz bowl问题可能长而复杂，例如涉及科学领域的物理学家爱因斯坦的著作、理论及诺贝尔获奖历史等内容。团队需要在问题被解读到任意时间主动"buzz in"（抢答），如回答正确则得分继续参与下一题，如不正确则会扣分并移交给另一个团队答题。

数据使用

尽管项目会提供一定的数据，但参与者可以使用除测试题库外的任何外部数据。此外，项目鼓励成员使用公开的软件资源，但建议参与者可以在Piazza平台上了解哪些工具更适合或更易于使用。

竞赛平台

该项目会通过Dynabench网站（https://dynabench.org/tasks/qa）进行评估，项目任务名称为“Grounded QA”。参与者需要提交他们的问答模型，并通过该平台测试模型在多个问题集上的表现，并与其他竞争者的结果进行比较，最终在排行榜上获得相应的排名。

问题编写

项目中另一个重要的环节是编写能挑战现代自然语言处理系统的对抗性问题。要求这些问题具备以下特点：

• 题材涵盖广泛，如艺术、文学、地理、历史、科学、影视、音乐、生活方式及体育等多个领域。
• 题目需多元，涵盖不同技术层面，能够挖掘计算机系统较难回答的内容。
• 对每一个问题，是如何使其对计算机形成挑战、问题信息来源、为何问题具有趣味、问题的金字塔式结构等要素需进行详细的引用与说明。

项目阶段

1. 项目提案：参赛小组提交项目提案，描述团队成员、计划探索的技术及时间规划。

2. 里程碑1：验收阶段，提交问题的初稿和首次排行榜成绩。

3. 里程碑2：进行进一步的调整与反馈，提交更多已改进的问题和更有效的排行榜成绩。

4. 最终展示：上传视频，展示整个项目执行过程、遇到的挑战以及项目成绩。

5. 最终问题及系统提交：根据给定的格式及要求提交完整的问题集和答题系统。

评分标准

项目的评分根据以下五个领域进行：演示效果、书面汇报、技术合理性、努力程度及项目表现。整个团队将获得相同的分数，体现项目的真实性与协作性。

TriviaAnsweringMachineREAL项目不仅考验了参与者的技术实力，也挑战了团队的协作能力和创新精神，是一个绝佳的学习和实践机会。通过参与项目，成员们可以积累到丰富的自然语言处理经验，提升自身在AI领域的实际操作能力。