使用Semantic Scholar API进行会议同行评审 - Medium

使用Semantic Scholar API简化会议同行评审

在过去的几十年里，全球科学研究的产出量大约每九年翻一番。这种快速增长不仅让研究人员难以跟上自己领域及相关领域的研究进展，也给审稿人带来了巨大的负担。审稿人需要审查越来越多的论文，其中许多甚至超出了他们的专业领域。

尽管随着论文提交量的增加，合格审稿人的数量也在增长，但如何有效识别这些审稿人仍是一个挑战。负责分配审稿人的组织者通常难以全面了解每位潜在审稿人的专业背景。随着提交论文和审稿人数量的持续增长，为每篇论文找到合适且公正的审稿人变得愈发困难。

自然语言处理技术的助力

幸运的是，随着自然语言处理技术的进步，通过主题模型将审稿人的发表历史与提交论文的文本进行比较，研究人员可以更高效地为论文匹配合适的审稿人。然而，这一过程在实际应用中仍面临两大障碍：

1. 获取出版历史：从一开始就获取审稿人的完整出版历史并不容易。
2. 利益冲突问题：审稿人不应评审与其有个人或职业关系的作者提交的论文。

ACL与Semantic Scholar的合作实践

在2020年的计算语言学协会（ACL）会议上，ACL与Semantic Scholar合作，部分实现了同行评审过程的自动化。通过使用Semantic Scholar的数据，会议组织者能够检测利益冲突并计算审稿人匹配分数。

注册者需要通过Semantic Scholar搜索定位自己的作者页面，并记录其作者ID。这一过程非常轻量化，无需创建账户即可完成。然而，创建账户的用户可以手动修正自动化模型可能出现的错误，同时启用诸如自动研究推送和新研究警报等功能。

新版Semantic Scholar API的发布

为了进一步简化同行评审流程，Semantic Scholar发布了专门用于同行评审的新服务，并将其集成到Semantic Scholar API中。这一服务为会议组织者提供了极大的便利：

1. 无需训练语言模型：组织者不需要自行训练语言模型，也无需下载Semantic Scholar的公共语料库数据。
2. 数据上传与处理：组织者只需上传潜在审稿人和提交论文的信息，包括论文标题、摘要文本，以及审稿人和提交作者的Semantic Scholar作者ID（如果可用）。
3. 自动化计算：API会自动计算所有审稿人和论文的利益冲突及匹配分数。利益冲突基于合著关系，而匹配分数则通过SPECTER模型计算。SPECTER是目前最先进的科学出版物语言模型之一。
4. 数据隐私保护：所有上传的数据均为私有，其他用户无法访问，并且可以通过API在不需要时永久删除。

未来发展方向

未来，Semantic Scholar计划与更多会议管理软件提供商进行深度集成，并与其他会议建立合作关系。此外，团队还在以下方面进行持续改进：

• 提高匹配准确性：通过改进作者消歧模型，进一步提高审稿人匹配的准确性。
• 开发新功能：研究如何利用完整语料库搜索，从头开始提出审稿人建议。
• 优化公共数据集：实现审稿人匹配公共数据集的基线准确性，并持续优化。

总结

Semantic Scholar API的新服务为会议组织者提供了一种高效、灵活的同行评审解决方案。通过自动化的利益冲突检测和审稿人匹配分数计算，组织者可以更轻松地为提交论文找到合适的审稿人。这不仅减轻了审稿人的负担，也为科学研究的健康发展提供了有力支持。

原文链接: https://medium.com/ai2-blog/conference-peer-review-with-the-semantic-scholar-api-24ab9fce2324