机器之心报道
机器之心编辑部
敲响警钟还是走向封闭？
「ACL不是AI会议（ACLisnotanAlconference）」，在泰国曼谷举办的ACL2024上，今年的ACL主席EmilyM.Bender抛出了一个极具争议的结论。
ACL大会是计算语言学和自然语言处理领域的顶级国际会议，主席：不是会议由国际计算语言学协会组织，每年举办一次。一直以来，ACL大会在NLP领域的学术影响力都位列第一，它也是CCF-A类推荐会议。
近年来，随着深度学习等方法成为NLP研究的主流，越来越多的人将这一会议视为AI会议，大部分投稿都和AI相关。EmilyM.Bender似乎看到了这种倾向的一些弊端。
在演讲中，她强调了ACL作为计算语言学协会举办的年会（AnnualMeetingoftheAssociationforComputationalLinguistics），其核心并非人工智能，而是更专注于语言技术和计算语言学。
Bender明确指出，她不将AI（人工智能）作为ML（机器学习）的同义词。她认为机器学习（包括深度学习）为语言技术和计算语言学提供了许多有用的技术，但当焦点转移到AI时，就会出现问题。
计算语言学和自然语言处理（CL/NLP）关注的是语言的相似性/差异性、信息在语言中的表示方式、如何构建技术来帮助不同语言的转录、翻译、摘要、信息获取等，以及如何评价这些技术、哪些中间表示对这些技术有用、不同ML技术对不同任务的效果如何、语言技术如何与现有的权力体系相互作用。
AI领域的问题包括如何构建能够进行类似人类推理的思考机器，如何使这些机器在认知工作上超越人类，如何自动化科学方法，以及如何自动化创造性工作等。
AI领域还提出了一些观点，例如人类的命运是与机器融合成为超人类，奇点的到来是不可避免的，以及AI（实际上是合成文本机器）可以替代我们彼此之间应提供的服务（教育、医疗、法律代表）。
AI领域存在多种问题，包括来自风险资本和亿万富翁的强烈兴趣等。
Bender还批评了AI领域的一些不良研究实践，如不当使用基准测试、要求与SOTA的封闭模型进行比较评估、数据集过大导致缺乏保留数据等。Bender表示，如果你的研究问题集中在「如何证明我的机器具有智能」上，那么这种关注点可能会扭曲研究实践。
她还指出，AI领域的焦点导致了糟糕的审稿实践，例如不使用大型语言模型（LLMs）或不提供SOTA大小的LLM结果的论文可能会被认为不感兴趣。
与AI领域的不良实践相对比，CL/NLP领域的研究最佳实践包括对技术的适用性、对人类语言行为的理解、良好界定的评估、内在和外在的评估、坚实的基线、保留的测试数据和详细的错误分析。
Bender表示，CL/NLP研究建立在对数据的理解上，包括对语言如何工作的知识（即语言学）和数据集文档。
在可复制性和可重现性方面，Bender强调了科学是关于在先前研究基础上构建，而不是仅仅为了达到SOTA。
在社会影响方面，CL/NLP研究关注其技术对社会的影响，包括伦理和NLP研究的历史，以及理解语言和技术将被谁使用、为谁使用、对谁使用，以及谁可能因被排除或包括而受到伤害。
Bender认为，ACL应该是一个关注语言技术的场所，一个促进跨学科研究的社区，一个关心语言群体的研究领域，并且是一个我们可以理性讨论我们研究和技术对社会影响的空间。
这一观点在社交平台上引起了很大争议。
有人认为，这是一种不够包容的表现，「NLP历史上最好的时刻发生在人们对其他学科的想法持开放态度的时候：从语言研究人员那里学习统计方法，从社会科学家那里学习如何看待世界。这些幻灯片让我觉得有些人想让我们走向封闭。」
还有人认为，做这种分割完全没有必要，因为二者已经有机地融合在一起。
不过也有人表示理解，毕竟AI风头太盛，一旦某个会议被AI论文「承包」，其他领域的研究势必受到冷落，这将使该会议失去原本的趣味。
对于这个演讲传递的信号，大家也开始猜测：这是不是意味着ACL不欢迎AI论文了？
对此，你怎么看？
参考链接：https://faculty.washington.edu/ebender/papers/ACL_2024_Presidential_Address.pdf
