本文来自微信公众号：Nature Portfolio （ID：nature-portfolio），作者：Katharine Sanderson，原文标题：《GPT-4的黑箱运作方式引科学家不满》，题图来自：《机械姬》

上周，人工智能公司OpenAI推出了GPT-4——驱动其热门对话机器人ChatGPT的大型语言模型的最新版本。这个语言模型能根据几乎任何提示创作有人类文笔的文本并生成图像和程序代码，而且表现十分惊艳。该公司表示，GPT-4在此基础上又有了很大的提升。研究人员认为这些能力有望推动科研变革，但也有人感到不满，因为他们还没有使用权限，也不了解它的底层代码或是训练方式。科学家认为，这种情况下，人们对该技术的安全性会有顾虑，其对科研的帮助也不如预想的这么大。

3月14日公布的GPT-4有一个全新升级：它现在不仅可以处理文本，还可以处理图像。作为对其语言能力的演示，位于加州旧金山的OpenAI表示，GPT-4已经能通过美国律师资格考试，成绩位于第90百分位，而之前的ChatGPT版本只能进入第10百分位。不过，这项技术尚未向所有人开放，目前只有ChatGPT的付费用户可以使用。

“现在需要在等位名单上排队，还不能立刻就用上。”阿姆斯特丹大学心理学家Evi-Anne van Dis说。不过，她已经见过GPT-4的demo。她说：“我们在视频里看过他们演示GPT-4的一些能力，简直超乎想象。”她记得，有一次演示用了一个网站的手绘插画，GPT-4能根据这些插画生成构建该网站的代码，证明它能将图像转化为输入信息的能力。

不过，OpenAI对它的模型使用哪些数据训练、如何训练，以及它的运作方式讳莫如深，这令科研人员感到不满。“所有这些闭源模型可以说是科学界的死胡同。”开源AI社区HuggingFace的气候科学家Sasha Luccioni说，“他们（OpenAI）可以在他们的研究基础上越攀越高，但对整个科学界来说，这就是条死路。”

“红队”测试

美国罗切斯特大学的化学工程师Andrew White，以“红队队员”（red-teamer）的身份优先体验了GPT-4。OpenAI付费邀请这些红队队员测试该平台，他们会尝试让GPT-4做些不好的事情。他说，他在过去6个月都可以使用GPT-4。“与之前几代相比，一开始它好像也没什么特别之处。”

他会询问这个机器人合成某个化合物需要哪些反应步骤，让它预测反应产物并选择催化剂。“起初我没觉得它有多强大。”White说，“令人惊讶的是它看起来特别像回事，但它会在这里幻想出一个原子，在那里跳过一个步骤。”不过，就在他按照他们红队的任务给GPT-4开放科研论文的权限后，情况急剧变化。“我们发现，这类模型独立存在时可能没什么厉害之处，但当你把它和互联网和逆合成设计功能（retrosynthesis planner）等工具，或是和计算器相连，突然之间，新的能力全部出现了。”

当然，这些能力也伴随着隐忧。比如，GPT-4会允许合成危险化学品吗？利用White等人的输入信息，OpenAI的工程师再把这些信息“投喂”给他们的模型，让GPT-4避免生成危险、非法、有害的内容，White说道。

捏造事实

不实信息是另一个问题。Luccioni表示，GPT-4一类模型的功能是预测一句话的下一个词，所以无法完全摆脱胡编乱造的问题，这种现象也成为“幻觉”（hallucinating）。她说：“你不能全信这些模型，因为它的幻觉太多了。”即使是最新版本也仍有这个问题，她说，尽管OpenAI表示已经提升了GPT-4的安全性。

如果不公开训练所使用的数据，OpenAI关于安全性的担保在Luccioni看来是不够的。她说：“你不知道它用了哪些数据，你就无法优化它。我的意思是，把科研工作教给这样一个模型肯定是不现实的。”

围绕GPT-4训练方式的谜团对van Dis在阿姆斯特丹大学的同事、心理学家Claudi Bockting来说也是一个担忧。“让人类对他无法监督的东西负责是很难的，”她说，“一个担忧是它们的偏见可能远远超过人类自己的偏见。” Luccioni解释道，如果无法获得GPT-4的底层代码，你就无法判断偏见是来自哪里，自然也就没法纠正了。

伦理探讨

Bockting和van Dis还担心这些AI系统今后都会被大型科技公司收入麾下。他们希望这项技术能得到科学家的严格测试和验证。她说：“这里也有机遇，因为与科技巨头的合作能加快前进速度。”

van Dis、Bockting和同事在今年更早时指出，亟需建立一套“活”指南，指导AI和GPT-4等工具的使用和开发。他们担心关于AI技术的任何法规很难跟上AI发展的步伐。Bockting和van Dis已经组织4月11日在阿姆斯特丹大学召开研讨会，探讨上述问题，与会代表来自联合国教科文组织的科学伦理委员会、经济合作与发展组织、世界经济论坛等组织。

White认为，抛开种种顾虑，GPT-4及其未来迭代势必会重塑科学。他说：“我相信这将是科研基础架构的一次重大变革，堪比当初互联网带来的巨大震动。”它不会取代科学家，他说，但能协助科学家开展某些工作。“我认为我们将慢慢意识到，我们能把论文、数据程序、我们用的图书库与计算工作，甚至是机器人实验全部互联。

原文以GPT-4 is here: what scientists think标题发表在2023年3月16日《自然》的新闻版块上

© nature doi: 10.1038/d41586-023-00816-5

本文来自微信公众号：Nature Portfolio （ID：nature-portfolio），作者：Katharine Sanderson