人工智能精确预测科研结果，Nature子刊证实准确率高达81%
在现代科学研究中，人工智能模型展示出惊人的预测能力，超越人类专家。一项发表于《自然-人类行为》杂志的研究表明，大型语言模型在预测神经科学结果方面达到了81%的准确率，而人类专家的准确率仅为63%。
知识密集型工作中的挑战
知识密集型工作，如科研，需要大量文献阅读和理解。然而，人类的阅读效率却几乎没有提升，新入行的研究人员面临着浩如烟海的过往研究成果。大语言模型作为一种辅助工具，具有处理海量数据并从中提取关键信息的潜力。
前瞻性基准BrainBench
为了评估大模型的前瞻性预测能力，伦敦大学学院的研究人员开发了BrainBench基准。该基准包含200个由神经科学专家设计、2023年发表在《神经科学杂志》上的测试案例，以及100个由GPT-4生成的新测试案例。
每个测试案例都是对已发表摘要的修改版本，在不改变方法和背景的情况下，大幅改变研究结论。测试者需要在原始摘要和修改版本之间做出选择。
大模型超越人类专家
研究结果表明，大型语言模型在预测神经科学结果方面的表现远远超过人类专家。平均准确率达到81.4%，而人类专家的平均准确率仅为63.4%。即使限制人类参与者回答那些他们自报专业水平在前20%的测试项时，其准确率也仅上升至66.2%，仍低于大型语言模型的水平。
跨子领域表现出色
在按子领域和参与者类型划分时，大型语言模型在每个子领域中的表现也都优于人类专家。结果表明，模型能够理解跨多层次的神经科学研究，从行为和认知到细胞和分子机制。
准确性和置信度之间的关联
进一步的研究证实了大语言模型的预测是经过校准的。与人类专家类似，大语言模型也表现出准确性和置信度之间的正相关性。当模型对自己的决策有信心时，更有可能做出正确的选择。
应用潜力
这项研究表明，大语言模型具有辅助科研新发现的巨大潜力。通过整合海量的文献数据，模型能够预测比人类专家更可靠的新结果。这可以极大地提高科研效率，加速科学发现。
并非特定于神经科学
重要的是要注意，这种方法并不特定于神经科学。其他知识密集型任务，如法律研究、金融预测，甚至医疗诊断，也可以利用大语言模型的预测能力。
结论
这项研究为大型语言模型在科学预测中的应用提供了有力的证据。随着模型的不断发展，它们有望在科研领域发挥越来越重要的作用，作为人类专家的得力助手和创新突破的催化剂。
原创文章，作者：睿鸿在线，如若转载，请注明出处：https://mip.orihonor.com/2024/12/11/26795.shtml
