最近，来自伦敦大学学院、剑桥大学、牛津大学等机构的团队发布了一个神经学专用基准BrainBench，登上了Nature子刊《自然人类行为（Naturehumanbehavior）》。
实验结论
结果显示，经过该基准训练的LLM在预测神经科学结果的准确度方面高达81.4%，远超人类专家的63%。
在神经学常见的5个子领域：行为/认知、细胞/分子、系统/回路、神经疾病的神经生物学以及发育/塑性和修复中，LLM的表现也都全方位超过了人类专家。
更重要的是，这些模型被证实对于数据没有明显的记忆。也就是说，它们已经掌握了一般科研的普遍模式，可以做更多的前瞻性（Forward-looking）预测、预测未知的事物。
全新神经学基准
本本文的一个重要贡献，就是提出了一个前瞻性的基准测试BrainBench，可以专门用于评估LLM在预测神经科学结果方面的能力。
评估LLM和人类专家
研究人员收集了神经科学本文，并从中创建了测试用例，主要通过修改本文摘要来实现。
每个测试用例包括两个版本的摘要：原始版本和修改后版本。修改后的摘要会显著改变研究结果，但保持整体连贯性。
研究人员使用EleutherAlLanguageModelEvaluationHaress框架，让LLM在两个版本的摘要之间进行选择，通过困惑度（perplexity）来衡量其偏好。
对人类专家行为的评估也是在相同测试用例上进行选择，他们还需要提供自信度和专业知识评分。
最终参与实验的神经科学专家有171名。实验使用的LLM是经过预训练的Mistral-7B-v0.1模型。
评估LLM是否纯记忆
为了衡量LLM是否掌握了思维逻辑，研究人员还使用zlib压缩率和困惑度比率来评估LLMs是否记忆了训练数据。
影响
本文向我们展示了神经科学研究的一个新方向，或许未来在前期探索的时候，神经学专家都可以借助LLM的力量进行初步的科研想法筛选，剔除一些在方法、背景信息等方面存在明显问题的计划等。
争议
但同时也有很多研究者对LLM的这个用法表示了质疑。有人认为实验才是科研最重要的部分，任何预测都没什么必要：
实验才是最重要的。预测并不总是可靠的，而且LLM可能无法真正理解神经科学原理。
还有研究者认为LLM可能只是巧合地取得了高准确率：
LLM可能只是巧合地获得了高准确率。我们需要更多的研究来确定LLM是否真正理解神经科学原理。
结论
尽管存在争议，但LLM在预测神经科学结果方面的能力肯定令人印象深刻。这些模型可以帮助神经科学家探索新的想法，识别潜在的突破口，并加速研究进程。
随着LLM的不断发展，它们在神经科学领域的作用可能会进一步扩大。我们将拭目以待，看看这些强大的工具将如何改变我们理解大脑的方式。
发表评论