MIT 首次使用AI控制动物大脑，实现完全操控

本文首发自汇众医疗www.investank.com，作者：汇众研究院，头图来源：东方IC

摘要：特殊的深层人工神经网络（ANNs）是当今灵长类动物大脑腹侧视觉流的最精确的模型。利用人工神经网络驱动的图像合成方法，发现发光功率模式（即图像）可以应用于灵长类视网膜，并预测促进目标V4神经网站的尖峰活动超出自然发生的水平。这种方法实现了对V4神经位点整个群体活动状态的前所未有的独立控制，甚至是重叠感受野。知识如何嵌入ANN模型可用于在神经元水平分辨率下无创地设置所需的内部大脑状态，并建议更精确的ANN模型可以推动更精确的控制。

引言：光线模式通过“深度”系列的“连接”的神经系统进行处理和表现称为腹侧视觉流。 视觉神经科学研究表明，这些神经活动模式是人类识别事物及其关系能力的基础。最新研究帮助神经科学家建立更加精确复杂的模型。目前，深层人工神经网络（ANN）模型是最好的模型，其中每个脑区都有相应的模型层和相应的模型神经元。这些模型很好地预测了脑神经元的反应，但它们对进一步了解灵长类动物的贡献仍然存在争议。

合理性：这些模型具有两个潜在的局限性。 首先，因为这些模型目标是成为大脑的高保真计算机化副本，所以通过这些模型进行的计算很难让人们理解。 从这个意义上讲，每个模型看起来都像是一个“黑匣子”，目前还不清楚如何解读这些模型。 其次，这些模型的泛化能力受到质疑，因为它们仅在视觉刺激上进行了测试，这些刺激类似于用于“教导”模型的视觉刺激。 研究人员的目标是通过在中层视觉脑区域进行非人灵长类动物神经生理学实验来评估这两种潜在的局限性。

研究者们试图回答两个问题：

（i）尽管这些人工神经网络模型很难理解，嵌入知识对潜在应用（即神经活动控制）是否有用？”

 （ii）这些模型是否能够准确预测大脑对新图像的反应？

结果：研究人员进行了几个闭环神经生理学实验：在将模型神经元与记录的神经位点进行匹配后，基于模型对腹侧视觉流程理解，利用模型合成完整的“控制器”图像。然后将这些图像呈现给受试者来测试其控制神经元的能力。在测试中，试图控制每个大脑神经元，以便激活它超出其通常观察到的最大激活水平。结果发现模型生成的合成刺激成功地驱使68％的神经位点超出其自然观察到的激活水平（机会水平为1％）。在更严格的测试中，该模型显示它能够选择性地控制整个神经亚群，激活特定神经元，同时灭活其他记录的神经元（成功率为76％;几率为1％）。

接下来，使用这些非天然合成控制器图像来探索模型预测大脑反应的能力是否对新图像有用。结果该模型准确预测了54％的图像诱发大脑反应模式（机会水平为0％），但显然该模型还不完美。

结论：尽管深度ANN视觉处理模型的非线性计算难以准确地总结出来，但它们是视觉加工嵌入集体知识的可分享方式，并且可以通过新知识进行细化。研究结果表明，目前嵌入式知识已经具有潜在的应用价值（神经控制），并且这些模型可以进行部分推广。研究结果也表明这些模型还不完善， ANN模型将推动更精确的神经控制。这种非侵入性的神经控制在神经科学家手中不仅仅是潜在的能量，而且可以发现新型治疗方案。

图：通过深度神经网络模型合成的图像集合来控制灵长类动物V4皮层区域中的神经元活动。使用深度人工神经网络通过合成视觉刺激来控制猕猴皮质区域V4中的神经元群体的活动模式。当应用于受试者的视网膜时，成功地诱导实验者所需的神经反应模式。

前馈人工神经网络模型（ANNs）构成了目前对灵长类腹侧视觉流中初始~200ms处理的最准确的“理解”，以及其支持的核心目标识别行为。ANN内部神经元与中层（区域V4）和高级（下颞下）皮质阶段的视觉诱发神经元表征非常相似。该发现已经扩展到神经表征内部神经V1位点，在核心物体识别任务中的行为表现，以及人类腹侧视觉流的脑磁图和功能磁共振成像（fMRI）测量。值得注意的是，这些模型与大脑相似性的发现并非曲线拟合大脑数据;他们是利用图像评估预测而不是利用ANN模型对未见过的图像进行评估预测。该研究证实了这些模型对腹侧视觉流的关键功能特性的捕捉。

但是，这个研究至少有两个重要的潜在限制。首先，因为由模型执行的视觉加工无法简单进行描述，并且因为模型仅仅根据与脑相似的内部功能进行评估，所以它们可能更像是腹侧流的副本，而不是对其的“理解”。其次，因为用于评估相似性的图像来自于使用了模型的内部参数（照片和渲染对象数据库）的分布，所以这些模型是否会通过功能相似性的更强测试是不确定的，且这种相似性是否会推广到完全新的图像。模型功能与脑相似大大高估了它们真正的功能相似性。

研究人员进行了一系列非人类灵长类视觉神经生理学实验，通过测试模型所包含的详细知识是否有助于应用（神经元控制）来评估第一个潜在的限制，并通过探索模型与大脑的功能相似性是否推广到完全新的图像来评估第二个潜在的限制。使用先进的深部ANN腹侧流模型（即具有完全固定参数集的特定模型）来合成新的发光模式（“控制器图像”），当应用于其时，它们可以控制特定的神经发射活动。在两种情况下，实验选择猕猴皮层视觉区域V4中的神经位点：（i）神经“伸展”，其中任意单个目标神经位点的最大射击速率超出自然发生的最大速度，以及（ii）神经群体状态控制，其中合成图像独立控制小型神经位点（这里是5到40个神经位点）。通过使用该模型设计的视网膜输入来测试该群体控制，以驱使V4群体进入实验者选择的“单一”状态，其中一个神经位点被推动为高度活跃而所有其他附近位点在基线活化水平同时被“钳制”。至少一个ANN网络模型可用于非侵入性地控制大脑。

研究者利用慢性植入的微电极阵列来记录视觉区域V4中的107个神经多单元和单个单位位点在三个固定的恒河猴中的响应，这些恒河猕猴被指定为M，N和S（nM = 52，nN = 33，nS = 22）。首先确定了每个位点的经典感受野（cRF），并简要介绍了小方块。然后使用一组640个自然图像（总是呈现覆盖视野的中心8°，与所有记录的V4位点的估计cRF重叠）以及一组V4神经元的良好驱动因子370复杂曲率刺激来测试每个位点。使用每个网站的视觉诱发反应到90％的自然主义图像（n = 576），从深度ANN模型的单个“V4”层创建了一个映射。并选择最大限度地预测区域V4对自然图像集的响应的模型层，使用线性映射进行两次交叉验证。脑组织映射的预测准确性之前曾被用来衡量大脑模型对大脑的功能保真度。事实上，使用V4响应来保留10％的天然主义图像符号。结果发现神经预测模型正确地预测了V4神经反应中89％的可解释（即图像驱动）方差（107个站点的中位数，每个站点都计算了数据的两个映射/测试分裂;参见方法）。

除了生成模型V4到大脑的V4相似度得分（在这种情况下为89％），这个映射程序产生了一个潜在的强大工具：每个V4神经网络的视觉诱发射击率的图像可计算预测模型。如果该模型准确的话，可预测性模型不仅仅是一个数据拟合设备，一个相似性评分方法。相反它必须隐含地捕获大量可能难以描述视觉知识，且假设（通过模型）被大脑用来实现成功的视觉行为。为了获取这些知识，研究者使用模型驱动的图像合成算法来生成为每个神经网站定制的控制器图像（即，根据其预测模型），这样每个图像应该可预测并且可控制V4神经位点放电频率。该研究的目的是检验这样的假设，即实验者在视网膜上应用特定的发光功率模式使V4神经元移动到特定的，实验者指定的激活状态。

尽管实验者极大可能会要求利用控制器方法能够实现神经活动状态，但研究者将实验限制在视网膜功率输入后70到170毫秒的V4尖峰活动（其中模拟器被认为是最准确的），并且测试了两个控制设置：为了测试和量化控制的优越性，拉伸控制应用了动物主体的合成控制图像所指定的发光体的图像，同时记录了相同V4神经网站的响应。

对视网膜上的发光功率模式的每个实验操作通俗地称为“图像的呈现”。然而，此处，在实验者控制下与其他应用的发光功率模式完全随机化的应用功率的精确操作以强调与更直接的能量应用（例如，光遗传学实验）相同，因为实验控制的优点是从功率操纵和神经反应之间的相关性推断出来的。这两种方法之间的唯一区别在于，它是在实验控制的功率和受控的因变量（这里是V4尖峰速率）之间进行干预的机制。这些是人工神经网络模型旨在用叠加的突触，阈值非线性和正常化电路来近似的步骤。在这里介绍的控制案例和光遗传学控制案例中，这些干扰的步骤是不知名的。同时，这两个实验都不是“只有相关性”，因为因果关系是从实验者提供的，实验者随机的权力应用到系统中推断出来的。因为每个实验都是在记录的不同时间进行的（1天构建所有预测模型，1天进行测试对照），只有神经网站保持高信噪比和对标准集的响应的一致等级顺序在两个实验日中。

图1：合成步骤概述。（A）两个测试控制方案的示意图。左：控制器算法合成新的图像，它将最大程度地驱动目标神经部位（伸展）的电击速率。在这种情况下，控制算法不调节其他测量神经元的活动（例如，它们也可能增加所显示的）。右：控制算法合成，它将最大程度地驱动目标神经部位的射击速率的图像，同时抑制其他测量的神经部位的活动。 （B）顶部：单个示例V4神经部位对640个自然图像的响应（每个图像的平均重复约40次）由重叠的灰线表示;左上方的黑线表示图像呈现时段。下图：自然图像的最高和最低神经反应的光栅图，分别对应于顶部面板中的黑色和紫色线。阴影区域表示时间窗口计算每个V4神经部位的活动水平（即，每个神经部位的每个图像一个值）。 （C）神经控制实验分四步完成：（1）通过训练大量标记的自然图像来优化神经网络的参数，然后保持恒定。 （2）ANN“神经元”被映射到每个记录的V4神经网站。映射函数构成这些V4站点中的每一个的活动的图像可计算预测模型。 （3）然后将得到的可微分模型用于合成单个位点或群体控制的“控制器”图像。 （4）然后由实验者将由这些图像指定的发光功率模式应用于受试者的视网膜，并测量神经部位的控制程度。 AIT：前颞下皮质; CIT：中央下颞皮质; PIT：后颞下皮质。 （D）猴M（黑色），猴N（红色）和猴S（蓝色）中神经位点的经典感受野。

延伸控制：最大化单一V4神经元活动

我们首先定义了每个V4神经元“自然观察到的最大放电率” - 这是通过测试其对最佳的反应来发现640自然测试图像（交叉验证重复陈述）。然后我们为其生成合成控制器图像指示合成算法驱动其中一个神经网络的放电率高达可能超出这个速度，无论另一个V4神经网络。对于我们的第一个延伸控制实验，我们限制了合成算法仅对图像的某些部分进行操作在每个神经网络的cRF内。对于每一个目标神经部位（nM = 21，nN = 19，nS = 19），我们运行了五种不同的合成算法随机图像初始化。对于79％的神经网络，合成算法成功找到至少预测至少一张图像高于该网络10％的自然观察到的最大值放电率。但是，有兴趣提出一个无偏估计的延伸控制随机抽样V4神经位点的优势，我们在分析中包括了所有网络，甚至那些（~20％）即控制算法预测它无法延伸。视觉检查提示五个延伸控制器算法为每个神经网络生成的图像网络在感知上彼此更相似（见图2和图S1），但我们没有物理量化这种相似性。

应用结果的一个例子是将控制图像延伸到一个视网膜，猴子瞄准其中一个V4位点显示在图2A，以及所有测试图像的ANN模型预测的该位点的反应。更接近目视检查这个神经网络的“最佳”自然和复杂曲率图像网络的cRF（图2A，顶部）表明它可能是对角度的存在特别敏感，导致中间的凸曲率和左下侧形成一组中心圆。这样的刺激与V4使用中的广泛系统工作是一致的，它表明我们成功定位了cRF，并调整了我们的激励演示，以最大限度地提高发电率。有趣的是，但是，我们发现所有五种合成延伸控制图像（红色）驱动神经反应在每个自然状态下测试的回应和每个响应之上复杂曲率的刺激，在图像（蓝色）中呈现cRF（紫色）（图2A）。

图2.各个神经部位的最大驱动力（延伸）。 （A）结果例如成功的拉伸控制测试。 标准化活动水平显示所有自然图像的目标V4神经网站（蓝色点），复曲率刺激（紫色点）和五个合成拉伸控制器图像（红点）。 最好的驾驶图像每个类别和感受野的缩放视图显示在最佳。 （B）响应自然主义（蓝色）和三只猴子每个神经部位的合成图像（红色）。调节器图像合成受限于目标的感受野神经网站。 误差线表示数据范围。 （C）增加的直方图在cRF限制合成的自然图像的放电率图片。 （D）复杂曲率上的发射率增加的直方图刺激。 黑色三角形用黑色虚线标出中间线在所有测试的神经网站上得分。 红色箭头突出显示放电率的增加在每个实验中由控制器图像实现。 N表示每个实验中包含的神经网站数量。

为了量化这种延伸控制的优点，我们测量了神经反应五个合成图像中的最佳图像（再次通过重复演示交叉验证）并将其与自然观察到的图像的最大发电率进行比较。我们找到延伸控制器成功成像并驱使68％的V4神经网络超出其自然观察到的最大值发电率（P <0.01，未配对样本t检验在最高放电率之间的自然分配和合成图像；分配由50个随机交叉验证的实验生成）。以振幅测量，我们发现延伸控制器图像产生了39％的放电率高于最大自然放电率（所有试验场地的中位数；图2、B和C）。

因为我们固定的一组自然图像未优化为最大限度地驱动每个v4神经位点，我们考虑了延伸控制器只是重新发现图像已知的像素排列，之前的系统工作还是v4的良好驱动力神经元。为了验证这个假设，我们测试了19个v4位点（nm=11，ns=8），通过呈现，在每个神经部位的cRF中，每个部位370个复杂曲率形状——一个刺激集之前已经证明包含图像特征，这些特征在驱动v4神经元时非常有效。放在cRF内。因为我们也担心固定的自然图像集不能最大化内部中局部图像对比度和每一个v4神经元的cRF，所有我们用一个匹配的对比度呈现出完整的曲线形状。

与合成延伸控制器的对比图像（图S4）。有趣的是，我们发现每一个测试的神经位点，合成控制器图像产生的发电率高于复杂曲率形状（图2d）。具体来说，当我们使用最大响应并在所有复杂的曲率形状中作为参考时，我们发现中间延伸振幅更大（187%）。最大自然图像仅仅作为参考（相同19个位点的73%）。总而言之，神经网络驱动的延伸控制器结果表明像素能够更好地驱动v4神经位点。

进一步检验简单的图像转换也可以实现神经反应水平和由合成控制器图像引出的一样高，我们进行了模拟实验以测试替代图像电池的预测效果。首先，要调查是否只需要减少对周围抑制效应的评估就可增加位点对其最佳自然图像的预测响应。此外，我们调整了对比度裁剪图像以匹配平均对比度，得到该位点的合成图像（也是在位点内的测量结果）。在所有测试现场，我们发现对中间延伸控制增益比原始环境下使用这些新生成的图像要低14%（n=59个位点；见图S7）。为了进一步探索，我们优化了的裁剪区域的大小和位置。使用该程序获得的延伸控制增益为0.1%低于原始自然图像。其次，我们测试了响应优化最佳自然状态下的仿射变换图像（位置、比例、旋转）。第三，从自然的多种特征中获得的能量显示在cRF中，在测试过程中，每个位点最好有两到五张图片。其中每一个的预测延伸控制增益操纵仍然远远低于实现的与合成控制器图像。综上所述，我们发现达到了伸展控制的能力是不平凡的。即使在高对比度的情况下也能通过复杂的曲率特征实现，自然图像的简单转换，结合良好的自然图像，或优化图像的空间范围。

单热神经元群控制：在多个v4神经位点中只激活一个神经元

与先前的单一单位视觉神经生理学研究相似，延伸控制实验试图优化每一项反应。单独的v4神经位点，不考虑其余的神经元群。但是，神经网络模型有可能实现更丰富的种群控制形式，在这种控制方式中，每个神经位点都可能独立控制。作为第一次测试，我们要求合成算法生成控制器图像，目标是只驱动一个神经位点的高度响应，同时在其他记录的神经位点中保持低度反应。

我们尝试了一种对所有位点都同时记录的方式（实验1，n=38在猴子M中；实验2，在猴子S中n=19）。具体来说，我们随机选择一部分神经位点作为“目标”位点（14个在猴子M中，19个在猴子S中）。我们问了合成算法生成五一热人口控制器每个位点的图像（即33个测试每个测试都试图最大化抑制活动时一个位点的活动在同一只猴子的所有其他测量点中）。对于这些控制测试，我们允许控制器优化整个8°像素的算法直径图像（包括所有记录的神经位置；参见图3），然后我们应用了一个神经元群控制器图像对猴子的视网膜进行评估控制。合成过程预测了对于77%的的神经元群，Softmax得分至少为0.5（作为参考，最大SoftMax分数为1，仅当目标神经位点是活动的，所有非目标神经位点都是完全不活动的；参见图3a，SoftMax分数接近0.3）。

图3.神经群控制。我们合成了控制器图像旨在将神经群体设置为单热状态（OHP），其中一个目标神经网站是活跃的，所有其他记录的神经网站都被抑制。（A）两个示例OHP实验（左和右）。在每种情况下，神经记录的每个经过验证的V4位点（见方法）的活动绘制神经群（大多数具有重叠的cRF）与目标箭头指示的V4位点（深蓝色或红色）。请注意，回复是在标准化器图像上单独标准化以并排放置比较有意义的反应（见方法）。第一行：活动最好的模式（OHP控制意义上的“最佳”;参见方法）自然主义形象。底行：生成活动模式通过视网膜应用ANN模型合成的控制器图像。红色虚线椭圆标志着延伸的感受野（2 SD）每个位点。误差棒表示95％置信区间。（B）最佳合成和自然图像的控制分数的分布对于所有33个OHP全图像控制器实验（nM = 14，nS = 19）。 控制分数使用交叉验证计算（参见方法）。 误差棒表示数据范围。 （C）OHP控制增益的直方图（即，对于（B）中的结果，对自然图像的改进）; （i）和（ii）表明对应于（A）中所示的示例实验的分数。 （D）相同实验数据为（C），除了分析所选择的亚种群所有位点都有高度重叠的cRF [见下文（C）至（E）中的cRF; 黑色，猴子M; 蓝色：猴子S]。 （E）OHP控制增益，增益相对于共享cRF中最好的复杂曲率刺激和控制器算法也仅限于在共享的cRF中操作（n = 14个OHP实验）。 在（C）至（E）中，N表示数量每个环境中的实验; 红色箭头突出显示控制中位数增益（黑色三角形）在每种情况下都实现了。

虽然一个单热神经元群控制器图像并没有达到最佳预测状态。但我们发现控制器图像通常能够在未生成的目标位点大幅增加（相对于自然图像；参见图3a中的示例）。我们计算了一个神经元群控制的反应评分以及每个神经元群的活动概况（SoftMax分数），并将分数呈现到自然图像结果（即没有神经网络模型的合成算法）。我们取了这些的比例两个分数作为改善一个热门人群控制的衡量标准，我们发现控制器改进了57％。

神经元群控制的结果在cRF算法中不重叠，我们认为，允许神经元简单地通过独立控制限制每个位点的图像对比能量。为了测试这种可能性，我们分析了测量的神经元群的子样本，所有位点在cRF算法中高度重叠。（图3D）。 我们考虑过猴子M的神经元群大小为10，猴子S的大小为8。 总的来说，我们进行了实验在两只猴子的12个目标神经网站上猴子M和八只猴子S并找到了改善控制的幅度仍然是40%（图3d）。因此，改进控制很大一部分是特定空间的结果，该结果是由多个v4神经共享的视网膜输入区内的光功率排列，人工神经网络模型隐式捕获这些位点并预测和恢复综合算法。

另一个对一个单热神经元群控制的实验，我们限制了控制合成仅在图像像素上操作的算法在具有重叠cRF的子群体中所有神经网站的共享cRF（图3E）。我们用复曲率来实现内部cRF合成神经元群的控制形状，因为先前的实验与这些刺激也被设计为仅使用cRF内的像素来操纵V4反应。我们发现对于同一组神经位点合成控制器图像产生了非常大的控制收益（中位数112％;图3E），对照得分显着高于最佳复杂曲率刺激86％的神经网络。

神经网络脑模型的功能保真度是否可扩大运用为新图像？

除了测试非侵入性因果神经控制外，这些实验还旨在询问神经网络模型是否比先前的研究更能通过对大脑功能相似性的测试，具体来说就是这个模型与大脑的相似性是否能扩大运用为全新的图像。由于控制器图像是从随机像素排列中重新合成的，并且经过优化以驱动v4神经位点的向上（目标）和向下（一个远离目标的热群）的发射率，因此我们认为它们是一组潜在的新的神经调制图像，远离自然图像。我们通过证明合成图像在统计上，任何自然图像的相似性确实低于自然图像本身来量化和确认这种新颖性概念。

为了确定v4预测模型概括这些新的合成图像有多好，我们使用与之前工作相同的相似性方法，将每个神经站点的预测响应与每个测试的合成图像与实际的神经反应进行比较，但现在要匹配的参数为零。也就是说，一个好的大脑相似性评分的模型要求每个v4神经位置的神经网络预测模型准确预测神经位置对所有合成图像的响应，这些合成图像与我们训练神经网络（照片）时使用的图像非常不同，也与用于将神经网络“v4”位置映射到单个v4神经位置（自然图像）的图像非常不同。

与上述控制结果一致，我们发现神经网络模型解释了一组合成图像的可解释方差的54%，尽管该模型在许多情况下高估了神经对合成刺激的反应，并且模型对大脑的相似性评分比对自然图像的反应（89%）的评分要低一些，但该模型仍然预测了很大一部分方差，因为所有参数都是固定的，以得到这些“脱离自然领域”的图像预测。尽管它仍然不是一个完美的表现模型，但是我们认为这是目前为止对腹侧流神经网络模型泛化的最有力的检验，并且它再次表明该模型的内部神经表示与大脑的中间腹侧流表示（v4）非常相似，我们还注意到，由于合成图像是由模型生成的，因此我们无法评估完全“超出模型域”的图像预测的准确性。

我们如何解释这些结果？

我们的结果表明，一个深度神经网络驱动的控制器方法可以使大多数v4神经位点的触发率超过自然发生的水平，并且具有重叠接收场的v4神经位点可以部分但还不能完全独立地控制。在这两种情况下，我们都表明这种控制的优点是前所未有的，因为它优于没有人工神经网络的控制。最后，我们发现，在完全没有参数调整的情况下，神经网络模型可以适度地推广（54%），来预测v4对合成图像的响应，这些合成图像与用于调整神经网络突触连通性的真实照片截然不同，并将神经网络的“v4”映射到每个v4神经位置。我们相信这些结果是迄今为止对腹侧流深神经网络模型的最有力的检验。

基于休博尔和维瑟的工作，视觉神经科学研究所将对大脑如何代表外部视觉世界的理解与对什么样的刺激能使每个神经元做出最大反应的理解紧密地等同起来。确实，事实上，教科书和最近重要的研究结果告诉我们，v1神经元被调谐到定向条上，v2神经元被调谐到自然图像中v1神经元的相关组合上，v4神经元被调谐到二维和三维的复杂曲率形状上，并被调谐到边界信息上，而颞下（it）神经元则对复杂的类对象图案，包括脸和身体这种特殊情况。虽然建立一个坚实的基础和神经元在编码视觉信息的作用的直觉是必不可少的，但是我们的研究结果说明了他们可以怎样进一步优化现有的和未来的人工神经网络模型的腹流。例如，我们发现，通过在一个相对较大的自然图像空间（n=640）和复杂的曲率刺激（n=370）中搜索，只有少数图像的合成导致了比可能的更高的神经响应水平。这表明，即使现在的神经网络模型显然还不完善，也已经赋予我们新的能力，使我们能够以更精细的粒度为每个神经站点找到更为优化的刺激流形，并发现不受人类直觉和人类语言限制的刺激（参见图S1中的示例）。这在视觉层次的中后期（如v4和IT皮层）尤为重要，因为神经元的反应复杂性和更大的接收场使得人工搜索难以接受。

根据这些结果，对于本研究开始时提出的两个重要的对今天的神经网络模型的评论（理解和普遍性），我们现在能说些什么呢？在我们看来，结果很大程度地缓和了这两种批评评论，但并没有消除它们。对理解的一个重要考验是，如我们已经证明的那样，运用知识来更好地控制世界上感兴趣的事物的能力；然而，我们承认这不是唯一可能的观点，还有许多其他关于“理解”的概念有待探索，以了解这些模型是否以及如何增加价值。在一般性方面，我们发现，即使是今天的神经网络模型也能很好地概括出明显新颖的图像，因此我们相信这些结果为那些认为当前的神经网络模型在其能够准确覆盖的图像范围内极为狭窄的批评关上了大门。然而，我们注意到，虽然在泛化测试中成功预测了54%的可解释方差，但这比在“接近”映射图像（但与映射图像不相同）的图像中发现的89%可解释方差要低一些。这不仅再次确认了这些大脑模型尚不完善，而且还表明，对每个大脑区域的模型相似性的单一度量标准不足以描述和区分替代模型。相反，在不同的泛化“距离”下进行多个相似性测试是有用的，正如我们可以想象的那样，未来的模型在从测试图像“接近”训练和映射分布（通常是照片和自然图像）到“远”（例如合成图像）的过程中，成功预测的方差减少较少。像这里使用的那些到“非常远”的TIC图像，例如甚至不能在当前模型的指导下合成的图像，因此仍然没有在这里进行测试。

从应用的角度来看，这里给出的结果表明，现在腹侧流的神经网络模型已经可以用于改善无创人群控制（如图4）。但是，控制结果很明显尚不完善。例如，在单热神经元群控制中，我们不能在完全抑制“非目标”神经站点的每一个响应的同时保持目标神经站点活动（参见图3和4）。事后分析表明，我们可以部分预测哪些非目标位置最难被抑制：它们通常（也不奇怪）是与目标位置具有高度响应相似性的位置（r=0.49，p<10-4；与目标神经位置的响应相似性与自然主义相比的相关性全图像一热群实验中的图像和非目标活动水平；n=37非目标位置）。这些结果提出了一个有趣的科学和应用问题，即是否以及何时在神经元层面上完全独立控制是可能的。我们目前在控制上的局限性是由于解剖学上的连通性限制了潜在的群体控制、当前腹侧流神经网络模型的不完善准确性、模型神经元到大脑中单个神经位点的不完善映射、我们正试图控制多个单位的活动、不足控制器的图像合成算法，还是所有这些因素和其他因素的某种组合？

图4：

考虑合成算法：直观地说，每个特定的神经站点可能对许多图像特征敏感，但可能每个站点只对其他神经站点不敏感的一些特征敏感。这种直觉与观察结果一致，使用当前的神经网络模型，我们的综合算法在单热神经元群设置中比在拉伸设置（单热神经元群优化通常需要两倍以上的步骤来找到一个合成图像，预测该合成图像将驱动目标神经站点响应达到与拉伸设置相同的水平）中更难找到好的控制器图像，并且对图像的视觉检查表明，单热神经元群图像具有较少的可识别“特征”（图5）。随着要控制的神经群体的规模增加，实现完全独立控制可能变得越来越困难，但这是一个开放的实验问题。

图5：

考虑当前的神经网络模型：我们的数据表明，未来改进的神经网络模型可能会使控制更为有效。例如，更好的神经网络v4群族预测模型通常能更好地控制该v4群族（图5）。有一件事已经很清楚了：腹侧视觉流的改进的人工神经网络模型已经导致了对以前无法达到的高级神经元群的控制。随着腹侧流神经网络模型的逼真度的不断提高，本文的研究结果很可能只触及了大脑神经网络的这些已实现的特征的表面。