他或许是第一位因AI错判被捕的无辜者

本文来自微信公众号：数据实战派（ID：gh_ff93f845912e），作者：林檎、Hugo，题图：威廉姆斯（Robert Julian-Borchak Williams），本文主人公，图片出处：美国民权自由联盟，ACLU

对于威廉姆斯（Robert Julian-Borchak Williams）来说，今年1月糟糕的部分不只有新冠疫情的出现，还有一通来自警察局的电话。

那通电话的到来，让这位非裔美国人成为现公开的第一位被机器错误定罪的无辜者。

一通意外的电话

威廉姆斯是密歇根州底特律的一名上班族。

2020年1月某个周四下午，正在公司上班的他接到了底特律警察局的电话，并被要求投案自首。

刚开始他对电话的内容不以为然，直到接到电话的一小时后，他在住宅区的车道上被一辆警车截停。在妻子和两个年幼的女儿面前，两名警察对他戴上手铐，没有说明为什么逮捕他，只是出示了一张有他照片的并写有“盗窃罪”的“重罪逮捕令”。

随后，威廉姆斯经历的便是对待“盗窃犯”的例行流程：在拘留中心拍了嫌疑犯照片，被提取了指纹和DNA，并拘留一晚。

在审讯室，两名警探向他询问起Shinola商店被盗的事情，威廉姆斯才知道发生了什么。

Shinola是当地的一家高档精品店，销售手表、自行车和皮革制品。2018年10月，该店5只价值3800美元的手表被盗。

审讯中，警探拿出一张监控视频的截图，显示一名身材魁梧的男子站在一块手表前，身穿黑色衣服，头戴圣路易斯红雀队的红色帽子。警察怀疑，威廉姆斯就是照片中的犯罪嫌疑人。

“这是你吗？”警察问。

“这不是我。你以为所有的黑人都长得一样吗？”威廉姆斯说。

威廉姆斯承认，2014年这家店刚开张时，他和妻子去过此地，但威廉姆斯知道自己没有盗窃。

可底特律警察局的人脸识别算法并不这么认为。

在威廉姆斯这起案子中，正是人脸识别算法将他与Shinola的盗窃案联系到了一起。

“西海岸头号人脸识别供应商”浮出水面

公开报道显示，底特律的警察部门已有数十年的人脸管理系统使用历史。

而且，不止底特律警察局，整个密歇根州警方都在使用人脸识别技术，由一家名为DataWorks Plus的公司提供。

DataWorks Plus 成立于2000年，本身并不直接开发面部识别软件，而是为执法机构开发自定义工具和系统，例如可用于分析警方数据（比如面部识别和指纹匹配）的工具。罪犯面部数据库“加州面部识别互联”（California Facial Recognition Interconnect）是这家公司的标志性产品之一。

2005年，DataWorks Plus开始扩展产品，增加了外部供应商开发的面部识别组件，主要来自于NEC、Rank One和Cognitec三家公司（前两家是密歇根州使用的人脸识别算法技术供应商），其在美国执法系统中的市场份额进一步扩大，业内还称其为“西海岸头号人脸识别供应商”。

当DataWorks Plus的外部供应商开发出一种识别人脸的算法时，DataWorks  Plus 会尝试通过识别系统已知的低质量人物图像来判断其有效性。然而，DataWorks  Plus 并不会系统地衡量其中的准确性或偏差。

更糟糕的是，这些供应商的人脸识别算法也并不稳定。2019年，NEC、Rank One的算法曾被纳入一项针对100多个面部识别系统的联邦研究中，结果发现其存在一定程度的算法偏见——识别非裔美国人和亚洲人面部的错误率是白种人的10倍至100倍。随后，Rank One的首席执行官Brendan Klare表示，公司又开发了一种新算法， “缩小了不同人群之间的准确性差异。”

但在威廉姆斯这起案件中，效果并非如此。

首先来看犯罪者的人脸数据是怎么来的：Shinola 商店被盗事件发生后，防损公司Mackinac Partners的调查员Katherine Johnston调取了商店的监控录像，并向底特律警方发送了副本。五个月后，即2019年3月，密歇根州警察局的数字图像检查员Jennifer Coulson将录像视频中截取的静止图像上传至DataWorks Plus 人脸识别数据库。

Coulson对图像进行搜索之后，系统给出了一组生成的图像和一组匹配度最高的图像以及匹配度得分。这些图像中就有威廉姆斯的驾照照片。她将其作为“调查线索报告”发送给了底特律警察。

重点是，该文件顶部用明确写道：“该文件不是明确证据，仅是调查线索，不能因此逮捕人员。”

“该文件不是明确证据，仅是调查线索，不能因此逮捕人员。” 图片出处：美国民权自由联盟，ACLU

这也是技术供应商和执法人员在捍卫人脸识别算法时始终强调的一点：这仅是该案的一个线索，而不是强力证据。警察在逮捕威廉姆斯之前，调查人员需要找到其他证据证明他犯了盗窃罪，例如目击者的证词，手机中的位置数据或证明他拥有犯罪嫌疑人衣物的证据。

令人遗憾的是，根据底特律警方的报告，调查人员并没有这么做。

他们只是将威廉姆斯的照片和其他6张生成的照片交给Johnston指认。Johnston指认了威廉姆斯。

据威廉姆斯回忆，当他在审讯室把监控录像拿稳放在脸旁后，两名警探还彼此对视了一下，其中一名警探似乎很懊恼，对搭档说：“我想是机器搞错了”。而后两人又翻开Shinola商店里出现的男子照片，这张照片就摆在威廉姆斯驾照的旁边。威廉姆斯再次指出，他们不是同一个人。

威廉姆斯一直被拘留到周五晚上，被捕后30小时，他以1,000美元的个人保证金获释。

随后，威廉姆斯一家联系了辩护律师，然而，大多数辩护律师都认为威廉姆斯犯了罪行，并报价约7,000美元才肯为其辩护。威廉姆斯的妻子在密歇根州的美国公民自由联盟发了推文，才引起了大范围的关注。

美国公民自由联盟律师Phil Mayor表示：“我们一直在努力敲响人脸识别的警钟，它如果能够正常工作也会威胁隐私，而一旦犯了错误则涉及种族歧视。这些事情总在发生，只是我们没有获知，因为人们通常不会意识到，自己是糟糕的人脸识别技术的受害者。”

该联盟指出，威廉姆斯是第一宗已知道的在美国发生的同类案件，但威廉斯可能未必是第一个被冤枉的人。许多人都不知道执法人员利用这种技术查案，会无端把他们列作侦查目标。

谁应该为算法偏见负责？

最终，威廉姆斯被证明清白，因为底特律警方核实了他的不在场证明。

但案件的影响仍在持续。这起案件演示了，技术之缺陷和不合格的执法工作带来的糟糕后果。

正如威廉姆斯在《华盛顿邮报》撰文讲述自己的经历时所写：“我从未想过要向女儿解释为何她们的爸爸会被警察拘捕。我怎样向她们说，这是因为电脑出错，但警方仍然只是相信电脑？”

在美国，民众关于执法中存在种族主义的争论本来就长期存在：抗议者不仅在抗议个人官员的行为，还在抗议用来监视社区和识别犯罪嫌疑人的人脸识别系统存在的种族偏见。

MIT和美国国家标准技术研究院（NIST）的研究已证实，现有的人脸识别算法在识别白人上表现相对较好，但对于其他种族人群而言准确性较差，部分原因是其缺乏多样性数据库。

或许是因为考虑到这一点，去年年底以来，包括亚马逊、微软和IBM在内的不少硅谷巨头纷纷宣布，将停止或暂停为执法部门提供面部识别服务。

然而，这些举动真的能扭潮水的方向吗？

一方面在于，人脸识别其实并不是这几家公司的主营业务，另一方面，这些声明很大程度上也只是象征性的。事实上，美国执法部门使用的人脸识别技术往往是由一些不那么家喻户晓的公司提供的，比如Vigilant Solutions、Cognitec、NEC、Rank One Computing 和 Clearview AI等。只要有需求，总有人会做这笔生意。

乔治敦大学隐私与技术中心的律师Clare Garvie曾发表过一篇有关政府使用人脸识别系统的文章，她在文章中强调，应禁止使用低质量的图像搜索系统（例如颗粒感强的低精度监控视频中截取的静止图像），并且应对当前投入使用的系统进行严格的准确性和偏差测试。她说：“人脸识别算法有好有坏，执法部门必须尽可能使用更好的算法。”

还有一个技术以外的疑问，或许更难回答，那就是当算法难以避免会出错，应该向谁问责？

如果算法只是帮助我们更好的娱乐、工作，这个问题似乎不那么紧迫，可当算法被用到刑侦、医疗中时，AI被用于给出错误的犯罪者线索、疾病诊断结果时，这是一个必须回答的问题。

关于这个问题，全球范围内的从业者仍在积极地讨论之中，目前也形成了一些共识：首先是认识到AI的不可解释性或将长期存在，通过解释某个结果如何得出而实现算法的透明化，在技术上几乎不具有实操性，也会极大地限制 AI 的应用；基于这一点，可以操作的空间是，在 AI 的行为和决策上尽可能有效透明，例如成立专门的第三方监管机构、针对不同的场景分层次设置监管等。

当然，这些大部分还是初步的讨论，对于我们每一个个人来说，在这个关键决策愈发走向算法驱动的世界中，可以做到的就是保持学习和警惕。

参考

https://analyticsindiamag.com/how-a-us-citizen-was-wrongly-arrested-due-to-a-flawed-facial-recognition-match/

https://www.aclumich.org/en/news/wrongfully-arrested-because-face-recognition-cant-tell-black-people-apart

https://www.npr.org/2020/06/24/882683463/the-computer-got-it-wrong-how-facial-recognition-led-to-a-false-arrest-in-michig

https://www.nytimes.com/2020/06/24/technology/facial-recognition-arrest.html

本文来自微信公众号：数据实战派（ID：gh_ff93f845912e），作者：林檎、Hugo