英国重金打造的AI预测犯罪工具，准确率只有9%？

本文来自微信公众号：机器之能（ID：almosthuman2017），作者：微胖、力琴，原标题《两年研发、近1400个预测指标，英国重金打造AI预测暴力犯罪工具，未经启用即告流产》头图来自：视觉中国

又有一套犯罪预测系统，拉低了这个行业的整体“智商”水平。 

这套名为“严重暴力犯罪（MSV）预测”的系统，历时两年研发，旨在让全英国警局进入“AI”时代，结果还未正式投入使用，便打了水漂。 

发现技术漏洞之前，该预测系统声称准确率75%。技术漏洞被发现后，经改造的系统预测准确率居然直线下滑。 

预测英国西米德兰兹郡枪支暴力犯罪的准确率狂泻到14%至19%，而西约克郡的预测准确率仅为9%至18%。 

连警方自己都不得不承认，“漏洞百出，无法正常使用”，并已停止开发这种形式的预测系统。 

一个据称是世界上首例汇集多家警察局数据集进行犯罪预测工具研发的项目，就这样划上了句号。

西米德兰兹郡警局关于该项目的公开文档封面。

一、一泻千里的准确性 

谢天谢地，该系统从未真正投入使用。 

已经停止开发的“最严重暴力”（MSV）系统，属于英国国家数据分析解决方案（NDAS）项目一部分，最终目标是希望英国的每个警察部队都能使用到它。过去两年，内政部已经为NDAS资助了至少1000万英镑（1300万美元）。

 （MSV）系统的设计思路并不复杂。参与开发系统的警局有好几家，但凡与这些警局有过接触的人（有“前科”）会被视为关照对象，得到一个风险评分。分数越高，越有可能犯罪，或者说，未来两年内有可能会成为严重暴力犯罪（比如持枪持刀）初犯。 

技术“漏洞”被发现之前，NDAS声称其系统的准确度高达75%。不过，给出的数据却有些惊悚。 

比如，在西米德兰兹郡，极有可能使用枪支或刀进行严重暴力犯罪的100人中，系统预测，有54人会犯下罪行。在西约克郡，100人中有74人可能使用枪支或刀进行严重暴力犯罪。 

就连NDAS自己也承认，由此推算出的犯罪率实在过高。 

不过，即使系统得到最佳发挥，其预测西米德兰兹的暴力犯罪准确率也就徘徊在25%到38%。而针对西约克郡，这个数字可以达到36%到51%。无论是哪个数字，都低于之前宣称的75%。 

这是为什么呢？发言人表示，因为出现了数据摄取问题，但没有披露具体细节。负责审查NDAS工作的委员会也公开了一份报告称，错误原因在于 “在训练数据集的定义中发现了一个编码错误”。 

漏洞发现之后，NDAS重新设计了预测系统。然而，改造后的系统，预测准确率却直线下降。 

比如，预测英国西米德兰兹郡枪支暴力犯罪的准确率狂泻到14%至19%，而针对西约克郡的预测准确率仅为9%至18%。 

据报道，开发系统采用的数据是从犯罪和拘留记录、情报报告以及警察国家计算机数据库中提取的。“根据目前可用的数据，在严重暴力犯罪初犯之前进行准确预测并及时干预，这已被证明是不可行的。”NDAS在公开的简报文件中坦承。 

据报道，除了严重暴力犯罪，NDAS还利用机器学习来预测诸如枪支走私、贩卖人口等有组织犯罪。 

二、不可能完成的项目 

该项目背景源于英国警方预算在过去几年遭到大幅削减，有限资源迫使警方救助先进技术，将最需要干预的人员放在优先治理位置。 

警方希望结合人工智能与统计技术，预测严重的暴力犯罪，亦即谁有可能成为枪支犯罪的始作俑者，以及谁有可能成为枪下的冤魂。 

如果系统识别出风险个体，警方并不会先发制人逮捕对方，而是提供咨询建议。比如，让本地社工帮助患有精神疾病或心理问题的风险个体获得心理咨询。 

该项目由英国西米德兰兹郡警察局领导，他们负责研发原型，并希望在2020年初进行第一次预测。 

据报道，研发过程参与方还包括其他八支警察局，比如伦敦大都会警察和大曼彻斯特警察局。事实上，这也是世界上第一个汇集多家警察局、多个数据集进行犯罪预测的项目。 

早期阶段，项目从地方和国家警察数据库收集了超过1TB的数据，包括被捕和被搜查人员的记录以及犯罪记录，可从数据中识别出约500万人。

借由这些数据，系统软件发现了将近1400个可帮助预测犯罪的指标，包括年龄、第一次犯罪后的天数、与所用数据中其他人的联系、这些犯罪的严重程度，以及 “持刀 ”“次数”。不过，地点和种族数据不包括在内。 

其中包括大约30个特别强大的指标，比如在他人帮助下，某人所犯罪行数目，以及某人所属社会群体成员所犯罪行数目。 

NDAS的机器学习系统将根据这些指标，给警方关照的对象一个风险评分，征表犯罪可能性。 

然而，项目一经曝光，原型都还没有做出来，外界质疑就开始源源不绝。 

技术层面上，预测准确性到底有多大？很多声音表示，担忧。我怎么知道这是正确的决定？实际上，很难测量。 

另外，NDAS也存在“严重道德问题”。伦敦艾伦图灵研究所的一个专家小组阅读完NDAS提案修订版之后，质疑道，当一个人未曾犯罪或将来可能犯罪时，主动进行干预是否符合公共利益呢？ 

谁知，还真“一语成谶”。 

“当你使用年龄指标时，往往会使系统中的大多数预测或结果发生倾斜。” 罗格斯大学法学院访问学者Rashida Richardson表示，他曾研究过预测性警务的数据问题。 

“犯罪历史因素本身往往是有偏见的，如果人类不干预开发，任何根据它们训练的算法都会包含同样的问题。” 

多位审查人士认为，正在使用的数据类型很可能导致预测有失偏颇，并对预测性警务技术的正常化表示担忧。 

审查委员会建议叫停该项目，NDAS项目负责人Nick Dale总监也表示同意，不再以当前形式继续这个项目，并指出这只是一个实验结果。

三、停不下来的预测性警务 

不可否认的是，基于大数据的预测性警务兴起，是全球公共安全治理转型中最值得关注的趋势。 

该趋势意味着，刑事执法正在经历从因果关系走向相关性，从合理怀疑走向概率怀疑，从针对性监控走向大规模监控，从事后回应走向主动威慑。 

除了英国，瑞士、德国等国家都开始使用预测性警务工具。一方面，欧盟警察局纷纷从科技公司购买相关分析系统。 

比如，丹麦从美国大数据独角兽 Palantir 购买了POLINTEL平台。后者可以结合不同来源信息进行识别和分析。为了顺利使用预测性警务技术，丹麦甚至修改了个人数据保护的国内立法。 

英国肯特郡警察局也曾使用加利福尼亚州圣克拉拉大学开发的PredPol，该系统可以预测未来犯罪热点地方。 

另一方面，也有警察机构自己投资、试验、开发或合作开发预测警务系统。 

比如，除了英国NDAS，荷兰阿姆斯特丹警察局也创建了刑事预判系统（Criminal Anticipation System，CAS），并在全国范围推广。 

通过分析犯罪数据以及特定领域社会数据，例如年龄、收入以及他们是否要求利益，系统可以预测城市中更可能发生特定类型犯罪的地方。 

从预测类型上来看，预测性警务工具主要包括预测犯罪热点地方，以及针对个人的风险评估。前者是目前全球范围内应用最广的预测性警务技术。

相较于预测犯罪地点，针对个体风险评估的预测系统，无论是在技术层面还是公共数据搜集的合规性、人权保护等方面，面临的挑战和争议要大得多。 

事实上，除了严重暴力犯罪预测工具，英国达勒姆警察部队和剑桥大学也曾共同研发过一款系统危害评估风险工具（The Harm Assessment Risk Tool，HART），该系统也是英国警察局部署的首批预测算法模型之一，根据犯罪历史、年龄和邮编等信息，借助机器学习预测被逮捕个人再犯可能性。 

不过，数据显示，工具的预测准确率仅62.9％，遑论由此引发的法律和道德争议。 

尽管预测性警务尚处起步阶段，但是，其在反恐、反极端暴力犯罪活动中的潜在价值正受到许多欧盟机构重视。欧洲乃至世界各国都不太可能在执法改革方面放弃对预防的强化，预测性警务技术会不断扩大应用范围，继续开发产品。 

不过，如何将技术缺陷带来的法律问题最小化，通过限制使用目的，加强透明度，提高技术的准确性，在安全与权利之间平衡，仍然挑战着当今的监管者们。 

参考资料

https://www.wired.com/story/a-british-ai-tool-to-predict-violent-crime-is-too-flawed-to-use/

https://www.newscientist.com/article/2186512-exclusive-uk-police-wants-ai-to-stop-violent-crime-before-it-happens/#ixzz6UriRhXXq

本文来自微信公众号：机器之能（ID：almosthuman2017），作者：微胖、力琴