授予自由或剥夺自由的算法

由凯德·梅斯和亚当·萨塔里亚诺撰写

达内尔·盖茨坐在费城市中心办公楼的一张长桌旁。他穿着一件黑色t恤，胸前印有亮黄色字母的 “加州”。他从未去过该州，但他希望在试用期结束后去拜访那里的家人。

当盖茨2018年从监狱获释时-他曾因2013年将汽车驶入房屋而服刑，后来又因暴力威胁他的前家庭伴侣而服刑-在他被认为 “高风险” 后，他被要求每周去一次缓刑办公室。

他称这次访问是他的 “尾巴” 和 “皮带”。最终，他的皮带被拉长到每两周一次。后来，变成了一个月。没有告诉盖茨为什么。他抱怨说，与缓刑官的谈话是冷淡而没有人格化的。他们很少花时间了解他的康复情况。

直到他在接受《纽约时报》采访时被告知，他才意识到一种算法将他标记为高风险。

“什么意思？”30岁的盖茨问。“你是说我处理这一切是因为一台电脑？”

在费城，宾夕法尼亚大学的一位教授创建的算法帮助规定了缓刑者至少五年的经验。

该算法是在美国和欧洲做出有关人们生活的众多决策之一。地方当局使用所谓的预测算法来设置警察巡逻，监狱判决和缓刑规则。在荷兰，一种算法标记了福利欺诈风险。英国城市对哪些青少年最有可能成为罪犯进行了评估。

根据致力于数字权利的非营利组织电子隐私信息中心 (Electronic privacy Information Center) 的说法，美国几乎每个州都转向了这种新的治理算法。柏林的监管机构Algorithm Watch已在至少16个欧洲国家/地区发现了类似的程序。

随着这种做法蔓延到政府的新地方和新部门，联合国调查人员，民权律师，工会和社区组织者一直在退缩。

他们对自动化系统的日益依赖感到愤怒，自动化系统正在把人类和透明度排除在这个过程之外。通常不清楚系统是如何做出决定的。性别是一个因素吗？年龄？邮政编码？很难说，因为许多州和国家几乎没有规则要求算法制造商披露其公式。

他们还担心，正如propublica所报道的那样，创建算法的人的偏见-涉及种族，阶级和地理-正在被纳入这些系统。在加利福尼亚州圣何塞，在传讯听证会上使用了一种算法，一个名为硅谷除虫的组织采访了每个被告的家人，将这些个人信息带到每次听证会上，并与辩护人分享，作为对算法的一种平衡。

去年，爱达荷州通过了一项法律，规定保释算法中使用的方法和数据必须公开，以便公众了解它们的工作原理。在荷兰，地方法院周三裁定，该国的福利欺诈软件违反了欧洲人权法，这是反对政府使用预测算法的首批裁决之一。

“我的人际交往在哪里？”盖茨问，坐在费城公设辩护人办公室会议室的律师旁边。“你如何战胜一台用来阻止你的电脑？你如何阻止预先决定你命运的事情？”

'我们走进了大黄蜂的巢穴'

在最近的一个星期四，托德·斯蒂芬斯 (Todd Stephens) 坐在费城费城人队 (philadelphia phillies) 的故乡公民银行公园 (Citizens Bank park) 街对面的美食广场上。他正在解释用预测算法重塑国家量刑实践的最新努力。

预测算法最基本的方法是使用历史数据来计算事件的概率，类似于体育书籍确定比赛的赔率或民意测验人员预测选举结果的方式。

该技术建立在已经使用了数十年的统计技术的基础上，通常用于确定风险。由于负担得起的计算能力和可用数据的增加，它们得到了增强。

私营部门一直在使用此类工具，以预测人们拖欠贷款，生病或陷入车祸的可能性，或者他们是否会点击互联网广告。拥有大量有关公众数据的政府一直渴望挖掘其潜力。

斯蒂芬斯 (Stephens) 是宾夕法尼亚州众议院的共和党议员，是致力于采用该技术的州委员会的成员。与许多州一样，宾夕法尼亚州已要求开发一种算法，以帮助法院在某人被定罪后决定判决。

斯蒂芬斯说，这个想法是通过收集有关他们的信息并将其与描述已知罪犯的统计数据进行比较，来预测人们再次犯罪的可能性。这可能包括年龄，性别以及过去和现在的信念。

该委员会提出了一项计划，该计划将依靠县缓刑部门提供的信息。但是美国公民自由联盟和社区团体在秋天的公开会议上抗议了这一计划。他们担心这会扩大用于缓刑的预测算法的功能，包括标记盖茨的算法。

斯蒂芬斯说: “我们走进了一个我甚至不知道存在的马蜂窝。”

为了回应抗议活动，州委员会建议基于州法院已经使用的软件进行简单得多的设置。但是即使是这种算法对于外行人来说也很难理解。当被要求解释时，斯蒂芬斯建议与另一位专员交谈。

费城ACLU的刑事司法政策顾问Nyssa Taylor是抗议者之一。她担心算法会加剧而不是减少种族偏见。即使政府分享系统如何做出决定 (在某些情况下发生在费城)，对于大多数人来说，数学有时也太复杂了，无法理解。

宾夕法尼亚大学犯罪学和统计学教授理查德·伯克 (Richard Berk) 设计了费城刑事司法系统采用的各种算法。他说，这些算法不使用邮政编码或其他可能代表种族的位置数据。尽管他承认外行不能轻易理解算法的决定，但他说人类的判断也有同样的问题。

“所有机器学习算法都是黑匣子，但人脑也是黑匣子，” 伯克说。“如果法官决定把你关20年，那就是一个黑匣子。”

在鹿特丹寻找福利欺诈

去年在荷兰鹿特丹，在两个主要是低收入和移民社区流传的谣言声称，市政府已经开始使用一种实验算法来抓捕从事福利和税收欺诈的公民。

穆罕默德·赛义迪 (Mohamed Saidi) 从WhatsApp消息中了解到这一点，他最初认为这是个玩笑。Mohamed bouchkhachhe首先从他的母亲那里听到消息，母亲是朋友告诉他的。Driss Tabghi从当地工会官员那里得到了消息。谣言被证明是真的。

荷兰的 “系统风险指示” 计划扫描来自不同政府部门的数据，以标记可能在工作时要求失业援助的人，或在与其他几个人一起生活时要求单独居住的住房补贴的人。

执行该计划的机构社会事务和就业部表示，数据可能包括收入，债务，教育，财产，租金，汽车所有权，家庭住址以及为儿童，住房和医疗保健获得的福利。

该算法会产生有关应由调查人员质疑的人员的 “风险报告”。在最近使用该系统的鹿特丹，在两个社区制作了1,263个风险报告。

“你把我放在一个我甚至不知道存在的系统里，” 在一家物流公司工作的bouchkhachhe说。

该程序已保密。即使是那些在名单上的人也不会被告知。他们没有被告知算法是如何做出决定的，也没有被告知上诉的方式。2019年，市议会与社会部的听证会突然结束，当时市政府成员在收到有关该系统如何运作的简报之前不会签署保密协议。

该部在回答问题时表示，这样的披露将 “干扰有效调查的能力”。

在10月的一份报告中，联合国极端贫困与人权问题特别报告员批评荷兰系统创建了一个 “数字福利国家”，将人们生活的关键决定转向机器。

报告称: “整个社区都被认为是可疑的，并受到特别审查，这相当于欺诈检查员敲某个地区的每扇门。”“没有这样的审查适用于那些生活在较好地区的人。”

其他地方也有类似的程序。在北卡罗来纳州，IBM软件已用于识别医疗补助欺诈。在伦敦，地方议会测试了软件，以识别那些可能错误地要求获得住房福利的人。系统用于标记可能面临虐待风险的儿童。

在鹿特丹，反对派是在有关技术传播的消息之后建立的。隐私权组织，民权律师和最大的全国工会召集公民与之抗争。

“他们不会告诉你你是否在登记册上，” 蒂曼·威斯曼 (Tijmen Wisman) 说，他是一家荷兰隐私组织的隐私法助理教授。他帮助在受影响的社区组织了大约75名居民的会议，其中许多人在智能手机上拍摄视频以与邻居分享。

支持反对者的地方法院下令立即停止使用该算法。在备受关注的案件中，该案件被视为在欧洲树立了政府使用预测算法的先例，法院表示，福利计划缺乏隐私保障，而且政府对其运作方式缺乏充分的透明度。该决定可以上诉。

联合国新技术和人权问题特别顾问克里斯蒂安·范·维恩 (Christiaan van Veen) 说: “获得社会保障的权利以暴露于国家监视为条件。”

发现英格兰布里斯托尔的青少年麻烦

在处理多年预算削减的领域，算法提出了一种帮助弥补减少的社会服务的方法。官员们说，这项技术可以帮助他们用更少的钱做更多的事情，并识别出可能会从裂缝中溜走的人。

每周一次，在英格兰的布里斯托尔，一个团队聚集在会议室里，审查一种算法的最新结果，该算法旨在识别该市最危险的年轻人并审查案件量。警察和儿童服务部门的代表以及设计该软件的团队成员通常会参加扫描名单。

随着青少年暴力和犯罪的增加，以及许多年轻人聚集的青年计划和社区中心已经关闭，当地政府转向软件来帮助识别最需要帮助的儿童。那里的官员说，这项工作提供了证据，表明如果结合人性化，这项技术可以发挥作用。

去年，布里斯托尔推出了一项计划，该计划基于从警察报告，社会福利和其他政府记录中提取的数据来创建风险评分。该系统会记录犯罪数据，住房信息以及与高风险得分的其他人的任何已知链接，以及年轻人的父母是否卷入了家庭事件。学校输入出勤记录。

“你可以得到一个相当完整的画面，” 29岁的数据科学家汤姆·福勒 (Tom Fowler) 说，他帮助创建了布里斯托尔政府的青年评分系统。

分数的波动取决于年轻人最近发生的类似学校停学的事件。每周会议的目标是确定有被招募犯罪风险的儿童。

有证据表明，该算法可以识别出合适的人，但该市仍在研究如何将数据转化为行动。去年，一名风险得分最高的少年刺死了某人。在对这起谋杀案的审查中，市政府官员得出结论，他们采取了正确的步骤。福勒说，不能仅仅因为算法就逮捕一个人。

“他有一名社会工作者和一对一教练，” 福勒说，他现在在一家数据分析公司工作。“他做了一个非常糟糕的决定。

“你无法控制这一点。数据只能走这么远。但这几乎是最糟糕的事情。这让你稍微反省一下，你是否做了你能做的一切。“

根据隐私组织 “老大哥观察” 的2018调查，英国数十个地方政府正在转向算法来指导其决策。《卫报》报道说，三分之一的地方议会以某种身份将算法用于政府计划。

在布里斯托尔，政府已就该计划向公众开放，在网上发布了一些详细信息并举行了社区活动。反对者说它仍然不是完全透明的。年轻人和他们的父母不知道他们是否在名单上，也不知道他们是否被列入名单。

两名城市工人Charlene Richardson和Desmond Brown负责组织干预措施，并为该软件标记的年轻人提供援助。

这对夫妇说，他们通常把重点放在风险得分最高的孩子身上，安排家访，与他们的学校交谈，并从社区寻找导师。

理查森说: “这也是为了把他们视为受害者。”

“计算机知道吗？”

宾夕法尼亚大学教授伯克 (Berk) 设计了费城缓刑部门使用的算法，他说，随着算法的广泛使用，争议将逐渐消失。

他将算法与商业客机中的自动飞行员系统进行了比较。“自动驾驶是一种算法，” 他说。“我们已经了解到，自动驾驶是可靠的，比个人驾驶更可靠。同样的事情也会在这里发生。”

但是像盖茨这样的人，他们的未来悬而未决，需要一些令人信服的东西。

盖茨坐在费城公设辩护人的办公室里说，他是一个容易阅读的人，指着他手臂上的纹身，这些纹身看起来像他皮肤下的骨头。他了解机器。从很小的时候起，他就喜欢拆除计算机和智能手机，然后再将它们重新组装在一起。

但是我们通过辩护人办公室遇到的盖茨认为，一个人比机器更能读懂他。

“电脑知道我周五2点可能要去看医生吗？” 他问道。

经常去缓刑办公室可以阻止他的余生走上正轨。“它将如何理解我，因为它决定了我必须做的一切？”盖茨问。

在接受《泰晤士报》采访几周后，在向法官提出个人上诉后，他被允许短暂前往波多黎各。在法官面前，他总是感到很舒服。这次经历向他展示了人情味的重要性。

“我无法向电脑解释我的情况，” 盖茨说。“但是我可以坐在这里和你互动，你可以看到我的表情和我正在经历的事情。”