亚马逊取消了对女性有偏见的秘密AI招聘工具

亚马逊公司的机器学习专家发现了一个大问题: 他们的新招聘引擎不喜欢女性。五位知情人士告诉路透社，该团队一直在构建计算机程序2014年，以审查求职者的简历，目的是使寻找顶尖人才的工作机械化。自动化一直是亚马逊电子商务主导地位的关键，无论是在仓库内部还是在推动定价决策。一些人说，该公司的实验性招聘工具使用人工智能为求职者提供1到5星的分数，就像购物者在亚马逊上对产品进行评分一样。

“每个人都想要这个圣杯，” 其中一位人士说。“他们真的希望它成为一个引擎，我会给你100简历，它会吐出前五名，我们会雇佣他们。”

但2015年，该公司意识到其新系统并未以性别中立的方式对软件开发人员职位和其他技术职位的候选人进行评级。这是因为亚马逊的计算机模型经过培训，可以通过观察10年提交给公司的简历中的模式来审查申请人。大多数来自男性，这反映了男性在整个科技行业的主导地位。实际上，亚马逊的系统告诉自己，男性候选人更可取。它惩罚了包括 “女子” 一词的简历，如 “女子国际象棋俱乐部队长”。知情人士说，它还降低了两所女子学院的毕业生的等级。他们没有指定学校的名称。

亚马逊对程序进行了编辑，使其对这些特定术语保持中立。但这并不能保证机器不会设计其他可能具有歧视性的分类候选人的方法。据不愿透露姓名的知情人士说，这家西雅图公司最终在去年年初解散了该团队，因为高管们对该项目失去了希望。他们说，亚马逊的招聘人员在搜索新员工时查看了该工具产生的建议，但从未完全依赖这些排名。

亚马逊拒绝对招聘引擎或其挑战发表评论，但该公司表示致力于工作场所的永久和平等。路透社首次报道了该公司的实验，该实验提供了一个关于机器学习局限性的案例研究。这也为越来越多的大型公司 (包括希尔顿全球控股公司 (Hilton Worldwide Holdings Inc) 和高盛集团 (Goldman Sachs Group Inc)) 提供了一个教训，这些公司正在寻求使部分招聘流程自动化。根据人才软件公司CareerBuilder的2017调查，一些55% 的美国人力资源经理表示，人工智能 (AI) 将在未来五年内成为他们工作的常规部分。雇主们长期以来一直梦想着利用技术来扩大招聘网络，减少对招聘人员主观意见的依赖。但是，卡内基梅隆大学教授机器学习的Nihar Shah等计算机科学家表示，还有很多工作要做。

他说: “如何确保算法是公平的，如何确保算法是真正可解释和可解释的 -- 这还很遥远。”

男性语言

亚马逊的实验始于全球最大的在线零售商的关键时刻。由于低成本计算能力的激增，机器学习在技术世界中越来越受到关注。亚马逊的人力资源部门即将大举招聘: 监管文件显示，自2015年6月以来，该公司的全球员工人数增加了两倍多，达到575,700名员工。因此，它在亚马逊的爱丁堡工程中心成立了一个团队，该团队发展到大约十几个人。知情人士说，他们的目标是开发能够快速爬网的人工智能，并找到值得招募的候选人。该小组创建了500个专注于特定工作职能和位置的计算机模型。他们教每个人认识过去候选人简历上出现的一些50,000术语。这些人说，这些算法学会了为IT申请人普遍使用的技能分配很少的意义，例如编写各种计算机代码的能力。

一位人士说，相反，这项技术更倾向于使用男性工程师简历中更常见的动词来描述自己的候选人，例如 “被执行” 和 “被捕获”。性别偏见不是唯一的问题。这些人说，支撑模型判断的数据存在问题，这意味着通常会推荐不合格的候选人从事各种工作。他们说，由于这项技术几乎是随机返回结果的，亚马逊关闭了该项目。

问题是什么，还是治愈方法？

其他公司正在向前迈进，突显了雇主渴望利用人工智能进行招聘的渴望。盐湖城附近的初创公司HireVue的首席执行官凯文·帕克 (Kevin parker) 表示，自动化正在帮助公司超越长期依赖的招聘网络。他的公司在视频面试中分析候选人的言语和面部表情，以减少对简历的依赖。

帕克说: “你不会回到原来的地方; 你不会只回到常春藤盟校。”他公司的客户包括联合利华 (Unilever pLC) 和希尔顿 (Hilton)。

该公司表示，高盛 (Goldman Sachs) 已经创建了自己的简历分析工具，试图将候选人与他们 “最合适” 的选择相匹配。微软公司的LinkedIn (全球最大的专业网络) 走得更远。它根据雇主适合其网站上的职位发布，为雇主提供候选人的算法排名。尽管如此，LinkedIn人才解决方案副总裁约翰·杰辛 (John Jersin) 表示，这项服务不能替代传统的招聘人员。

他说: “我当然不会相信今天的任何人工智能系统会自己做出招聘决定。”“技术只是还没准备好。”一些激进主义者说，他们担心人工智能的透明度。美国公民自由联盟目前正在挑战一项法律，该法律允许对测试招聘网站的歧视算法的研究人员和记者进行刑事起诉。美国公民自由联盟 (ACLU) 种族正义计划 (Racial Justice program) 的职员律师雷切尔·古德曼 (Rachel Goodman) 表示: “我们越来越关注算法公平问题。”

尽管如此，古德曼 (Goodman) 和其他对AI的批评者仍然承认，起诉雇主自动招聘可能非常困难: 求职者可能永远不会知道它正在被使用。至于亚马逊，该公司设法挽救了从失败的人工智能实验中学到的一些东西。一位知情人士说，它现在使用招聘引擎的 “淡化版本” 来帮助处理一些基本的琐事，包括从数据库中剔除重复的候选人档案。另一位人士说，爱丁堡已经成立了一个新团队，以进行自动就业筛选，这一次是着眼于个人。