为了遏制网络欺凌，Instagram必须发现它

凯文·罗斯

如果你按照严重程度来排列人类对彼此造成伤害的所有方式，你可能需要几页才能看到“故意诱导FOMO”故意给别人FOMO--害怕错过--不是犯罪，甚至不是轻罪。但这在Instagram上是一个大问题，每天都有数百万青少年去那里查看他们的同龄人。这是Instagram专注于分类的微妙轻视之一，作为其新的反欺凌倡议的一部分，该倡议将使用人工智能和人类审查员的结合，试图保护其最年轻的用户免受骚扰和痛苦。

反欺凌努力是Instagram及其母公司脸书清理自己的更大尝试的一部分。两个平台都在努力遏制其服务上大量的有毒行为、极端内容和错误信息。Instagram尤其脆弱，因为它的用户群很年轻。根据皮尤研究中心的数据，大约70%的美国青少年使用这项服务。根据英国反欺凌组织抛弃标签2017年的一项调查，年龄在12至20岁之间的网络欺凌受害者中，42%的人报告在Instagram上受到欺凌。

本周，我和其他几名记者一起去了Instagram的纽约办公室，听其高管描述他们是如何努力打击欺凌的。这不是该公司第一次谈论这个话题--前首席执行官凯文·西斯特罗姆（Kevin Systrom）早在2016年就讨论了欺凌--但这是一个新的焦点话题。去年，Instagram宣布努力使用人工智能来标记照片中的欺凌事件。今年，该公司表示，将开始测试旨在改善青少年心理健康的新功能，包括隐藏帖子上的“喜欢”计数的能力。

Instagram社区运营总监贝蒂娜·费尔曼（Bettina Fairman）表示：“有很多青少年在使用Instagram，所以我们实际上一直在看到新的行为和话语，我们需要尽快了解这些新趋势是否有害。”

这些努力还没有得到证实，而且，就像任何与Facebook相关的承诺一样，他们最好是带着一把盐去做。但Instagram在这方面似乎比Twitter和Snapchat等竞争平台更具侵略性。如果你想消除欺凌，你首先必须知道它采取什么形式。因此，去年年底，Instagram开始召集青少年和父母的焦点小组，收集关于他们在平台上遇到哪些不想要的行为的反馈。

有些是可以预测的威胁和侮辱类型--比如用1到10的比例给用户的吸引力打分，这是Instagram已经禁止的做法--而另一些则更出乎意料。一些青少年报告说，当他们的前任以威胁的方式展示新的男朋友或女朋友时，他们会感到被欺负--例如，在照片中标记被抛弃的前任，以引发通知，并在他们已经和新的人交往的事实上摩擦。Instagram为这类欺凌起了一个名字--“背叛”--并开始训练一种算法来检测它。

Instagram全球公共政策负责人卡琳娜·牛顿（Karina Newton）表示：“我们早期了解到的一件事是，我们在社区指导方针中定义欺凌的方式不一定能捕捉到人们感觉自己被欺凌的所有方式。”

并非所有这些行为都一定违反了Instagram的规则。该公司尚未决定在哪里划定每一条线；目前，它只是试图理解欺凌的许多味道，并教会机器为人类审查者标记它们，然后由人类审查者决定它们是否违反平台的规则。脸书和Instagram已经使用人工智能来检测各种类型的禁止内容，包括裸体、儿童剥削和与恐怖主义有关的材料。但对欺凌行为进行分类是一个更大的挑战，因为这样做往往取决于社会互动的背景。以高管们在周二的简报中使用的一个例子为例：一张两个十几岁女孩的照片被发布到Instagram上，标题是“爱你锄头”。

通常，Instagram的系统会识别贬义词“锄头”，并将帖子标记给人类评论者。但在上下文中，很明显，用户的意思是把它作为一个可爱的术语，所以正确的行动是离开帖子。或者考虑一张假设的照片，一对十几岁的夫妇在海滩上，发布到Instagram上，标题是“阿曼达，希望你在这里！”通常情况下，这篇文章会平淡无奇，没有冒犯性。但你可以想象一下，在这种情况下，它会构成欺凌：

照片中的人是在嘲笑阿曼达是唯一一个没有被邀请参加海滩周的学长吗？如果是这样，就可以构成“故意引诱FOMO”。阿曼达是照片中男孩的前女友，正在被新女友奚落吗？如果是这样，这可以被归类为一种背叛形式。背景中是否有一头鲸鱼被标记为阿曼达，作为对她体重的残酷玩笑？如果是这样，这可以被归类为侮辱。

奇怪的是，Instagram所描述的--一个用于检测和分类各种形式青少年戏剧的行星级人工智能监控系统--在技术上是可能的，可悲的是，可能是必要的。这应该让我们都质疑一家公司是否应该对我们的社交关系拥有如此大的权力，或者像Instagram这样规模的平台是否可以有效地管理。

但如果你必须有一个Instagram大小的平台，有人支持使用人工智能来寻找不良行为，而不是等待用户举报。Instagram的高管说，一个原因是，青少年通常不会报告发生在他们身上的欺凌。有些人害怕社会反响或受到欺负者的报复，而另一些人害怕父母会拿走他们的手机。最终，该公司希望其人工智能能够足够好地识别和消除所有类型的欺凌，而不需要人工审查。但是，高管们警告说，这一天可能很遥远，尤其是在英语世界之外，那里的版主更少，可用于训练算法的本地语言数据也更少。

费尔曼说：“在理解上下文方面，我们的算法还不如人们。”

Instagram的批评者可能不会满意，在赚取了数十亿美元的利润并导致了研究人员所说的青少年抑郁和焦虑的流行病后，该公司现在正试图拆除它帮助创造的社交媒体欺凌文化。

“五年前他们在哪里？老实说，是时候了，“常识媒体的首席执行官吉姆·施泰尔说，常识媒体是一个非营利监督组织，倡导对儿童技术进行更好的保护。“多年来，这一直是一个巨大的问题，大多数这些公司都把头埋在沙子里，直到他们迫于压力采取措施。”

的确，Instagram的反欺凌努力可能有助于产生良好的宣传，而且该公司似乎在进行过程中编造了一些细节。同样真实的是，Instagram面临着大量严重的问题--包括反疫苗的错误信息、猖獗的仇恨言论和极端主义--建立人工智能来检测欺凌可能是一个更方便的挑战，而不是重新思考最初鼓励反社会行为的广告驱动的商业模式和平台设计问题。

但是太少，太晚总比什么都没有强。Instagram的恶霸检测人工智能是一个好主意，也是让年轻人更容易应对21世纪青春期沧桑变化的一步。为了他们，让我们希望它能奏效。