Facebook添加了新的工具来停止共享，搜索儿童性虐待材料

Facebook宣布了新的工具，以防止在其平台上共享图像，视频和任何其他内容，其中包括儿童性虐待材料 (CSAM)。一方面，它将在用户共享可能包含潜在CSAM材料的图像时警告用户。其次，它将阻止用户通过新通知在其平台上搜索此类内容。

第一个针对的是那些可能以非恶意意图共享此内容的人，第二个针对的是那些在Facebook上搜索此类内容并计划使用此内容或将其用于商业目的的人。

“我们不允许发生儿童性虐待事件，也不允许使用我们的平台与未成年人进行不适当的互动。我们实际上走得更远。例如，当父母或祖父母有时在浴缸中分享他们的孩子或孙子的无辜照片时，我们不允许这样的内容。Facebook全球安全政策总监Karuna Nain在与媒体的Zoom通话中解释说: “我们希望确保考虑到我们平台的社交性质，我们希望尽可能减少滥用的空间。”

借助新工具，Facebook将向那些搜索CSAM内容的人显示一个弹出窗口，这些内容为他们提供了犯罪组织的帮助。弹出窗口还将共享有关查看非法内容的后果的信息。第二个是安全警报，当人们共享任何包含儿童剥削内容的病毒模因时，会通知他们。

来自Facebook的通知将警告用户，共享此类内容可能会造成伤害，并且违反网络政策，并补充说共享此材料会产生法律后果。这更多地针对那些不一定出于恶意原因共享内容，但可能会共享内容以表达休克或愤怒的用户。

Facebook关于CSAM内容及其共享原因的研究

这些工具是Facebook在10月和11月2020年的几个月里向美国国家失踪和被剥削儿童中心 (NCMEC) 报告的非法儿童剥削内容的深入研究的结果。法律要求报告CSAM内容。

Facebook自己的承认显示，它在2020年第四季度删除了近540万条与儿童性虐待有关的内容。在Instagram上，这个数字是800,000。

根据Facebook的说法，“超过90% 的内容与以前报告的内容相同或在视觉上相似”，这并不奇怪，因为经常重复共享相同的内容。

研究表明，在2020年10月到11月期间报告的 “只有六个视频的副本占儿童剥削内容的一半以上”。

为了更好地了解在平台上共享CSAM内容的原因，Facebook表示已与包括NCMEC在内的儿童剥削专家合作，开发了一种研究支持的分类法，以对一个人的明显意图进行分类。

基于此分类法，Facebook评估了150个帐户，这些帐户已报告给NCMEC，用于上传7月中的儿童剥削内容，并8月2020年和2021年1月。据估计，这些人中有75% 以上没有表现出恶意意图，也就是说，他们无意伤害儿童或通过共享内容获得商业收益。许多人对图像表示愤慨或幽默。但是Facebook警告说，这项研究的发现不应被视为对儿童安全生态系统的精确衡量，并且该领域的工作仍在进行中。

Nain在解释该框架的工作原理时说，在寻找潜在的CSAM时，他们有五个广泛的内容分类。有明显的恶意类别，有两个桶是非恶意的，一个是中间桶，其中内容有可能成为恶意的，但不清楚100。

“一旦我们创建了这个意图框架，我们就不得不在一点点时间内进行pe。例如，在恶意存储桶中，将有两大类。一个是你喜欢的地方的优惠，或者你喜欢这种内容，另一个是商业的地方，你实际上是这样做的，因为你从中获得了某种货币收益，“她解释说，这个框架是彻底的，是与这个领域的专家一起开发的。此框架还用于使人类审阅者能够标记潜在的CSAM内容。

如何在Facebook上识别CSAM？

为了识别CSAM，将报告的内容散列或标记并添加到数据库中。“已存储” 数据用于Facebook及其产品上的所有公共空间。但是，在端到端 (E2E) 加密产品中，例如WhatsApp Messenger或FB Messenger中的秘密聊天将被豁免，因为Facebook需要这些内容才能将其与他们已经拥有的内容相匹配。这在E2E产品中是不可能的，因为除了相关各方之外，其他任何人都不能阅读该内容。

该公司声称，在主动监控儿童剥削图像时，它在Instagram和Facebook上的评级均超过98%。这意味着系统会自行标记此类图像，而无需代表用户进行任何报告。

“我们希望确保我们在这个儿童保护领域拥有非常先进的检测技术。照片DNA的工作方式是，任何，任何照片都上传到我们的平台上，它是根据已知的儿童虐待的哈希图像数据库进行扫描的，该数据库由NCMEC维护，“Nain解释说。

她补充说，该公司还使用 “机器学习和人工智能来检测可能与未成年人进行不适当互动的账户”。当被问及当发现某人是CSAM内容的惯犯时，Facebook会采取什么行动时，Nain说，他们必须记下该人的帐户。

此外，Facebook表示，它将删除专门用于共享原本无辜的儿童图片的个人资料，页面，群组和Instagram帐户，但使用标题，主题标签或评论，其中包含不适当的情感迹象或对图像中儿童的评论。

它承认，很难找到不清楚 “明确且不描绘儿童裸体” 的CSAM内容，并且需要依靠附带的文本来帮助更好地确定内容是否对儿童产生性欲。

Facebook还添加了在 “裸体与性活动” 类别下报告图片时选择 “涉及孩子” 的选项。它说，这些报告将被优先审查。它还开始使用Google的内容安全ApI来帮助其更好地确定可能包含儿童剥削的内容的优先级，以供我们的内容审阅者评估。

关于非自愿共享的亲密图片或通常称为 “复仇色情” 的内容，Nain表示，Facebook的政策不仅禁止共享照片和视频，而且还禁止威胁共享此类内容。她补充说，Facebook也会去激活施虐者的账户。

“我们也开始在这个领域使用照片匹配技术。如果您在我们的平台上看到未经他人同意而共享的亲密图像，并且您向我们报告，我们将审查该内容并确定是，这是未经同意的亲密图像，然后将哈希添加到照片中，这是数字指纹。这将阻止任何人在我们的平台上重新分享它，“她解释说。

Facebook还表示，它正在使用人工智能和机器学习来检测此类内容，因为受害者抱怨说，很多时候这些内容是共享不公开的地方，例如私人团体或其他人的个人资料。