Facebook赠送了用于改善视频，Messenger的AI工具

Facebook Inc将允许任何人自由下载和使用与用于对社交网络的视频和通知功能以及Messenger消息传递应用程序进行关键改进的相同人工智能工具。该公司在周四的博客中表示，该软件 (Facebook称为Horizon) 将从今天开始在代码存储库GitHub上提供。GitHub归微软公司所有。

Facebook在内部使用了这套工具来优化360度视频在社交网络上的显示方式，同时考虑到可用带宽和已经缓冲了多少视频等因素。根据博客文章，同样的工具也被用来改进通过通知推送给用户的内容。它被用来磨练其情报助手 (称为M) 向其Messenger应用程序用户提出的建议。

Horizon软件专注于强化学习，在强化学习中，软件通过经验的反复试验来自我改进，以最大化一些奖励或最小化一些损失，而不是来自标记的数据集。强化学习是人工智能的一系列突破的基础 -- 最引人注目的是在战略游戏Go中击败世界顶级人类玩家的算法，以及在Dota 2等复杂的多人电脑游戏中与人类竞争的算法。

但到目前为止，企业很少使用它来解决现实世界的问题-部分原因是，在游戏之外，让算法通过反复试验来学习通常是不明智或不安全的。而且，对于许多现实世界的现象，没有精确的模拟器可以安全地训练算法。弄清楚给算法的目标是什么，以及如何对似乎导致该目标的行动进行奖励，同时对可能产生不利后果的行动进行惩罚，这在游戏之外也是棘手的，在游戏中，这些元素通常被内置在游戏的结构中。

为了克服其中的一些限制，Facebook开发了Horizon，以便其团队可以对公司面临的实际问题进行强化学习，该公司应用机器学习总监Srinivas Narayanan在通过电子邮件回复问题时表示。但他说，该公司现在希望与他人共享该软件。

纳拉亚南说: “我们致力于开源，所以为社区分享这个最新的生产就绪系统是一个自然的决定。”

Facebook紧随其他AI研究小组，包括Alphabet Inc的DeepMind和GoogleBrain AI团队，以及OpenAI，它们最近公开了强化学习算法，编程工具和测试环境。在Horizon工作的Facebook工程师Jason Gauci在一封电子邮件中说，Facebook是第一家进行所谓的 “端到端” 强化学习计划的公司，旨在免费解决大规模业务问题。

Horizon包含几个功能，使在现实问题上使用强化学习更加安全。例如，该软件可以帮助程序员选择正确的目标和奖励来提供算法。Horizon最初不是让算法从零知识开始并从随机动作中学习，而是训练算法以采取产品工程师指定的一组动作。然后，它根据现有数据使用几种反事实分析来模拟算法可能采取的不同动作。通过这种方式，Horizon模仿了在模拟器中训练算法，从而可以对其进行改进，而不必担心它会在现实世界中造成严重破坏。

高奇说，总的来说，使用实际的模拟器比进行这种反事实分析要好。“但是对于Facebook的许多问题来说，建立一个模拟器并不是一件小事，” 他说。“该团队正在考虑从数据集构建模拟器，作为未来的工作。”一旦算法看起来运行良好，Horizon允许用户进行小规模的在线实验，实时使用真实数据，然后逐步将新算法推广到更大的用户或数据集。然后可以重复整个过程，将完全训练的算法用作新训练系列的起点。