来源： 时间：2022-05-27 14:35:11
软件巨头微软宣布了其项目Brainwave深度学习加速平台，用于实时人工智能 (AI)。借助超低延迟，系统处理请求的速度与接收请求的速度一样快。“随着云基础设施处理实时数据流，实时AI变得越来越重要，无论是搜索查询，视频，传感器流还是与用户的交互，” 微软工程师道格·伯格 (Doug Burger) 在周二晚些时候的博客文章中说。
“Project brainwave” 使用了微软在过去几年中一直在部署的大型现场可编程门阵列 (FpGA) 基础架构。Burger说: “通过将高性能fpga直接连接到我们的数据中心网络，我们可以将DNN用作硬件微服务，其中DNN可以映射到远程fpga池，并由没有软件的服务器调用。”
他补充说，系统架构减少了延迟，因为CpU不需要处理传入的请求，并且允许非常高的吞吐量，而FpGA处理请求的速度与网络可以流式传输请求的速度一样快。该系统的架构可在各种复杂模型中产生高实际性能，并具有免批执行功能。
微软声称，该系统专为实时AI设计，可以处理复杂的，内存密集型模型，例如长期短期内存 (LSTM)，而无需使用批量来榨汁吞吐量。“脑电波项目在极具挑战性的模型上实现了前所未有的实时人工智能性能水平。随着我们在接下来的几个季度中对系统进行调整，我们预计性能将进一步提高。”Burger指出。
微软还计划将实时AI系统带给Azure中的用户。“随着 '项目脑波' 系统大规模整合并提供给我们的客户，微软Azure将拥有行业领先的实时人工智能能力，” Burger指出。
相关推荐
猜你喜欢
