谷歌说人工智能的指数增长正在改变计算的本质

人工智能和机器学习的爆炸式发展正在改变计算的本质，人工智能的最大实践者之一谷歌如是说。

谷歌软件工程师克里夫·杨(Cliff Young)周四上午在林利集团秋季处理器大会(Linley Group Fall Processor Conference)上发表了开幕主旨演讲。

杨表示，人工智能的使用已经达到了一个“指数阶段”，与此同时，摩尔定律(Moore’s Law)已经停滞不前。

“《纽约时报》有点神经质，”他若有所思地说。“数字CMOS正在放缓，我们看到英特尔在10纳米(芯片生产)方面的困境，我们看到GlobalFoundries正在摆脱7纳米芯片的困境，与此同时，这种深度学习正在发生，存在经济需求。”CMOS，或互补金属氧化物半导体，是计算机芯片最常见的材料。

另外:谷歌为人工智能，机器学习，模型训练的TPU 3.0做准备

杨指出，随着传统芯片难以实现更高的性能和效率，来自人工智能研究人员的需求正在飙升。他列举了一些数据:在康奈尔大学(Cornell University)维护的arXiv预印本服务器上，有关机器学习的学术论文数量每18个月就翻一番。他表示，谷歌专注于人工智能的内部项目数量每18个月就增加一倍。更严重的是，执行机器学习神经网络所需的浮点算术运算的数量每三个半月就增加一倍。

所有这些计算需求的增长加在一起形成了一个“超级摩尔定律”，Young说，这个现象他称之为“有点可怕”、“有点危险”和“需要担心的事情”。

“为什么所有这些指数增长?”在人工智能领域，他问道。“部分原因是，深度学习很有效，”他说。“很长一段时间，我的职业生涯都在忽视机器学习，”杨说。“不清楚这些东西是否会起飞。”

但随后，在图像识别等领域的突破开始迅速出现，人们清楚地认识到，深度学习“非常有效”，他说。“在过去5年的大部分时间里，我们一直是ai优先的公司，”他说，“我们在它的基础上重建了我们的大部分业务，”从搜索到广告等等。

领导人工智能研究的谷歌大脑团队对“巨型机器”的需求，杨说。例如，神经网络有时是通过它们使用的“权重”的数量来测量的，这些“权重”是应用于神经网络以形成其对数据的操纵的变量。

传统的神经网络可能有数十万个这样的权重需要计算，甚至有数百万个，而谷歌的科学家们说“请给我们一台万亿重的机器”，一台能够计算一万亿重的计算机。这是因为“每次你把(神经)网络的规模扩大一倍，我们就能提高准确度。”越来越大是人工智能的规则。

当然，作为回应，谷歌一直在开发自己的机器学习芯片生产线——“张量处理单元”。由于传统的cpu和图形芯片(gpu)跟不上时代的步伐，因此需要TPU和类似的部件。

杨说:“很长一段时间以来，我们一直认为英特尔和英伟达在构建高性能系统方面非常出色。“我们五年前就跨过了这个门槛。”

TPU在2017年首次亮相时引起了一阵骚动，声称其性能优于传统芯片。谷歌现在是TPU的第三代，它在内部使用，也通过谷歌云提供按需计算节点。

此外:谷歌宣布边缘TPU，云物联网边缘软件

该公司继续制造越来越大的TPU实例。它的“pod”配置将1024个单独的TPUs连接到一种新的超级计算机中，谷歌打算“继续扩展”这个系统，Young说。

他说:“我们正在建造这些巨大的多计算机，有几十pb的计算能力。”“我们正在无情地向多个方向推进，tera-ops在不断攀升。”

这样的工程“带来了超级计算机设计中出现的所有问题，”他说。

例如，谷歌的工程师采用了传奇的超级计算机构Cray使用的技巧。他们将“巨大的矩阵乘法单元”(负责神经网络计算的那部分芯片)与“通用向量单元”和“通用标量单元”结合起来，就像Cray一样。“标量和矢量单位的组合让克雷超越了其他一切，”他说。

谷歌开发了自己的新颖的算术结构来编程芯片。所谓的“bfloat16”是一种表示真实数字的方法，可以提高神经网络处理数字的效率。它通常被称为“大脑漂浮”。

TPU采用了最快的内存芯片，即所谓的高带宽内存(HBM)。他说，在训练神经网络时，对记忆能力的需求激增。

他说:“记忆在训练中更加强化。”“人们谈论数以亿计的权重，但这也是一个处理神经网络激活变量的问题。”

谷歌也在调整它对神经网络的编程方式，以充分利用硬件。“我们在数据和模型并行性方面做了很多工作”，项目包括“Mesh TensorFlow”，这是对该公司TensorFlow编程框架的一种改编，该框架“在点规模上结合了数据和模型并行性”。

有些技术细节杨不愿透露。他指出，该公司对“互连”(数据在芯片上移动的方式)谈得不多，只是说“我们有巨大的连接器”。他拒绝提供更多信息，引得观众大笑。

杨指出，更有趣的计算领域可能离我们不远了。例如，他建议通过模拟芯片进行计算，这种电路将输入信号处理为连续的数值，而不是1和0，这将起到重要的作用。“也许我们会从模拟领域取样，在物理、模拟计算或非易失性技术领域有一些非常酷的东西。”

他对出现在大会上的芯片初创公司的新技术抱有希望:“有一些非常酷的初创公司，我们需要它们，因为数字CMOS只能把我们带到这么远的地方;我希望这些投资能够实现。”

早期的人工智能采用者回报丰厚

新的研究表明，人工智能技术正在取得成效，但组织面临挑战。

甲骨文推出新的企业数字助理

除了典型的用于单一目的的聊天机器人外，Oracle Digital Assistant还可以通过培训来支持来自多个应用程序的领域技能

人工智能为企业的早期采用者带来回报，但不是创造平等的行业

德勤的年度人工智能调查显示了一些现实主义，网络安全方面的担忧，以及17%的平均投资回报率。

机器学习现在是开发人员所追求的最高技能

SlashData对2万名开发者的最新调查发现，机器学习和数据科学是2019年需要掌握的技能。