站长资讯网亚马逊宣布将人工智能处理迁移到自家定制的 AWS Inferentia 芯片。这意味着亚马逊最大的推理(inferencing)服务(例如语音助手 Alexa)将交由更快、更专业的芯片进行处理，而非基于 NVIDIA 的多用途 GPU。
亚马逊已经将大约 80% 的 Alexa 语音助手处理迁移到 Elastic Compute Cloud (EC2) Inf1 实例上处理。和使用传统 GPU 的 G4 实例相比，Inf1 实例将吞吐量提高了 30%，成本下降了 45%。亚马逊认为，它们是推断自然语言和语音处理工作负载的最佳实例。
Alexa 的工作方式是这样的：实际的智能音箱(或者扬声器)可以不做任何操作，所有任务都交由 AWS 处理器完成。或者更准确的说，一旦 Echo 设备上的芯片检测到唤醒词，系统就会启动。。它开始实时将音频流传输到云。在数据中心的某个地方，音频被转换为文本(这是推理的一个示例)。然后从文本中提取含义(另一个推理实例)完成所需要的所有操作，例如获取当天的天气信息等等。
Alexa 完成您的请求后，她需要将答案传达给您。然后，脚本被转换为音频文件(另一个推理示例)，并发送到您的Echo设备。回音播放文件，以便于你出行的时候是否决定带上雨伞。显然，推理是工作的重要组成部分。毫不奇怪，亚马逊投入了数百万美元来制造完美的推理芯片。
Inferentia 芯片由四个 NeuronCore 组成。每个实现一个“高性能脉动阵列矩阵乘法引擎”。每个NeuronCore或多或少地由以线性，独立方式处理数据的大量小型数据处理单元(DPU)组成。每个Inferentia芯片还具有巨大的缓存，从而提高了延迟。
特别提醒：本网内容转载自其他媒体，目的在于传递更多信息，并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益，请及时联系我们，本站将会在24小时内处理完毕。