主页 > 卜八资讯 > Habana Labs研发出吞吐量高达四倍的AI处理器

Habana Labs研发出吞吐量高达四倍的AI处理器

据外媒称,开发人工智能处理器的Habana Labs近日发布了Habana Gaudi人工智能培训处理器,该公司据称该处理器将使基于这些处理器的培训系统的吞吐量比使用同等数量GPU构建的系统高出四倍。该架构可实现训练系统性能的近线性扩展,因为即使在较小的批量大小下也能保持高吞吐量,从而可以将基于Gaudi的系统从单个设备扩展到使用数百个Gaudi处理器构建的大型系统。

Gaudi(高迪)还为人工智能培训带来了另一个行业第一,那就是为了使用标准以太网将AI系统扩展到任何规模,在AI处理器内通过聚合以太网(RoCE v2)功能进行RDMA片上集成。因此Habana Labs的客户将能够使用标准以太网交换来扩展和扩展AI培训系统。

以太网交换机是多源的,在速度和端口数量方面提供几乎无限的可扩展性并且已经在数据中心中用于扩展计算和存储系统。与Habana基于标准的方法相比,基于GPU的系统依赖于专有系统接口这本身就限制了系统设计人员的可扩展性和选择。

Linley Group首席分析师Linley Gwennap评论道,凭借其新产品Habana迅速从推理延伸到培训,涵盖了全方位的神经网络功能。 高迪在AI培训加速器中提供强大的性能和功效。作为第一个将100G以太网链路与RoCE支持集成的AI处理器,它将支持使用行业标准组件构建的大型加速器集群。

高迪处理器包含32GB的HBM-2内存,目前有两种形式:

HL-200 - 支持8个100Gb以太网端口的PCIe卡;

HL-205 - 符合OCP-OAM规范的夹层卡,支持10个100Gb以太网端口或20个50Gb以太网端口。

Habana还推出了一款名为HLS-1的8-Gaudi系统,其中包括8个HL-205 Mezzanine卡,带有用于外部主机连接的PCIe连接器和24个100Gbps以太网端口用于连接现成的以太网交换机,从而通过填充多个HLS-1系统,在标准的19英寸机架中得到扩展。继Habana Goya AI推理处理器之后,高迪是Habana Labs在过去一年中推出的第二款专用AI处理器。

Habana Labs首席执行官兼联合创始人David Dahan表示,培训AI模型每年需要指数级更高的计算,因此必须满足数据中心和云的迫切需求,从而大幅提高生产力和可扩展性。凭借高迪的创新架构,Habana可提供业界最高的性能,同时集成基于标准的以太网连接实现无限扩展。

高迪处理器完全可编程和可定制,包含第二代Tensor处理核心(TPC)集群及开发工具,库和编译器,共同提供更全面,更灵活的解决方案。 Habana Labs的SynapseAI软件堆栈包含丰富的内核库和开放式工具链,可供客户添加专有内核。

说点什么吧
  • 全部评论(0
    还没有评论,快来抢沙发吧!