华为最强云端AI芯片揭秘：性能超NVIDIA/Google

在去年10月10日的2018华为全联接大会（huawei connect）上，华为轮值ceo徐直军公布了华为全栈全场景ai解决方案，并正式宣布了两款ai芯片：算力最强的昇腾910和最具能效的昇腾310。

经过近一年的时间。今天（8月23日），华为正式宣布昇腾910成功商用，同时推出全场景ai计算框架mindspore。

最强ai芯片昇腾910

跟之前公布的参数一样，昇腾910是目前单芯片计算密度最大的芯片，采用7nm增强版euv工艺，单die内建32颗达芬奇核心，半精度(fp16)算力达到256 tera-flops，整数精度 (int8) 算力达到512 tera-ops，最大功耗为350w。支持128通道 全高清 视频解码器- h.264/265。

另外根据华为此前公布昇腾910的性能与google tpu v2、google tpu v3、nvidia v100对比数据来看，昇腾910的算力比nvidia v100还要高出一倍，计算力远超google及nvidia。

现场，徐直军先介绍了华为ai解决方案，以及基于昇腾310的产品和云服务的广泛应用。

接着，徐直军说：“我宣布，算力最强的ai处理器 ascend 910 正式推出。去年10月，我们发布了ascend 910的技术规格，今天我向大家介绍最新的实际测试结果。”

昇腾910属于ascend-max系列，徐直军公布了其最新测试结果： 

半精度 (fp16)算力达到256 tera-flops

整数精度 (int8) 算力达到512 tera-ops

而且，达到规格算力所需功耗仅310w，明显低于设计规格的350w。

也就是说，在算力方面，昇腾910完全达到了设计规格，下面是昇腾910初次亮相时公布的设计规格。

徐直军说，昇腾910总体技术表现超出预期。昇腾910已经被用于实际ai训练任务。其中，在典型的resnet-50 网络的训练中，昇腾910与mindspore配合，与现有主流训练单卡配合tensorflow相比，显示出接近2倍的性能提升。每秒训练的图片数量从965张提升到1802张。

徐直军现场表示：“昇腾910总体技术表现超出预期，作为算力最强ai处理器，当之无愧！”  

高算力、高集成度、高速互联，便共同铸造了 业界最强大的 ai 处理器 —— 昇腾 910。

基于达芬奇架构的 ai 核是计算核心。除了标量和矢量计算单元，ai 核集成了 3d 立方体计算引擎，能够在一个时钟周期内完成 4096 的乘加运算。

与 cpu 和 gpu 相比，有两个数量级的提升，昇腾 910 集成了 32 个立方体计算引擎，能够输出 256tflops。

它不仅是一颗强大的 ai 计算处理器，而且还是一个高度集成的片上系统，集成了 cpu、dvpp 以及任务管理器。

这些单元给昇腾 910 提供了一种 “自治” 能力，使其可以独立完成整个 ai 的训练流程，最小化与 host 的交互，从而充分发挥其算力。

创建一个强大的训练系统不仅需要芯片自身强大的算力，高效的通信机制也是必不可少的。

昇腾 910 集成了 hccs、pcie 和 roce 三种高速接口。 

其中，自研的 hccs 可以提供单接口 240gbps 的传输。

也正是采用了最新的 pcie，使得吞吐量比上一代翻倍。

而芯片上集成的 roce 接口，则为多节点间提供了高效的数据交互的互联方案，这些互联技术大幅提升了构建训练系统的性能和灵活性。

最后，现场有记者问道，昇腾 910 售价多少呢？毕竟我们知道nvidia gpu和google tpu都有定价。

徐直军笑道：“售价具体还没定出来，但肯定不会比他们（nvidia gpu和google tpu）高。”

昇腾310和昇腾910仅仅是一个开始。徐直军表示，未来将持续投资，推出更多的ai处理器，面向边缘计算场景，在已经商用ascend 310基础上，计划2021年将推出ascend 320。上面是昇腾处理器的一系列计划时间表，可以看到，该系列芯片覆盖训练、mdc/dc、边缘计算多种场景，即将在2021年推出用于训练场景的昇腾920，边缘计算场景的昇腾320。mindspore 全场景ai计算框架，明年q1开源！ 

此外，徐直军还发布了全场景ai计算框架 mindspore，并宣布“mindspore将在2020年q1开源”！

徐直军表示：能否大大降低ai应用开发的门槛，能否实现ai将无处不在，能否在任何场景下确保用户隐私得到尊重和保护，这些都与ai计算框架息息相关。

在去年hc会上，华为提出：ai框架应该是开发态友好（例如显着减少训练时间和成本）和运行态高效（例如最少资源和最高能效比），更重要的是，要能适应每个场景包括端、边缘和云。

一年后的今天，全场景ai计算框架mindspore在这三个方面都取得了显著的进展：在原生适应每个场景包括端，边缘和云，并能够按需协同的基础上，通过实现ai算法即代码，使开发态变得更加友好，显著减少模型开发时间，降低了模型开发门槛。

mindspore如何做到更快更高效？

mindspore秉承“ai算法即代码”理念，提供一系列的关键技术，例如mindspore自动微分，采用source 2 source方式实现，在性能和可编程性上，明显优于业界图和运算符重载方式。能够实现任意算子的微分表达和编译优化，同时实现反向算子自动生成，极大地方便了模型开发。

而随着数据集和模型规模越来越大，模型并行将成为必然趋势。相比手工切分的模型并行的门槛高、效率低、调优难，mindspore只需定义单机模型，即可自动实现多机混合并行运行，无需了解ai集群细节。主从控制模式中，cpu和gpu交互引入内存和数据开销。mindspore在芯片上完成神经网络模型训练的所有控制和执行，减少和主机cpu的交互时间，速度更快。并在已有的分布式训练方案引入中心控制来寻找梯度同步点，mindspore实现了去中心化的分布式梯度聚合，完全消除控制开销。

最终，软硬件优化为不同类型算子映射最佳的计算单元和数据布局，获得最佳的性能。

通过mindspore自身的技术创新及mindspore与ascend处理器协同优化，实现了运行态的高效，大大提高了计算性能。除了昇腾处理器，mindspore也支持gpu、cpu等其它处理器。

现在已有了tensorflow、pytorch框架，但还没有任何一个现有框架支持全场景，而这就是华为要做的——覆盖端-边缘-云，做一个能支持全场景的框架，实现ai无所不在越来越基础的需求，这也是mindspore的重要特色。

针对不同的运行环境，mindspore框架架构上支持可大可小 ，适应全场景独立部署。同时，mindspore框架通过协同经过处理后的、不带有隐私信息的梯度、模型信息，而不是数据本身，以此实现在保证用户隐私数据保护的前提下跨场景协同。除了隐私保护，mindspore还将模型保护built-in到ai框架中，实现模型的安全可信。

为了降低ai开发者的开发门槛，mindspore创造性地实现了ai算法即代码，使开发态变得更加友好，显著减少模型开发时间。以一个nlp（自然语言处理）典型网络为例，相比其他框架，用mindspore可降低核心代码量20%，开发门槛大大降低，效率整体提升50%以上。

华为全栈全场景ai解决方案已经完成最后，徐直军说，去年在hc大会上发布的全栈全场景ai解决方案已经完成了构建！这对华为的ai业务来讲是一个新的里程碑，更是一个新的开始！

昇腾910商用以后，华为云ai将为客户提供充裕经济的算力。通过mindspore，华为云让科学家更高效地完成ai算子开发（比如自动微分功能），缩短开发周期，减少开发工作量。同时，mindspore可以发挥出昇腾芯片最大计算潜能，这样软硬件协同可以更好地利用芯片算力。华为云致力于解决ai应用过程中面临的“贵”和“难”的问题，降低ai计算的门槛，实现普惠ai。