欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  移动技术

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

程序员文章站 2023-11-03 11:55:57
近年来手机市场出货的下滑,加剧了手机厂商之间的竞争。在中国这个全球最重要的手机市场上,竞争更加激烈,但依旧是有人欢喜有人愁。根据canalys发布的2019年第二季度中...

近年来手机市场出货的下滑,加剧了手机厂商之间的竞争。在中国这个全球最重要的手机市场上,竞争更加激烈,但依旧是有人欢喜有人愁。根据canalys发布的2019年第二季度中国智能手机市场报告,除华为之外,其他手机厂商的出货量均呈下降趋势。

华为手机的成功有很多因素,但其自主研发的麒麟系列处理器是关键之一。与其他厂商一样,华为近年来也是每年都更新旗舰处理器。今年,华为还是选择在ifa 2019上发布最新一代麒麟系列旗舰处理器麒麟990。

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

发布会上,华为消费者业务ceo余承东首先提到,华为在两年前发布了全球首款ai移动处理器麒麟970,华为处理器的ai能力被应用于拍照、旅行、健康等领域,华为的ai-api已经调用了1.6万亿次。手机支持ai性能实现了终端的实时推理,但局限于4g的传输速率,云侧的推理是半实时的,华为称其为移动ai 1.0时代。如今5g的商用,在云端推理也可能够实现实时,云侧和端侧的实时ai性能被华为成为移动ai 2.0时代。

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

显然,支持5g成为了最新麒麟990的第一大卖点。除此之外,麒麟990的ai和性能也是其亮点,包括:

全球首款支持5g nsa和sa组网方式的旗舰soc

全球首款采用16核mali-g76 gpu的手机soc

全球首款采用大-微核架构npu的手机soc

首款5g soc集成103亿个晶体管

余成东表示麒麟990是全球第一款旗舰5g soc。雷锋网此前也报道过,高通、联发科都已经透露了自家的5g soc的相关信息,三星还在两天前正式发布5g soc。不过,余承东在发布会现场表示其他厂商发布的都是概念(ppt)5g soc,但华为的5g soc是首款商用的5g soc。

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

在5g soc商用之前,华为和高通都实现了手机处理器5g功能的支持。余承东表示,华为的麒麟980+巴龙5000支持5g的nsa和sa组网,但高通的骁龙855+骁龙x50以及三星的方案都只支持nsa组网。

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

余承东在现场给出了麒麟990在移动网络下的5g实测速测,在nr组网方式下,下载速度达到2.3gbps,1.25gbps的上载速度。

余承东一直在强调华为支持nsa和sa组网,甚至称nsa是假5g,关于5g的组网方式,雷锋网(公众号:雷锋网)即将推出深度解读文章,敬请关注。

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

除了支持nsa和sa,在5g性能方面,为了解决5g的基站不多信号弱、高功耗以及移动时信号不好的问题。分别推出了智能上载、bwp、自适应接收技术应对以上三大挑战。

最终,麒麟990不仅能够提升性能,功耗也可以大幅降低。另外,麒麟990 5g soc也支持双卡,不过只支持单卡5g,另一张卡最高支持4g.

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

这些功能的实现基于更先进的半导体工艺,据悉,麒麟990 5g soc基于7nm euv工艺,麒麟990也集成了103亿个晶体管,对比来看,麒麟980集成了69亿个,麒麟970集成了55亿个。另外,通过集成5g基带,麒麟990相比外挂基带方式实现5g支持实现了更小的面积。

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

npu双大核+npu微核架构,ai性能提升12倍

ai是麒麟990的另一大卖点,根据余承东的说法,麒麟990 ai性能优势高达6倍,能效优势高达8倍,自身的ai算力在两年内也提升了12倍。这种优势来源于大核+微核的npu架构,大核执行大负载,小核执行小负载,这个架构的设计不仅能够最优的性能,还能提供最高的能效。

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

与不久前发布的麒麟810相同,麒麟990的npu采用的是达芬奇架构,这是华为在2018年推出的自研ai计算架构,具有灵活可裁剪的特性,面向全场景推出昇腾(ascend)系列芯片,可用于小到几十毫瓦,也可以用于几百瓦的训练场景。

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

根据华为的说法,无论是在业界典型的中载神经网络模型resnet50(用于检测、分割和识别),还是在移动端更流行的轻载神经网络模型mobilenetv1(用于分类、检测、嵌入和分割)下,麒麟990 5g的fp16和int8性能和能效均达到业界最佳水平。

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

在强劲的ai性能支持下,麒麟990 5g使能ai多人实时换背景,通过先进的ai多实例分割技术,能够将视频画面中的每一个人物主体单独识别出来,实现多人物视频拍摄替换背景,甚至可以选择画面中需要保留的人物。

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

由于架构的特别设计,也能实现更好的能效表现,比如针对人脸人测的场景,使用微核能效可以提高24倍。

为了方便与开发者共同探索5g+ai的潜力,麒麟990 5g也将为hiai 2.0开放平台注入新的能量——支持300+算子,业界最多;提供完备的ide工具,android studio插件,支持代码自动生成,提高开发效率;提供达芬奇架构ir开放,支持业界主流框架对接,实现更加完备的兼容性,让算法开发者保持原有的开发习惯,在hiai平台上自动获取加速能力。

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

8核cpu+16核gpu

余承东在介绍麒麟990的5g和ai性能之后才介绍其具体配置。cpu方面,麒麟990 5g采用2个大核(基于cortex-a76开发)+2个中核(基于cortex-a76开发)+4个小核(cortex-a55)的三档能效架构,最高主频可达2.86ghz,与业界主流旗舰芯片相比,单核性能高10%,多核性能高9%。

据悉,能效方面针对不同大小的核精细调校,大核能效优12%,中核能效优35%,小核能效优15%,带来更快的手机应用打开速度,日常使用体验更加流畅。余承东更甚至认为这是最重要的,比cpu本身更为重要。

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

gpu方面,麒麟9905g搭载16核mali-g76 gpu,根据官方的说法,与业界主流旗舰芯片相比,图形处理性能高6%,能效优20%,实现业界领先的性能与能效。

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

值得注意的是,全新系统级smart cache,是用于cpu、gpu和ddr之间的通信,支持智能分配ddr数据,在重载游戏等大带宽场景下带宽较上一代最高可节省15%,功耗可降低12%,进一步提升gpu能效。

针对游戏场景,麒麟990 5g推出kiringaming+ 2.0,核心技术是全新升级的ai调频调度技术,在cpu、ddr系统调频调度中全新引入gpu融合调度,并加入游戏关联线程优化技术,动态感知性能瓶颈。

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

华为强调游戏性能应该是对了与高通和联发科的游戏soc竞争。

第五代isp+ai,摄像头就能感知心率

拍照是华为手机的一大卖点,isp自然非常重要。据介绍,麒麟990 5g采用全新isp 5.0,吞吐率提升15%,能效提升15%,全面优化视频处理能力。

值得一提的是,麒麟990 5g全球首发双域联合视频降噪技术,针对视频中的高频、中频、低频噪声混合的场景,增加频域降噪过程,重点针对噪声进行精准分离处理,视频降噪能力提升20%,暗光环境下拍摄的视频更加清晰。还在手机芯片上实现基于ai分割的实时视频后处理渲染技术,对每一帧视频画面色彩精心调色,让手机视频也能拥有电影调色质感。

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

同时,麒麟990 5g首次在手机芯片上实现bm3d(block-matching and 3d filtering)单反级硬件降噪技术,首次将单反级的图像处理能力应用在手机上,照片降噪能力提升30%,暗光场景噪点更少,让手机大片越夜越美丽。

isp和ai性能的结合会带来什么惊喜?余承东现场给出了例子,基于isp的能力升级,麒麟990 5g支持face ar。具体来说,通过从摄像头捕获的人脸图像数据和基于npu运行的神经网络算法,face ar能够对人脸进行建模、实时跟踪、表情捕获,并且可以进一步分析出人脸信息背后的诸如心率、呼吸率等健康数据,提供围绕人脸的丰富的ar增强现实体验,探索ar应用的更多可能。

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

需要指出的是,麒麟990分为5g版本和4g版本。主要的差别在于工艺制程,cpu、npu以及5g网络的支持。两周后,华为将会在慕尼黑发布华为mate30,将会搭载麒麟990 5g和麒麟990。

one more thing

麒麟a1

除了 麒麟 990 芯片,余承东还介绍了麒麟 a1 芯片——全球首款蓝牙&低功效蓝牙无线芯片,具有抗干扰能力,以及双通道蓝牙连接。据华为官方介绍,麒麟 a1 芯片同比延迟降低 30%,传输速率能够提升 2.8 倍,能够给耳机提供无损高清音质。

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

在发布会上,余承东也表示,麒麟 a1 芯片已经应用于全球首款采用开放式设计、却支持主动降噪的真无线耳机——huawei freebuds 3。

从外观上看,freebuds 3 采用的是半开放海豚仿生设计,主要有炭黑和陶瓷白两款颜色。从性能上看,freebuds 3 能启用双路蓝牙连线,可以减少 30% 的延迟和 50% 的功耗。不过目前这些优势只能在连接华为手机时体现。

华5G SoC麒麟990一文看懂:强大AI性能支持摄像头测心率

另外,据官方介绍,这一耳机最大的亮点在于主动降噪功能。官方表示, freebuds 3 的每个耳机都能提供最高 15db 的环境音降噪,还能配合骨传感器探测配戴者的发声振动,并以此来提升通话时的清晰度。