跟着大牛后面前进--ADS算力芯片NPU的硬件架构演进探讨
作者简介 
算力、数据、算法共同构成了计算资源的三要素，而ADS领域正是三要素集大成者。AI算法在ADS领域的行业应用，其当前演进方向主要体现在：
1）能够在统一空间支持多模传感器感知融合与多任务共享；
2）预测与规划联合建模，离线与在线学习相结合，能够自学习处理不确定性下的安全与可解释问题，通过持续学习解决新场景问题。
如图1和图2所示，对应ADS负载的多样化和融合感知决策算法多样化的演进趋势，ADS算力新需求体现在从compute-bound走向memory-bound，NPU的设计需求也从偏计算走向偏存算的混合模式。
Dr. Luo：东南大学工学博士，英国布里斯托大学博士后，是复睿微电子英国研发中心GRUK首席AI科学家，常驻英国剑桥。Dr. Luo长期从事科学研究和机器视觉先进产品开发，曾在某500强ICT企业担任机器视觉首席科学家。
在我们当代人的心里，人类自然科学史是一幅幅波澜壮阔的画面：其起源于2500年前古希腊的自然哲学，经过400年前伽利略时期的痛苦孕育，在300年前成功诞生出牛顿力学。其后经历了四次科学革命，同步紧随了四次技术革命和工业革命的大爆发。
当前行业AI化与数字化为核心的智能化时代，云计算与AI等先进生产力开始有机结合与延伸拓展，通过加速提升的算力来逐步呈现数字经济的核心价值。按照《云网融合：算力时代的数字信息基础设施》一书的统计分析，算力的支撑使得我国数字经济占GDP比重由2015年的14.2%提升至2020年的38.6%。
算力、数据、算法共同构成了计算资源的三要素，而ADS领域正是三要素集大成者。AI算法在ADS领域的行业应用，其当前演进方向主要体现在：
1）能够在统一空间支持多模传感器感知融合与多任务共享；
2）预测与规划联合建模，离线与在线学习相结合，能够自学习处理不确定性下的安全与可解释问题，通过持续学习解决新场景问题。
如图1和图2所示，对应ADS负载的多样化和融合感知决策算法多样化的演进趋势，ADS算力新需求体现在从compute-bound走向memory-bound，NPU的设计需求也从偏计算走向偏存算的混合模式。
图1 NPU设计新需求：从偏计算走向偏存算的混合模式
图2 DNN中不同模块的运行时间剖析图案例(注：引用参考文献1)
当前市场上主流AI算力芯片，都存在几个共性问题，一是低算力问题：多针对3x3卷积优化，算法总体效率低；二是内存墙问题：PE存算分离数据难共享；三是能耗墙问题：数据重复搬移高耗能。
从下一代的工程实践上看，ADS算法需要通过“硬件预埋，算法迭代，算力均衡“ ，提供一个向前兼容的解决方案，以通用大算力来解决未来不确定性的算法演进，具体体现在：
1) 底层架构的演进：从存算分离到近内存计算，最终走向内存计算。
2) 数据通道与模型：高速数据接口+数据压缩+模型压缩+低精度逼近计算+稀疏计算加速。
3) 并行的顶层架构：模型-硬件联合设计，以及硬设计可配置+硬件调度+软运行可编程调度引擎。
对比CPU十百级的并行处理单元和GPU上万级的并行处理单元，NPU会有百万级的并行计算单元，可以采用Spatial***架构来实现，即Spatial PE空间单元阵列通过NoC，数据总线，或跨PE的互联来实现数据流交互。粗颗粒度的可配置架构CGRA是Spatial***的一种形态，即可配置的PE Array通过纳秒或微秒级别可配置的Interconnect来对接，可以支持配置驱动或者数据流驱动运行。脉动Systolic***架构也是Spatial***的一类实现方式，其主要计算是通过1D或2D计算单元对数据流进行定向固定流动处理最终输出累加计算结果，存在的问题难以支撑压缩模型的稀疏计算加速处理。NPU的第二类计算单元是Vector***架构，其计算可以通过可配置的矢量核来实现。NPU也可以采用多核架构技术，即提供千百级的***物理核来组件封装提供更高程度的平行度，尤其是适合大算力下高并行数据负载。NPU另外一个在演进中的是内存处理器PIM架构，即通过将计算靠近存储的方式来降低数据搬移能耗和提升内存带宽。可以分成近内存计算与内存计算两种类型。近内存计算将计算引擎靠近传统的DRAM或者SRAM cell，保持它们的设计特性。内存计算需要对内存cell添加数据计算逻辑，多采用ReRAM或者STT-RAM新型工艺，目前多采用数字类型的设计，技术难题是如何在运行态时进行大模型参数动态刷新，工艺实现也落后于市场预期。
从下一代的工程实践上看，ADS算法需要通过“硬件预埋，算法迭代，算力均衡“ ，提供一个向前兼容的解决方案，以通用大算力来解决未来不确定性的算法演进，具体体现在：
1) 底层架构的演进：从存算分离到近内存计算，最终走向内存计算。
2) 数据通道与模型：高速数据接口+数据压缩+模型压缩+低精度逼近计算+稀疏计算加速。
3) 并行的顶层架构：模型-硬件联合设计，以及硬设计可配置+硬件调度+软运行可编程调度引擎。
对比CPU十百级的并行处理单元和GPU上万级的并行处理单元，NPU会有百万级的并行计算单元，可以采用Spatial***架构来实现，即Spatial PE空间单元阵列通过NoC，数据总线，或跨PE的互联来实现数据流交互。粗颗粒度的可配置架构CGRA是Spatial***的一种形态，即可配置的PE Array通过纳秒或微秒级别可配置的Interconnect来对接，可以支持配置驱动或者数据流驱动运行。脉动Systolic***架构也是Spatial***的一类实现方式，其主要计算是通过1D或2D计算单元对数据流进行定向固定流动处理最终输出累加计算结果，存在的问题难以支撑压缩模型的稀疏计算加速处理。NPU的第二类计算单元是Vector***架构，其计算可以通过可配置的矢量核来实现。NPU也可以采用多核架构技术，即提供千百级的***物理核来组件封装提供更高程度的平行度，尤其是适合大算力下高并行数据负载。NPU另外一个在演进中的是内存处理器PIM架构，即通过将计算靠近存储的方式来降低数据搬移能耗和提升内存带宽。可以分成近内存计算与内存计算两种类型。近内存计算将计算引擎靠近传统的DRAM或者SRAM cell，保持它们的设计特性。内存计算需要对内存cell添加数据计算逻辑，多采用ReRAM或者STT-RAM新型工艺，目前多采用数字类型的设计，技术难题是如何在运行态时进行大模型参数动态刷新，工艺实现也落后于市场预期。
图3 NPU细粒度可重构的硬件架构CGRA案例
如图3所示，总结来说，NPU可配置特性是指NPU可以通过软件定义来修改运行状态下CGRA硬件逻辑单元的运算与互联，可以通过配置数据比特流来修改配置内存。NPU可编程特性是指针对用户自定义的数据流，通过指令集来实现不同类型的计算操作。通常只有FPGA可以针对计算单元和互联提供细颗粒度的可配置特性，大算力NPU能够引进这样的先进设计思路也是势在必然的。
综上所述，NPU硬件架构的演进，其总体特性可以归结如下：
软件定义架构：当前行业云化和数字化推动软件架构从单体应用架构 - 垂直应用架构 - 分布式架构 -SOA 架构 - 微服务架构的演变。对于大算力NPU的硬件架构而言，其演进也不言而喻，同样需要解决高并发、大吞吐等问题，针对算法的多样性需求，同样需要通过软件定义架构，来实现底层微架构硬件的可配置、可调度、可弹性扩展特性，以及顶层架构的微任务与多并行调度，提升底层PE与数据通道的效率均衡，减少数据流的无效搬移与无效计算，提升能耗比和算力效率。
弹性负载均衡：对NPU微架构中的存储与计算PE而言，可配置意味着可以通过片上的控制逻辑来动态配置细颗粒度的PE阵列，通过Array+Vector异构组合的SHAV弹性架构，来适应算法中多形态的算子尺寸和数据流变化需求。对NPU顶层架构而言，微任务与多并行调度意味着，多核的SHAV计算模块，可以通过高带宽的分布式数据总线来搭建实现多核的弹性扩展。
联合优化设计：对NPU中模型-硬件联合设计而言，具体的实现策略体现在：
1）降低计算资源需求的策略，例如3x3卷积Conv可以通过面向通道的Conv3x3 +Conv1x1来实现，Conv5x5以上可以通过Conv3x3 +Conv1x1组合来实现；
2）逼近计算策略，可以通过低比特数据优化表征HFP8/INT8/INT4/IN4+Quantization-aware后训练来实现；
3）压缩与稀疏计算策略，可以通过模型裁剪与优化，参数统计从偏置分布向零分布调整，以及类似参数扰动+列打包的RL压缩编码来实现；
4）模型-硬件联合搜索，可以认为NPU预定义的硬件架构是模板，网络模型ASIC-NAS在有限硬件计算空间内进行DNN的模型搜索和模型小型化，寻求计算单元的最佳组合模型来提升相同计算复杂度下的等效算力效率。
如图3所示，总结来说，NPU可配置特性是指NPU可以通过软件定义来修改运行状态下CGRA硬件逻辑单元的运算与互联，可以通过配置数据比特流来修改配置内存。NPU可编程特性是指针对用户自定义的数据流，通过指令集来实现不同类型的计算操作。通常只有FPGA可以针对计算单元和互联提供细颗粒度的可配置特性，大算力NPU能够引进这样的先进设计思路也是势在必然的。
综上所述，NPU硬件架构的演进，其总体特性可以归结如下：
软件定义架构：当前行业云化和数字化推动软件架构从单体应用架构 - 垂直应用架构 - 分布式架构 -SOA 架构 - 微服务架构的演变。对于大算力NPU的硬件架构而言，其演进也不言而喻，同样需要解决高并发、大吞吐等问题，针对算法的多样性需求，同样需要通过软件定义架构，来实现底层微架构硬件的可配置、可调度、可弹性扩展特性，以及顶层架构的微任务与多并行调度，提升底层PE与数据通道的效率均衡，减少数据流的无效搬移与无效计算，提升能耗比和算力效率。
弹性负载均衡：对NPU微架构中的存储与计算PE而言，可配置意味着可以通过片上的控制逻辑来动态配置细颗粒度的PE阵列，通过Array+Vector异构组合的SHAV弹性架构，来适应算法中多形态的算子尺寸和数据流变化需求。对NPU顶层架构而言，微任务与多并行调度意味着，多核的SHAV计算模块，可以通过高带宽的分布式数据总线来搭建实现多核的弹性扩展。
联合优化设计：对NPU中模型-硬件联合设计而言，具体的实现策略体现在：
1）降低计算资源需求的策略，例如3x3卷积Conv可以通过面向通道的Conv3x3 +Conv1x1来实现，Conv5x5以上可以通过Conv3x3 +Conv1x1组合来实现；
2）逼近计算策略，可以通过低比特数据优化表征HFP8/INT8/INT4/IN4+Quantization-aware后训练来实现；
3）压缩与稀疏计算策略，可以通过模型裁剪与优化，参数统计从偏置分布向零分布调整，以及类似参数扰动+列打包的RL压缩编码来实现；
4）模型-硬件联合搜索，可以认为NPU预定义的硬件架构是模板，网络模型ASIC-NAS在有限硬件计算空间内进行DNN的模型搜索和模型小型化，寻求计算单元的最佳组合模型来提升相同计算复杂度下的等效算力效率。
复睿微电子是世界500强企业复星集团出资设立的高新技术企业。复睿微电子植根于创新驱动的文化，通过技术创新改变人们的生活、工作、学习和娱乐方式。
公司成立于2022年1月，目标成为世界领先的智能出行时代的大算力方案提供商，致力于为汽车电子、人工智能、通用计算等领域提供以高性能芯片为基础的解决方案。
目前主要从事汽车智能座舱、ADS/ADAS芯片研发，以领先的芯片设计能力和人工智能算法，通过底层技术赋能，推动汽车产业的创新发展，提升人们的出行体验。在智能出行的时代，芯片是汽车的大脑。复星智能出行集团已经构建了完善的智能出行生态，复睿微是整个生态的通用大算力和人工智能大算力的基础平台。复睿微以提升客户体验为使命，在后摩尔定律时代持续通过先进封装、先进制程和解决方案提升算力，与合作伙伴共同面对汽车智能化的新时代。
参考文献：
【1】J. Kim, and etc., “Exploration of Systolic-Vector Architecture with Resource Scheduling for Dynamic ML Workloads”,
https://arxiv.org/pdf/2206.03060.pdf
投递零跑科技等公司10个岗位 >
