Chip即SoC）只需几瓦的功耗就能提供桌面级系统的性能，然而由于低功耗和热力学上限方面对高性能的严格要求，我们不得不思考如何设计高性能Soc利用仅有几瓦特的功率提供媲美桌面级嘚高性能。
+ `( Y: [" i0 |  y7 o7 E, f6 C随着移动SoC的发展片上功能的复杂性也不断发展。最初在2G手机早期我们只有16位的，而到今时今日移动Soc逐渐发展成为了有史以來最复杂的计算平台之一它包含了一个芯片上可能加载的所有功能：软件执行（CPU +缓存）、图形加速（GPU）、通信（Wi-Fi、3G / 4G调制解调器、蓝牙）、视频压缩和解压缩、相机管线（ISP），还要连接一系列低速外围设备——包括显示控制器、触摸屏、接口、电源管理、散热管理等如今嘚移动SOC处理器一般都是6个甚至更多的CPU组成的64位CPU集群，再加上数百或数千个ALU核心组成的GPU提供的计算能力甚至超过了3-4年前的台式计算机。
f鉴於我们现在已经掌握了这种先进的SoC设计技术当然应该一如既往地坚持我们正在开展的工作，并加入神经网络加速器不是吗？对于操作數在每秒100G左右的任务来说这个主意不错。然而对于要求操作数在每秒50-100T甚至更多处理能力的车用多传感器系统来说，这是一项艰巨的任務提高时钟速度和性能说起来容易做起来难，因为我们已经在拼命压榨性能了神经网络加速器需要数十GB/s或更多带宽，而这些带宽只能占用CPU和GPU的中央存储器资源因此这项任务会更为艰难。 E如果每个处理器无法在执行每项任务时获得所需的数据那么即便SoC的性能再高也没囿任何意义。这就是为什么如今的移动SoC上都加载了先进的片上存储器缓存以及复杂的高带宽片上网络（Networks-On-Chip即NOC），目的都是为了将各种处理器和加速器连接到存储器、外围设备等
X然而，如今的SoC中许多功能块都连接到了NOC上（通常是NOC网络）因此，每次数据移动都必须决定谁囿优先权。最终这发展成为了一项非常复杂的任务而且难度随着时钟速度的提高而加剧。由于优先级决策而丢失的每个时钟周期都会导致带宽丢失而功能块等待访问NOC，实际上就相当于丢失了时钟周期2 D随着先进硅工艺的发展，我们主要的受益是能够在芯片上放置更多的存储器——通常是SRAM（静态RAM）存储器越接近需要存储的功能块，它的访问速度就越快读取或写入数据所需的功耗就越小。SRAM非常易于使用因为你可以随机读取或写入任何数据单元，而且速度非常快这就是许多应用都使用SRAM的原因，比如片上高速缓冲存储器、FIFO、缓冲器以忣紧密耦合的本地存储器。
; Q/ U; G; Z5 Q但是由于片上的存储器越来越多，因此在这些SRAM块之间移动数据的情况也越来与频繁于是，SoC上的NOC的巨大需求絀现了我们放在芯片上的存储器越多，对整个芯片架构的需求就越苛刻4 @2 C  w$ _! A: k所有高性能SoC设计人员所面临的最大挑战之一就是，如何在众多笁作负载和各种操作条件下管理和优先处理异常复杂的数据流。外部存储器的需求也很高 / s( P8 O% R7 ~- G4 ^$ eSoC中的CPU、GPU或其他加速器和功能块的设计人员都需偠想法设法尽量将数据留在芯片上实际上，在功能块内保存的数据越多需要请求NOC传输的数据就越少。但是片上的存储器很昂贵——CPU核心的最大缓存很少超过1MB。2 W9 l2 `  _# Z; s6 }3 p) I7 Z如果来自传感器的数据以GB为单位而应用程序所需的存储器也是GB级别，那么距离SoC与外部存储器通信也就不远了
p通常，外部存储器都采用DRAM（动态RAM）其容量密度是SRAM的5-6倍。然而为了享受大容量密度带来的好处，你必须尝试请求整块数据而不能仅僅请求单个字节。这一点与片上SRAM完全不同后者无论随机访问何处都能提供高性能。这种以结构化的方式访问外部DRAM的需求引发了全新的复雜度：如何组织数据请求才能最大地压榨存储器的最高数据速率。如果不考虑这一点那么一不小心就会损失50%甚至更多的存储器带宽。
G這个数字非常惊人假设有一个单核64位CPU，其时钟为2GHz每个周期取一条指令、读取或写入一条数据，那么就大致需要16GB/s的数据速率即使我们假设75%的数据访问都能命中片上的L1和L2缓存，那么每个CPU需要的带宽也会高达4GB/s如果是8个CPU组成的集群，假设集群的利用率为50%则为16GB/s。而这只是CPU集群需要的带宽！
P由于中央处理器是大多数SoC的核心因此必须为CPU和GPU集群提供充裕的存储器带宽。否则它们的速度很容易被拖慢即便理论上嘚最高处理能力再高，大部分也会被白白浪费因此，除非CPU的大部分时间都在访问缓存中的数据否则外部存储器的带宽很快就会成为大問题。
\最新的存储技术（比如HBM2）可以提供高达256GB/s的惊人带宽但这些高功率技术是专门为数据中心而设计的，不适合嵌入式车辆或移动应用我们需要使用更现实的低功耗存储器技术——一般是LPDDR（低功耗动态RAM），它能提供的带宽只是前者的零头( Z- b% c( D) T# \2 o  ?5 s如今嵌入式或移动设备中最常鼡的是LPDDR4，其每个引脚可提供4.2Gbps的速率且不论其他方面（例如GPU、调制解调器或视频）的使用，仅仅为CPU集群提供数据传输就可以轻松消耗掉这個带宽3 R$ n; h, j- \. B8 O! `7 q下一代LPDDR5即将推出，其每个引脚能够提供8Gbps的速率但这将以消耗更多功率和产生更多热量为代价。因此距离LPDDR5在车辆系统中广泛使鼡，我们还需要耐心地再等几年 使用缓存还是使用外部数据？
: g- z/ J2 L0 L5 u0 q' A我们需要考虑的另一个领域是通用移动平台与嵌入式车辆应用程序之间嘚工作负载差异。通用移动平台有能力处理数百万种应用程序而嵌入式车辆应用程序的工作非常有限。这意味着我们可以针对车辆应用哽好地优化工作负载的情况
w对于要求苛刻的移动应用程序（比如游戏）来说，大部分数据都保存在本地我们可以利用各种缓存方案优囮片上本地保存的数据量，从而最大限度地减少外部存储器上的流量然而，对于自动驾驶车辆等实时系统来说它们需要以MB/s级别或更高嘚速率不断从传感器接收新数据。由于这些数据来自应用程序外部因此必须通过外部存储器子系统，至少一次实际上，数据可能会多佽传入和传出外部存储器因为应用程序需要读取并修改数据，然后再写出来如果利用数据执行低级功能（例如数据过滤或神经网络功能），则这种现象尤为突出, `+ g) ?5 y% s5 s# {如果由主CPU预处理这些数据，那么即使是简单的循环也会迅速加重外部存储器子系统带宽的负担如果接下来讓GPU处理这些数据，则还需要读取CPU写出的数据经过处理后输出结果。这些带宽消耗都需要考虑在内
# s$ ~8 K4 v" z管理现代嵌入式SoC数据的任务已经成为SoC設计人员面临的最大挑战之一。因此如果我们还想着添加另一个高性能、数据密集型加速器（比如神经网络加速器），那么就必须面对這种挑战 为什么神经网络处理的要求如此苛刻？ # @3 N8 `6 y7 u神经网络处理是一种超大规模的并行处理任务以前创建任何重大的神经网络加速器都昰不切实际的，因为硅技术无法完成集成所需的大量计算任务直到最近，这个问题才有所缓解) i3 S! V+ N2 x9 A# E' W然而，该领域的许多人都已经认识到鉮经网络计算实际上是数据驱动的问题，而不是计算驱动的问题所有神经网络加速器的性能都取决于在网络预测过程中，数据如何在数芉个计算引擎之间移动由于神经网络加速器是数据密集型，因此如何通过最佳方式利用片上和片外的存储器将是一个至关重要的架构问題但有一件事是肯定的：在实时处理多个高清传感器输入时，系统的持续数据传输量将是巨大的- i此外，随着我们对算法的不断深入了解神经网络也变得越来越宽、越来越深。AI从业者的担忧在于高清摄像头的大量使用导致神经网络需要以30fps或更高的速度处理多达八个或哽多的尺寸为3x的摄像头输入。每个摄像头的流量几乎是200MB/s那么总共是将近1.6GB/s——这还仅仅是输入数据！& U9 _6 c2 R3 b% a% t% h8 t自动驾驶车辆必须通过360°视图全权掌握周围的环境。为此必须使用多个高分辨率的传感器，而每个传感器都会给处理平台带来进一步的压力。
$ r( a# c7 v# z/ T. |0 j! S4 Q7 L执行多次卷积的前几层很可能需要哆次写入差不多大小的输出后面的操作才能处理规模较小的输入数据。即便我们拥有10GB/s的带宽恐怕也不容乐观。
或其他精密传感器融合系统）所需的超大带宽必须慎重考虑整个系统架构的环境中的神经网络计算平台。管理执行每个功能所需的系统带宽并保证每个功能處理块尽可能高效地运行是关键。 这是一个数据的问题而不是速度的问题
h我们公司里负责创建aiDrive软件栈的研究工程师在针对他们开发的许哆神经网络工作负载展开了广泛分析后，得出了这样一个结论：计算能力并非完全取决于能够同时执行多少个MAC事实上，这完全取决于数據的移动：每个中间结果怎样通过加速器从一个计算移动到下一个计算这说明，权重和中间结果的存储位置与相关的执行单元越近处悝效率就越高。因此在执行期间减少中间缓存或中央共享存储对于提高性能至关重要。6 L这就是我们创建aiWare的原因：在硬件引擎中实现基于實际工作负载的数据流技术这比传统的方法更有效。我们希望创建一个能够持续提供高效神经网络计算的引擎同时管理加速器内部以忣神经网络加速器和硬件平台其他部分（尤其是基于CPU的SoC）之间的数据带宽。- a; L% h# s( Y$ W; B# w: ?4 Z最近很多神经网络加速器的实现人员都发现他们的设计依赖於使用了多少本地存储。对于aiWare来说本地SRAM块占用了大约全部存储的80%-85%。存储的使用以及数据的传输才是最重要的因素 这是实时推理的问题，与训练无关
P在过去几年中人们设计了很多神经网络加速器，几乎每周都有新产品涌现！但是这些加速器大多数针对的都是在数据中惢应用程序上运行的训练过程。一些小型引擎也可以用于移动应用程序但它们仅适用于语音识别和图像分类等低带宽任务。很多设计人員从事的工作涉及车辆以及其他有功耗限制的高可靠性嵌入式应用程序的实时推理引擎他们都面临着不同的问题，虽然市场上有很多神經网络加速器但它们的性能最终都取决于如何解决设计人员的问题。
W对于自动驾驶车辆等嵌入式应用程序中的连续性操作来说关键在於连续几个小时一帧又一帧地不断传输数据。这类系统没有时间定期清理缓冲区、收集垃圾或以其他方式暂停维护而这些都是数据中心主机或者非实时的移动应用程序习以为常的东西。. m0 X- q+ Q4 u; O对于车辆嵌入式推理系统来说其所使用的存储器策略必须经得起任何条件的考验，而苴必须能够连续工作 那么，为什么不能加快速度呢 7 y/ n1 F8 I+ b& H& I! [SoC的速度年年都在加快，而且我们还在不断缩小流程节点如果我们能够加快现有芯爿的速度，那么问题不就解决了吗
尽管距离可能会随着每次流程节点的技术进步而缩短，但它们与更高层集成之间的通信所需的距离更長发送信号所需的距离越长，所需的能量就越多物理尺寸越小，每个信号的能量就越少除非你放大它——而这会增加功耗。因此即使硅工艺的物理尺寸继续缩小，我们也无法简单地通过添加更多逻辑来加快芯片速度
每个更先进的硅节点都需要花费上一代技术的4倍財能制作芯片的掩模。虽然每个晶体管的成本降低了但由于制造工艺的复杂性，最终的成本降低也没有以前那般显著因此，先进的工藝节点花费在设计和最终设备上的成本要高得多# m0 c8 F% T+ [+ h( 随着工艺节点变小，电压下降每个比特移动的电子更少。然而这导致每个信号更容噫受到噪声的影响。如果芯片需要在每个时钟周期传输数十亿条导线那么情况就会非常糟糕，此外车辆中的电噪声会加剧这种情况随著我们继续缩小芯片，这些系统还能保持健壮吗
著名的摩尔定律表明逻辑密度每18个月就会翻一番，多年以来这项定律一直得到了应验嘫而，如今就不适用了：每代芯片的逻辑密度只能增加1.2-1.4倍但是，存储器依然遵循该规律因此，对于未来的工艺节点设计中存储器越昰占主导地位，其扩展性就越好% \; I8 P% w4 外部存储器带宽的扩展速度无法跟上片上存储器的扩展速度。这是因为数据从芯片上传入和传出需要很高的速度——HBM2每个引脚高达2Gbps这需要很大的功率，而且如果数据传输集中在一个小区域也会导致很大的散热问题加倍外部存储器带宽可鈈是一件易事，特别是如果有苛刻的功率限制和热力学上限（比如嵌入式车辆应用程序）时中央处理器就是中央！ n许多行业利益相关者認为，未来的自动驾驶汽车将依赖强大的中央处理单元事实上，越来越多的汽车正在考虑为未来的车辆打造“车轮上的数据中心”就潒智能手机是“掌上电脑”一样。这样做有一定的意义：基于中央处理的方法具有一定灵活性意味着我们不需要在构建处理器硬件平台時照顾到方方面面。例如我们可以利用现代数据中心的方法，添加和替换计算服务器并虚拟化所有资源从而实现可升级性。车轮上的數据中心可能不是车辆生产制造商最终用户的最佳解决方案车辆硬件平台必须小巧、高效、高性能。 c然而难点在于数据中心并不是为實时系统设计的。有时它会自动停止并重新配置；重启某些处理器，同时将计算负载转移给其他处理器；如果发生瓶颈就会不断改变工莋负载此外，为了实现这种灵活性它还需要消耗大量功率，这就是为什么现代数据中心面临的最大问题就是电力问题这听起来像是悝想的车辆解决方案吗？' B! A5 [  ]- ]* D这种方法可以用于未来车辆中的许多非关键功能然而，对于实时的、生命攸关的功能例如L4 / L5车辆的基本控制系統，我们必须权衡所有情况下类似数据中心方法的灵活性与可靠性和稳健性同时还需要考虑功耗、散热以及电噪声的限制。
W这意味着我們必须在中央处理器周围建立越来越智能的子系统通过这些子系统以更分散的方式管理带宽、处理和功率限制。例如将一些神经网络處理转移到每个传感器，就可以减少中央神经网络加速器的资源消耗方便管理，这样就可以利用中央神经网络加速器专门处理关键性的任务例如轨迹规划或高层对象跟踪等。
% z6 |. O/ b- _行业利益相关者将投入大量资源为集中式和分布式解决方案寻找最佳选择。事实上在未来几姩中，车辆生产制造商和一级供应商在实现自己的自动驾驶系统时选择的硬件平台和解决方案可能会成为市场差异化的主要因素 h在了解視觉优先系统时，我们意识到距离汽车行业在最佳硬件架构上达成一致还需要等待很多年然而，为了将基于AI的软件解决方案所需的处理能力集中到一个小盒子中神经网络加速器必须具备一定的灵活性，并随着新解决方案的开发适用于所有类型的硬件架构。这包括从中央处理资源到分布式边缘处理方法  h: D% d4 u; I8 ^一个关键因素是如何管理系统带宽。每个摄像头都会生成高带宽的数据流用于前端感知和分类的神經网络计算需要非常快且百分百可靠。我们的 aiWare存储器架构旨在为系统设计人员提供一套方法可以将预处理的摄像头（或其他HD传感器）数據直接传输到aiWare的外部存储器。如此一来就可以减轻所有与传感器数据的收集和预处理相关的带宽压力因为这些处理都脱离了主处理器SoC。接下来aiWare子系统会将只需少量带宽的结果传送到中央处理器，以供后续功能（例如轨迹规划和控制等）使用
6 w4 z( l  _1 ~这种方法可以实现更好的可擴展性，因为想法设法扩展复杂的处理器和管理巨大带宽与存储流量的难度非常大与之相比，设计基于低级硬件且融合到前端系统的可擴展专用传感器的难度则小得多
7 S( i2 B7 C, A+ F; w这也意味着中央处理器的灵活性可以发挥最大作用：灵活、复杂的启发式、可处理形形色色的应用程序。例如AI处理管道的后续阶段大多数时候都依赖于传统计算机视觉和其他算法的综合，这些算法在通用平台上运行的效果更好3 v3 f3 f- c- b因此，在Φ央处理器内提供适度的神经网络加速通过高性能的外部神经网络处理来增强功能，就可以在尽可能低功耗的条件下实现性能可扩展的悝想组合方案此外，还可以利用更分散的方法实现安全永远有保障的冗余方案。 总结
1 z1 h3 Q, L# u, D! E$ d一想到未来世界我们将拥有自动驾驶汽车就让囚觉得激动不已。然而为了获得世界各地人们的青睐，我们必须极力控制功耗并在苛刻的操作环境成本预算中，提供前所未有的性能一味地按照以往的工作方式并不能实现这些伟大的目标。
^尽管在过去的10-20年间硬件技术取得了惊人的进步，但在高性能数据中心和高度受限的移动环境中我们不能幻想廉价的性能。尤其是汽车行业的条件尤为苛刻：极端的操作条件高度受限的功耗和散热资源，严格的荿本限制漫长的开发时间，乃至更长的产品寿命
j硬件创新不仅可以通过使用最先进的技术来集成更多功能并加快速度，还可以帮助我們解决这些难题我们可以另辟蹊径利用现有成熟技术下的硬件架构，发挥创新的最大优势推进汽车行业以及其他嵌入式硬件平台的发展。通过结合这两种创新我们将有望满足未来那个激动人心的新市场需求。* x4 h, j% P0 m: