从硬件架构到软件工具链，存算依托大算力AI芯片的创新与实践 | 主讲回顾

以同时完毕一个大的Tensor 分析方法，一个Tensor 可以转化成若干个mini-Tensor，每个mini-Tensor 可以分布在相异的Tensix core 上接入。Tensix core 看似也是相对易懂的的设计，都有了一个CPU matrix vector Engine，先连带近由此可知部份，就是它的SRAM，每一个Tensix core 里的有一小块SRAM。除此都有，为了增强资料共享，还增加了Router 和Packet Manager 的处理每一次短剧，来保证资料在相异的小Tensix core 两者之间，还有微处理每一次内置两者之间继续做资料的由此可知储电子元件元件和互联。

从整个驱动程式来看，可以注意到它的分析方法是一个分布式的分析方法，它的由此可知储电子元件元件也是一个分布式的由此可知储电子元件元件。每个Tensix core 里的边的SRAM 合组了片内相当大的分布式由此可知储电子元件元件水资源。有了分析方法，有了由此可知储电子元件元件，另外一个极其重要的缺陷就是资料由此可知储电子元件元件，它适用了Network-on-chip（NoC）的资料由此可知储电子元件元件系统设计。

从的设计角的度来看，也是一个极为易懂的的设计，基本上可以显然把一个Tensix core 和NoC 的设计好不久，不停的执行copy-paste 就可以合组一个大的微处理每一次内置。因此，它有极好的可扩展到性。Warmhole 是Tenstorrent 公司2021年的厂家，前几年的厂家还极为小，只是一个4×4的Tensix core缓冲内置，现在从未发展成一个极为大的缓冲内置。

从2017年到2021年，可以注意到AIIntel的驱动程式从未从传统习俗分析方法和由此可知储电子元件元件分离的驱动程式，社会的发展成了一个近由此可知的驱动程式。之前司鑫数学老师也讲出过，后摩笔记本电脑所继续做的是更是进一步把由此可知储电子元件元件和分析方法几乎揉合在一同，而不只是一个近由此可知分析方法。

二、后摩笔记本电脑AIIntel驱动程式

下面更是详述简述下后摩的AIIntel的设计。从Macro 到Cluster，我们显然这是一种分布式分析方法和集里式分析方法的作法，是一种trade off。如上由此可知下图，最右边这是一个Macro，就是刚才司鑫数学老师讲出的一个由此可知算短剧，由若干个Macro 合组一个Macro Group array。Macro Group array 在Tile 里的面是Tensor Engine 最极其重要的一个分析方法短剧，Tile 同时又是AI Core 里的一个极其重要的当今世界。Tile 在表面上除了Tensor Engine 大多，还都有了CPU、Special Function Unit（SFU)、Vector Processor(VP)、还有Shared MemoryWildController。Tile 看上去相似于下面讲出到的尼古拉·特斯拉FSD Core，都有了极为大的算力，每个Macro Group 可以共享4TOPS 算力，所以它相似一个大算力的Core。

若干个Tile 又可以合组一个AI Core。AI Core 里的边除了Tile 都有，还都有了像机器学习处理每一次或者AI分析方法里的的前处理每一次或着色每一次的处理每一次短剧、LDST 短剧，还有一个Bus Node 短剧，Bus Node 用来在Tile 两者之间或者Core 两者之间继续做资料共享和资料路由的操控来源。

在SOC某种程度，若干个AI Core 又可以合组一个AI Core Clueter，通过适配器将若干个AI Core 相互连接在一同。所以这是一个层次转化成的的设计，若干个Macro 可以合组一个Macro Group，Macro Group 又合组了一个Tile，若干个Tile 可以合组一个AI Core，若干个AI Core 可以合组一个AI Core Clueter，那我们的算力就可以从最小的1个Macro Group，4TOPS 算力不停叠加，最终可以在1个SoC 里的面构建几百TOPS 算力。

几周我才会以这4个层次相结合，详述简述后摩笔记本电脑的由此可知算相结合大算力AI微处理每一次内置的设计。首先是Macro 由此可知算短剧，再一司鑫数学老师也有讲出到，由此可知却是有相异的定线可以并不需要的，都有了一些非易失由此可知储电子元件元件的传统工艺，还有SRAM 传统工艺，我们有别于的方案是SRAM 传统工艺。SRAM 方案也有实时和大读到字母两种构建作法，我们把大读到字母由此可知算统称CIMD，实时由此可知算统称CIMA。

上由此可知的表格里对比了大读到字母和实时CIM 构建的一些特点。从分析方法基本概念上来看，CIMD 是大读到字母自然语言，CIMA 有别于了诸如电迳分力、波形反应小时，或者是带电粒子共享、电路耦合的分析方法作法；在整数准确度层面，CIMD 可以翻倍8比特甚至更是较高的比特，比如16比特，但CIMA 的准确度才会较差一些，因为它受限于ADC 的准确度，还有它须要把实时孝号变为大读到字母孝号，如果想翻倍更是为较高的能效比，有时候只能构建高于等于4比特的分析方法准确度；从传统工艺上来看，CIMD 与高效率传统工艺相归一化，不才会受到PVT 不确定性的不良影响，但CIMA 与高效率传统工艺没有归一化，它须要极为复杂的校对组件，因为实时器件才会非常容易受干扰；在耐用性层面，集成器件抗干扰能力是更是为强的，而实时器件非常容易受到环境温度、失真等因素的不良影响，所以耐用性才会差一些。

从PPA 的本质来看，CIMD 的算力高密度和能效比是更是为较高的，我们的资料在相异高效率传统工艺下，它的能效比可以翻倍几十TOPS 甚至数以千计TOPS。因为是纯集成器件，所以CIMD 是未分析方法误差的。实时器件的算力高密度也可以继续做得更是为较高，能效比甚至才会比集成器件更是较高，但是它是有分析方法误差的，而且其分析方法准确度才会更是为较差。如果在同等准确度下的话，实时的由此可知算器件并不才会比大读到字母的由此可知算器件有太大的优势。但在更是为较差准确度的情况下，实时器件的能效比才会更是较高一些，但是它的分析方法误差、准确度的缺陷，还有校对、失真、环境温度等这些不良影响是更是为未足解决的。所以后摩笔记本电脑的第一代紧贴量产的厂家是以CIMD 相结合的。

讲出完最表层的CIMD，几周就让怎样把CIMD 合组一个可以用来分析方法的短剧。我们把若干个CIMD Macro 合组一个Macro Group，资料是以资料迳stream 的作法迳向Macro，结果同样以迳的作法的水。这里的的一个必要是，在资料迳向Macro 每一次里，如果feature 资料有很多0，是可以节省小时一部份电源供应器的，甚至节省小时分析方法小时。这里的天然的可以赞同feature 密集转化成的效果，不像有些AIIntel里的讲出密集转化成，比如Orin 的密集转化成是对weight 继续做密集，须要继续做重最初的的设计、训练，而我们的分析方法短剧针对feature 可以继续做密集转化成的较快。

但须要考虑到的缺陷是分析方法须要在Macro 上映射。上由此可知里举了一个比如说，我们的分析方法短剧Macro 才会合组一个3×3的缓冲内置，如果是有4个3×3的缓冲内置，可以把它相似合组一个Systolic Array，相似TPU 脉动缓冲内置的表现形式，资料feature 可以从对面的Tile 里的边或者是Tile SRAM 里的的Multi Bank Shared Memory 迳向到Macro Group 里的，结果同样可以的水Macro Group。

Macro Group 两者之间的结果或许是一个Partial sum，Partial sum 继续做一个整数不久，可以读到到举例来说Tile的Shared Memory 里的面去，也有或许通过Partial sum bus 迳到临近Tile 的分析方法短剧里的面。

除了传统习俗的AI NPU 或者AI Core，还要考虑到一个使用量的缺陷，使用量上除了小时使用量，还要考虑到生活空间使用量。比如，下面的比如说为什么是一个3×3的结构的设计，因为大多数差分机器学习里的差分核子，最；也用的是3×3 kernel，所以用一个3×3的缓冲内置是可以最较高效的分析方法3×3的差分。但是除了3×3大多，还有5×5，7×7或者1×1等的差分设计标准，这时怎样把一个5×5、7×7的一个kernel映射到3×3的缓冲内置里的，这是一个极为未足的缺陷，须要大家细心考虑到怎么把生活空间上的使用量用满，这也是在用Macro 的设计时须要重点项目非议或考虑到的缺陷。

Macro Group 可以作为Tensor Engine 里的一个最极其重要的短剧，那Tensor Engine 和其他的一些操控短剧或者分析方法短剧，合组一个Tile。从上由此可知可以看得出来，Tile 里的都有了CPU，CPU 主要用来继续做操控，通过一个呼叫分发短剧把相异的呼叫分发给Tensor Engine、Vector Engine，Special Function Unit，还有一个多通道的DMA，以及一个Switch。Switch 关键作用了一个路由的作用，用来在相异的Tile 两者之间由此可知储电子元件元件资料。我们自己的设计了一个资料的由此可知储电子元件元件适配器，通过由此可知储电子元件元件和路由，还有TCP的机制，让资料可以在相异的Tile，甚至在相异的AI Core 两者之间完毕共享和传播，这样可以非；也大的降较差孝道的使用量，提高资料和memory 两者之间的由此可知储电子元件元件。

另外，还须要考虑到的是Tile 两者之间的启动时缺陷。比如两个Tile 两者之间须要共同完毕一个分析方法时，那Tile0 和Tile1 两者之间怎么完毕启动时，这也须要在的设计里考虑到。

先上一层就是Core level。Core 是由若干个Tile 合组，上由此可知里有4个Tile 的示例了，那Tile 两者之间以什么样的表现形式去继续做映射，这也是在继续做Core level 的设计时须要第一个考虑到的缺陷。上由此可知是一个马蹄形的映射，4个Tile 合组了1个马蹄形。如果是Tile 很多时，也可以是2D Mesh 这样的一个 映射表现形式。

上由此可知的Core level 除了4个Tile 大多，都有一些AI分析方法里的的前处理每一次、着色每一次的处理每一次短剧，Load/Store 等处理每一次短剧。Core 里的边才会有另外的Bus Node 处理每一次短剧，Bus Node 用来将相异的Core 两者之间相互连接在一同，让相异的Core 两者之间可以必要由此可知储电子元件元件资料。相似于英伟达最最初H100 的驱动程式，H100 驱动程式里的面也有相似的的设计，它叫DSMEM，是Tensor 两者之间必要由此可知储电子元件元件资料，而不用通过global memory，也是一个节省小时资料孝道，节省小时DDR 孝道很有效的作法。

右边的由此可知是第一个Core 的版由此可知，可以注意到这里的边都有了Macro Group、shared memory、CPU，还有Special Function Unit 等等，粉红色部份就是Core level 里的面的前着色每一次、Load/Stop等处理每一次短剧，还有极其重要的资料由此可知储电子元件元件和互联，这是第一代Core 的设计的版由此可知，里的面都有了4个Tile。

除了驱动程式的的设计大多，基于由此可知算相结合的AI Intel的设计，还有很多改建工程转化成的缺陷须要考虑到，因为它跟传统习俗的集成器件从未有更是为大的相差，这些缺陷都是我们在单单改建工程当里碰见的缺陷。

第一个须要考虑到的缺陷是SI 和PI。SI 是孝号相容性，PI 是电池相容性，因为每个Macro 共享的算力太大，有4TOPS。如果有几百TOPS 算力，这几百TOPS 算力在同一小时运作，那对电池和孝号相容性是极为大的挑战。

除此都有，Macro DFT 该怎么继续做？如果不继续做DFT，单单上是没有构建大规模量产的，我们对Macro 继续做了极为多DFT 无关的的设计，主要都有MBIST 和Repair，Repair 是修补因为占地面积大了以后或许才会有default，我们就须要把它修补。我们继续做的修补器件里的可以测试和修补SRAM bit cell 器件，因为由此可知算本身是由SRAM bit cell 连带一些自然语言器件合组的。同时，还有病症新功能，与传统习俗的SRAM 相比，须要开发设计自己的lvlib，因为它从未跟传统习俗的SRAM 行为从未有不一样的地方，未准则的工具箱可以赞同。

另外在CIM 分析方法方式而下，我们的设计了分析方法软件转化成的Macro BIST。分析方法软件转化成BIST 须要自己的设计BIST RTL，同时可以测试Macro 在表面上的分析方法表，所以我们是把Macro 总称SRAM mode 和CIM 两种方式而下完毕BIST 和Repair 的设计。

三、该软件厂家箱多肽

下面主要讲出到软件的设计层面的的考虑到，如果把软件的设计类比成人的身体，那有了身体还须要有永生，而该软件厂家箱多肽就是我们的永生。很多人才会反问基于由此可知算器件的该软件厂家箱多肽、该软件生态系否才会与传统习俗器件的AIIntel有不一样或者有不相容性的地方？

从该软件的本质来看，几乎从未看得表层的由此可知算器件的由此可知在，它从未在AIIntel里的边，通过AIIntel的驱动程式的设计把它屏蔽掉。而从该软件厂家箱多肽的本质来看，并不须要过多的考虑到表层的由此可知算器件，所以该软件厂家箱多肽须要考虑到的真的与用传统习俗的集成器件去继续做NPU 未本质上的区别。

我们的该软件厂家箱多肽主要共享了两个开发设计工具箱：一个是行列式的开发设计工具箱，一个是仿真的开发设计工具箱。对于大多数使用者而言，如果未相同的图标行列式开发设计需求，可以用仿真开发设计工具箱，这里的都有了一个较快的行列式特，行列式特有很丰沛的行列式，可以cover 80%-90%的行列式需求，除了不多见的图标行列式不都有在行列式特里的边。仿真开发设计SDK 里的面还都有了推理涡轮引擎、Graph IR、电子元件元件内核子的扣除，电子元件元件内核子有片内memory 和片外memory 的扣除内置，还有一个由此可知优转化成内置，以及接入时的一些的路。

如果是见习的使用者，可以开发设计自己的图标行列式，我们也共享行列式的开发设计工具箱SDK，这里的边都有了程序语言仿真层面，基于CUDA 的扩展到语言，叫后摩 Data parallel language 或者叫hardware data parallel language（HDPL语言)，还有 Schedule Language，最表层是准则的C++。

编译内置层面都有了HDPL 编译内置，表层C/C++编译内置。工具箱多肽层面也共享了丰沛的工具箱多肽，都有了debugger、调试内置、汇编和反汇编的工具箱、Objdump 工具箱，还有一个HM profeiler，用它来可以便利的调试CIM。

除此都有，我们也对推理涡轮引擎层面有赞同。我们的编译内置可以让使用者从开发设计相似GPU 的一些程序里的，无缝的变为AIIntel的开发设计每一次里来，因为我们是一个类CUDA 的程序语言仿真。上层接入的推理涡轮引擎可以是多种多样的，都有百度的PaddlePaddle、ONNX、TensorFlow、MXNet 等。这些工具箱产生的仿真，经过量转化成工具箱才会译成一个Relay IR 的两边表述。这个两边表述不久才会通过Tensor graph 优转化成内置来继续做优转化成，Tensor 优转化成内置继续做了哪些真的呢？都有转换者行列式的揉合，优转化成孝道的瓶颈，转换者迳水的扣除机制，可以借助AI Core 的软件并行性，以及电子元件元件内核子SRAM 和DDR 的转换者扣除，层间的作业优转化成等，来降较差软件使用量。

先下一层是IPU graph runtime，即由此可知的接入时。接入时最下部才会呼叫IPU 各种各样的水资源。IPU 水资源都有了AI Core，就是AI读到Intel，还有一些扩展到的分析方法水资源，大多数的分析方法可以通过差分在CIM 里的来构建。还有一些其他的相同转换，比如最；也用的pooling 等相似的转换，可以在Special Function Unit 来构建。如果有图标的行列式还可以通过HDPL 语言的连接器，在相异的分析方法扩展到短剧里的构建。我们的程序语言仿真也是针对资料并行的仿真，上由此可知有一个直观的比如说，它与CUDA 程序语言作法是极为相对于的。

以上就是本次回馈的主要内容，感谢大家的观赏。

。

镇江看白癜风哪家医院最好
沈阳妇科医院哪个好
汕头妇科医院哪个好
银川白癜风专业医院
山西男科医院专家预约挂号
怎么治疗久咳不愈
免疫力低下
医院大全
石家庄妇科医院
解表药