注册

【存储器】Cerebras公开全球首个人类大脑级AI解决方案,台积电7纳米制程扮核心角色

来源:科技新报    原作者:Atkinson    

人工智能(AI)创新计算解决方案的新创企业Cerebras Systems表示,目前人脑包含大约100万亿个神经元的突触,但现阶段最大的AI硬件丛集大约为人类大脑规模的1%,或约1万亿个神经元突触量,这称为参数。而这些AI硬件中的处理器集群虽仅为人类大脑规模的一小部分,却占用了数英亩的空间和数兆瓦的功率,并且需要专门的团队进行操作。基于以上的因素,Cerebras Systems于北京时间24日推出了世界上第一个人类大脑级AI解决方案,能用以支持超过120万亿个参数的运算模型。

Cerebras Systems强调,世界上第一个人类大脑级AI解决方案是使单个有如小型冰箱大小,内含CS-2运算系统的AI硬件系统能够支持超过120万亿个参数的模型。在此其中,Cerebras Systems采用了4项业界领先的创新技术,包括Cerebras Weight Streaming一种新的软件执行架构、Cerebras MemoryX一种内部内存扩展技术、Cerebras SwarmX一种高性能互连结构技术、以及Selectable Sparsity一种动态收集技术。

首先在Cerebras Weight Streaming技术上,首次达成了在芯片外储存模型参数的能力,同时提供与芯片上相同的训练和推理性能。这种新的执行模型分解了计算和参数储存,允许研究人员独立灵活地扩展规模和速度,并消除了挑战大型小型处理器丛集的延迟和内存带宽问题。这些设计极大的简化了工作负载分配模型,其设计目的是让用户可以从使用1个CS-2运算系统,或扩展到最多192个CS-2运算系统,而无需变更软件。

其次,Cerebras MemoryX是一种内存扩展技术。MemoryX将提供高达2.4PB的高性能存储器。透过MemoryX,CS-2运算系统可以支持具有多达120万亿参数模型。至于Cerebras SwarmX则是是一种高性能、人工智能优化的通信结构,其目的是使得Cerebras Systems能够在最多192个CS-2运算系统上连接多达1.63亿个AI优化核心,以进一步协同工作以训练单个神经网络。

最后,Selectable Sparsity技术是使用户能够在他们的模型中选择权重稀疏程度,并直接减少浮点运算的耗费时间(FLOPs)和解决时间。权重稀疏(weight sparsity)是机器学习研究的一个重要的领域,由于它在图形处理单元上的效率极低,因此过去一直难以突破发展。如今,通过可选择权重稀疏性使CS-2运算系统能够加速工作,并使用每种可用类型的稀疏性,包括非结构化和动态权重稀疏性,以在更短的时间内生成答案。

透过这些技术的组合,Cerebras Systems表示,将使用户能够轻松地解锁大脑规模的神经网络,并将工作分配到大量人工智能优化的核心集群上。而这也使得Cerebras Systems能在模型大小、计算集群能力和大规模编程的简单性方面设定了新的基准。

至于,在整个系统核心的Cerebras CS-2人工运算系统的核心部分,则是由Wafer Scale Engine(WSE-2)处理器来提供动力。这是款有史以来最大的芯片和最快的AI处理器,由晶圆代工龙头台积电7纳米制程来进行打造生产。WSE-2是具有2.6万亿个晶体管和850000个AI优化核心的单个晶圆级芯片。相比之下,当前最大的图形处理单元只有540亿个晶体管,比WSE-2少了2.55万亿个晶体管。WSE-2还拥有比图形处理单元竞争对手多123倍的核心和1000倍的高性能内置内存。


而由于WSE-2处理器的大小,因此特别适用于Cerebras架构。与图形处理单元不同,因为在这种传统架构下,少量的芯片上内存需要跨多个芯片对大型模型进行分区运算,但WSE-2处理器可以适应和执行非常大的层面,而无需进行传统的屏断或分区来执行运算。另外,在芯片上异植内存的方式,则是适合每个模型层而不需要分区的能力,这代表着每个CS-2运算系统可以被赋予相同的神经网络工作负载,并对每一层进行相同的计算,独立整个于网络当中。而其对于用户来说,这种简单性允许他们将模型从在单个CS-2运算系统上运行扩展到任意大小的集群上,而无需任何软件更改。

封面图片来源:拍信网