全球最大WSE-2处理器发布！
2021-04-23
不知大家是否还记得去年英伟达发布的A100 GPU，作为V100推出三年后的又一大计算卡，其性能较V100提升了20倍，英伟达更是称其为最大的7nm芯片，面积达到826 mm2。而初创公司Cerebras则在近日发布了第二代Wafer Scale Engine（WSE-2）芯片，夺下了7nm下面积最大芯片的宝座。
WSE-2 芯片/ Cerebras
从2015年到2020年，全球在训练大型模型上的计算已经到了30万倍，AI的限制更像是运算能力的限制，而不单单只是应用和创意。验证一个猜想和训练一个新模型可能会花上数周乃至数月的时间，Cerebras的WSE-2旨在解决这些影响创新速度的问题。
一块晶圆 = 一个芯片
WSE-2与A100面积大小对比 / Cerebras
WSE-2从上一代的16nm工艺替换为7nm，尽管面积不变，但新制程的密度优势使其晶体管数量翻倍，达到了26000亿，AI核心数更是增加至85万个。Cerebras是在参数简介上直接对标英伟达的A100，与826 mm2 的A100相比，46225 mm2的WSE-2是前者的56倍。WSE-2片上内存为40GB，是A100的千倍，内存带宽更是做到A100的上万倍。WSE内含85万个专为AI应用优化的稀疏线性代数计算（SLAC）核心，非常适合神经网络运算。
Cerebras也指出内存也是计算中重要的一环。就拿上面提到的A100来说，A100只有40MB的L2 cache，却有着40GB的HBM2内存，但这种图形处理器的缺点就在于这种显存往往是片外内存，而且速度太慢，延迟过高。而WSE-2的40GB内存则是均匀分布在AI核心上，且带宽可以达到20PB/s。
其实早在去年的Hot Chips大会上，Cerebras就已经透露过这个85万AI核的新处理器，但由于一些延误，他们没法及时在去年发布。Cerebras联合创始人Andrew Feldman在近期采访中提到，与客户合作了一年之后，他们汲取了一些经验教训，并将其整合进了新的AI核心中去，因此这一推迟很可能是由于对AI核心微架构的改进。
以往一个晶圆需要切割成多个芯片，经过封装后再作为处理器上市售卖。而Cerebras的解决方案是晶圆级集成技术，直接利用一个晶圆的最大面积来生产单一芯片，不过考虑到目前矩形芯片依然是效率最高的选择，自然不可能直接拿整个圆形晶圆来制造芯片，Cerebras也从一块晶圆中选取了最大的正方形。虽然从12英寸晶圆的面积来看，制造一个WSE-2只用到了2/3的面积，但与芯片的售价相比，哪怕这些边角料被浪费，损失也只是沧海一粟而已。要知道Cerebras卖给匹茨堡超算中心的两台基于WSE-1的系统，可是从中获利近500万美元。
基于WSE-2的AI计算平台
但更强大的芯片放在一个老旧的系统里并非一定能实现全部的性能，反而可能会凸显出原有系统的瓶颈，比如通信结构、芯片I/O、电源和散热等等。这就像是拿法拉利的引擎放在大众车里，也跑不出前者的速度一样。
CS-2散热系统 / Cerebras
基于WSE-2、Cerebras的系统以及软件平台，Cerebras也推出了新一代深度学习系统CS-2，来突破系统上的限制。这么强大的性能自然需要强大的供电，CS-2采用了9+3的冗余供电配置来驱动WSE-2。但这样的供电自然也面临着散热上的挑战，Cerebras在CS-2内部运用了一套水冷散热系统，用水冷来对WSE-2散热，再由风冷来降低水温。与此同时，CS-2的空间占用并不大，这个26英寸高的机器仅仅占用15U的机架空间，虽然大于英伟达的HGX A100系统，但考虑到性能的提升，这点空间占用还是可以接受的。
CS-2 系统/ Cerebras
据Cerebras透露，WSE-2和CS-2都将于今年第三季度推出，而CS-2的价格也将从CS-1的2到3百万美元涨到“几百万”美元的不具体数字。
小结
尽管Cerebras的WSE-2是一个性能怪兽，但它的应用面并没有A100那么广，更像是面向小众市场。就拿WSE-1的一些客户来说，多数在进行一些生物及医学研究，比如癌症治疗、药物发现等，且多用于超算中心与国家实验室，比如上面提到的匹茨堡超算中心和阿贡国家实验室。而英伟达的A100则可以用于各种AI和HPC应用，这也是Cerebras目前的解决方案没有突破的，但考虑到Cerebras的定位也不是为了做到全面覆盖，专注于一个市场反而是Cerebras能做到如此优秀的原因所在。
其实最值得去突破的仍是这种晶圆级集成的技术，固然芯片设计厂商希望从单一晶圆中获取更多的芯片，获取更高的利润，但这种纯粹追求性能的芯片反而适合如今不少Power-hungry的应用。话虽如此，实现这类芯片的良率同样是一大挑战，并不是每家公司都像Cerebras一样在WSE-2上实现100%的良率的。