米国を拠点とする新興企業であるCerebrasSystemsは、1.2兆個を超えるトランジスタを統合し、サイズが46,225平方ミリメートルの最大のチップを発売しました。新しいCerebrasWafer Scale Engine（WSE）チップは、AI用に最適化されており、815平方ミリメートルを測定し、211億個のトランジスタを含む最大のグラフィックス処理ユニットの56.7倍の大きさです。新しいCerebrasWafer Scale Engine（WSE）は、3,000倍の高速オンチップメモリを提供し、10,000倍のメモリ帯域幅を備えています。チップのサイズが大きいため、情報をより迅速に処理でき、調査までの時間、つまり「トレーニング時間」を短縮できるため、研究者はより多くのアイデアをテストし、より多くのデータを使用し、新しい問題を解決できます。
Cerebras WSEはAI向けに設計されており、レチクル間の接続、歩留まり、電力供給、パッケージングなど、チップサイズが制限されている数十年前の技術的課題を解決することで最先端の技術革新を実現します。 WSEは計算と通信を高速化できるため、トレーニング時間が短縮されます。 WSEには、最大のグラフィックスプロセッシングユニットの56.7倍のシリコン領域があります。また、WSEは、より多くの計算を実行するためにより多くのコアを提供し、コアにより近いメモリを備えているため、コアは効率的に動作できます。膨大な数のコアとメモリが単一のチップに組み込まれているため、すべての通信はシリコン自体で維持されます。
Cerebras WSEチップには、46,225mm2のシリコンが含まれ、400,000のAI最適化、キャッシュなし、オーバーヘッドなしのコンピューティングコア、および18ギガバイトのローカル分散超高速SRAMメモリが搭載されています。このチップには、毎秒9ペタビットのメモリ帯域幅が付属しており、コアは、毎秒100ペタビットの総帯域幅を提供するきめ細かいオールハードウェアのオンチップメッシュ接続通信ネットワークとリンクされています。これは、WSEの低遅延通信帯域幅が非常に大きいため、コアのグループが最大の効率でコラボレーションできることを意味し、メモリ帯域幅はもはやボトルネックではありません。より多くのローカルメモリ、より多くのコア、および低遅延の高帯域幅ファブリックを組み合わせることで、AI作業を加速するための最適なアーキテクチャが形成されます。
Cerebras WSEチップの機能：
- コアの増加： WSEは、SLAC（Sparse Linear Algebra Cores）と呼ばれる400,000のAI最適化コンピューティングコアを統合します。これらは、プログラム可能で柔軟性があり、すべてのニューラルネットワーク計算を支えるスパース線形代数用に最適化されています。 SLACのプログラマビリティ機能により、コアは絶えず変化する機械学習分野ですべてのニューラルネットワークアルゴリズムを簡単に実行できます。 WSEコアには、ディープラーニングのようなスパースワークロード（ゼロを含むワークロード）での計算パフォーマンスを加速する、Cerebrasが発明したスパース性ハーベスティングテクノロジーが組み込まれています。
- 拡張メモリ： Cerebras WSEは、より多くのローカルメモリとより多くのコアを統合します。これは、より少ないレイテンシでより少ないエネルギーで柔軟で高速な計算を可能にするどのチップよりも優れています。WSEには、1クロックサイクルでコアからアクセスできる18 GB（ギガバイト）のオンチップメモリが付属しています。このコアローカルメモリのコレクションにより、WSEは毎秒9ペタバイトのメモリ帯域幅を提供します。これは10,000倍のメモリ帯域幅と3,000倍のメモリ帯域幅です。