AI のトレーニング/推論に関しては、さまざまな種類のプロセッサの違いを理解しようとしています。
私の理解する限りでは、大規模な AI/NN システムでは、基本的に膨大な量の行列乗算 (乗算/累積) を実行する必要があります。
- CPU には、ファン ノイマン ボトルネック (一度に 1 つの ALU がメモリにアクセスする) のために大きな欠点があります。
- GPUは、CUDA/テンソルコアを大量に追加することでこれを部分的に解決しますが、ヴァン・ノイマン・ボトルネックは根本的にまだ存在しています。
- Google の TPU は、ALU をマトリックスで接続することでこのボトルネックを解決します。私の知る限り、他のすべての NPU もこれと同じロジックで機能します。
プロセッサのマトリックスにより、TPU がクロック サイクルごとにはるかに多くの操作を実行できることは明らかです。
-現在、2 つのスタートアップ企業、Mythic と Synthic が、さらに高速で効率的であるとされる新しいアナログ マトリックス プロセッサを市場に投入しています。
さて、アナログ システムは物理信号が本質的に無限に正確であるため、エネルギー効率が高いと聞いたことがありますが、この効果はノイズによって損なわれるのではないでしょうか。また、高精度の計算に対してのみ効率的ではないでしょうか。
私の質問は、アナログ マトリックス プロセッサ (Mythic など) が従来の TPU をどのように改善するのかということです。
答え1
私の理解では、これらのプロセッサはマトリックスプロセッサこのような操作に非常によく適用可能であり、実装されていますSIMDプロセッサアーキテクチャたとえば、このようなプロセッサは、n 個の未知数を持つ n 個の線形方程式 (複雑度は n**3) を n ステップだけで解くことができます。