Ich versuche, die Unterschiede zwischen den verschiedenen Prozessortypen im Hinblick auf KI-Training/-Inferenz zu verstehen.
Soviel ich weiß: Große KI/NN-Systeme erfordern grundsätzlich eine RIESIGE Menge an Matrixmultiplikationen (Multiplikationen/Akkumulierungen).
- Die CPU hat aufgrund des Van-Neumann-Engpasses (1 ALU greift gleichzeitig auf den Speicher zu) einen großen Nachteil.
- GPU löst dieses Problem teilweise, indem es eine Reihe zusätzlicher CUDA/Tensor-Kerne in die Gleichung einbringt, aber der Van-Neumann-Engpass ist grundsätzlich immer noch vorhanden
- Googles TPU löst diesen Engpass, indem sie ALUs in einer Matrix verbindet. Soweit ich weiß, funktionieren alle anderen NPUs nach derselben Logik.
Mir ist klar, wie eine TPU aufgrund der Prozessormatrix deutlich mehr Operationen pro Taktzyklus erreichen kann.
-Mittlerweile haben 2 Startups: Mythic und Synthic neue Analog Matrix Prozessoren auf den Markt gebracht, die noch schneller/effizienter sein sollen.
Ich habe gehört, dass analoge Systeme energieeffizienter sein können, weil physikalische Signale von Natur aus unendlich präzise sind. Aber würde dieser Effekt nicht durch Rauschen beeinträchtigt? Und wäre es nicht nur bei hochgenauen Berechnungen effizienter?
Meine Frage ist daher: Inwiefern sind die analogen Matrixprozessoren (z. B. von Mythic) eine Verbesserung gegenüber klassischen TPUs?
Antwort1
Meines Wissens sind diese ProzessorenMartix-Prozessorensind für solche Einsätze sehr gut geeignet, sie implementierenSIMD-Prozessorarchitektur. Beispielsweise können solche Prozessoren ein lineares System mit n Gleichungen und n Unbekannten (mit der Komplexität n**3) in nur n Schritten lösen.