Estoy tratando de comprender las diferencias entre los diferentes tipos de procesadores cuando se trata de entrenamiento/inferencia de IA.
Hasta donde tengo entendido: los grandes sistemas AI/NN básicamente necesitan una ENORME cantidad de multiplicaciones de matrices (multiplicaciones/acumulaciones).
- La CPU tiene un gran inconveniente debido al cuello de botella de Van Neumann (1 ALU accediendo a la memoria a la vez).
- La GPU resuelve parcialmente esto agregando un montón de núcleos CUDA/tensor adicionales a la ecuación, pero el cuello de botella de Van Neumann todavía está fundamentalmente presente.
- La TPU de Google resuelve este cuello de botella conectando ALU en una matriz. Por lo que puedo decir, todas las demás NPU funcionan con esta misma lógica.
Para mí está claro cómo una TPU puede lograr muchas más operaciones por ciclo de reloj debido a la matriz de procesadores.
-Ahora 2 startups: Mythic y Synthic han traído al mercado nuevos procesadores Analog Matrix que se supone que son aún más rápidos y eficientes.
Ahora, he oído que los sistemas analógicos pueden ser más eficientes energéticamente debido al hecho de que las señales físicas son inherentemente infinitamente precisas, pero ¿este efecto no se vería corrompido por el ruido? ¿Y no sería sólo más eficiente para cálculos de alta precisión?
Mi pregunta es la siguiente: ¿Cómo mejoran los procesadores de matriz analógica (por ejemplo, Mythic) a los TPU clásicos?
Respuesta1
Tengo entendido que estos procesadores seránprocesadores martixson muy bien aplicables para tales operaciones, implementanArquitectura del procesador SIMD. Por ejemplo, estos procesadores pueden resolver un sistema lineal de n ecuaciones con n incógnitas (que tienen una complejidad n**3) en solo n pasos.