Nvidia Vera: 1,2 TB/s de memoria con latencia estable, pero el enlace entre sockets se queda atrás

Chips and Cheese analiza la arquitectura de sistema de Vera, el chip de servidor de Nvidia. La conclusión es que combina un rendimiento por núcleo muy alto con un ancho de banda de memoria excepcional. Sus puntos débiles son la latencia entre núcleos y entre sockets. El artículo completo es extenso. Este resumen recoge solo lo que aparece en el texto.

Vera usa núcleos Olympus, con estructuras fuera de orden muy grandes. Su objetivo es un alto rendimiento por núcleo dentro de un chip con muchos núcleos. El texto señala que el diseño del núcleo es solo una parte de la ecuación. El acceso a memoria fuera del núcleo y la interconexión también pesan mucho en el rendimiento. Esa tarea corresponde a la segunda generación del Scalable Coherency Fabric (SCF) de Nvidia. Es una red que conecta núcleos, caché y E/S fuera del chip. El autor cree que, como en Grace, usa una topología de malla.

El SCF se compone de varios tipos de nodos:

• Los Coherency Switch Nodes (CSN) alojan núcleos y caché. Cada CSN aloja un par de núcleos, lo que mantiene bajo el número de nodos. Ampere Altra Max usa una táctica parecida. • Los Memory Switch Nodes (MSN) conectan el SCF con los controladores de memoria LPDDR5X. Vera tiene una interfaz LPDDR5X-9600 de 1024 bits, de modo que los MSN pueden mover hasta 1,228 TB/s. • Los Bridge Switch Nodes (BSN) alojan los controladores PCIe y el enlace entre sockets. Vera tiene 88 carriles PCIe, con 665,5 GB/s en conjunto hacia los periféricos. • NVLink C2C es el enlace entre sockets y ofrece 1,8 TB/s teóricos.

Memoria: Grace usó LPDDR5X, pero su rendimiento DRAM era mediocre frente a sus rivales. Su latencia superaba los 200 ns y su ancho de banda quedaba algo por debajo de los chips con DDR5 de su época. Según el autor, Vera lo corrige. Su interfaz de 1024 bits le da más ancho de banda que sus competidores. Su latencia es ahora comparable a la de plataformas con DDR5. Vera también adopta módulos SOCAMM2, así que la memoria se puede reparar en campo y, potencialmente, ampliar. Grace tenía la memoria soldada, y un fallo en un chip de memoria podía ser un problema.

Vera mantiene la latencia bajo control cuando sube la carga de ancho de banda. Un hilo de pointer chasing no ve más de 200 ns, aunque otros hilos lleven la memoria al límite. Otras plataformas de servidor muestran un patrón de «palo de hockey», con la latencia disparada cerca del límite de los controladores. El autor concluye que esto debería permitir a Vera controlar mejor el efecto del «vecino ruidoso». También debería escalar mejor en cargas limitadas por DRAM, aunque tenga menos núcleos.

Caché L3: Vera tiene una L3 de 164 MB compartida por todos los núcleos. Es no inclusiva respecto a las L2 privadas, de 2 MB cada una. Eso da hasta 340 MB de capacidad efectiva de último nivel si no hay datos duplicados entre las L2. El ancho de banda de lectura de L3 es de unos 3,35 TB/s en total, o 33,1 GB/s por núcleo. Un único núcleo sin competencia alcanza 88,5 GB/s. El autor considera que la cifra por núcleo es razonable y probablemente suficiente, porque las L2 reducen la demanda sobre la L3.

El texto lo contrasta con el enfoque de AMD, que prioriza la capacidad de caché y un ancho de banda L3 muy alto. Genoa-X da 90 GB/s a un solo núcleo y solo baja a 85 GB/s con todos los núcleos del die cargados. Divide el chip en clústeres de ocho núcleos y suma 1248 MB entre L2 y L3. Eso puede ayudar con datos privados de cada hilo o con muchos trabajos en paralelo. En cargas que comparten muchos datos, la duplicación entre instancias de L3 puede desperdiciar capacidad. Además, un hilo en Genoa-X solo puede asignar en su instancia de 96 MB, mientras que en Vera un hilo podría usar teóricamente los 164 MB.

Enlace entre sockets: NVLink C2C permite configuraciones de doble socket con dos nodos NUMA. Un acceso a memoria entre nodos tiene 309,27 ns de latencia, 177,41 ns más que uno local. Esa cifra solo se alcanza generando unas decenas de GB/s en el enlace. Una prueba aislada mide más de 370 ns. El autor sugiere que el enlace pasa a un estado de mayor rendimiento solo cuando hay suficiente demanda. El ancho de banda es muy alto para un enlace entre sockets: algo más de 587 GB/s en lecturas y 780 GB/s con patrones de lectura-modificación-escritura. El autor dice que es más que cualquier otra configuración de doble socket que conozca. También supera el ancho de banda de memoria local de la mayoría de servidores.

La latencia, en cambio, es peor. Genoa-X tiene 222,7 ns en accesos entre sockets. En Vera la latencia se dispara con demanda alta y llega a 780 ns con el patrón de lectura-modificación-escritura a 780 GB/s.

Latencia núcleo a núcleo: dentro de un socket, la media es de 148,5 ns, con un rango de 87,5 a 199,3 ns según el par de núcleos y el propietario de la línea de caché. Los hermanos SMT tienen menos de 10 ns. Entre sockets la latencia ronda los 660 ns, algo que el autor califica de «desafortunadamente alto». Recuerda cifras similares de Anandtech en un sistema Ampere Altra de doble socket. Genoa-X logra unos 209 ns, y Graviton 4 es aún mejor entre sockets. La latencia intra-socket de Vera es consistente, como indica la whitepaper de Nvidia. También es consistentemente alta, peor que la de Grace y, de media, peor que la de Graviton 4 y Genoa-X.

Rendimiento en SPEC CPU2026: con una copia por hilo de hardware, Vera supera a Graviton 5 nodo a nodo. También supera a una pieza Zen 5 con menos núcleos, configurada con un único nodo NUMA que abarcaba ambos sockets. A nivel de socket, Graviton 5 gana a Vera. El autor advierte que la comparación no es del todo justa, porque Graviton 5 no puede exponer el socket entero como un único nodo NUMA. Muestra un compromiso entre número de núcleos y potencia por núcleo. SMT reduce la diferencia, pero cuesta competir con un diseño con más del doble de núcleos.

Vera conserva ventaja en cargas con mucha demanda de ancho de banda. En 749.fotonik3d, que el autor supone limitada por ancho de banda DRAM en ambos chips, Vera logra casi un 20 % más que Graviton 5 pese a tener muchos menos núcleos. La ventaja se extiende a otras pruebas de coma flotante de SPEC CPU2026. Graviton 5 domina claramente en cargas que aprovechan bien la caché. El autor no recogió datos de rendimiento de los contadores en las ejecuciones de Vera y Graviton 5. Solo midió con uProf en un Ryzen 7 9800X3D.

Conclusión del autor: Vera es un contendiente muy fuerte. Ofrece un rendimiento por núcleo excepcional respaldado por un ancho de banda enorme, y es mucho más convincente que Grace, que sufría L2 de 1 MB y una latencia muy alta en los fallos de L2. Frente a otros chips Arm, AMD e Intel, cambia número de núcleos por rendimiento por núcleo. Será difícil de batir cuando las tareas individuales deban terminar rápido y las cargas no llenen todos los núcleos. Para el ecosistema Arm en servidores, aporta diversidad. Los primeros chips Arm competían solo en densidad. Vera empuja el límite hacia el rendimiento por núcleo y por hilo.

Los comentarios del artículo plantean dos cuestiones. Una es si SMT mejora realmente el rendimiento en Vera, dado su ancho de banda. La otra es que el ancho total de memoria sería de 1024 bits en Vera (64 canales de 16 bits) y de 512 bits en Grace. El artículo no responde a ninguna de las dos.