NVIDIA reporta un alza de 42,5% en la inferencia de Ling-3.0-flash en DGX Spark
NVIDIA reportó que tres optimizaciones elevaron 42,5% el rendimiento de decodificación de Ling-3.0-flash en un DGX Spark, con una precisión prácticamente estable en GSM8K. El resultado muestra cómo una combinación de núcleos MoE, cuantización de la cabeza de lenguaje y predicción especulativa puede acelerar un modelo grande en un sistema de escritorio, aunque la mejora fue menor en la prueba de preguntas matemáticas que en los ensayos sintéticos. ***