Together AI presenta un compilador que reporta hasta 2,6 veces más TPS en una prueba de inferencia
La cifra corresponde a AgentX. El aumento de hasta 3,7 veces citado por separado describe otro resultado, no una mejora uniforme. MiniMax M3.1 Flash: 1.111 frente a 633 TPS en B200. GLM 5.3 en AMD… pic.twitter.com/1r7oBlqhpz El anuncio plantea una diferencia respecto a la optimización convencional, que suele ajustar un motor para una carga de trabajo específica y conservar esa configuración. Según Together AI, los prompts y las solicitudes cambian con el tiempo, así que una mejora obtenida para un patrón de uso puede dejar de ser adecuada cuando crecen las entradas o cambia la distribución de las peticiones.