AWS divide las GPU en SageMaker y busca elevar la eficiencia de la inferencia de IA
AWS incorporó NVIDIA Multi-Instance GPU a los endpoints de inferencia en tiempo real de SageMaker. La opción permite dividir aceleradores para alojar modelos aislados, aunque los clientes siguen pagando la instancia completa y el ahorro depende del tráfico. *** NVIDIA MIG permite alojar varios modelos en particiones con cómputo y memoria dedicados.