Amazon SageMaker Inference prend désormais en charge la mise à jour continue pour les points de terminaison des composants d'inférence
Amazon SageMaker Inference prend désormais en charge les mises à jour continues pour les points de terminaison des composants d'inférence (IC). Cela permet aux clients de mettre à jour les points de terminaison des IC en cours d'exécution sans interruption du trafic tout en utilisant un minimum d'instances supplémentaires, au lieu de devoir doubler le nombre d'instances comme par le passé. SageMaker Inference facilite le déploiement de modèles de machine learning, y compris les modèles de fondation (FM). En tant que fonctionnalité de SageMaker Inference, les IC permettent aux clients de déployer plusieurs FM sur le même point de terminaison et de contrôler l'allocation des accélérateurs pour chaque modèle.
Désormais, les mises à jour continues permettent aux clients de mettre à jour les IC d'un point de terminaison, lot par lot, au lieu de les mettre à jour en une seule fois, comme c'était le cas avec la méthode de mise à jour bleu/vert précédente. Les mises à jour bleu/vert ont nécessité le provisionnement d'une nouvelle flotte d’IC avec le modèle mis à jour avant de transférer le trafic de l'ancienne flotte vers la nouvelle, doublant ainsi le nombre d'instances requises. Grâce aux mises à jour continues, les nouveaux IC intégrés sont créés par lots plus petits, ce qui réduit considérablement le nombre d'instances supplémentaires nécessaires lors des mises à jour. Cela permet aux clients de minimiser les coûts liés à l'augmentation de la capacité et de réduire les besoins en mémoire tampon dans leurs réserves de capacité.
La mise à jour continue pour les IC est disponible dans toutes les régions où les IC sont pris en charge : Asie-Pacifique (Tokyo, Séoul, Mumbai, Singapour, Sydney, Jakarta), Canada (Centre), Europe (Francfort, Stockholm, Irlande, Londres), Moyen-Orient (Émirats arabes unis), Amérique du Sud (São Paulo), USA Est (Virginie du Nord, Ohio) et USA Ouest (Californie du Nord, Oregon). Pour en savoir plus, consultez la documentation.