Amazon SageMaker Inference ora supporta l'aggiornamento progressivo per gli endpoint dei componenti di inferenza
Amazon SageMaker Inference ora supporta gli aggiornamenti progressivi per gli endpoint dei componenti di inferenza (IC). Ora i clienti possono aggiornare gli endpoint attivi senza interruzioni di traffico, riducendo al minimo il numero di istanze aggiuntive rispetto al passato, quando invece tale numero andava raddoppiato. SageMaker Inference semplifica l'implementazione dei modelli di ML, inclusi i modelli di fondazione (FM). Grazie alle funzionalità di SageMaker Inference, gli IC consentono ai clienti di implementare più FM su un unico endpoint e controllare l'assegnazione degli acceleratori per ogni modello.
Gli aggiornamenti progressivi ora permettono di aggiornare gli IC di un endpoint a piccoli gruppi, evitando di doverli aggiornare tutti in un'unica operazione, come accadeva con il metodo di aggiornamento blu/verde. In passato per implementare un aggiornamento blu/verde era necessario creare un nuovo parco di IC con il modello aggiornato e poi reindirizzare il traffico dal vecchio parco a quello nuovo, raddoppiando così il numero di istanze necessarie. Ora, grazie agli aggiornamenti progressivi, i nuovi IC vengono creati in piccoli gruppi, riducendo significativamente il numero di istanze aggiuntive richieste durante l'aggiornamento. Questo approccio aiuta i clienti a ridurre i costi derivanti dalla capacità extra e a mantenere requisiti di buffer più contenuti nelle prenotazioni delle capacità.
Questa funzionalità è disponibile in tutte le regioni in cui sono supportati gli IC: Asia Pacifico (Tokyo, Seoul, Mumbai, Singapore, Sydney, Giacarta), Canada (Centrale), Europa (Francoforte, Stoccolma, Irlanda, Londra), Medio Oriente (Emirati Arabi Uniti), Sud America (San Paolo), Stati Uniti orientali (Virginia settentrionale, Ohio) e Stati Uniti occidentali (California settentrionale, Oregon). Per ulteriori informazioni, consulta la documentazione.