Itaú, Amazon Web Services를 사용하여 ML 솔루션의 출시 속도 및 생산성 개선

Itaú는 브라질, 라틴 아메리카 및 전 세계 18개국의 고객에게 뱅킹 서비스를 제공합니다. 9만 5,700명 이상의 직원이 근무하고 있으며, 그 중 약 1만 5,000명이 IT 분야에서 일하고 있습니다. Itaú의 원래 인프라는 전적으로 온프레미스에 구축되었기 때문에 비용이 많이 들고 개발 시간이 오래 걸렸습니다. 또한 온프레미스 인프라는 물리적 공간과 하드웨어의 제약으로 인해 확장이 불가능했습니다. 이 은행의 데이터 그룹에서 일하는 데이터 과학자는 메모리와 리소스를 사용할 수 있게 될 때까지 최대 6개월을 기다려야 했고, 회사에는 100개가 넘는 ML 모델이 포함된 배포 대기 리스트가 있었습니다.

이러한 문제를 극복하기 위해 Itaú는 비즈니스의 일부를 클라우드로 마이그레이션하기로 결정하고, AWS를 사용하기로 했습니다. Itaú의 ML Engineering Manager인 Diego Nogare는 “온프레미스에서 클라우드로 마이그레이션하기로 선택한 이유 중 하나는 비즈니스 경쟁력과 효율성을 동시에 높이기 위한 전략이었습니다.”라고 말합니다.

Itaú는 마이그레이션을 시작한 지 약 6개월 후, 완전관리형 인프라, 도구 및 워크플로를 사용하여 모든 사용 사례에 맞는 ML 모델을 구축, 훈련 및 배포할 수 있는 서비스인 Amazon SageMaker를 유연한 클라우드 네이티브 ML 솔루션으로 선택했습니다. Itaú의 Data Science Superintendent인 Vitor Azeka는 “AWS를 사용하여 소프트웨어와 데이터를 혁신하고 있었던 만큼 AWS에서 완벽하게 작동하는 솔루션이 필요했습니다. Amazon SageMaker는 당연한 선택이었습니다. 2024년 현재 회사 소프트웨어와 데이터의 약 60%가 이미 클라우드에서 실행되도록 현대화되었습니다.”라고 말합니다.

Itaú는 AWS를 사용하여 데이터 과학자를 위한 완벽한 솔루션을 구축했습니다. 먼저 분석, ML 및 애플리케이션 개발을 위해 여러 소스에서 데이터를 쉽게 탐색, 준비, 이동 및 통합할 수 있도록 하는 확장 가능한 서버리스 데이터 통합 서비스인 AWS Glue를 사용하여 데이터를 수집합니다. 그런 다음 이 데이터를 사용하여 Amazon SageMaker Studio에서 실험을 시작합니다. Itaú는 내부 데이터 과학자가 실험할 수 있는 유연한 개발 솔루션으로 Amazon SageMaker Studio를 사용합니다. 다음으로, 엔드포인트, 배치 변환, 비동기 추론과 같은 다른 Amazon SageMaker 도구를 사용하여 ML 모델을 배포합니다. 이 회사는 실시간에 가까운 로그, 지표 및 이벤트 데이터를 자동화된 대시보드에 수집하고 이를 시각화하여 인프라 및 애플리케이션 유지 관리를 간소화하는 Amazon CloudWatch를 사용하여 모델을 모니터링합니다. 데이터 과학자는 이러한 모든 AWS 서비스를 함께 사용하여 요구 사항을 충족할 수 있습니다.

Itaú는 2021년 8월에 Amazon SageMaker Studio를 통합 개발 환경으로 사용하여 첫 번째 솔루션을 출시했으며, 2023년 4월 현재 약 350명의 데이터 과학자를 비롯하여 3,200명 이상의 AWS 서비스 고유 사용자를 보유하고 있습니다.

Itaú에는 더 이상 ML 모델 배포를 위한 대기 리스트가 없습니다. 이 회사는 Amazon SageMaker Studio를 사용하여 배포 시간을 경우에 따라 최대 6개월에서 3~5일로 단축했습니다. 이렇게 배포 시간이 단축된 덕분에 회사의 시장 출시 속도가 빨라졌습니다. Nogare는 “Amazon SageMaker Studio를 사용하면 파이프라인을 실행하고 고객에게 솔루션을 매우 빠르게 제공할 수 있습니다. 결과적으로 고객 경험이 개선됩니다.”라고 말합니다. 또한 Itaú는 기존 온프레미스 인프라와 비교하여 비용도 절감할 수 있게 되었습니다.

2021년 11월부터 Itaú는 AWS 팀과 매주 미팅을 열어 아키텍처, 보안 및 로드맵에 대해 논의했습니다. Nogare는 “지금과 같은 성과를 달성하는 데에는 AWS 지원이 매우 중요했습니다. 솔루션이나 거버넌스 요구 사항에 문제가 있을 때마다 AWS 팀이 이를 해결해 주었습니다.”라고 말합니다. 일부 거버넌스 요구 사항은 Amazon SageMaker Studio를 사용하여 충족됩니다. 회사에서 파이프라인을 실행하여 Amazon SageMaker Studio를 사용자에게 제공할 때 거버넌스 및 보안 문제는 이미 해결된 상태입니다.

솔루션의 표준화를 통해 Itaú는 보다 쉽게 신입 사원을 채용하고 데이터 과학자를 한 부서에서 다른 부서로 보직 이동할 수 있습니다. 모든 것이 가상으로 이루어지기 때문에 업데이트가 더 쉬워졌고 회사는 더 이상 물리적 시스템에 의존할 필요가 없게 되었습니다. AWS를 사용하면 데이터 과학자를 위한 파이프라인이 통합되므로, ML 모델을 동일한 데이터 파이프라인에 배포하고 모니터링할 수 있습니다. 이를 통해 데이터 과학자의 효율성이 더욱 향상됩니다.

Itaú의 Distinguished Data Scientist인 Rodrigo Fernandes Mello는 “무엇보다 더 빠르게 제공할 수 있게 되었습니다. 표준화와 통합을 개선했으며 AWS를 사용하여 지속적으로 개선할 수 있게 되었습니다”라고 말합니다.