BBC, Amazon S3를 통해 100년의 역사 보존

BBC Archives Technology and Services는 역사 영화부터 현대 디지털 미디어에 이르기까지 방송사를 아우르는 1,600만 개의 자산을 보유한 100년 역사의 BBC 아카이브를 관리하고 있습니다. 이 팀은 세 가지 목표, 즉 모든 아카이브의 전송 콘텐츠를 통합하고, 디지털화를 통해 아카이브의 접근성을 높이고, 최신 솔루션을 통해 미디어를 보존하는 데 주력하고 있습니다. BBC Archives Technology and Services의 제품 및 서비스 책임자인 Brendan Mallon은 “기계 학습을 쉽게 사용할 수 있도록 지원하는 유연한 스토리지 및 컴퓨팅과 같은 도구를 사용해 미래 지향적인 전략을 세우고 싶습니다. 저희의 목표는 아카이브에 저장된 콘텐츠를 보호하여 앞으로 100년 동안 액세스할 수 있도록 하는 것입니다”라고 말합니다.

이 방송사의 데이터는 뉴스, 스포츠, 라디오, 프로그램 등의 장르별 개별 리포지토리로 분할되어 있습니다. 이 회사는 공급망과 워크플로를 표준화하여 지속 가능한 중앙 집중식 아카이빙 계획을 개발하고자 했습니다. 온프레미스 인프라를 잘 사용하고 있었지만, 2017년에 시스템의 복잡성을 줄여야 할 필요성이 대두되었습니다. 기존의 다양한 데이터세트를 사용하는 경우 콘텐츠 집계가 불필요하게 번거로웠습니다. 그래서 팀은 다양한 스토리지 애플리케이션 계층을 통합하고 지속 가능성을 높이겠다는 5개년 프로젝트에 착수했습니다.

BBC는 다년간 AWS를 기반으로 미디어 자산 처리 시스템을 운영해 온 만큼, 장기 보존 전략에 기여할 수 있는 AWS 솔루션으로 마이그레이션하는 것이 실질적인 다음 단계였습니다. Mallon은 “일관되지 않은 데이터세트에서 가치를 이끌어내고, 미디어에 맞는 권위 있는 단일 카탈로그를 만들고, 시청자를 위한 가치를 창출하는 일관된 접근 방식을 원했습니다. AWS를 사용하면 모든 콘텐츠에 대한 스토리지를 표준화할 수 있습니다”라고 말합니다.

아카이브 데이터의 규모가 큰 만큼, 네트워크 마이그레이션이 자동화를 위한 가장 실용적인 옵션이었습니다. BBC는 콘텐츠 마이그레이션을 완료하기 위해 AWS Direct Connect로 구동되는 기존 인프라를 사용했습니다. AWS Direct Connect는 사용자가 실시간에 가까운 분석, 신속한 데이터 백업 또는 방송 미디어 처리를 위해 대규모로 원활하고 안정적으로 데이터를 전송할 AWS 전용 네트워크 연결을 생성하도록 지원하는 클라우드 서비스입니다. AWS 파트너인 Cloudfirst.io(Cloudfirst)와 함께 약 12개월에 걸쳐 계획을 수립하고 컨설팅을 받은 끝에 2022년 11월, 마이그레이션에 착수했습니다.

팀은 AWS Direct Connect를 사용하여 상당한 양의 콘텐츠를 AWS로 전송하였고, 작업량이 최고조에 달한 시점에는 하루에 120TB에 달하는 데이터를 마이그레이션했습니다. 팀은 10개월 만에 25PB의 데이터를 클라우드로 이전했습니다. 이를 통해 기존 테이프 기반 미디어 리포지토리 중 하나를 폐기하고 미디어 자산 관리 시스템과 퍼블릭 클라우드 스토리지 간의 차세대 추상화 기능을 개발할 수 있습니다. BBC Archives Technology and Services의 Senior Technical Architect인 Mark Glanville은 “아카이브의 물리적 인프라 절반을 폐기할 수 있었습니다. 이를 통해 런던 중심부의 값비싼 부동산에 묶여 있던 막대한 기술 공간과 전력을 자유롭게 활용할 수 있게 되었습니다”라고 말합니다.

BBC는 대부분의 데이터를 Amazon S3 Glacier Instant Retrieval로 마이그레이션했습니다. 이 솔루션은 BBC의 아카이브에 저장된 다양한 데이터를 위한 이상적인 형태의 유연한 스토리지를 제공했습니다. 이 팀은 약 3PB의 미디어를 포함하는 미디어 자산 처리 시스템에 AWS를 사용하면서 Amazon S3 솔루션을 사용한 경험이 있었습니다. Glanville은 “AWS 팀과 협력하여 대량의 콘텐츠에 적합한 스토리지 클래스를 선택했습니다. Amazon S3 Glacier Instant Retrieval을 사용하면 비용 유연성을 유지하면서 아카이브에서 신속하게 검색할 수 있다는 이점이 있습니다”라고 말합니다.

팀은 성능에 영향을 미치거나 운영 오버헤드를 발생시키지 않으면서 스토리지 비용을 자동으로 절감해 주는 클라우드 스토리지 클래스인 Amazon S3 Intelligent-Tiering과 Amazon S3 Glacier Instant Retrieval의 조합을 사용합니다. BBC는 성능 저하 없이 예상 액세스 수준에 따라 이 두 스토리지 클래스 중 하나를 선택할 수 있습니다.

BBC의 Executive Product Manager인 Tom Cartwright는 “Amazon S3 Glacier Instant Retrieval과 Amazon S3 Intelligent Tiering을 사용함으로써 이전에는 상대적으로 액세스가 많은 스토리지에 보관하던 콘텐츠를 아카이브와 유사한 요금 모델로 지원할 수 있게 되었습니다. 이는 프로젝트 초기에 데이터의 위치를 결정할 수 있다는 점에서 매우 유용합니다”라고 말합니다.