International Centre for Radio Astronomy Research(ICRAR) 사례 연구

International Centre for Radio Astronomy Research(ICRAR)는 2009년에 커틴대학과 University of Western Australia의 합작 투자로 설립되었습니다. 서호주 퍼스에 소재한 ICRAR의 110명의 직원은 현재 Square Kilometre Array(SKA)라는 전 세계에서 가장 큰 전파 망원경을 개발하려는 국제적 노력을 지원하고 있습니다. 50년이 넘는 수명 동안 SKA는 우리의 우주에 대한 이해의 폭을 넓혀줄 것입니다.

가동이 시작되면 SKA는 현재 전 세계에서 일 년 동안 생산하는 양에 버금가는 하늘 데이터를 매일 수집하고 처리할 것으로 예상됩니다. SKA는 이러한 데이터를 사용하여 과학자가 우주를 연구하는 데 사용할 수 있는 하늘 지도를 만들 것입니다. 단일 SKA 이미지가 최대 600TB가 될 수 있고 각 하늘 지도에는 수천 개의 이미지가 필요할 것입니다.

"우리는 측정할 수 없는 컴퓨팅 문제를 해결해야 합니다."라고 ICRAR의 연구 부교수인 Kevin Vinsen은 말합니다. "10년 안에 완전 가동 상태가 되면 과학 사례에 따라 SKA는 매일 500TB에서 1PB의 이미지를 수집할 수도 있습니다. 순전히 이를 위해 필요한 컴퓨팅 파워는 상상이 안 될 정도입니다."

일련의 예비 실험을 위한 컴퓨팅 리소스를 모으기 위해 ICRAR은 theSkyNet이라는 커뮤니티 컴퓨팅 이니셔티브를 구성했습니다. ICRAR은 이 이니셔티브를 통해 일반 대중이 자원하여 제공한 예비 CPU 주기를 사용하여 슈퍼컴퓨터를 시뮬레이션할 수 있습니다. 그런 다음 Vinsen과 동료들은 theSkyNet가 생성한 컴퓨팅 파워를 사용하여 theSkyNet 프로젝트의 하나인 하와이에 있는 Pan-STARRS1 망원경의 은하계 이미지를 분석합니다.

크라우드 소싱된 컴퓨팅 프로젝트는 물리적 서버 용량을 수신 데이터 로드와 맞추는 문제에 부딪힐 때가 많습니다. ICRAR은 theSkyNet을 사용하여 Visen과 그의 팀이 결과를 신속하게 확보할 수 있는 비용 효율적이고 유연한 방법으로 실험을 수행해야 했습니다.

Amazon Web Services(AWS)의 확장 가능한 온디맨드 특성은 SKA를 설계하는 데 필요한 실험에 이상적입니다. AWS는 ICRAR이 거대한 이미지 데이터를 분석하는 데 필요한 리소스를 제공할 수 있습니다. Vinsen은 2012년 AWS 교육 분야 지원금을 획득하여 theSkyNet을 시작했으며 지난 몇 년간 이 프로젝트는 40테라플롭스로 성장했습니다. 1테라플롭스는 초당 1조의 부동 소수점 작업에 해당합니다.

"우리는 클라우드 기반 솔루션과 슈퍼컴퓨팅 시설을 상호 보완적으로 보고, 둘 다 차세대 천문대에서 생성하는 거대한 규모의 데이터를 처리, 저장 및 전파하는 데 역할을 할 것으로 예상합니다."라고 Vinsen 부교수는 말합니다. "우리는 유연성을 갖추길 원하며, 전용 슈퍼컴퓨터 대신 우리 실험에 손쉽게 AWS를 사용할 수 있습니다."

ICRAR은 Amazon Route 53를 사용하여 모든 외부 사용자를 theSkyNet 웹 사이트로 라우팅합니다. 그런 다음 과학자들은 미디엄 Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스 1개와 온디맨드 Amazon Machine Image(Amazon AMI)를 사용하여 theSkyNet의 크라우드 소싱된 CPU 주기를 처리하고 다른 스몰 Amazon EC2 인스턴스를 네트워크 파일 서버로 사용합니다.

ICRAR은 2개의 60GB Amazon Elastic Block Store(Amazon EBS) 볼륨을 탑재하여 이미지 데이터를 저장하고 Amazon Glacier를 사용하여 데이터를 아카이브합니다. 또한, ICRAR 팀은 Amazon Simple Storage Service(Amazon S3)를 키 스토어로 사용하여 자원봉사자에게 자신이 제공한 PC의 처리 성능으로 분석하고 있는 은하계를 보여줍니다.

ICRAR에서는 불과 4일 만에 AWS에 theSkyNet 프로젝트를 구성했습니다. 이제 이 팀에서는 일반 대중이 이니셔티브를 지원하기 위해 더 많은 CPU 주기를 자원해서 제공함에 따라 클라우드 인프라를 신속하고 효율적으로 확장할 수 있습니다.

"AWS의 확장성은 정말 큰 도움이 되었습니다."라고 Vinsen 부교수는 말합니다. "내가 필요할 때 간단하게 용량을 추가할 수 있습니다. AWS를 사용함으로써 매달 150GB 이상의 하늘 이미지를 처리하고 400GB가 넘는 이미징 데이터를 저장할 수 있게 되었습니다."

ICRAR은 Amazon S3를 키 값 스토어로 사용함으로써 전 세계 수많은 대중 CPU의 입력을 원활하게 인덱싱하고 관리할 수 있습니다. Amazon ELB는 ICRAR이 theSkyNet 커뮤니티에서 송수신되는 데이터 흐름을 관리하도록 지원합니다.

커뮤니티에서 이미지 데이터를 처리함에 따라 ICRAR은 Amazon EBS를 사용하여 매달 최대 400GB의 이미지 데이터를 저장합니다. Amazon EC2는 ICRAR이 400에서 500개의 은하계 데이터를 동시에 분석할 수 있는 컴퓨팅 파워를 제공합니다.

이 프로젝트는 놀라운 인기를 얻었고 AWS로 마이그레이션한 직후 러시아, 미국 및 호주에 있는 온라인 커뮤니티에서 ICRAR의 theSkyNet 서버를 오버로드했습니다. 하지만 Vinsen 부교수가 용량을 추가하는 데는 2시간밖에 걸리지 않았습니다. "다른 커뮤니티 컴퓨팅 프로젝트는 오버로드로부터 복구하는 데 며칠이 걸렸습니다. 새로운 서버를 가동하기 위해 더 많은 인프라 리소스를 찾아야 했기 때문입니다."라고 그는 말합니다. "AWS에서는 더 큰 인스턴스를 프로비저닝하면 됩니다."

ICRAR은 AWS를 사용하여 theSkyNet 내 향후 실험의 컴퓨팅 요구 사항을 지속적으로 충족할 계획입니다.