Amazon FSx for Lustre – 고성능 HDD 스토리지 서비스 출시 (서울 리전 포함)

게놈 분석, 기계 학습 모델 훈련, 고성능 컴퓨팅(HPC) 및 분석 애플리케이션과 같은 많은 워크로드는 동일한 데이터 집합에 액세스하는 여러 컴퓨팅 인스턴스에 의존합니다. 이러한 워크로드의 경우, 컴퓨팅 인스턴스의 클러스터는 일반적으로 고성능 공유 파일 시스템에 연결됩니다. Amazon FSx for Lustre는 세계에서 가장 널리 사용되는 고성능 공유 파일 시스템을 경제적인 비용으로 쉽게 시작 및 실행할 수 있게 합니다. 그리고 오늘, 당사는 SSD 스토리지의 지연 시간이 밀리초 미만인 처리량 집약적 워크로드에 대해 스토리지 비용을 최대 80% 절감해주는 FSx for Lustre를 위한 새로운 HDD 스토리지 옵션을 발표합니다.

고객들은 초당 최대 수십 기가바이트의 처리량을 달성하는 동시에 처리량이 주요 성능 특성인 워크로드에 대한 스토리지 비용을 절감할 수 있습니다. 비디오 렌더링과 재무 시뮬레이션은 이러한 처리량 집약적 워크로드의 두 가지 예입니다.

이번 발표에는 순차 파일 데이터의 읽기 및 쓰기에 최적화된 두 가지 새로운 HDD 기반 스토리지 옵션이 포함되어 있습니다. 하나는 스토리지의 TiB당 12MB/초의 기본 처리량을 제공하고 다른 하나는 스토리지의 TiB당 40MB/초의 기본 처리량을 제공하며, 모두 이러한 처리량 수준의 6배까지 버스트할 수 있습니다. HDD 파일 시스템 스토리지 용량의 20%로 크기가 자동 지정된 SSD 캐시를 프로비저닝하여 자주 액세스하는 파일의 성능을 높일 수도 있습니다. SSD 캐시로 프로비저닝된 파일 시스템에서, 캐시로부터 읽은 파일은 밀리초 미만의 지연 시간으로 제공됩니다.

새로운 FSx 파일 시스템은 여러 HDD 기반 스토리지 서버와 단일 SSD 기반 메타데이터 서버로 구성됩니다. 메타데이터 서버의 SSD 스토리지는 대부분의 파일 시스템 작업을 나타내는 모든 메타데이터 작업이 밀리초 미만의 지연 시간으로 전달되도록 합니다.

HDD 성능은 스토리지 용량에 따라 향상되므로 파일 시스템 병목 현상 없이 스토리지 솔루션을 쉽게 확장할 수 있습니다. 다음은 새로운 HDD 스토리지 옵션과 기존 SSD 스토리지 옵션의 성능 사양에 대한 요약입니다.

빠른 안내서

옛날부터 고성능 파일 시스템을 운영 및 확장하는 데는 많은 비용과 시간이 소요되었습니다. 이제 몇 번의 클릭만으로 모든 컴퓨팅 워크로드에 FSx for Lustre를 사용할 수 있습니다. HDD 기반 파일 시스템은 쉽게 시작할 수 있습니다. 관리 콘솔을 열고 [파일 시스템 만들기(Create file system)] 버튼을 클릭하기만 하면 됩니다.

FSx for Lustre를 선택하고 [다음(Next)]을 클릭합니다.

FSx for Lustre는 영구와 스크래치, 이렇게 두 가지 배포 유형을 제공합니다. HDD 스토리지는 장기 스토리지 및 워크로드를 위해 설계된 영구 모드에서 사용할 수 있습니다. 영구 파일 시스템에서는 장애가 발생할 경우 데이터가 복제되고 파일 서버가 교체되는 반면, 스크래치 유형은 임시 저장 및 단기 데이터 처리에 적합합니다. 스크래치 파일 시스템에서는 파일 서버에 장애가 발생해도 데이터가 복제되지 않으며 유지되지 않습니다. 이 블로그 문서에서 두 배포 옵션의 차이점에 대한 자세한 내용을 확인할 수 있습니다.

스토리지 유형으로 HDD를 선택한 후에는 스토리지의 단위당 처리량으로 TiB당 12 또는 40MB/s를 선택할 수 있습니다. 드라이브 캐시 유형으로 “읽기 전용 SSD 캐시”를 선택하면 SSD 캐시를 추가하여 파일 액세스를 가속화할 수도 있습니다.

또한 CLI를 통해 파일 시스템을 생성할 수 있습니다.

fsx create-file-system \
--storage-capacity <capacity> --storage-type HDD \
--file-system-type LUSTRE \
--subnet-ids subnet-<your vpc subnet id>85b2c0ce --lustre-configuration \
DeploymentType=PERSISTENT_1,PerUnitStorageThroughput=<12 or 40>\,DriveCacheType=<NONE or READ>

PerUnitStorageThroughput=12의 경우, 스토리지 용량의 허용 가능 값은 6000의 배수입니다.
PerUnitStorageThroughput=40의 경우, 스토리지 용량의 허용 가능 값은 1800의 배수입니다.

지금 이용 가능

새로운 HDD 스토리지 옵션은 Amazon FSx for Lustre를 사용할 수 있는 모든 AWS 리전에서 사용할 수 있습니다. 자세한 내용은 당사 웹 사이트를 참조하십시오.

–  Kame;