Amazon Web Services 한국 블로그
Category: Amazon FSx for Lustre
Amazon FSx for Lustre의 GPU 인스턴스 처리량 최대 15배 증가
이제 Elastic Fabric Adapter(EFA)와 NVIDIA GPUDirect Storage(GDS)를 Amazon FSx for Lustre에서 지원하게 되었습니다. EFA는 높은 수준의 노드 간 통신이 필요한 애플리케이션을 대규모로 실행할 수 있게 하는 Amazon EC2 인스턴스용 네트워크 인터페이스입니다. GDS는 로컬 또는 원격 스토리지와 GPU 메모리 사이에 직접 데이터 경로를 생성하는 기술입니다. 이러한 개선 사항을 통해 EFA/GDS를 지원하는 Amazon FSx for Lustre는 이전 […]
Amazon FSx for Lustre용 File Release 신규 기능 출시
Amazon FSx for Lustre는 Linux 기반 워크로드를 지원하기 위해 오픈 소스 Lustre 파일 시스템의 확장성 및 고성능을 갖춘 완전관리형 공유 스토리지를 제공합니다. FSx for Lustre는 스토리지 속도와 처리량이 중요한 워크로드에 적합합니다. FSx for Lustre를 사용하면 스토리지 병목 현상을 방지하고, 컴퓨팅 리소스의 활용도를 높이고, 인공 지능(AI) 및 기계 학습(ML), 고성능 컴퓨팅(HPC), 재무 모델링, 미디어 처리를 비롯한 […]
Amazon FSx for Lustre와 Amazon S3 통합 기능 출시
Amazon FSx for Lustre의 두 가지 추가 기능을 발표합니다. 첫째, 삭제된 파일 및 객체를 포함하여 파일 시스템을 Amazon Simple Storage Service(Amazon S3)와 완전히 양방향으로 동기화할 수 있습니다. 둘째, 파일 시스템을 여러 S3 버킷 또는 접두사와 동기화하는 기능입니다. Lustre는 대부분의 대형 슈퍼컴퓨터의 워크로드를 지원하는 대규모 분산 병렬 파일 시스템입니다. 따라서 기상학, 생명 과학 및 엔지니어링 시뮬레이션과 […]
Amazon FSx for Lustre – 고성능 HDD 스토리지 서비스 출시 (서울 리전 포함)
게놈 분석, 기계 학습 모델 훈련, 고성능 컴퓨팅(HPC) 및 분석 애플리케이션과 같은 많은 워크로드는 동일한 데이터 집합에 액세스하는 여러 컴퓨팅 인스턴스에 의존합니다. 이러한 워크로드의 경우, 컴퓨팅 인스턴스의 클러스터는 일반적으로 고성능 공유 파일 시스템에 연결됩니다. Amazon FSx for Lustre는 세계에서 가장 널리 사용되는 고성능 공유 파일 시스템을 경제적인 비용으로 쉽게 시작 및 실행할 수 있게 합니다. […]
Amazon.Science – AWS의 SK텔레콤의 ‘한국어 자연어 처리기’ 개발 지원기
이 글은 Amazon Science의 Amazon scientists help SK telecom create Korean-based natural language processor (글쓴이 – Douglas Gantenbein)를 한국어로 번역했습니다. 한국어는 전세계에서 8천만 명이 사용하는 주요한 언어입니다. 오래전 만주 지역에서 기원한 것으로 여기지는 긴 역사에도 불구하고, 한국어는 (영어가 프랑스어나 라틴어와 가지는 것과 같은) 다른 언어와의 뚜렷한 연관성이 없는 “고립어”라고 불립니다. 그러나, 한국어는 컴퓨터가 인간의 언어를 […]
Amazon FSx 파일 서비스, 서울 리전 출시
Amazon FSx는 인기 있는 파일 시스템 구성을 위한 하드웨어 프로비저닝, 소프트웨어 구성, 패치 및 백업과 같은 시간 소모적인 관리 작업을 피하면서, 널리 사용되는 오픈 소스 및 상용 라이센스 파일 시스템의 풍부한 기능과 빠른 성능을 활용할 수 있습니다. 오늘 부터 서울 리전에서 사용 가능합니다! Amazon FSx는 현재 Windows File Server 및 고성능 워크로드 용 Luster 중에서 […]
Amazon FSx for Lustre 업데이트 – 영구 및 스크래치 배포 옵션 지원
작년에 Amazon FSx for Lustre 출시 소식을 알리면서 AWS 고객이 페타바이트급의 고도 병렬 POSIX 기반 파일 시스템을 구축함으로서, 수천 개의 동시 클라이언트를 지원하고 밀리초 이하의 지연 시간으로 수백만 IOPS(초당 입출력 작업)를 달성할 수 있음을 소개했습니다. 대용량 파일 관리형 서비스인 Amazon FSx for Lustre는 세상에서 가장 널리 사용되는 고성능 파일 시스템을 쉽게 시작 및 실행할 수 […]
AWS Batch 및 Amazon FSx for Lustre 기반 다중 노드 병렬 작업을 통한 확장 가능한 딥 러닝 학습 방법
Toyota Research Institute는 지난 AWS re:Invent 2018에서 딥러닝을 위한 고성능 컴퓨팅 아키텍처를 발표했습니다. 이는 올해 초 출시된 확장 가능한 딥 러닝 고성능 컴퓨팅(HPC) 솔루션을 위한 참조 아키텍처를 기반으로 했습니다. 본 아키텍처는 Apache MXNet 및 TensorFlow 프레임워크에서 ImageNet 및 ResNet-50 벤치마크를 실행하도록 설계되었습니다. AWS가 제공하는 확장성과 탄력성을 활용하기 위해 다양한 클라우드 모범 사례를 사용했습니다. AWS의 혁신 […]