Category: Amazon Simple Storage Service (S3)

배경 기존의 빅데이터 프레임워크, 특히 HIVE 기반의 데이터레이크를 클라우드 환경에서 구성 할 경우 큰 규모의 데이터를 저장하고 분석하는 데 있어 효율적입니다. 그러나 트랜잭션을 지원하지 않는 관계로 데이터의 복잡성이 증가 할 경우 성능 저하 및 운영 복잡성을 초래할 수 있습니다. 이러한 기존의 데이터레이크의 한계를 극복하기 위해 오픈 테이블 포맷인 Apache Iceberg가 등장했습니다. Apache Iceberg는 스냅샷 기반의 […]

소개 뉴넥스(NEWNEX)는 2014년에 설립된 패션 이커머스 플랫폼 기업으로, IT 기술을 활용해 커머스와 물류 인프라를 통합하여 ‘하루배송’과 같은 최적의 쇼핑 경험을 제공하고 있습니다. 현재 1020 여성 패션 플랫폼 ‘브랜디’, 남성 쇼핑 플랫폼 ‘하이버’, 여성 브랜드 패션 플랫폼 ‘서울스토어’를 운영 중이며, 판매자에게 물류와 운영을 지원하는 통합 서비스인 ‘헬피’도 제공하고 있습니다. 뉴넥스는 2024년 기준 누적 거래액 1.8조 원, […]

이 글은 Networking & Content Delivery 블로그의 Capture packets with Amazon VPC Traffic Mirroring and Mountpoint for Amazon S3 의 한국어 번역입니다. 트래픽 미러링은 Amazon Elastic Compute Cloud (EC2) 인스턴스의 엘라스틱 네트워크 인터페이스에서 네트워크 트래픽을 복사하고 분석을 위해 대상 스토리지 서비스로 전송하는 데 사용할 수 있는 Amazon VPC의 기능으로서, 콘텐츠 검사, 위협 모니터링, 네트워크 성능 […]

SaaS(Software-as-a-Service)는 클라우드 환경에서 소프트웨어를 제공하는 방식으로, 사용자는 소프트웨어를 설치하거나 유지 관리할 필요 없이 인터넷을 통해 접근할 수 있습니다. 이러한 SaaS 비즈니스 모델은 특히 사용량 기반 과금 체계를 통해 효율적인 비용 관리와 투명한 요금 청구를 가능하게 합니다. 그러나 SaaS 제공자는 여러 고객을 대상으로 서비스를 제공하기 때문에, 각 고객의 사용량을 정확히 측정하고 이에 따라 요금을 산정하는 것이 […]

흔히 잘 알려진 이더리움, 솔라나 등의 블록체인은 대부분 독립적인 네트워크로 존재하며 다른 블록체인과의 통신 기능이 없습니다. 이에 따라 파편화된 블록체인 생태계에서 상호운용성(interoperability)에 대한 필요성이 대두되며, 단순한 토큰 전송을 넘어 체인간 메시지 전달까지 지원하는 프로토콜이 등장하였습니다. 이러한 배경에서 주목 받고 있는 하이퍼레인은 독립적인 네트워크를 가진 다양한 체인간의 통신을 가능하게 해주는 비허가형(permissionless) 상호운용성 프로토콜입니다. 하이퍼레인은 한 체인에서 […]

식신은 월간 350만 명의 사용자들이 이용하는 푸드테크 기업으로, 혁신적인 서비스를 통해 푸드테크 산업의 선두주자로 자리매김하고 있습니다. 식신이 제공하는 두 가지 주요 서비스를 소개합니다. 식신의 맛집 검색 서비스는 약 100만 개의 방대한 맛집 데이터를 기반으로 운영됩니다. 사용자들은 이 서비스를 통해 다양한 맛집을 검색하고, 리뷰를 읽고 작성하며, 사진을 확인할 수 있습니다. 이를 통해 고객들은 자신의 취향에 맞는 […]

이 글은 AWS M&E Blog에 게시된 Video summarization with AWS artificial intelligence (AI) and machine learning (ML) services를 한국어 번역 및 편집하였습니다. 동영상 제작사와 방송사는 짧은 쇼츠 비디오 클립이 젊은 시청자의 관심을 끄는 데 효과적이라는 것을 알고 있습니다. 젊은 시청자 중 다수는 틱톡과 같은 플랫폼에서 짧은 형식의 콘텐츠를 좋아합니다. 전통적인 M&E 업계의 기업들이 오리지널 콘텐츠에서 짧은 […]

서론 OpenSearch 는 Apache Lucene 검색 라이브러리로 구동되며, K-NN 검색, SQL, 이상 탐지, 전체 텍스트 검색 등 다양한 검색 및 분석 기능을 제공하는  Elasticsearch 에서 파생된 오픈 소스 입니다. 그리고 Amazon OpenSearch Service 는 OpenSearch 및 레거시 Elasticsearch OSS (7.10까지) 를 지원하는 관리형 오픈 소스 검색 엔진입니다. 이러한 OpenSearch Service 를 활용하기 위해서는 도메인이라고 불리는 […]

관계형 데이터베이스(RDBMS)는 데이터를 저장하고, 분석하고자 할 때 가장 많이 사용되는 솔루션 입니다. 하지만, RDBMS로 처리하기 어려울 만큼 많은 양의 데이터를 저장하고 관리해야 하는 상황이 자주 발생합니다. 또한, MSA (마이크로 서비스아키텍처)를 도입해서 비즈니스 도메인 단위로 RDBMS를 물리적으로 격리하는 경우에 데이터 분석을 위해서 여러 RDBMS의 데이터를 한 곳에 모아서 저장하고, 관리해야할 필요가 있습니다. 즉, 데이터 레이크를 구축해서 […]

What is Iceberg? Apache Iceberg는 페타바이트 기반의 데이터를 위한 오픈소스 데이터 테이블 형식으로, Netflix에서 개발하여 2020년부터 아파치 재단의 오픈소스로서 활용되었습니다. Apache Iceberg의 가장 큰 특징은 데이터 레이크에 저장된 대규모 데이터 세트를 테이블로 관리하며 Upsert, 스키마 진화, Time Travel query 등의 데이터 처리를 지원한다는 것입니다. 이러한 기능은 Apache Iceberg가 ACID를 보장하기 때문에 가능합니다. 기존의 Apache Hive […]