Category: Amazon Athena

배경 기존의 빅데이터 프레임워크, 특히 HIVE 기반의 데이터레이크를 클라우드 환경에서 구성 할 경우 큰 규모의 데이터를 저장하고 분석하는 데 있어 효율적입니다. 그러나 트랜잭션을 지원하지 않는 관계로 데이터의 복잡성이 증가 할 경우 성능 저하 및 운영 복잡성을 초래할 수 있습니다. 이러한 기존의 데이터레이크의 한계를 극복하기 위해 오픈 테이블 포맷인 Apache Iceberg가 등장했습니다. Apache Iceberg는 스냅샷 기반의 […]

SaaS(Software-as-a-Service)는 클라우드 환경에서 소프트웨어를 제공하는 방식으로, 사용자는 소프트웨어를 설치하거나 유지 관리할 필요 없이 인터넷을 통해 접근할 수 있습니다. 이러한 SaaS 비즈니스 모델은 특히 사용량 기반 과금 체계를 통해 효율적인 비용 관리와 투명한 요금 청구를 가능하게 합니다. 그러나 SaaS 제공자는 여러 고객을 대상으로 서비스를 제공하기 때문에, 각 고객의 사용량을 정확히 측정하고 이에 따라 요금을 산정하는 것이 […]

글로벌 K-뷰티 트렌드를 선도하며 성장해 온 CJ올리브영은 1400만 명 이상의 멤버십 회원을 보유하고 있는 대한민국 대표 옴니채널 플랫폼입니다. 주력 카테고리인 뷰티를 넘어, 최근에는 웰니스(Wellness) 트렌드 선도 차원에서 건강, 라이프스타일 상품을 전국 매장과 온라인몰을 통해 선보이며 고객들에게 차별화된 리테일 경험을 제공하고 있습니다. 특히 올리브영 온라인몰에는 수만여 개의 상품이 전시돼 있습니다. 이를 돋보이게 해주는 ‘랭킹 시스템’은 고객의 […]

HL Mando는 ‘세상을 더 안전하고, 친환경적이며, 편리하게 모든 고객이 자유로워지는 내일’의 역사를 만들어 나가는 글로벌 자동차 부품 전문 기업입니다. 조향장치(Steering), 제동장치(Brake), 현가장치(Suspension)와 같은 자동차 핵심 부품 제조에서부터 최근에는 자율주행, 전기차와 같은 미래 모빌리티 역량과 e-Drive, 수소연료전지 컨버터 등 친환경차 솔루션 사업을 강화하고 있습니다. 2023년 기준 매출액은 약 7.5조 원을 기록했으며, 현재 CES 2024 최고혁신상을 수상한 […]

지니뮤직은? 지니뮤직(geniemusic)은 음악을 사랑하는 사람들의 삶을 보다 더 행복하게 해준다는 비전을 가지고 있는 음악 스트리밍 서비스 기업입니다. 안정적인 음악사업을 기반으로 공연, AI콘텐츠창작, 도서영역으로 사업다각화를 추진해 외연확장을 통한 성장을 이뤄내고 있으며, 앞으로 AI음악플랫폼 genie의 경쟁력 강화, 커넥티드 환경에서 음악 사용성 증대, AI창작기반 융합콘텐츠사업 혁신을 다각적으로 추진해 기업성장을 이끌 것입니다. 배경 자사 개발팀에서 Amazon EKS migration을 위한 […]

Amazon Redshift는 엑사바이트 규모의 데이터를 분석하고 복잡한 분석 쿼리를 실행하여 널리 사용되는 클라우드 데이터 웨어하우스입니다. Amazon Redshift는 보안 및 문제 해결을 목적으로 데이터베이스를 모니터링 할 수 있도록 감사 로그를 제공하고 있습니다. 감사 로그는 Amazon Redshift의 STL 시스템 뷰를 통해  최대 7일 미만의 로그를 조회할 수 있습니다. 만약 7일 이상의 로그를 보관하기 위해서는 Amazon CloudWatch나 Amazon […]

IoT 디바이스 또는 웹/앱 애플리케이션에서 발생되는 데이터는 JSON 다큐먼트 형태로 주로 저장되고 있으며, 이 데이터에 대한 분석 요구가 증대됨에 따라 MongoDB와 같은 다큐먼트 지향 데이터베이스 사용도 늘어나고 있습니다. AWS에서 제공되는 분석 서비스는 완전관리형 또는 서버리스 형태로 제공되어 사용자의 분석패턴에 따라 다양한 서비스를 활용할 수 있습니다. 이번 게시글에서는 여러 분석 서비스 중 Amazon Athena를 활용하여 ad-hoc […]

AWS CloudTrail은 사용자, 역할 또는 AWS 서비스가 수행하는 작업을 이벤트로 기록하는 서비스입니다. 이벤트에는 AWS Management Console, AWS Command Line Interface 및 AWS SDK, API에서 수행되는 작업이 포함됩니다. 이벤트는 Amazon Simple Storage Service(S3)에 JSON 형식의 압축 파일로 기록됩니다. 이 파일을 직접 다운받아 조회하거나 전체 포맷을 변경하지 않고 검색하는것은 매우 어려운 일 입니다. 서버리스 데이터 통합 서비스인 […]

이 글은 AWS Big Data Blog 에 게시된 Analyze real-time streaming data in Amazon MSK with Amazon Athena by Scott Rigney and Kiran Matty 을 한국어 번역 및 편집하였습니다. 최근 사용 편의성과 확장성의 발전으로 스트리밍 데이터를 더 쉽게 생성하고 실시간 의사 결정을 위해 사용할 수 있게 되었습니다. 기업이 업계 변화에 더욱 신속하게 대응해야 하는 시장 […]

미디어 서비스 환경에서 최종사용자와 직접 통신하는 콘텐츠 전송 네트워크(CDN)의 성능 및 가용성을 모니터링하는 것은 매우 중요합니다. 모든 미디어 데이터는 CDN 인프라를 통해 최종사용자에게 전달되므로 콘텐츠 공급자는 CDN 캐시서버와 최종사용자 사이의 네트워크 통신에 대한 가시성을 확보할 필요가 있습니다. 만약 해당 구간의 실시간 트렌드 모니터링에 대한 가시성을 확보할 수 있다면, 지역별 트래픽 패턴이나 에러율 패턴 혹은 성능 […]