실시간 데이터 스트리밍이란?
실시간 데이터 스트리밍은 다양한 데이터 소스에서 일련의 데이터를 취합 및 수집하고 해당 데이터를 실시간으로 처리하여 의미와 인사이트를 추출하는 것을 포함합니다.
스트리밍 데이터의 예로는 모바일이나 웹 애플리케이션을 사용하는 고객이 생성하는 로그 파일, 전자 상거래 구매, 게임 내 플레이어 활동, 소셜 네트워크의 정보, 주식 거래소, 지리공간 서비스, 연결된 디바이스의 텔레메트리, 데이터 센터의 계측이 있습니다.
실시간 데이터 스트리밍을 사용하면 답을 얻기 위해 몇 시간, 며칠 또는 몇 주를 기다릴 필요 없이 실시간으로 데이터를 분석하고 처리할 수 있습니다.
실시간 데이터 스트리밍의 구성 요소는 무엇입니까?
출처: 대량의 연속 데이터를 고속으로 생성하는 최대 수백, 수천 개의 디바이스 또는 애플리케이션. 모바일 디바이스, 웹 애플리케이션(클릭스트림), 애플리케이션 로그, IoT 센서, 스마트 디바이스, 게임 애플리케이션 등을 예로 들 수 있습니다.
스트림 수집: 15개 이상의 AWS 서비스(Amazon API Gateway, AWS IoT Core, Amazon Cloudwatch 등)와의 간단한 통합으로 수천 대의 디바이스에서 생성되는 지속적인 데이터를 안정적이고 안전한 방식으로 캡처할 수 있습니다.
스트림 스토리지: Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon Managed Streaming for Apache Kafka(Amazon MSK)와 같은 확장, 지연 시간 및 처리 요구 사항을 기반으로 스토리지 요구 사항을 충족하는 솔루션을 선택합니다.
스트림 프로세싱: 클릭 몇 번이면 Amazon Kinesis Data Firehose와 같이 데이터를 변환하여 대상에 지속적으로 전송할 수 있는 솔루션부터 Amazon Managed Service for Apache Flink 및 AWS Lambda와 같은 서비스를 사용하는 강력한 맞춤형 실시간 애플리케이션 및 기계 학습 통합에 이르기까지 다양한 서비스 중에서 선택합니다.
대상: Amazon S3, Amazon Redshift, Amazon OpenSearch Service 및 Amazon EMR과 같은 추가 분석 또는 장기 스토리지를 위해 완전히 통합된 데이터 레이크, 데이터 웨어하우스 및 분석 서비스에 스트리밍 데이터를 전송합니다.
실시간 데이터 스트리밍 사용 사례는 무엇입니까?
실시간 데이터 이동
수십만 대의 디바이스에서 데이터를 스트리밍하고 대량의 연속 고속 데이터에 대한 ETL 변환을 실시간으로 수행하면 사용자는 데이터가 생성되는 즉시 데이터를 분석한 다음, 추가 분석을 위해 데이터 레이크, 데이터 웨어하우스 또는 데이터베이스에 안정적으로 데이터를 저장할 수 있습니다.
WalkMe가 데이터를 데이터 레이크로 스트리밍할 때 시퀀싱 문제를 해결하는 방법을 알아보세요.
John Deere가 데이터 레이크에 ETL 스트리밍을 실시간으로 수행하는 방법을 알아보세요.
실시간 분석
데이터가 생성되는 즉시 분석하여 조직 전체에서 실시간 의사 결정을 통해 기회를 활용하고, 고객 경험을 개선하고, 네트워킹 장애를 예방하고, 중요한 비즈니스 지표를 실시간으로 업데이트할 수 있습니다.
로그: 애플리케이션의 로그를 실시간으로 캡처, 처리 및 분석합니다.
사용자 행동을 실시간으로 분석하는 방법에 대해 읽어보기
VPC 네트워크 트래픽을 분석하고 시각화하는 방법 알아보기
중앙 집중식 Microsoft Exchange Server 로그를 관리하는 방법 알아보기
실시간 업데이트: 중요한 의사 결정 지표, 제안 권장 사항 및 고객 경험에 대한 실시간 업데이트를 제공하여 소비자, 게이머, 금융 거래자 등과 소통합니다.
실시간 게임 분석을 사용하여 게이머의 만족도를 높이는 방법 알아보기
트렌디하고 개인화된 뉴스를 실시간으로 전달하는 방법 알아보기
클릭스트림: 사용자 행동, 소요 시간, 인기 콘텐츠 등, 애플리케이션 및 웹 사이트와의 사용자 상호 작용과 웹 콘텐츠의 성과에 대한 실시간 보기를 제공합니다.
Hearst가 클릭스트림 분석 솔루션을 구축하여 300개가 넘는 전 세계 웹 사이트에서 매일 30테라바이트의 데이터를 전송 및 처리하는 방법 알아보기
IoT: 수십만 개의 IoT 디바이스에 연결하고 스트리밍 데이터를 실시간으로 수집, 처리 및 분석합니다.
John Deere가 수만 대의 농기계 데이터를 실시간으로 스트리밍하여 식품 생산을 최적화하는 방법 알아보기
이벤트 스트림 처리
여러 애플리케이션에서 실시간으로 발생하는 이벤트를 캡처하고 이에 대응합니다. 가장 일반적인 사용 사례는 수백 개의 분리된 마이크로서비스 간의 통신과 변경 데이터 캡처를 통한 레코드 시스템 유지 관리입니다.
분리된 마이크로서비스 간 통신: 마이크로서비스가 트리거되면 실시간으로 이벤트를 데이터 스트림으로 전송할 수 있으며 다른 마이크로서비스는 스트림을 '감시'하여 필요한 조치를 트리거하는 이벤트가 발생했는지 확인할 수 있습니다.
Lyft가 수백 개의 마이크로서비스 간에 실시간으로 통신하는 방법 알아보기
변경 데이터 캡처: 여러 애플리케이션 및 데이터베이스의 모든 데이터 변경 사항을 중앙 기록 시스템으로 실시간으로 스트리밍할 수 있습니다.
AWS에는 어떤 스트리밍 서비스가 있습니까?
AWS는 실시간 데이터 스트리밍을 사용하여 작업할 수 있는 옵션을 여러 가지 제공합니다.
- Amazon Kinesis Data Streams는 조정 가능하고 내구성이 뛰어난 실시간 데이터 스트리밍 서비스로 수십만 개의 소스에서 초당 기가바이트의 데이터를 연속적으로 캡처합니다.
- Amazon Kinesis Data Firehose는 몇 번의 클릭으로 기존 비즈니스 인텔리전스 도구를 사용하여 거의 실시간 분석을 위해 데이터 스트림을 캡처 및 변환하여 AWS 데이터 스토어로 로드합니다.
- Amazon Managed Service for Apache Flink는 데이터 스트림 처리를 위한 오픈 소스 프레임워크 및 엔진인 Apache Flink를 통해 스트리밍 데이터를 실시간으로 변환하고 분석합니다.
- Amazon Managed Streaming for Apache Kafka는 Apache Kafka를 사용하여 스트리밍 데이터를 처리하는 애플리케이션의 구축 및 실행을 간소화하는 완전관리형 서비스입니다.
지금 계정을 만들어 AWS에서 실시간 데이터 스트리밍을 시작하세요.
