Hadoop과 Spark의 차이점은 무엇일까요?

Hadoop과 Spark는 모두 대규모 데이터를 처리할 수 있는 분산 시스템입니다. 어떤 이유로든 데이터 처리가 중단되더라도 장애를 복구할 수 있습니다.

분산 빅 데이터 처리

빅 데이터는 다양한 형식으로 자주, 지속적으로, 대규모로 수집됩니다.

Apache Hadoop은 빅 데이터를 저장, 관리 및 처리하기 위해 데이터 세트를 더 작은 하위 집합 또는 파티션으로 나눕니다. 그런 다음 분산된 서버 네트워크를 통해 파티션을 저장합니다. 마찬가지로, Apache Spark는 분산 노드를 통해 빅 데이터를 처리하고 분석하여 비즈니스 인사이트를 제공합니다.

사용 사례에 따라 최적의 기능을 제공하기 위해 Hadoop과 Spark를 모두 서로 다른 소프트웨어와 통합해야 할 수도 있습니다. 

내결함성

Apache Hadoop은 하나 이상의 데이터 처리 노드에 장애가 발생하더라도 계속 실행됩니다. 동일한 데이터 블록의 복사본을 여러 개 만들어 여러 노드에 저장합니다. 한 노드에 장애가 발생하면 Hadoop은 다른 노드에서 정보를 검색하여 데이터 처리를 준비합니다.

반면, Apache Spark는 Resilient Distributed Dataset(RDD)라는 특수한 데이터 처리 기술을 사용합니다. Apache Spark는 RDD를 사용하여 스토리지에서 특정 정보를 검색하는 방법을 기억하고 기반 스토리지에 장애가 발생할 경우 데이터를 재구성할 수 있습니다. 

Hadoop과 Spark를 사용하면 빅 데이터를 서로 다른 방식으로 처리할 수 있습니다.

Apache Hadoop은 단일 시스템에서 워크로드를 실행하는 대신 여러 서버에 데이터 처리를 위임하도록 만들어졌습니다.

반면, Apache Spark는 Hadoop의 주요 한계를 극복한 최신 데이터 처리 시스템입니다. Hadoop은 대규모 데이터 세트를 처리할 수 있지만 배치 단위로 처리하며 상당한 지연이 발생합니다.

아키텍처

Hadoop에는 Hadoop 분산 파일 시스템(HDFS)이라는 네이티브 파일 시스템이 있습니다. Hadoop은 HDFS를 기반으로 대용량 데이터 블록을 여러 개의 작고 균일한 블록으로 나눌 수 있습니다. 그런 다음 작은 데이터 블록을 서버 그룹에 저장합니다.

반면, Apache Spark에는 자체 네이티브 파일 시스템이 없습니다. Hadoop의 파일 시스템에서 Spark를 실행하여 데이터를 저장, 관리 및 검색하는 조직이 많습니다.

또는 Amazon Redshift 또는 Amazon Simple Storage Service(S3)를 Spark의 데이터 스토리지 옵션으로 사용할 수도 있습니다. 

성능

Hadoop은 대량의 데이터 세트를 배치 단위로 처리할 수 있지만 속도가 더 느릴 수 있습니다. Hadoop은 데이터를 처리하기 위해 외부 스토리지에서 정보를 읽은 다음 데이터를 분석하여 소프트웨어 알고리즘에 입력합니다.

Hadoop은 각 데이터 처리 단계에서 외부 스토리지에 데이터를 다시 쓰므로 지연 시간이 늘어납니다. 따라서 실시간 처리 작업에는 적합하지 않지만 시간 지연이 허용되는 워크로드에는 이상적입니다. 예를 들어 Hadoop은 월간 판매 기록을 분석하는 데 적합합니다. 하지만 소셜 미디어 피드에서 실시간 브랜드에 대한 감정을 파악하는 데는 적합하지 않을 수 있습니다. 

반면, Apache Spark는 엄청난 양의 데이터를 실시간으로 처리하도록 설계되었습니다.

Spark는 외부 스토리지에서 데이터에 액세스하지 않고, 데이터를 처리하기 전에 RAM에 복사합니다. 특정 작업을 완료한 후에만 데이터를 외부 스토리지에 다시 씁니다. RAM에서의 쓰기 및 읽기는 외장 드라이브로 동일한 작업을 수행하는 것보다 획기적으로 빠릅니다. 또한 Spark는 검색된 데이터를 다양한 작업에 재사용합니다.

따라서 Spark는 단순한 데이터 처리 또는 복잡한 데이터 처리 모두에서 다양한 수준으로 Hadoop보다 더 나은 성능을 발휘합니다.

기계 학습

Apache Spark는 MLlib라는 기계 학습 라이브러리를 제공합니다. 데이터 사이언티스트는 MLlib를 사용하여 회귀 분석, 분류 및 기타 기계 학습 작업을 실행합니다. 또한 비정형 및 정형 데이터로 기계 학습 모델을 훈련하고 비즈니스 애플리케이션에 배포할 수 있습니다.

반면, Apache Hadoop에는 내장된 기계 학습 라이브러리가 없습니다. 대신 Spark를 Apache Mahout 등의 다른 소프트웨어와 통합하여 기계 학습 시스템을 구축할 수 있습니다. 소프트웨어 선택은 워크로드의 특정한 요구 사항에 따라 달라집니다. 데이터의 크기 및 복잡성, 사용하려는 기계 학습 모델 유형, 애플리케이션의 성능 및 확장성 요구 사항 등을 고려할 수 있습니다.

보안

Apache Hadoop은 데이터를 보호하는 강력한 보안 기능을 사용하여 설계되었습니다. 예를 들어 Hadoop은 암호화와 액세스 제어를 사용하여 권한 없는 사람이 데이터 스토리지에 액세스하고 조작하는 것을 방지합니다.

하지만 Apache Spark는 자체적으로 제한된 보안 기능을 제공합니다. Apache Software Foundation에 따르면 Spark의 보안 기능을 활성화하고 Spark가 실행되는 환경이 안전한지 확인해야 합니다.

Spark는 여러 배포 유형을 지원하며, 일부는 다른 유형보다 더 안전합니다. 예를 들어 Hadoop에 Spark를 배포하면 Hadoop의 암호화된 분산 스토리지 덕분에 전반적인 보안이 향상됩니다. 

확장성

Hadoop은 Spark보다 더 손쉽게 확장할 수 있습니다. 더 많은 처리 능력이 필요한 경우 합리적인 비용으로 Hadoop에 노드나 컴퓨터를 추가할 수 있습니다.

반면, Spark 배포를 확장하려면 일반적으로 RAM에 더 많이 투자해야 합니다. 온프레미스 인프라의 경우 비용이 빠르게 증가할 수 있습니다. 

비용

Apache Hadoop은 데이터를 저장하고 처리하는 데 하드 디스크를 사용하므로 설치 및 실행 비용이 훨씬 저렴합니다. 표준 컴퓨터 또는 저사양 컴퓨터에 Hadoop을 설치할 수 있습니다.

반면, Spark는 인 메모리 처리에 RAM을 사용하므로 빅 데이터를 처리하는 데 비용이 더 많이 듭니다. RAM은 일반적으로 동일한 스토리지 크기의 하드 디스크보다 비쌉니다. 

	Hadoop	Spark
아키텍처	Hadoop은 외부 스토리지에 데이터를 저장하고 처리합니다.	Spark는 내부 메모리에 데이터를 저장하고 처리합니다.
성능	Hadoop은 데이터를 배치 단위로 처리합니다.	Spark는 데이터를 실시간으로 처리합니다.
비용	Hadoop은 경제적입니다.	Spark는 상대적으로 비용이 높습니다.
확장성	Hadoop은 노드를 추가하여 손쉽게 확장할 수 있습니다.	Spark는 확장하기가 상대적으로 더 어렵습니다.
기계 학습	Hadoop은 외부 라이브러리와 통합되어 기계 학습 기능을 제공합니다.	Spark에는 기계 학습 라이브러리가 내장되어 있습니다.
보안	Hadoop은 강력한 보안 기능, 스토리지 암호화 및 액세스 제어 기능을 제공합니다.	Spark는 기본 보안 기능을 갖추고 있습니다. IT 팀이 Spark를 배포하려면 안전한 운영 환경이 설정되어 있어야 의존합니다.