데이터 관리란 무엇인가요?

데이터 관리 관행은 데이터에 대한 액세스를 제어하기 위해 데이터 거버넌스 외에도 고품질 데이터의 수집 및 배포를 포괄합니다.

데이터 품질 관리

데이터 사용자는 데이터가 각 사용 사례에 대해 충분히 신뢰할 수 있고 일관성이 있을 것으로 기대합니다.

데이터 품질 관리자는 조직의 데이터 품질을 측정하고 개선합니다. 기존 데이터와 새 데이터를 모두 검토하고 표준을 충족하는지 확인합니다. 또한 저품질 데이터가 시스템에 들어가는 것을 차단하는 데이터 관리 프로세스를 설정할 수도 있습니다. 데이터 품질 표준은 일반적으로 다음을 측정합니다.

• 주요 정보가 누락되었거나 데이터가 완전하나요?(예: 고객이 주요 연락처 정보를 생략함)
• 데이터가 기본 데이터 검사 규칙을 충족하나요?(예를 들어, 전화번호가 10자리여야 함)
• 시스템에 동일한 데이터가 얼마나 자주 표시되나?(예: 동일한 고객의 중복 데이터 항목)
• 데이터가 정확한가요?(예: 고객이 잘못된 이메일 주소를 입력하는 경우)
• 데이터 품질이 시스템 전반에 걸쳐 일관성이 있나요?(예를 들어, 생년월일이 한 데이터 세트에서는 dd/mm/yyyy 형식이지만 다른 데이터 세트에서는 mm/dd/yyyy 형식임)

데이터 배포 및 일관성

데이터 배포를 위한 엔드포인트

대부분의 조직에서 데이터는 데이터가 필요한 다양한 엔드포인트 또는 그 근처에 배포되어야 합니다. 여기에는 운영 체제, 데이터 레이크 및 데이터 웨어하우스가 포함됩니다. 네트워크 지연 시간 때문에 데이터 배포가 필요합니다. 운영 용도로 데이터가 필요한 경우 네트워크 지연 시간이 충분하지 않아 적시에 데이터를 제공할 수 없습니다. 로컬 데이터베이스에 데이터 사본을 저장하면 네트워크 지연 문제가 해결됩니다.

데이터 통합에도 데이터 배포가 필요합니다. 데이터 웨어하우스와 데이터 레이크는 다양한 소스의 데이터를 통합하여 통합된 정보 보기를 제공합니다. 데이터 웨어하우스는 분석 및 의사 결정에 사용되는 반면, 데이터 레이크는 다양한 사용 사례에 대한 데이터를 추출할 수 있는 통합 허브입니다.

데이터 복제 메커니즘 및 일관성에 미치는 영향

데이터 배포 메커니즘은 데이터 일관성에 잠재적인 영향을 미치며 이는 데이터 관리에서 중요한 고려 사항입니다.

강력한 일관성은 데이터의 동기식 복제에서 비롯됩니다. 이 접근 방식에서는 데이터 값이 변경되면 모든 애플리케이션과 사용자에게 변경된 데이터 값이 표시됩니다. 새 데이터 값이 아직 복제되지 않은 경우 모든 사본이 업데이트될 때까지 데이터에 대한 액세스가 차단됩니다. 동기식 복제는 성능과 데이터 액세스보다 일관성을 우선시합니다. 동기식 복제는 재무 데이터에 가장 자주 사용됩니다.

최종 일관성은 데이터의 비동기식 복제에서 비롯됩니다. 데이터가 변경되면 사본은 최종적으로 업데이트되지만(보통 몇 초 내) 오래된 사본에 대한 액세스는 차단되지 않습니다. 대부분의 사용 사례에서 이는 문제가 되지 않습니다. 예를 들어, 소셜 미디어 게시물, 좋아요 및 댓글에는 강력한 일관성이 필요하지 않습니다. 또 다른 예로 고객이 한 애플리케이션에서 전화번호를 변경하는 경우 이 변경은 비동기식으로 계단식으로 적용될 수 있습니다.

스트리밍과 배치 업데이트 비교

데이터 스트림은 데이터 변경 사항이 발생할 때 캐스케이드합니다. 이는 거의 실시간 데이터에 대한 액세스가 필요한 경우 선호되는 접근 방식입니다. 데이터는 변경되는 즉시 추출 및 변환되고 대상으로 전달됩니다.

배치 업데이트는 데이터를 전달하기 전에 배치로 처리해야 하는 경우에 더 적합합니다. 예를 들어, 데이터를 요약하거나 통계 분석을 수행하고 결과만 전달합니다. 배치 업데이트는 모든 데이터가 특정 시점에 추출되는 경우 데이터의 특정 시점 내부 일관성을 유지할 수도 있습니다. 추출, 전환, 적재(ETL 또는 ELT) 프로세스를 통한 배치 업데이트는 일반적으로 데이터 레이크, 데이터 웨어하우징 및 분석에 사용됩니다.

빅 데이터 관리

빅 데이터는 조직이 단기간에 고속으로 수집하는 대량의 데이터입니다. 소셜 미디어의 비디오 뉴스 피드와 스마트 센서의 데이터 스트림이 빅 데이터의 예제입니다. 운영의 규모와 복잡성은 모두 빅 데이터 관리에 어려움을 야기합니다. 예를 들어, 빅 데이터 시스템은 다음과 같은 데이터를 저장합니다.

• 테이블 형식으로 잘 표현되는 정형 데이터
• 문서, 이미지, 비디오와 같은 비정형 데이터
• 앞의 두 유형을 결합하는 반정형 데이터

빅 데이터 관리 도구는 분석을 위해 데이터를 처리하고 준비해야 합니다. 빅 데이터에 필요한 도구와 기술은 일반적으로 데이터 통합, 데이터 스토리지 및 데이터 분석과 같은 기능을 수행합니다.

데이터 아키텍처 및 데이터 모델링

데이터 아키텍처

데이터 아키텍처는 조직의 데이터 자산을 설명하고 데이터 흐름을 생성하고 관리하기 위한 청사진을 제공합니다. 데이터 관리 계획에는 데이터 관리 전략을 구현하는 데 가장 적합한 운영 데이터베이스, 데이터 레이크, 데이터 웨어하우스 및 서버와 같은 기술적 세부 정보가 포함됩니다.

데이터 모델링

데이터 모델링은 다양한 유형의 데이터 간 워크플로와 관계를 시각화하는 개념적 및 논리적 데이터 모델을 생성하는 프로세스입니다. 데이터 모델링은 일반적으로 데이터를 개념적으로 표현한 다음 선택한 기술의 맥락에서 다시 표현하는 것으로 시작됩니다. 데이터 관리자는 데이터 설계 단계에서 여러 유형의 데이터 모델을 만듭니다.

데이터 거버넌스

데이터 거버넌스에는 조직이 데이터 보안, 무결성 및 책임 있는 데이터 유틸리티를 관리하기 위해 구현하는 정책 및 절차가 포함됩니다. 데이터 관리 전략을 정의하고 누가 어떤 데이터에 액세스할 수 있는지 결정합니다. 또한 데이터 거버넌스 정책은 팀과 개인이 데이터에 액세스하고 사용하는 방식에 대한 책임을 확립합니다. 데이터 거버넌스 기능에는 일반적으로 다음이 포함됩니다.

규제 준수

데이터 거버넌스 정책은 규제에 따른 벌금이나 조치의 위험을 줄입니다. 법률 준수가 모든 수준에서 이루어지도록 직원 교육에 중점을 둡니다. 예를 들어, 조직은 데이터 시스템을 개선하기 위해 외부 개발 팀과 협력합니다. 데이터 거버넌스 관리자는 테스트 목적으로 사용하기 위해 외부 팀에 전달하기 전에 모든 개인 데이터가 제거되었는지 확인합니다.

데이터 보안 및 액세스 제어

데이터 거버넌스는 데이터에 대한 무단 액세스를 방지하고 손상으로부터 데이터를 보호합니다. 여기에는 다음과 같은 모든 보호 측면이 포함됩니다.

• 우발적인 데이터 이동 또는 삭제 방지
• 네트워크 공격의 위험을 줄이기 위한 네트워크 액세스 보안
• 데이터를 저장하는 물리적 데이터 센터가 보안 요구 사항을 충족하는지 확인
• 직원이 개인 디바이스에서 데이터에 액세스하는 경우에도 데이터 보안 유지
• 사용자 인증, 권한 부여, 데이터에 대한 액세스 권한의 설정 및 적용
• 저장된 데이터가 해당 데이터가 저장된 국가의 법률을 준수하는지 확인
   

데이터 관리 모범 사례는 성공적인 데이터 전략의 기초를 형성합니다. 다음은 일반적인 모범 사례입니다.

팀 협업

비즈니스 사용자와 기술 팀은 조직의 데이터 요구 사항을 충족하기 위해 협업해야 합니다. 모든 데이터 처리 및 분석은 비즈니스 인텔리전스 요구 사항의 우선순위를 정해야 합니다. 그렇지 않으면 수집된 데이터가 사용되지 않고 잘못 계획된 데이터 관리 프로젝트에 리소스가 낭비됩니다.

Automation

성공적인 데이터 관리 전략은 대부분의 데이터 처리 및 준비 태스크에 자동화를 통합합니다. 데이터 변환 태스크를 수동으로 수행하면 지루하고 시스템 오류가 발생할 수도 있습니다. 매주 배치 작업 실행과 같은 제한된 수의 수동 태스크로도 시스템 병목 현상이 발생할 수 있습니다. 데이터 관리 소프트웨어는 더 빠르고 효율적인 조정을 지원할 수 있습니다.

클라우드 컴퓨팅

기업에는 광범위한 기능을 제공하는 최신 데이터 관리 솔루션이 필요합니다. 클라우드 솔루션은 성능 저하 없이 대규모로 데이터 관리의 모든 측면을 관리할 수 있습니다. 예를 들어, AWS는 단일 계정 내에서 데이터베이스, 데이터 레이크, 분석, 데이터 접근성, 데이터 거버넌스 및 보안과 같은 광범위한 기능을 제공합니다.