Paradime.io가 AWS Graviton을 사용하여 비용 증가 없이 고객의 데이터 파이프라인 속도를 최대 50%까지 증진시킨 방법

디지털 시대에 팀은 그 어느 때보다 민첩하고 원활하게 협업해야 합니다. 모든 비즈니스에 필수적이 된 데이터 애널리스트는 방대한 양의 원시 비즈니스 데이터를 관련성 있고 사용 가능한 데이터 대시보드로 변환하여 마케팅, 영업, 제품 및 고객 서비스와 같은 비즈니스 기능을 지원한 결과 회사가 원활하게 운영되고 수익성이 높으며 성장을 유지할 수 있도록 하는 중요한 다리 역할을 합니다.

2018년 Paradime의 설립자인 Kaustav Mitra와 Fabio Di Leta는 투자 회사에서 근무하고 있었습니다. 회사의 기존 솔루션으로는 필요한 결과를 얻을 수 없었기 때문에 Kaustav는 데이터 플랫폼을 처음부터 다시 설계하는 작업을 맡았고, 플랫폼을 재설계하는 데 필요한 다양한 도구를 다루면서 데이터 분석 팀이 다양한 애플리케이션을 통합하는 데 너무 많은 시간을 소비하고 있다는 것을 깨달았습니다. 그 결과 미션 크리티컬하고 영향력 있는 작업을 수행할 수 있는 대역폭이 없었습니다.

Kaustav는 “데이터 분석 도구 체인의 단편화로 인해 사람들은 일상 업무를 완료하기 위해 항상 분주하게 움직이고 있습니다. 어떻게 하면 사람과 데이터를 한데 모아 작업을 훨씬 더 빠르게 완료할 수 있을까요? 어떻게 하면 데이터 분석 담당자를 위한 원활한 작업 플랫폼을 만들 수 있을까요?”라는 목표를 가지게 되었습니다.

이미 AWS에 친숙해져 있던 Kaustav는 원활한 통합과 손쉬운 협업이 작업을 더 빠르고 효율적으로, 더 적은 스트레스로 완료하는 데 필수적이라는 지식을 기반으로 구축된 AWS의 방식에 큰 영감을 받았습니다.

Kaustav는 AWS 선택의 이유를 “Paradime은 데이터 애널리스트를 위한 획기적인 운영 체제로 AWS와 마찬가지로 많은 도구를 한곳에 모아 놓았습니다. 이렇게 사고방식이 비슷하기 때문에 처음부터 Paradime의 클라우드 플랫폼으로 AWS를 선택하게 되었습니다. AWS Graviton 프로세서의 4배 성능 및 비용 절감 효과와 함께 고려하면 더욱 말할 나위 없지요”라고 설명합니다.

진정한 필요에서 비롯된 개념

이렇게 긴급한 필요했기 때문에 Kaustav와 Fabio는 2020년을 아이디어 구상에 보냈습니다. 그리고 팬데믹이 한창이던 2021년에 4명으로 구성된 팀으로 사전 시드된 Paradime을 출시했고, 첫 번째 코드 줄은 AWS에서 작성되었습니다.

Paradime의 철학도 AWS와 일치했습니다. 데이터 애널리스트의 요구 사항을 최우선으로 고려하기 위해 “고객으로부터 역방향 작업” 접근 방식을 채택했습니다. 이는 기술이 아니라 고객의 요구에 따라 시작되는 AWS의 “역방향 작업” 메커니즘을 반영하여 고객이 항상 새로운 제품이나 서비스의 중심에 있도록 만듭니다. Kaustav는 “데이터 애널리스트가 도구에 맞게 작업을 조정할 필요 없이, 도구가 데이터 애널리스트의 요구와 일상 작업에 맞게 조정되어야 합니다”라고 설명합니다.

Paradime은 처음부터 데이터 분석 시장에서 가장 빠르게 변화하는 혁신가가 되기 위해 노력했고 이는 고객에게 귀를 기울이고 조치를 취하는 것으로 나타납니다. “매일 고객의 의견을 경청하면 훨씬 빠르게 고객을 놀라게 하고 플랫폼의 성숙도를 단계적으로 높일 수 있어 데이터 애널리스트 팀이 다른 어떤 소프트웨어보다 빠르게 작업을 완료할 수 있도록 지원합니다.” Kaustave의 설명입니다.

급속한 비즈니스 데이터 증가로 인한 문제

Paradime은 스스로를 분석 팀을 위한 AI 기반 dbt™ 플랫폼이라고 설명합니다. 데이터 빌드 도구(dbt)는 오늘날 기업 내 데이터의 급속한 성장에 대한 솔루션입니다.

1970년대부터 SQL 코드는 데이터베이스가 애널리스트에게 필요한 답변을 제공하기 위한 질문에 사용되는 데이터 분석 프로그래밍 언어였습니다. 그러나 경쟁적으로 운영에 필요한 데이터의 양이 급격히 증가함에 따라 SQL 작성, 변경 관리 및 테스트는 훨씬 더 복잡해지고 시간이 많이 소요되었습니다. 2016년 이래로 dbt는 해당 문제 해결에 도움이 되는 도구로 각광받고 있습니다. 이를 통해 비즈니스가 발전함에 따라 시간이 지나도 쉽게 구축, 실행, 테스트 및 관리할 수 있는 확장 맟 감사 가능한 SQL 코드를 사용할 수 있습니다. 그러나 Paradime 팀이 주지하듯 dbt는 광범위한 데이터 애널리스트 작업 중 일부에 불과합니다.

데이터 스토어와 비즈니스 인사이트 사이의 다리

데이터 애널리스트는 소프트웨어 지식이 있는 데이터 엔지니어부터 마케팅, 영업, 제품 및 고객 서비스와 같은 소프트웨어 지식이 없는 비즈니스 기능에 이르기까지 다양한 팀에서 근무합니다. 따라서 전체 엔드투엔드 프로세스에 걸쳐 시스템을 사용해야 하는데, 이 과정에서 dbt는 매우 중요하면서도 한 단면에 불과하기도 합니다. Kaustav는 “고객에게 필요한 것은 전체 업무를 한 곳에서 처리하는 워크스페이스입니다. Paradime이 제공하는 것이 바로 이런 워크스페이스라는 점이 dbt를 전문으로 하는 다른 경쟁업체들과 차별화되는 점입니다”라고 말합니다.

데이터 애널리스트가 다루어야 할 사항이 훨씬 더 많습니다. 예를 들어 Paradime은 데이터 리더가 데이터 파이프라인의 작동가 얼마나 빠르거나 느린지, 팀이 지출하는 비용, 일상 업무에 소요되는 시간을 파악할 수 있도록 도와줍니다. Kaustav는 “Paradime에서 이 모든 것을 한 곳에서 쉽게 이용할 수 있기 때문에 데이터 분석 팀은 상용 도구와 함께 패치되거나 내부적으로 구축된 단편화된 시스템을 사용하는 것보다 생산성을 50~83% 더 높일 수 있습니다”라고 설명합니다.

AWS는 Paradime의 성능을 이끄는 원동력

데이터 애널리스트에게는 속도가 중요합니다. 조직은 데이터 인사이트에 크게 의존하고 있습니다. Paradime은 데이터 애널리스트의 업무 스트레스를 줄이겠다는 약속을 지키기 위해 비용을 낮추면서 서비스 속도를 높일 수 있는 방법을 항상 찾고 있습니다. 그 때 눈에 들어온 것이 AWS Graviton 프로세서입니다.

Kaustav는 “Paradime의 Bolt 및 CI/CD 오케스트레이션 프레임워크를 통해 데이터 애널리스트는 dbt 명령을 순조로운 일정에 따라 자동으로 실행할 수 있습니다. 고객에게 동일한 가격대로 제공하면서 더 빠르게 만들고 싶었기 때문에 AWS EC2 프로세서 제품군을 살펴보다가 AWS Graviton이 현재 x86 프로세서와 동일한 가격대에 엄청난 속도 향상 기능을 제공한다는 사실을 알게 되었습니다”라고 설명합니다.

Paradime의 소프트웨어 엔지니어인 Maximilian Mitchell은 다음과 같이 덧붙입니다. “조사 후에 AWS Graviton으로 전환하지 않을 수가 없었어요. 혜택이 너무 많기 때문이죠. 경우에 따라 Bolt에서 고객의 데이터 파이프라인 속도를 30~50% 높이고 가동 시간을 99.999% 이상 높이게 되었습니다. 이는 의료 및 은행과 같은 필수 서비스 분야의 고객에게 핵심적인 사안입니다. 무엇보다 중요한 건, 매우 높은 빈도로 작업을 실행하여 데이터 파이프라인을 최신 상태로 유지한 결과 실시간으로 효과를 볼 수 있다는 것입니다!”

Max는 “또한 고객이 dbt뿐만 아니라 데이터 품질 및 데이터 이상 테스트와 같은 다른 작업을 수행하도록 지원할 수 있습니다. 즉, 이해 관계자에게 신뢰할 수 있는 데이터를 제공할 수 있습니다”라고 덧붙입니다.

AWS Graviton, Paradime과 고객 모두에게 윈-윈 솔루션을 제공

Paradime은 또한 AWS Graviton으로 마이그레이션하면 비용을 크게 절감할 수 있어 더 큰 비용을 들이지 않고도 고객에게 우수한 성능을 제공할 수 있다는 사실을 알게 되었습니다. Max는 “AWS Graviton을 사용하기 전에는 각 노드를 약 50~60%까지 활용할 수 있었는데 이제 훨씬 더 높은 수준인 약 85%까지 활용할 수 있습니다. 즉, 스핀업하는 노드를 약 40% 줄이기만 하면 됩니다. 이제 더 적은 리소스로 동일한 수준의 성능을 얻을 수 있어 비용이 절감됩니다”라고 설명합니다.

장점은 또 있습니다. Kaustav는 “클러스터를 훨씬 더 높은 사용률로 실행할 수 있기 때문에 AWS Graviton 이전과 동일한 비용으로 40% 더 많은 고객을 온보딩할 수 있습니다. 이제 타사 대비 매우 경쟁력 있는 가격으로 고객에게 그 가치를 전달할 수 있습니다”라고 덧붙입니다.

“즉, 고객에게 엔터프라이즈 티어를 강요할 필요가 없으므로 고객 확보 및 채택률을 높일 수 있습니다. 또한 가격을 인상하지 않고도 더 높은 가치를 제공할 수 있기 때문에 투자자들은 만족하고 있습니다”라는 것이 그의 설명입니다.

AWS 방식으로 AWS Graviton에 마이그레이션

Paradime은 처음부터 AWS를 사용해 왔지만, 경험의 질에 놀라움을 금치 못했습니다. Max는 “처음 시작할 때에 우리는 연못에서 가장 보잘 것 없는 물고기였지만 항상 계정 관리자가 있었습니다. 회사의 규모에 상관없이 항상 동등한 관심을 받았던 거죠. 예를 들어 Graviton으로 마이그레이션할 때 직원들이 매우 적극적으로 나서 AWS Graviton 조식 이벤트에 우리가 초대받도록 해줬습니다”라고 설명합니다.

이어서 Max는 “저는 DevOps 엔지니어가 아니라 백엔드 엔지니어에 가깝습니다. 하지만 전문가들과 어울려 AWS Graviton을 배포하는 방법, 예를 들어 x86 빌드를 완전히 끄지 않고 대신 두 아키텍처에 맞게 빌드하여 릴리스 시 더 유연하게 작업할 수 있도록 하는 방법에 대한 훌륭한 조언을 듣는 기회를 얻었습니다. 그 결과 가동 중지 시간 없이 첫 번째 ARM 워크로드를 일주일 만에 완성할 수 있었고요.”

“우리 애플리케이션은 원래 ARM Apple MacBook(M 시리즈)에서 로컬로 개발되어 이미 호환이 가능했기 때문에 AWS Graviton의 ARM 아키텍처용으로 컴파일할 수 있었습니다. 덕분에 Graviton으로 쉽게 마이그레이션하고, 한 달 동안 기존 시스템과 새 시스템 간에 크로스오버를 실행했습니다. 즉, 고객측 가동 중지 시간이 전혀 없었고, 우리 측에서 코드를 변경할 필요도 없었죠”라고 덧붙입니다.

4배의 성능 - 생산성 향상, 민첩성 향상, 신속한 의사 결정 지원

AWS Graviton의 4배 성능은 놀라운 통계이지만, 순수한 속도 외에도 Paradime의 고객에게 어떤 이점이 있을까요? Kaustav는 다음과 같이 설명합니다. “이는 세 가지로 금방 파악됩니다. 첫 번째는 생산성인데, 이전에는 4분이면 완료할 수 있었던 작업을 이제는 1분이면 완료할 수 있습니다. 두 번째는 민첩성입니다. 팀은 더 적은 리소스로 더 가치 있는 작업을 수행할 수 있으므로 비즈니스 변화에 더 빠르게 대응할 수 있습니다. 세 번째는 의사 결정입니다. 팀은 최종 사용자에게 비즈니스 인사이트를 적시에 제공하여 더 빠르게 행동할 수 있습니다.”

Kaustav는 이어서 “예를 들어 한 고객이 다양한 사업부에서 60~80개의 스프레드시트를 받았는데 각 스프레드시트를 수신하는 데 20분이 걸렸습니다. 월말에 통합 재무 실적을 보고하는 것까지 포함하면 이 전체 프로세스에는 약 1주일이 소요될 것입니다. Paradime를 사용하면 이 모든 작업에 약 20분이 소요됩니다.”라고 합니다.

Paradime의 향후 계획은 어떻게 되나요?

Kaustav는 “Paradime에 대한 우리의 비전은 전 세계에 분석을 위한 운영 체제로 널리 알려지는 것입니다. 그래서 사람들이 데이터 분석을 생각할 때 설정에 어려움이 없고 잘 작동하는 Paradime을 떠올리면 좋겠습니다”라고 외칩니다

이를 위해 Paradime은 서비스의 모든 측면을 개선하는 데 주력하고 있습니다. 예를 들어, AWS Graviton으로 마이그레이션한 후 배포 속도가 40~50% 향상되어 이제 업데이트를 더 자주 릴리스할 수 있습니다. 즉, 일주일에 최대 2~3회, 이전보다 훨씬 빠르게 기능을 추가하고 고객 요청에 응답할 수 있습니다.

Kaustav는 “AWS가 지속적으로 새로운 서비스와 기능을 출시하고 있는 만큼, 우리는 고객에게 정말 간편한 플랫폼을 제공하기 위해 항상 새로운 AWS 서비스를 활용하려고 노력하고 있습니다. 현재 안정적인 아키텍처를 보유하고 있지만, AWS를 통해 계속해서 추가적인 성능을 찾고 있습니다. AWS는 우리가 다양한 엔터프라이즈에 참여하여 판매하고 프로세스를 확장하여 전 세계의 대기업과 협력할 수 있도록 지원하고 있습니다”라고 설명합니다.

AWS는 AWS Compute Optimizer와 같은 도구와 워크로드를 AWS Graviton으로 이동하도록 돕는 프로그램 Graviton Fast Start 등을 사용하여 AWS Graviton으로 마이그레이션하려는 기업을 적극적으로 지원합니다. AWS Graviton 마이그레이션 여정을 시작하는 방법을 알아보세요. 방법을 알아보세요.