AWS 기술 블로그

코난테크놀로지 사례로 보는 AWS IoT TwinMaker의 Grafana 대시보드 통합 사례 및 카메라 뷰 설정 가이드

본 게시물에서는 코난테크놀로지가 AWS 서비스를 활용하여 클라우드를 구축하는 과정에서 겪었던 문제와 그 해결 방안을 공유하고자 합니다. 특히, Grafana 대시보드와 AWS IoT TwinMaker의 통합 과정에서 발생했던 어려움과 이를 해결하는 방법에 대해 자세히 다루겠습니다.

코난테크놀로지는 인공지능 소프트웨어 전문 기업입니다. 오픈소스가 아닌 자체 개발한 AI 원천 기술을 확보하고 있습니다. “사람처럼 보고, 듣고, 이해하고, 말하는 AI”를 통해 디지털 비즈니스 성장을 이끌고 있습니다. 1999년 4월에 설립되어 Text AI, Video AI, Digital Twin 기술을 바탕으로 ‘LLM’, ‘AI 검색/분석/챗봇’, ‘AI 영상처리/음성처리’, ‘PHM’, ‘AI Pilot’을 주요 사업으로 전개하고 있습니다. 코난테크놀로지는 20년 이상 동안 쌓아온 고객과의 신뢰와 기술력을 바탕으로 대기업, 공공기관, 금융, 미디어 분야 등 2,500여 고객사를 확보하고 있으며 3,000여 개 이상의 프로젝트를 수행하며 노하우를 축적하였습니다(https://www.konantech.com/pr/press).

Konan PHM 솔루션 소개

Konan PHM은 부품 또는 시스템 단위의 PHM(Prognostics and Health Management)에 특화된 솔루션을 제공합니다. 디지털 트윈과 인공지능 기술을 결합하여 설비/부품의 고장진단, 잔여 수명 예측을 통해 의사결정을 돕습니다. 이를 통해 Konan PHM을 사용하는 고객은 설비 운영 및 유지보수 프로세스를 혁신적으로 개선하고 최적화할 수 있습니다.

Konan PHM의 차별점은 다음과 같습니다.

  • 디지털 트윈 프레임워크 기반 서비스
    • 실물 장비의 IoT 센서 데이터를 가상 엔티티로 실시간 수집 및 처리
  • 라벨링/고장 데이터 없어도, 센서 종류 상관없이 맞춤 진단 가능
    • 실 고장, 레이블링 데이터가 부족해도 Self-supervised Learning, Physics-Informed Neural Networks, Domain Adaptation 등의 기술로 고장검출/진단
  • 실시간 시뮬레이션 및 3D 시각화로 직관적 피드백
    • Neural Operator 등 최신 인공지능 모델 기술을 활용한 데이터 기반 실시간 시뮬레이션을 제공하여 의사결정 가속화

솔루션 아키텍처 구현

PHM 솔루션 및 IoT 장비와의 통신 컴포넌트를 개발하여 다음과 같은 아키텍처를 구성했고, 이를 통해 AWS의 다양한 서비스를 활용한 데이터 수집, 추론, 시각화 등의 기능의 서비스를 제공할 수 있게 되었습니다.

  • AWS IoT Greengrass: AWS IoT Greengrass는 클라우드 기능을 엣지 디바이스로 확장하는 소프트웨어입니다. 이 서비스를 활용하여 엣지 디바이스는 로컬 네트워크 내에서 서로 빠르고 안전하게 통신하는 컴포넌트를 구현하여 데이터를 수집하고 분석할 수 있습니다. 또한 엣지 디바이스는 AWS IoT Core와 안전하게 통신하여 IoT 데이터를 AWS 클라우드로 내보낼 수 있습니다.
  • AWS IoT Core: AWS IoT Core는 IoT 디바이스를 AWS 클라우드 서비스에 연결하는 게이트웨이 역할을 제공합니다. 연결된 디바이스는 IoT Core의 룰 엔진 기능을 활용하여 IoT 데이터를 AWS 클라우드로 수집하거나, 디바이스 섀도우 (Device Shadow) 기능을 활용하여 디바이스를 효율적으로 제어할 수 있습니다.
  • AWS Lambda: AWS Lambda는 서버를 프로비저닝하거나 관리할 필요 없이 코드를 실행할 수 있는 서버리스 컴퓨팅 서비스입니다. 항공기 센서의 경우 하나당 1초에 64개의 데이터를 생성하며 짧은 시간 안에 많은 양의 데이터가 수집 및 처리되어야 합니다. AWS Lambda는 자동으로 확장 가능하기 때문에 Konan PHM에서 센서 데이터를 처리하기 위해 AWS Lambda를 사용했습니다.
  • Amazon DynamoDB: Amazon DynamoDB는 완전관리형 NoSQL 데이터베이스 서비스입니다. DynamoDB를 사용하면 크기 조정하는 데 따른 관리 부담을 줄여서 하드웨어 프로비저닝, 설정 및 구성, 복제, 소프트웨어 패치 또는 클러스터 크기 조정에 대해 걱정할 필요가 없습니다. Konan PHM에서는 엣지 디바이스에서 받은 데이터를 저장 및 수집하기 위해 사용하였습니다.
  • AWS IoT TwinMaker: AWS IoT TwinMaker는 디지털 트윈을 쉽게 구축하고 운영하도록 뷰를 제공하는 AWS IoT 서비스입니다. 다양한 데이터 소스를 통합하여 3D 모델의 원하는 위치에 데이터를 표현하여 시각화할 수 있고, Entity-Component System을 활용하여 유연하고 확장 가능한 모델링 기능을 제공합니다.
  • Amazon Managed Grafana: Amazon Managed Grafana는 여러 소스의 운영 메트릭, 로그 및 추적을 즉시 쿼리, 상관관계 및 시각화하는 데 사용할 수 있는 Grafana의 완전 관리형 서비스입니다. AWS IoT TwinMaker는 Grafana 대시보드와 통합이 가능하며, Konan PHM에서 그래프 및 3D모델을 시각화하여 사용자에게 제공하기 위해 사용되었습니다.

역제어 서비스 기능에 사용된 AWS 서비스

클라우드를 통한 상태 모니터링 중 사용자가 필요할 시 상태 모니터링 대상을 클라우드 환경을 통해 제어할 수 있는 서비스를 추가 개발하였습니다.

  • Amazon EC2: Amazon EC2는 가상 서버 서비스를 제공하여 웹애플리케이션 호스팅, 빅데이터 처리, 기계학습, 테스트 및 개발 환경, 하이브리드 클라우드 등에 이용 가능합니다. Konan PHM은 Grafana가 동작하는 Ubuntu 환경을 구성하는데 Amazon EC2를 사용하였습니다.
  • Amazon API Gateway: Amazon API Gateway는 모든 규모의 API를 생성, 유지 관리 및 보호하는 역할을 수행합니다. Konan PHM에서는 Grafana에서 주어진 명령을 전달하는 데 사용됩니다.
  • AWS IoT Core Device Shadow: AWS IoT Core Device Shadow는 디바이스 상태 및 명령을 저장 함으로써 클라우드에서 보낸 명령을 즉각적으로 이행하지 못하는 경우를 대비합니다.

카메라 뷰(View) 다각화의 필요성

Prognostics and Health Management(PHM)에 특화된 디지털 트윈에서는, 카메라 시점의 다각화가 부품의 상태를 정확히 진단하고 세부적인 문제를 조기에 발견하는 데 중요합니다. 다양한 각도에서 데이터를 수집하여 예측 모델의 정확도를 높이며, 실시간 모니터링을 통해 문제를 신속히 파악하고 대응할 수 있습니다. 이를 통해 유지 보수 계획의 최적화와 시스템 신뢰성 향상을 도모합니다. 따라서 Konan PHM 제품도 AWS 클라우드 환경에서 개발하면서 부품마다 별도의 시각화가 필요했습니다. 예를 들어 항공기의 경우 날개, 바퀴 등 각 부품에 맞는 대시보드 화면이 필수적이었고, 각각의 대시보드에는 해당 부품의 3D 모델이 정확하게 표시되어야 했습니다. 이를 효과적으로 구현하기 위해 다양한 카메라 장면과 대시보드에 맞는 기본 뷰 설정이 요구되었습니다.
저희는 AWS IoT TwinMaker를 활용하여 이러한 디지털 트윈을 구성했습니다. 먼저, DynamoDB로 수집된 데이터를 컴포넌트와 연결하여 부품과 센서 데이터를 체계적으로 구조화했습니다. 이후 사전 제작된 3D 모델 리소스를 AWS IoT TwinMaker에 업로드하고, Scene을 생성하여 센서 데이터를 해당 3D 모델의 정확한 위치에 Overlay 형태로 연결했습니다. 이렇게 생성된 IoT TwinMaker의 Workspace를 Amazon Managed Grafana와 통합하여, Grafana의 대시보드 상에서 3D 뷰를 시각화함으로써 부품별 맞춤형 시각화를 구현했습니다.

왼쪽의 사진은 3D 모델을 Grafana에 시각화하였을 때의 모습입니다. 사진과 같이 3D 화면이 전체 모델 크기에 맞춰 자동 조정됩니다. 하지만, 이 대시보드 화면에서는 오른쪽의 사진과 같이 전체가 아닌 내부에 있는 항공기의 모델을 보여주고 싶었습니다.

또한 다른 대시보드에는 같은 3D 모델에서 그 대시보드와 일치하는 다른 컴포넌트의 뷰를 보여주고 싶었습니다. 위의 사진은 항공기의 Actuator 부분을 확대한 화면이고 Actuator와 관련된 데이터가 상단에 나타나고 있는 장면입니다.
이러한 형태를 Grafana 상에서 구현하기 위해 여러 차례 시도를 한 끝에 성공하였고, 저희와 비슷한 문제를 겪고 계신 분들에게 도움이 되고자 구현 과정에서 따라 할 수 있도록 단계별로 설명하겠습니다.

AWS IoT TwinMaker와 Grafana 대시보드 통합하기

이를 가능하게 하기 위해서는 크게 2단계가 있습니다. 첫 번째 단계에서는 AWS IoT TwinMaker에서 카메라 뷰를 설정해 주는 것이고, 두 번째 단계에서는 Grafana에서 AWS IoT TwinMaker에서 설정한 카메라 뷰로 대시보드를 설정하는 것입니다.

Step 1. AWS IoT TwinMaker 카메라 뷰 설정

  1. AWS 콘솔에 로그인하여 검색창에 AWS IoT TwinMaker를 입력하고 해당 페이지로 접속합니다.
  2. ‘작업 공간 > 장면’으로 들어가 만들어 둔 TwinMaker 목록에서 원하는 장면을 클릭합니다.
  3. 업로드된 3D 컴포넌트들이 나오면 모델 왼쪽 상단의 ‘+’ 표시를 클릭합니다.
  4. 카메라 뷰를 클릭하면 화면의 오른쪽에 인스펙터라는 화면이 활성화됩니다. 이를 이용해 이름을 입력하고 원하는 위치 및 거리를 조절합니다. 조절한 화면은 인스펙터 왼쪽 상단에 작은 네모 칸이 활성화되어 이를 통해 확인이 가능합니다. (이 그림에서는 konan-F16-001-Cam이라는 이름으로 설정했습니다.)
  5. 여기까지 완료하여 카메라 뷰를 추가하였다면 AWS IoT TwinMaker에서의 설정이 완료되었습니다.

Step 2. Amazon Managed Grafana 설정

  1. Amazon Managed Grafana 콘솔에 접속하여 원하는 대시보드를 클릭합니다. (Amazon Managed Grafana는 9.4 버전에서 구현되었습니다.)
  2. AWS IoT TwinMaker에서 카메라 뷰를 추가했다면 3D모델 화면 오른쪽 상단에 추가한 카메라 뷰가 생기게 됩니다. 드랍다운을 클릭 해보면 미리 설정해 두었던 카메라 뷰로 3D모델 화면이 전환됩니다. 하지만 저희가 원하는 건 대시보드에 들어가면 바로 확대된 뷰가 나오게 하는 것입니다. 이를 위해서는 다음과 같은 설정이 필요합니다.
  3. 왼쪽 대시보드 오른쪽 상단의 톱니바퀴 모양을 클릭해 Setting에 들어갑니다. Setting을 클릭하면 다음과 같은 화면을 확인할 수 있습니다. 다음으로는 왼쪽 중간의 Variables를 클릭하고 화면 중간의 Add variable 버튼을 클릭합니다.
  4. Select variable type에서 Constant를 지정하고 Variable의 Name을 입력한 후, Constant options의 Value 값을 원하는 카메라 뷰의 이름과 일치하게 입력합니다(Step 1의 4-1에서 konan-F16-001-Cam으로 설정했기 때문에 이 부분에 같은 값을 작성합니다.). 마지막으로 Apply 버튼을 누르면 Variable이 생성됩니다.
  5. 대시보드 페이지로 돌아가서 3D 화면 오른쪽 상단의 ⋮ 기호를 눌러 Edit을 클릭합니다.
  6. 편집 창의 왼쪽 AWS IoT TwinMaker Scene Viewer에서 Active camera variable name을 찾아 목록을 보면 Step 1에서 저장한 Variable이 나타난 것을 확인할 수 있습니다. 저장해 둔 Variable을 선택하고 오른쪽 상단의 Apply 버튼을 클릭합니다.
  7. 최종적으로 대시보드의 3D 화면이 원하는 카메라 뷰로 고정이 됩니다.

Konan PHM 데모

마무리

본 글에서는 AWS 서비스를 이용한 코난테크놀로지의 디지털 트윈 구축 서비스 및 개발 과정 중 발생했던 과제와 해결 방안에 대해 차례대로 소개하였습니다. 코난테크놀로지는 AWS 클라우드 서비스를 이용하게 되어 다양한 이점들을 가지고 올 수 있었습니다. 특히, AWS IoT Greengrass와 AWS IoT Core를 활용하여 부품에서 수집되는 센서 데이터를 엣지 디바이스 내에서 추론하고 결과를 AWS로 수집하는 파이프라인을 쉽게 구축할 수 있었고, AWS IoT TwinMaker의 디지털 트윈 기능을 적용하면서 PHM 솔루션의 시각화를 실시간으로 구현할 수 있었습니다. 또한 Amazon Managed Grafana의 사용자 관리나 서버리스 서비스의 손쉬운 구축을 통해 도입이 용이한 솔루션을 만들었으며 운영 또한 쉽게 가능해졌습니다.

AWS 클라우드를 이용한 코난테크놀로지의 Konan PHM을 성공적으로 구축하여 2024년 2월 바르셀로나에서 개최된 ‘MWC Barcelona’ 및 2024년 4월에 국내에서 개최된 ‘World IT Show’에서 성공적으로 시연을 마쳤습니다. 앞으로 AWS 클라우드의 발전과 함께 코난테크놀로지의 Konan PHM도 서비스에 대한 고도화를 진행하여 PHM 분야에서의 더욱 완성도 높은 솔루션을 제공할 계획입니다.

글쓴이

Kwanghyeon_Lee

이광현

이광현 연구원은 코난테크놀로지에서 PHM(Prognostics and Health Management)과 관련된 업무를 하고 있습니다. 센서로부터 오는 다양한 도메인 데이터들의 전처리 및 분석 그리고 머신러닝/딥러닝 등을 활용하여 부품 또는 시스템 단위의 고장 예측 진단 모델을 개발하고 있습니다. 최근에는 PHM 서비스 제공을 위한 IoT 통신 및 AWS Cloud 구축을 진행하였고 현재 개발 총괄을 맡아 PHM SaaS 서비스를 개발하고 있습니다.

Mansoo_Kim

김만수

김만수 상무는 코난테크놀로지 비전 AI 연구소의 디지털 트윈 그룹에서 R&D 연구를 총괄하고 있습니다. 디지털 트윈 그룹은 디지털 트윈 위에 AI 기반 자율비행 기술, AI 기반 PHM 기술 개발에 집중하고 있으며, 항공 방위산업, 제조 분야 등의 솔루션 개발을 지원하고 있습니다.

Jinseon_Lee

이진선

이진선 IoT Solutions Architect는 IoT 및 Robotics 서비스 담당 SA로서 다양한 산업군 고객들의 Workload에 맞는 IoT 서비스들을 소개하고 IoT 서비스들을 적용한 최적의 아키텍처를 구성하도록 기술적인 도움을 제공해 드리고 있습니다.

김세진

김세진

김세진 Solutions Architect는 다양한 산업군의 고객들이 AWS 클라우드를 효과적으로 사용할 수 있도록 도움을 주고 있으며, 특히 ISV 고객들이 AWS 클라우드상에서 SaaS(Software-as-a-Service)를 포함한 다양한 솔루션을 성공적으로 제공할 수 있도록 지원하고 있습니다.