Category: Amazon OpenSearch Service

본 게시물은 AWS Machine Learning Blog에 James Jory 님, Reagan Rosario님이 공저한 “Unlock personalized experiences powered by AI using Amazon Personalize and Amazon OpenSearch Service” 원문을 한국어로 번역 및 편집한 글입니다. OpenSearch는 검색, 분석, 보안 모니터링, 통합 가시성 애플리케이션을 위한 확장 가능하고 유연하며 확장 가능한 오픈 소스 소프트웨어 제품군으로, Apache 2.0 라이선스를 따릅니다. Amazon OpenSearch […]

검색 증강 생성 (Retrieval-Augmented Generation, RAG)은 대규모 언어 모델 (Large Language Model, LLM)과 효율적인 데이터 검색 기능을 결합하여 정확하고 관련성 높은 응답을 생성하는 유망한 생성형 AI 기술입니다[1, 2]. RAG 방식은 최신 정보를 반영함으로써 답변의 부정확성이나 환각을 줄일 수 있어 많은 사용자들의 관심을 받고 있습니다. 그러나 RAG 시스템이 다양한 자연어 처리 작업에서 인상적인 성능을 보임에도 불구하고보다 […]

OpenSearch 2.9에서 Amazon OpenSearch Service의 Neural 검색 기능이 출시되며, AI/ML 모델과 통합하여 시맨틱 검색 및 다양한 검색 기능을 손쉽게 강화할 수 있습니다. OpenSearch Service는 2020년에 k-NN(k-최근접 이웃) 기능을 도입한 이래 어휘 검색과 벡터 검색을 모두 지원해 왔지만, 시맨틱 검색을 구성하려면 머신 러닝(ML) 모델을 통합하여 색인 및 검색할 수 있는 프레임워크를 구축해야 했습니다. Neural 검색 기능은 […]

서론 최근 자체적인 생성형 AI를 만들기 위한 여러가지 노력들이 있습니다. 특히 검색 증강 생성(Retrieval Augmented Generation, RAG) 모델을 활용하여 외부 소스의 정보를 사전에 지식 데이터베이스로 사용하며 생성형 AI 모델의 정확성과 신뢰성을 향상시키기 위해 다양한 방법으로 실험이 진행 되고 있습니다. Amazon OpenSearch Service는 Vector Database로 많은 사랑을 받고 있으며 2.9 버전부터 Neural Search 기능이 출시됨에 따라 […]

서론 OpenSearch 는 Apache Lucene 검색 라이브러리로 구동되며, K-NN 검색, SQL, 이상 탐지, 전체 텍스트 검색 등 다양한 검색 및 분석 기능을 제공하는  Elasticsearch 에서 파생된 오픈 소스 입니다. 그리고 Amazon OpenSearch Service 는 OpenSearch 및 레거시 Elasticsearch OSS (7.10까지) 를 지원하는 관리형 오픈 소스 검색 엔진입니다. 이러한 OpenSearch Service 를 활용하기 위해서는 도메인이라고 불리는 […]

관계형 데이터베이스(RDBMS)는 데이터를 저장하고, 분석하고자 할 때 가장 많이 사용되는 솔루션 입니다. 하지만, RDBMS로 처리하기 어려울 만큼 많은 양의 데이터를 저장하고 관리해야 하는 상황이 자주 발생합니다. 또한, MSA (마이크로 서비스아키텍처)를 도입해서 비즈니스 도메인 단위로 RDBMS를 물리적으로 격리하는 경우에 데이터 분석을 위해서 여러 RDBMS의 데이터를 한 곳에 모아서 저장하고, 관리해야할 필요가 있습니다. 즉, 데이터 레이크를 구축해서 […]

검색 증강 생성 (Retrieval-Augmented Generation, RAG)은 효율적인 데이터 검색과 대규모 언어 모델 (Large Language Model, LLM) 을 결합하여 정확하고 관련성 높은 응답을 생성하는 AI 기술로 부상했습니다. 특히, RAG 방식은 최신 정보를 반영하여 답변의 부정확성이나 환각을 줄인다는 면에서 많은 사용자들의 관심을 받고 있습니다. 그러나 RAG 시스템이 보다 복잡한 실제 애플리케이션에 적용 됨에 따라, 시멘틱 벡터 검색 […]

이 글은 AWS Big Data Blog에 게시된 Configure SAML federation for Amazon OpenSearch Serverless with AWS IAM Identity Center by Utkarsh Agarwal를 한국어 번역 및 편집하였습니다. Amazon OpenSearch Serverless는 클러스터를 구성, 관리 또는 확장할 필요 없이 대규모 검색 및 분석 워크로드를 쉽게 실행할 수 있도록 해주는 Amazon OpenSearch Service의 서버리스 옵션입니다. 리소스를 자동으로 프로비저닝하고 확장하여 […]

기업의 중요한 문서를 검색하여 편리하게 활용하기 위하여 LLM(Large Language Model)을 활용하는 기업들이 늘어나고 있습니다. 기업의 모든 데이터를 사전 학습하는 것은 비용 및 시간에 대한 제약뿐 아니라 데이터 보안 면에서도 바람직하지 않을 수 있습니다. RAG(Retrieval-Augmented Generation)의 지식 저장소(Knowledge Store)를 활용하면, 다수의 문서를 안전하게 검색하여 관련된 문서(Relevant documents)를 추출한 후에 LLM에서 용도에 맞게 활용할 수 있습니다. RAG의 지식 […]

서론 최근 자체적인 생성형 AI를 만들기 위한 여러가지 노력들이 있습니다. 이때 검색 증강 생성(Retrieval Augmented Generation, RAG) 모델을 활용하여 외부 소스의 정보를 사전에 지식 데이터베이스로 사용하며 생성형 AI 모델의 정확성과 신뢰성을 향상시키기 위해 다양한 방법으로 실험이 진행 되고 있습니다.  Amazon OpenSearch Service는 Vector Database로 많은 사랑을 받고 있으며 2023년 11월 20일 기존 Lexical Search와 K-NN 기반 […]