Category: Artificial Intelligence

서론 생성형 AI의 기술이 하루가 다르게 발전하고 있으며, 그 접근법 또한 다양해지고 있습니다. 그 중, RAG(Retrieval Augmented Generation, 검색 증강 생성) 접근은 도메인의 문제를 효율적으로 풀기 위한 접근법으로, 생성형 AI의 필수적인 접근 중 하나가 되었습니다. RAG를 활용하는 데에는 여러 방법이 있지만, 가장 널리 사용되는 방법은 임베딩을 사용한 유사도 검색에 기반을 두고 있습니다. 이 접근법은 텍스트를 […]

이 게시글은 AWS Security Blog에 게시된 “Implement an early feedback loop with AWS developer tools to shift security left by by Barry Conway, Deenadayaalan Thirugnanasambandam, Balamurugan Kumaran, and Nitin Kumar”를 한국어로 번역 및 편집하였습니다. 소프트웨어 개발 사이클(SDLC, Software Development Life Cycle) 내에서, 보안 점검은 일반적으로 코드 개발 및 빌드 이후에 이루어지게 됩니다. 하지만, 이러한 구성은 보안 점검이 완료되지 않은 […]

이 글은 AWS Machine Learning Blog에 게시된 Architect defense-in-depth security for generative AI applications using the OWASP Top 10 for LLMs을 한국어 번역 및 편집하였습니다. 대규모 언어 모델(LLM)을 기반으로 하여 구축된 생성형 인공 지능(Al) 애플리케이션은 비즈니스 측면에서 경제적 가치를 창출하고 가속화할 수 있다는 잠재력을 입증했습니다. 생성형 AI 기반 애플리케이션의 유형으로는 대화형 검색, 고객 대상 상담원 […]

이 글은 AWS Machine Learning Blog에 게시된 Use AWS PrivateLink to set up private access to Amazon Bedrock By Ram Vittal, Michael Daniels, and Ray Khorsandi를 한국어 번역 및 편집하였습니다. Amazon Bedrock은 AWS에서 제공하는 완전 관리형 서비스로, 개발자에게 여러 파운데이션 모델들과 각 모델들을 사용자의 어플리케이션에 맞게 커스터마이징할 수 있는 도구들을 제공합니다. 이를 통해 개발자는 인프라를 […]

개요 대규모 언어 모델들은 방대한 데이터를 기반으로 광범위한 지식과 우수한 문장 생성 능력을 갖추고 있습니다. 그러나 이러한 모델들은 학습 시점 이후의 최신 정보나 특정 주제에 대한 심층 지식을 반영하는 데 한계가 있으며, 때때로 환각(hallucination) 문제로 답변의 정확성을 떨어뜨리기도 합니다. 이러한 문제를 해결하기 위해, RAG(Retrieval Augmented Generation) 프레임워크가 등장했습니다. RAG는 필요한 정보를 자체 데이터베이스에 저장하고 검색해, […]

Amazon Bedrock의 Claude LLM v2.1은 200k token을 가지는 Context Window를 제공하고, 환각(Hallucination) 방지에서도 높은 성능을 보여주고 있습니다. 또한, Amazon Q에서는 Amazon Bedrock과 Amazon Kendra을 이용하여 다양한 데이터 소스를 통합하여 업무를 간소화하고, 빠른 의사결정 및 문제점 해결이 가능하도록, 즉각적이고 관련성 있는 정보와 조언을 제공하고 있습니다. 본 게시글은 Amazon Bedrock의 Claude LLM과 Amazon Kendra를 사용하여 RAG (Retrieval Augmented Generation)가 적용된 […]

기업의 중요한 문서를 검색하여 편리하게 활용하기 위하여 LLM(Large Language Model)을 활용하는 기업들이 늘어나고 있습니다. 기업의 모든 데이터를 사전 학습하는 것은 비용 및 시간에 대한 제약뿐 아니라 데이터 보안 면에서도 바람직하지 않을 수 있습니다. RAG(Retrieval-Augmented Generation)의 지식 저장소(Knowledge Store)를 활용하면, 다수의 문서를 안전하게 검색하여 관련된 문서(Relevant documents)를 추출한 후에 LLM에서 용도에 맞게 활용할 수 있습니다. RAG의 지식 […]

미디어에서 자막은 단순히 대사만을 전달하는 것이 아니라, 영상 속에서 일어나는 다양한 소리들(배경음, 음향 효과 등)도 설명해주기 때문에 영상의 내용을 이해하는 데 중요한 역할을 합니다. 자막의 대표적 종류인 폐쇄자막(Closed Caption)은 주로 청각 장애인을 위한 자막 서비스로 사용되어 모든 사람들이 접할 수 있게 되었습니다. 또한 자막을 통해  ‘오징어게임’, ‘더 글로리’와 같은 국내 미디어 컨텐츠의 세계화를 이룰 수 […]

사전학습(pretrained)되지 않은 데이터나 민감한 정보를 가지고 있어서 사전학습 할 수 없는 기업의 중요한 데이터는 RAG(Retrieval-Augmented Generation)을 이용하여 LLM(Large Language Model)에서 이용될 수 있습니다. RAG는 지식저장소(Knowledge Store)의 연관성 검색(sementic search)을 이용해, 질문과 가장 가까운 문서를 LLM의 Context로 활용합니다. 이러한 지식저장소에는 대표적인 In-memory vector store인 Faiss, persistent store이면서 대용량 병렬처리가 가능한 Amazon OpenSearch와 완전관리형 검색서비스인 Amazon Kendra가 있습니다. 또한, 2023년 re:Invent에서는 Amazon Aurora, OpenSearch, […]

이 글은 영문 게시글(FMOps/LLMOps: Operationalize generative AI and differences with MLOps, by Sokratis Kartakis and Heiko Hotz)을 한글 번역, 편집하였습니다. 최근, 많은 고객들께서는 대형 언어 모델(LLM) 에 매우 높은 관심을 보이시고, 생성형 AI가 비즈니스를 어떻게 혁신할 수 있을지에 대해 고민하고 계십니다. 하지만 이러한 솔루션과 모델을 비즈니스 운영에 적용하는 것은 쉬운 일이 아닙니다. 이 블로그에서는 파운데이션 […]