AWS 기술 블로그
Category: Amazon Bedrock
Multi-RAG와 Multi-Region LLM로 한국어 Chatbot 만들기
사전학습(pretrained)되지 않은 데이터나 민감한 정보를 가지고 있어서 사전학습 할 수 없는 기업의 중요한 데이터는 RAG(Retrieval-Augmented Generation)을 이용하여 LLM(Large Language Model)에서 이용될 수 있습니다. RAG는 지식저장소(Knowledge Store)의 연관성 검색(sementic search)을 이용해, 질문과 가장 가까운 문서를 LLM의 Context로 활용합니다. 이러한 지식저장소에는 대표적인 In-memory vector store인 Faiss, persistent store이면서 대용량 병렬처리가 가능한 Amazon OpenSearch와 완전관리형 검색서비스인 Amazon Kendra가 있습니다. 또한, 2023년 re:Invent에서는 Amazon Aurora, OpenSearch, […]
Amazon Bedrock, AWS Chatbot을 이용한 ChatOps 모니터링 솔루션 구축하기
Background Troubleshooting 고객들은 시스템을 운영하며 다양한 장애 상황을 마주합니다. 각 장애 상황에는 장애가 발생한 리소스에서 에러 로그가 발생하고, 이러한 에러들 중 긴급하게 처리되어야 하는 에러들은 실시간으로 보고되고 즉시 처리되어야 합니다. 개발자들은 서비스 장애 상황을 해결하기 위해, 리소스에서 발생한 에러 로그를 검색엔진등을 이용해 솔루션을 찾습니다. 또한 많은 회사들은 그들의 서비스를 운영하며 대표적인 장애 상황에 대한 문제 […]
Amazon Bedrock을 이용하여 Stream 방식의 한국어 Chatbot 구현하기
2023년 9월 Amazon Bedrock이 정식버전을 출시하면서 Amazon Titan, Anthropic Claude등의 다양한 LLM (Large Language Model)을 AWS 환경에서 편리하게 사용할 수 있게 되었습니다. 특히 Anthropic의 Claude 모델은 한국어를 비교적 잘 지원하고 있습니다. Chatbot과 원활한 대화를 위해서는 사용자의 질문(Question)에 대한 답변(Answer)을 완전히 얻을 때까지 기다리기 보다는 Stream 형태로 대화하듯이 보여주는 것이 사용성에서 좋습니다. 본 게시글은 Amazon Bedrock을 사용하여 Stream을 지원하는 […]