株式会社日本製鋼所様の AWS 生成 AI 事例「Amazon Bedrock と Amazon Kendra による樹脂機械向けの社内文章検索 & 要約システムを早期開発」のご紹介

本ブログは株式会社日本製鋼所様と Amazon Web Services Japan が共同で執筆いたしました。

みなさん、こんにちは。 AWS ソリューションアーキテクトの酒井 賢です。

本記事では Amazon Bedrock と Amazon Kendra を活用し、製造業におけるアフターサービス対応の負担低減を目指した社内文章検索 & 要約システムを 2 ヶ月という短い期間で開発された事例をご紹介します。

お客様の状況と検証に至る経緯

株式会社日本製鋼所様（以下、日本製鋼所）は樹脂機械の製造販売事業を展開しており、アフターサービスの一環として故障などの異常が発生した部品のメンテナンスと交換作業を行っています。かつては故障の報告を受けてから対象部品を製造しており、数カ月の納期が生じることもありました。これに対し、 2021 年より樹脂機械向け消耗部品に対する在庫部品の運用を開始し、納期短縮などのアフターサービス充実に注力しています。

在庫部品の運用を開始した結果、メンテナンスおよび交換作業のサイクルが短縮され、アフターサービス対応件数が増加すると共に、営業およびサービス部門での問い合わせ対応業務負荷が 2021 年から 2023 年にかけて増加しました。業務負荷の増加要因の一つは製品情報の確認作業にあり、既存の製品情報検索システムは自然言語検索に対応しておらず、検索キーワードのゆらぎによって求める製品情報にたどり着くまでに時間を要するとの課題がありました。業務負荷の低減を目指し、本課題の解決と問い合わせに対する回答案生成を目的とした、社内文章検索 & 要約システムの開発に着手しました。

開発したシステム

図 1 アーキテクチャ

「図 1 アーキテクチャ」の社内文章検索 & 要約システムは日本製鋼所が発信する製品情報や特徴、用法を記載したニュースレターという PDF 形式の文章ファイルの保存、検索、要約機能を持ち、以下三点の特徴があります。

• 一点目は User Interface (UI) の簡素化です。社内文章検索 & 要約システムは通常 AWS や AI を使わない営業およびサービス担当者が利用するため、技術レベルや場所を問うことなく利用可能とする必要があります。そのため、チャット形式のウェブアプリケーションを利用導線として用意しました。
• 二点目は AWS が提供するフルマネージドサービスと構成例を活用し、自前での設計および開発範囲を最小限にとどめたことです。 Amazon Kendra による文章検索と Amazon Bedrock の基盤モデルを用いた文章要約による回答生成を組み合わせた RAG (Retrieval Augmented Generation) として構築しました。またアプリケーションの開発には AWS Amplify を、コーディングの補助には Amazon CodeWhisperer * を利用しています。これにより、プロジェクトマネジャー 1 名、開発者 1 名、検証担当 1 名の合計 3 名の体制ながら、わずか 2 カ月という短い期間で開発を完了しています。
  * 本記事執筆の 2024 年 7 月時点において Amazon CodeWhisperer は Amazon Q Developer に統合されています
• 三点目は回答精度向上の取り組みです。回答に用いる PDF 形式の文章ファイルは Amazon S3 に保存され、 Amazon Kendra による検索を経て Amazon Bedrock で要約をして回答を生成します。この際、 Amazon Kendra の検索結果に含まれる文章情報ではなく、検索結果に挙がった文章ファイルを Amazon S3 から取得し、全文を Amazon Bedrock で要約しています。 Amazon Kendra を用いた RAG を構築する場合、文章ファイルを検索する手段として Query API もしくは Retrieve API を利用します。しかし、これらの API で取得可能な情報は文章ファイル中の検索条件に合致する一部の箇所を抜粋したものです。そのため、回答生成に必要な情報が文章ファイル全体に点在している場合、必要な情報を Amazon Bedrock に渡すことが出来ず、回答精度の低下につながりました。そのため、ユーザーの質問に合致する文章ファイルの検索を Amazon Kendra で行い、検索結果の上位に挙がった数件の文章ファイルの全文を AWS Lambda でテキスト化し、 Amazon Bedrock に渡しています。

回答精度の検証と結果

回答精度は定量的な指標を定めて検証を行いました。指標はニュースレターに対する質問への回答がニュースレター記載内容と合致する割合と定めました。なお、合致割合を判断しやすくするため、回答を箇条書きで生成するよう、プロンプトエンジニアリングを考慮しています。検証の結果、 80% 以上の精度でニュースレター記載内容に合致する回答が得られたことを確認しました。

回答精度検証の具体的な方法を以下「図 2 ニュースレター例」と「図 3 社内文章検索 & 要約システム画面」の対比を元に示します。図 2 は回答生成に用いる文章ファイル、日本製鋼所で開発された樹脂機械用の部品である「Vニーディング」と言われるスクリュピースのニュースレターです。図 3 は「Vニーディング」に関する質問と回答です。両図の①～⑥は生成された回答と対応するニュースレター記載箇所を示しています。

また、検証を通じて回答精度向上の取り組み成果も確認できました。 Amazon Kendra の Query API や Retrieve API の結果から回答生成を試みた場合、ニュースレター中の①で示す箇所のみが Amazon Bedrock に渡っていました。ニュースレター全文を取得して Amazon Bedrock に渡すことにより、文章の広範囲にわたる①～⑥の内容に基づく回答生成が可能になりました。

図 2 ニュースレター例

図 3 社内文章検索 & 要約システム画面

まとめと今後の展望

今回は日本製鋼所が内製開発した社内文章検索 & 要約システムを紹介しました。チャット形式に UI を簡素化することにより、営業やサービス担当者など技術スキルを持たないユーザーに対する利用障壁を低下させました。また定量的な指標を定めて回答精度を検証し、ニュースレター全文を用いた要約に基づく回答生成により、回答精度を向上させました。これらの工夫に満ちたシステムは AWS が提供するフルマネージドサービスと構成例を活用し、自前での設計および開発範囲を極小化したことで、 3 名体制ながら 2 ヶ月との短期での開発完了に至りました。

社内文章検索 & 要約システムは開発を終え利用を開始したばかりです。今後はアフターサービスにおける問い合わせ対応業務負荷の低減効果を定量的に計測していくと共に、ニュースレター以外のドキュメントを用いて、樹脂機械以外の事業領域における展開を計画中です。

ソリューションアーキテクト 酒井 賢