Amazon Web Services ブログ
株式会社ゼネット様の AWS 生成 AI 事例「Amazon Bedrock を活用した e ラーニング向け AI 自動回答システムの構築」のご紹介
本ブログは株式会社ゼネット様と Amazon Web Services Japan が共同で執筆いたしました。
みなさん、こんにちは。AWS ソリューションアーキテクトの山澤です。
最近、 IT 関連市場規模の拡大に伴い、年々 IT 人材のニーズが高まっているという話をよく耳にします。
このような状況において、講師の負担を最小限に抑えつつ、いかに効率的に IT エンジニアを育成するかは、非常に重要なテーマではないでしょうか。
本記事では、このような課題に対する取り組みとして、株式会社ゼネット様の事例をご紹介します。同社は IT エンジニア向けの e ラーニングシステムに、 Amazon Bedrock を活用した自動質問回答機能と自動ソースコードレビュー機能を導入しました。これにより、受講生からの質問やソースコードレビューに素早く対応できるようになり、同時に講師の生産性も大幅に向上しました。
お客様の状況と検証に至る経緯
株式会社ゼネット様は、 e ラーニング学習用コンテンツ登録プラットフォーム「Xlabo」を提供しております。新人向けの Java 研修、 Ruby 研修、 AWS 研修など、様々なプログラムを通じて、実務で活躍できる IT エンジニアの育成に力を入れてきました。現在では年間 100 名以上の受講生を受け入れるほどまで事業を拡大し、リピート率も高い研修となっておりますが、以下のような課題感がありました。
- IT 技術者に向けた研修を実施している中で、受講生からの質問対応やソースコードレビュー対応に講師の時間の半分が取られている
- 繁忙期は受講生が 50 名を超えることもあり、講師の順番待ちなどで受講生自体の満足度が低下する
そこで、Amazon Bedrock を利用し、生成 AI による自動での質問回答を行うことで、上記の課題解決に向けて、検証することになりました。
お客様が開発された生成 AI を活用した受講生向け機能
株式会社ゼネット様は、 Amazon Bedrock の Claude 3.5 Sonnet を活用し、 2 つの新しい機能を開発しました。お客様曰く、これらの機能は、実際の講師と同じくらい、あるいはそれ以上の精度で回答できるようになっているとのことです。
1. 自動質問回答機能
まずは、質問への回答の面で受講生をサポートする機能を公開されています。ただ、質問に答えるだけではなく、質問をより適切な質問にブラッシュアップするサポートもされている点が特徴的です。
例えば「エラーで躓いています。エラーのデバッグ方法を教えてほしいです。」という、ファジーな質問に対して、以下のような質問内容へのアドバイスと、より良い質問の提案をレコメンデーションすることで、期待する回答が返ってきやすい質問にするサポートをします。
また、画面キャプチャなど画像付きで質問されたい受講生も多くいらっしゃいます。そのため、テキストだけではなく、画像を質問の入力に加えていただき、「添付画像の問題が理解できませんでした。解説をお願いします。」のような質問を受け付けられるようにしているのも特徴的です。
このようなサポートは初めての技術を学ぶ受講生にとって、ありがたい機能なのではないでしょうか？
この機能は、図が示すとおり、2 つのフェーズで構成されています。
- Phase 1 ：質問内容をチェックし、より良い質問の仕方を提案します。これにより、受講生の質問する能力を向上させます。
- Phase 2 ：質問に対する回答を作成します。
2. 自動ソースコードレビュー機能
次に、受講生が提出したプログラムコードをレビューする機能も公開されています。
設問作成者があらかじめレビューの観点を登録しておくことで、 LLM （大規模言語モデル）によるレビューの範囲を制限しています。これにより、受講生がまだ学んでいない内容を含めた指摘がされないように実装されています。
また、プログラムの実行やレビュー観点でのチェックで問題がなかった場合には、プラスアルファで学ぶと良い知識を提供します。提出されたコードに対するアドバイスを LLM にさせると、学習者がまだ習得していない表現や文法を含めた内容を生成してしまう可能性があります。そのため、設問の条件などを考慮し、受講生の学習進度に合わせたアドバイスをされている点が特徴的です。
例えば、「プログラムの終了には “System.exit(0);” を使うこと」という指示のある Java 言語に関する設問に対して、指示に従ってコードを記述した場合、 LLM は「 System.exit(0) の使用は一般的にはメインメソッド内で避けるべきです。代わりに、エラー処理を行うメソッドを作成し、早期リターンを使用することで、コードの可読性と保守性が向上します。」といったアドバイスがされる可能性があります。このような設問条件に矛盾するアドバイスが提供されないように実装されています。
この機能は、図が示すとおり、3 つのフェーズで構成されています。
- Phase 1 ： プログラムを実行します。実行の結果、エラーが発生した場合には、LLM を用いて、ユーザに対して、実行エラーの解説をします。
- Phase 2 ：プログラムの実行でエラーが発生しなかった場合は、 LLM を用いて、設問作成者があらかじめ登録したレビュー観点を基にチェックをします。レビューで問題がある場合は、ユーザに対して、レビューの結果をお伝えします。
- Phase 3 ：レビュー観点を基にチェックで問題がなかった場合は、LLM を用いて、ユーザーに対して、プラスアルファで学ぶと良い知識をお伝えします。ただし、学習者がまだ習得していない表現や文法を含む情報を LLM が生成する可能性があるため、 LLM を用いて出力内容が設問の範囲内であるかを確認し、未学習の表現や文法を含む知識が提供されないよう対策を講じています。
プロンプトの工夫に加えて、このようにステッププロンプト（一度きりの命令ではなく、複数のステップに分けて回答を生成する手法）を採用することで回答の精度を大きく向上させることに成功されたとのことです。
精度の検証と結果
また、お客様は、複数の LLM の性能評価を実施されました。以下 2 つの重要な観点において、Claude 3.5 Sonnet が優れた精度を確認されたため、システムへの採用を決定されました。
1. 画像認識と文字抽出能力
Claude 3.5 Sonnet は、画像内のテキストや数値を高精度で認識し、正確に抽出することができました。これにより、自動質問回答機能で、学習者が以下のような設問の画像を添付し、質問をすることが可能となりました。
2. コード構造の理解と再現能力
Claude 3.5 Sonnet はソースコードのインデントやスペースといった構造要素を高い精度で認識し、必要に応じて指摘することができました。これにより、自動ソースコードレビュー機能で、学習者が提出したコードの形式や構造の適切さを正確に評価し、より質の高いフィードバックを提供することが可能となりました。
導入効果
システムをリリースした結果、以下 2 つの効果を得ることができました。
- 24 時間 365 日の質疑応答が実現でき、かつ 1 分以内での回答が可能になった。これによって受講生の学習効率が大幅に向上した
- 質問応答をシステムに託したことで、講師陣が研修の実習時間中に行うサポートの工数が半分以下に削減された
今回のアプローチでは、LLM が出力する内容を受講者の習得範囲内に制限しています。このしくみにより、受講者の学習進捗状況に合わせた形で、プラスアルファの知識を提供することができました。このような機能は、教育関連のシステムを提供しているお客様にとって有用ではないかと考えています。
まとめ
今回は、 Amazon Bedrock を活用して、e ラーニング向けシステムに自動質問回答機能と自動ソースコードレビュー機能を追加したお客様事例をご紹介いたしました。LLM の進歩により、テキスト処理だけでなく画像認識も可能になり、AI をより幅広い場面で活用できるようになったと実感しています。AWS を使った生成AIの活用に興味をお持ちの方は、お気軽にご相談ください。
また、今回紹介した「Xlabo」は、 2025 年 1 月からプラットフォーム型のサービスとして販売を予定しています。現在、無料モニターを募集中ですのでご興味のある方は、こちらからお問い合わせください。
株式会社ゼネット : システム事業部 西島 由祐様（右から 2 番目）、武内 潤一様（左から 2 番目）
Amazon Web Services Japan : アカウントマネージャー 浜崎 佳子（左端）、ソリューションアーキテクト 山澤 良介（右端）
[Appendix] アーキテクチャ
今回の記事では、お客様が力を入れて取り組まれた生成AIの活用についてご紹介することに重点を置いたため、アーキテクチャの細かい説明は割愛しますが、これらの機能は、インフラストラクチャの管理、運用負荷の少ないマネージドサービスで構成されています。
ソリューションアーキテクト 山澤 良介 (X – @ymzw230 )