Amazon Web Services ブログ

Meta の Llama 3 モデルが Amazon Bedrock でご利用いただけるようになりました

4月23日、Amazon Bedrock で Meta の Llama 3 モデルが一般発売されたことを発表します。Meta の Llama 3は、生成 AI アプリケーションを構築、実験、責任を持ってスケールする事ができるように設計されています。新しい Llama 3 モデルは、推論、コード生成、およびインストラクションチューニングの改善により、幅広いユースケースをサポートできる最も優れたモデルです。

Meta の Llama 3 の発表によると、Llama 3 モデルファミリーは、8B および70B のパラメーターサイズで、事前トレーニングを行い、インストラクションデータで調整した大規模言語モデルのコレクションです。これらのモデルは、15兆トークンを超えるデータでトレーニングされています。このトレーニングデータセットは、Llama 2 モデルの学習時より、7倍大きく、かつ、コードの含有量は4倍含まれており、入力コンテキスト長は Llama2 の 2 倍の 8k です。

Amazon Bedrock で2つの新しい Llama 3 モデルを使用できるようになり、 Amazon Bedrock 内でのモデルの選択肢がさらに増えました。これらのモデルにより、ユースケースに合わせてさらに多くのトップ基盤モデル (FM) を簡単に試して評価することができます。

  • Llama 3 8B は、限られた計算能力とリソース、およびエッジデバイスに最適です。このモデルは、テキストの要約、テキスト分類、感情分析、および言語翻訳に優れています。
  • Llama 3 70B は、コンテンツ制作、会話型 AI、言語理解、研究開発、エンタープライズアプリケーションに最適です。このモデルは、テキストの要約と正確さ、テキストの分類とニュアンス、感情分析とニュアンスの推論、言語モデリング、対話システム、コード生成、および指示に従うことに優れています。

Meta は現在、Llama 3 モデルに 400B パラメータを持つモデルを追加すべく、トレーニングを行っています。この400B モデルには、マルチモダリティ、多言語サポート、はるかに長いコンテキストウィンドウなどの新機能が搭載される予定です。これらのモデルがリリースされれば、コンテンツ制作、会話型 AI、言語理解、研究開発 (R&D)、エンタープライズアプリケーションに最適となるでしょう。

利用可能な Llama 3 モデル
Meta のモデルを初めて使用する場合は、Amazon Bedrock コンソールにアクセスして、左下のペインで [モデルアクセス] を選択します。Meta から最新の Llama 3 モデルにアクセスするには、Llama 3 8B インストラクトまたは Llama 3 70B インストラクトへのアクセスを個別にリクエストしてください。

Amazon Bedrock コンソールで Meta の Llama 3 モデルをテストするには、左側のメニューペインの「Playground」で「テキスト」または「チャット」を選択します。次に、 [モデルを選択] を選択し、カテゴリとして [Meta] を選択し、モデルとして [Llama 8B  Instruct] または [Llama 3 70B  Instruct ] を選択します。

また、[API リクエストを表示] を選択すると、AWS コマンドラインインターフェイス (AWS CLI) や AWS SDK でコードサンプルを使用してモデルにアクセスすることもできます。meta.llama3-8b-instruct-v1やmeta.llama3-70b-instruct-v1などのモデル ID を使用できます。

AWS CLI コマンドのサンプルを次に示します。

$ aws bedrock-runtime invoke-model \
  --model-id meta.llama3-8b-instruct-v1:0 \
  --body "{\"prompt\":\"Simply put, the theory of relativity states that\\n the laws of physics are the same everywhere in the universe, and that the passage of time and the length of objects can vary depending on their speed and position in a gravitational field \",\"max_gen_len\":512,\"temperature\":0.5,\"top_p\":0.9}" \
  --cli-binary-format raw-in-base64-out \
  --region us-east-1 \
  invoke-model-output.txt

AWS SDK を使用する Amazon Bedrock のコード例を使用して、さまざまなプログラミング言語でアプリケーションを構築できます。次の Python コード例は、Amazon Bedrock の Llama 3 チャットモデルを呼び出してテキストを生成する方法を示しています。

def invoke_llama3(self, prompt):
        try:
            body = {
                "prompt": prompt,
                "temperature": 0.5,
                "top_p": 0.9,
                "max_gen_len": 512,
            }

            response = self.bedrock_runtime_client.invoke_model(
                modelId="meta.llama3-8b-instruct-v1:0", body=json.dumps(body)
            )

            response_body = json.loads(response["body"].read())
            completion = response_body["generation"]

            return completion

        except ClientError:
            logger.error("Couldn't invoke Llama 3")
            raise

これらの Llama 3 モデルは、質問への回答、言語翻訳、感情分析など、さまざまなタスクに使用できます。これは、Llama 3 モデルの例で、いくつかの場面で状況に応じた学習を行い、モデルで利用できるトレーニングサンプルを提供しています。

Input: Translate English to French:
sea otter => loutre de mer
peppermint => menthe poivrée
plush girafe => girafe peluche
cheese =>
Output: fromage
panda => panda
penguin => pingouin
polar bear => ours polaire
puffin => macareux
sloth => paresseux
walrus => morse
whale => baleine
zebra => z\u00e8bre

Translate English to German:
sea otter => Seeotter

Llama 3 のインストラクションモデルを対話型のユースケースに最適化して使うこともできます。インストラクションモデルのエンドポイントへのリクエストに入れるのは、チャットアシスタントとユーザーの過去の会話履歴です。これにより、これまでの会話の文脈に沿った質問をし、チャットアシスタントの振る舞いを定義するペルソナなどの設定をできます。

<|begin_of_text|><|start_header_id|>system<|end_header_id|>
[SYSTEM_TEXT]<|eot_id|><|start_header_id|>user<|end_header_id|>
[USER_TEXT]<|eot_id|><|start_header_id|>assistant<|end_header_id|>

次の例では、ユーザーはパリの観光地についてアシスタントと会話しています。次に、ユーザーはチャットアシスタントが推奨する最初のオプションについて問い合わせます。

Input: <|begin_of_text|><|start_header_id|>user<|end_header_id|>\n\n
I am going to Paris, what should I see?<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n
Paris, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris:\n\n
1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.\n
2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.\n
3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows.\n\n
These are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.<|eot_id|><|start_header_id|>user<|end_header_id|>\n\n
What is so great about #1?<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n
Output: The Eiffel Tower! It's an iconic symbol of Paris and one of the most recognizable landmarks in the world. Here are some reasons why it's so great:\n\n
1. **Engineering marvel**: When it was built for the 1889 World's Fair, the Eiffel Tower was a groundbreaking feat of engineering. It was the tallest structure in the world at the time, standing at 324 meters (1,063 feet).\n
2. **Panoramic views**: The Eiffel Tower offers breathtaking 360-degree views of the city from its observation decks. You can see many of Paris' famous landmarks, such as the Seine River, the Louvre, and Montmartre.\n
3. **Romantic atmosphere**: The Eiffel Tower is often associated with romance and is a popular spot for proposals, weddings, and romantic dinners. The tower's iron latticework and twinkling lights at night add to its romantic ambiance.\n
4. **Historical significance**: The Eiffel Tower has played a significant role in French history, serving as a communication tower during World War I and a symbol of French culture and engineering.\n
5. **Accessibility**: The Eiffel Tower is easily accessible by public transportation or on foot, and there are various ways to experience it, including taking the stairs, elevator, or a guided tour.\n
6. **Nighttime spectacle**: The Eiffel Tower is even more magical at night, when it's illuminated with thousands of twinkling lights. The light show, known as the \"Eiffel Tower Sparkle,\" takes place every hour on the hour from dusk to midnight.\n
7. **Iconic status**: The Eiffel Tower has been featured in countless films, literature, and art, making it an instantly recognizable symbol of Paris and France.\n\n
Overall, the Eiffel Tower is a must-visit attraction in Paris, offering a unique combination of history, engineering, romance, and stunning views.

Llama 3 の新しいプロンプトテンプレートと特別なトークンの詳細については、 Meta のモデルカードとプロンプトフォーマット、または GitHub リポジトリにある Llama のレシピを確認してください。

今すぐご利用いただけます
Meta の Llama 3 モデルは4月23日、米国東部（バージニア北部）および米国西部（オレゴン）地域の Amazon Bedrock で一般提供開始されています。今後の展開については使用可能なリージョンのリストを確認してください地域リスト全体を確認してください。

Amazon Bedrock コンソール で Llama 3 を今すぐお試しいただき、AWS re:Post for Amazon Bedrock に、または AWS サポートの通常の連絡先を通じて、フィードバックをぜひお寄せください。

community.aws サイトにアクセスして、詳細な技術コンテンツを検索したり、ビルダーコミュニティがソリューションで Amazon Bedrock をどのように使用しているかを調べたりしてください。

– Channy

原文はこちらです。