Amazon Bedrock で手軽に絵芝居を作れるシステムを開発してみた

!pip install ffmpeg moviepy

import json
import io
import base64
import boto3
from PIL import Image

bedrock_runtime = boto3.client(service_name='bedrock-runtime')

# Claude 2.1 モデルを呼び出す関数
def invoke_claude(prompt: str, max_tokens_to_sample:int=3000) -> str:
    # モデルに渡すパラメータを設定する
    body = json.dumps({
        "prompt": prompt,
        "max_tokens_to_sample": max_tokens_to_sample,
        "temperature": 0,
        "top_k": 250,
        "top_p": 1,
    })
    modelId = 'anthropic.claude-v2:1'
    accept = 'application/json'
    contentType = 'application/json'
    
    # Bedrock で Claude v2.1 モデルを呼び出す
    response = bedrock_runtime.invoke_model(body=body, modelId=modelId, accept=accept, contentType=contentType)
    
    # Bedrock で生成されたテキストを返す
    response_body = json.loads(response.get('body').read())
    text = response_body.get('completion')
    return text


# StableDiffusion を呼び出す関数
def invoke_sdxl(prompt: str, seed:int=0) -> Image:
    # モデルに渡すパラメータを設定する
    body = json.dumps({
        "text_prompts": [{"text": prompt}],
        "cfg_scale": 10,
        "seed": seed,
        "steps": 50
    })
    modelId = "stability.stable-diffusion-xl-v1"
    accept = "application/json"
    contentType = "application/json"
    
    # Bedrock で Stable Diffusion モデルを呼び出す
    response = bedrock_runtime.invoke_model(body=body, modelId=modelId, accept=accept, contentType=contentType)
    
    # Bedrock で生成された画像を PIL.Image 形式で返す
    response_body = json.loads(response.get("body").read())    
    base_64_img_str = response_body.get("artifacts")[0].get("base64")
    image = Image.open(io.BytesIO(base64.decodebytes(bytes(base_64_img_str, "utf-8")))) 
    return image

prompt_make_plot = '''
あなたはセンスに溢れた気鋭に溢れる情熱的な作家です。Humanがテーマを与えるので、膨らませて、物語のあらすじを考えてください。
あらすじは物語を起承転結のシーンごとに分け、情景や描写を詳しく書くようにしてください。
起の部分では、登場人物の人となりを説明し、読者が主人公たちに親近感を抱くような情景を描写してください。
承の部分では、主人公は誤ちを犯しますが、途中でそのことに気づき、新たな視点で物事に取り組むようになります。
転の部分では、承で培った経験をもとに、困難を乗り越えます。
結の部分では、主人公がテーマを達成した様子を描写します。
以上のような形であらすじを考案してください。シーンは最低でも8個以上生成してください。
また、出来上がったあらすじはjson形式でexampleタグに示すような形式で、plot要素の中で各シーンをリスト形式で出力してください。また、json以外の文字列は出力しないでください。
<example>
{{
    'plot': [
    '森の中でクマさんにであう',
    'クマさんが追いかけてくる',
    '実はクマさんは落とし物を拾っていた',
    '笑顔で一緒に踊る'
]
}}
</example>

Human: {instruction}

Assistant: {{
'''

instruction = '昔話の桃太郎を題材に、鬼と人間が種族を超えて手を取り合うことの大切さを描写してください。'

invoke_result = invoke_claude(prompt_make_plot.format(instruction=instruction))
plot = json.loads('{' + invoke_result)
# 動作確認用に出力する
print(plot)

> {'plot': ['桃太郎は鬼ヶ島に向かう途中、仲間たちと出会う', '鬼ヶ島に着くと大きな鬼が現れる', '桃太郎は鬼と戦おうとするが、鬼は人間を攻撃しようとしない', '桃太郎は鬼が人間を食べない理由を尋ねる', '鬼は以前人間と戦争をしていたが、戦争の惨さを知り、人間と仲良くしたいと思うようになったと言う', '桃太郎は鬼の気持ちを理解し、手を取って踊り始める', '鬼と人間は笑顔で踊り、種族の壁を超えて仲良くなる', '桃太郎は鬼ヶ島からの帰り道、人間と鬼が仲良く暮らせる方法を考え始める']}

# システムプロンプトの定義
prompt_make_story = '''
あなたはセンスに溢れた気鋭に溢れる情熱的な作家です。子ども向けに読み聞かせできるような物語を描いてください。
Humanが物語のテーマを<Theme></Theme>タグの中で、物語の流れを端的に示したあらすじを<Plot></Plot>タグの中で与えます。全体あらすじの情報を踏まえつつ、<Scene></Scene>タグで示すシーンのあらすじをもとに、情景や背景、登場人物の心情やセリフを記述することで、読み手に伝わりやすいような臨場感のある文章を考えてください。ただし、物語の文章のみを出力し、その他の文字列は出力しないでください。また、指定されたシーンの部分のみ描画してください。文章はですます調で出力してください。
また、出来上がった文章はjson形式で、Scene要素の中にダブルクォーテーションで囲んで出力してください。
<Example>タグに生成したい文章の例を示します。

<Example>
{{
    "Scene": "むかしむかし、あるところにちっちゃな、かわいい女の子がおりました。その子は、ちょっと見ただけで、どんな人でもかわいくなってしまうような子でしたが、だれよりもいちばんかわいがっていたのは、この子のおばあさんでした。おばあさんは、この子の顔を見ると、なんでもやりたくなってしまって、いったいなにをやったらいいのか、わからなくなってしまうほどでした。
 あるとき、おばあさんはこの子に、赤いビロードでかわいいずきんをこしらえてやりました。すると、それがまたこの子にとってもよくにあいましたので、それからは、もうほかのものはちっともかぶらなくなってしまいました。それで、この子は、みんなに「赤ずきんちゃん」「赤ずきんちゃん」とよばれるようになりました。"
}}
</Example>
<Example>
{{
"Scene": "そこで、寝床のところへいって、カーテンをあけてみました。すると、そこにはおばあさんが横になっていましたが、ずきんをすっぽりと顔までかぶっていて、いつもとちがった、へんなかっこうをしています。
「ああら、おばあさん、おばあさんのお耳は大きいのねえ。」
「おまえのいうことが、よくきこえるようにさ。」
「ああら、おばあさん、おばあさんのお目めは大きいのねえ。」
「おまえがよく見えるようにさ。」
「ああら、おばあさん、おばあさんのお手ては大きいのねえ。」
「おまえがよくつかめるようにさ。」
「でも、おばあさん、おばあさんのお口はこわいほど大きいのねえ。」
「おまえがよく食べられるようにさ。」
 オオカミはこういいおわるかおわらないうちに、いきなり寝床からとびだして、かわいそうな赤ずきんちゃんを、ぱっくりとひとのみにしてしまいました。"
}}
</Example>


Human: 
<Theme>
{instruction}
</Theme>
<Plot>
{plot}
</Plot>
<Scene>
{scene}
</Scene>

Assistant: {{
'''

# 更新部分のプロンプト定義
prompt_update = '''
{prev_output}

Human: 
<Scene>
{scene}
</Scene>

Assistant: {{
'''

# 各あらすじごとにプロンプトを更新して場面を生成させる
scenes = []
prompt_next = ''
invoke_result = ''

for scene in plot['plot']:
    # 1つ目のあらすじの際はシステムプロンプトのみを入力する
    if prompt_next == '':
        prompt_next = prompt_make_story.format(instruction=instruction, plot=str(plot), scene=scene)
    # 2つ目以降は前回の出力を使ってプロンプトを更新する
    else:
        prompt_next += prompt_update.format(prev_output=invoke_result, scene=scene)
    
    # Claude モデルを呼び出す
    invoke_result = invoke_claude(prompt_next)
    
    # 呼び出し結果をscenesリストに保存
    result = json.loads('{' + invoke_result.replace('\n', ''))
    scenes.append(result['Scene'])
    
print(scenes)

# StableDiffusion に指示を出すためのプロンプト
prompt_draw_image = '''
絵本の挿絵を作りたいです。そのために画像生成モデル向けのプロンプトを考える必要があります。
挿絵として、色鉛筆を使った絵を採用したいと思います。
Humanが物語全体のあらすじを<Plot>タグで、該当のシーンを<Scene>タグで明示します。与えられたシーンでの情景を表すような文章を簡潔に英語で1文程度で生成してください。プロンプトを作る上で、以下の点に注意してください。
* 写っている物体や人物を明確に指示する。
* 各物体がどのような形なのか明確に提示する。
* 人物はどのような服を着ていて何をしようとしているのか提示する。
* 以下の中から、関連しそうな Finishing Touch をピックアップして追加する。Highly-detailed, surrealism, trending on artstation, triadic color scheme, smooth, sharp focus, matte, elegant, illustration, digital paint, dark, gloomy, octane render, 8k, 4k, washed-out colors, sharp, dramatic lighting, beautiful, post-processing, picture of the day, ambient lighting, epic composition
* コンプライアンスに注意する
また、出力するプロンプトはjson形式で、prompt要素内に書き出すようにしてください。
Exampleタグで適切な出力の例を示します。
<Example>
{{
"prompt": "a panda by Leonardo da Vinci and Frederic Edwin Church, highly-detailed, dramatic lighting"
}}
</Example>
<Example>
{{
"prompt": "A professional color photograph of a bearded man on the sidewalk"
}}
</Example>

Human: 
<Plot>
{plot}
</Plot>
<Scene>
{scene}
</Scene>

Assistant: {{
'''
# イラストのスタイルを指定するプロンプト
style_image = 'a color pencil painting'

for index, scene in enumerate(scenes):
    prompt = prompt_draw_image.format(plot=str(plot), scene=scene)
    # StableDiffusion 向けのプロンプトを生成する
    claude_result = invoke_claude(prompt)
    
    # 鉛筆画を生成するため、プロンプトを追加した上で SDXL を呼び出す
    prompt_for_sdxl = json.loads('{' + claude_result.replace('\n', ''))['prompt']
    image = invoke_sdxl(f'{style_image}, {prompt_for_sdxl}')
    
    # 生成した画像を表示し、保存する。
    image.show()
    print(scene)
    image.save(f'{index}.png')

# polly の boto3クライアントを作成します
polly_client = boto3.client('polly')

# 連番で音声ナレーションを生成します
for index, scene in enumerate(scenes):
    result = polly_client.synthesize_speech(
        Engine="neural",
        VoiceId='Kazuha',  
        OutputFormat='mp3',
        Text = scene)
    with open(f'{index}.mp3', 'wb') as f:
        f.write(result['AudioStream'].read())

from moviepy.editor import *

video_clips = []
for index in range(len(scenes)):
    image = ImageClip(f'{index}.png')
    audio = AudioFileClip(f'{index}.mp3')
    video = image.set_duration(audio.duration+1)
    video = video.set_audio(audio)
    video_clips.append(video)

final_video = concatenate_videoclips(video_clips)
# output.mp4 へ出力する
final_video.write_videofile("output.mp4", fps=24)