生成式 AI 在泛娱乐行业的应用场景实践 – 助力风格化视频内容创作

感谢大家阅读《生成式 AI 行业解决方案指南》系列博客，全系列分为 4 篇，将为大家系统地介绍生成式 AI 解决方案指南及其在电商、游戏、泛娱乐行业中的典型场景及应用实践。目录如下：

《生成式 AI 行业解决方案指南与部署指南》
《生成式 AI 在电商行业的应用场景实践 – 赋能营销物料高效生产》
《生成式 AI 在游戏行业的应用场景实践 – 加速游戏美术内容生产》
《生成式 AI 在泛娱乐行业的应用场景实践 – 助力风格化视频内容创作》（本篇）

背景介绍

从 2022 年以来生成式 AI 发展迅猛，特别是在文生图领域，在扩散模型为主，其他模型的加持下，新的文生图，图生图技术层出不穷。在媒体与娱乐领域已经被广泛应用，主要的场景有：1. 分镜头剧本插图；2. 漫画创作；3. 概念图生成。并随着技术的进步，形成比较完善的工具链。

尽管扩散模型和其应用在生成图片方面的能力出众，但是视频生成领域发展依然是滞后的。其原因主要有：没有高质量的训练集；没有很好描述视频的方式；生成式视频模型的训练需要极高的算力。所以现在主流的利用扩散模型生成视频的方式是: 利用模版视频，拆解为视频帧图片，利用各种插件逐帧按照提示词和图片特征进行风格化，最后组合成风格化视频。

在本篇文章中，我们基于生成式 AI 行业解决方案指南，针对泛娱乐行业的风格化视频生成，介绍生成式 AI 的使用和参数配置，以及配合传统工具，以协助内容创作，达到一定的创意效果。

生成式 AI 在泛娱乐行业中视频创作

在泛娱乐行业，短视频是最流行的一种内容表达形式，其特点是制作成本较低，传播率高。传统的生成短视频的方式既有 UGC 模式，也有 PGC 模式，虽然他们的制作周期和制作成本远低于传统媒体，但是还是脱离不了“策划-剧本-台词-选角-排练-正式演出-录制-校验-剪辑-后期-审核-发布”这些基本的步骤。综合来说，一个 5 分钟左右的短视频制作平均时长大概 2-3 天左右。生成式 AI 的出现可以大大提高制作效率，缩短制作周期，甚至可以简化制作步骤。现在有生成风格化图片和生成风格化视频的生成方式，根据一些现有的图片和视频，或者初期拍摄的视频直接进入后期步骤。进行风格化是现在短视频生成的一种尝试，虽然现在这类视频依然有闪烁跳跃等问题，通过社区的不断进步，效果正越来越好。当然这类视频本身因为自由度较高，创意属性强，本身就具有较强的话题性和传播度。

主流的风格化视频的生产的方法是利用连续风格化图片作为序列帧串联起来的视频。包括：1）通过原视频提取每一帧，逐帧通过提示词进行图生图，最后将图片重新组装起来生成风格化视频；2）生成数张创意图片，作为关键帧，相似图片作为过渡帧，组装成风格化视频。这两种风格化视频，都可以通过 Stable Diffusion WebUI 的插件来实现。但是这两种风格化视频生产方式依然具有一定需要解决的问题，各自分别是：1）模版视频拍摄依然需要一定投入，包括编排，表演，以及原始视频的版权问题等；2 ）风格化视频的主题难以定义。

本文给出了两种风格化视频的组合生成方式，可以充分利用目前风格化视频的插件，又可以部分解决风格化视频生产的上述问题：

1. 利用 3D 模型的动态画面作为蓝本，生成风格化视频的方法

2. 利用短暂的普通视频作为起点（或者中间节点）生成具有一定主题的风格化视频的方法

架构与工作原理

本篇以生成式 AI 行业解决方案指南为基础，其工作原理如下图：

生成式 AI 行业解决方案指南，将前端 Stable Diffusion WebUI 部署在容器服务 Amazon ECS 上，后端使用无服务器服务 Amazon Lambda 进行处理，前后端通过 Amazon API Gateway 调用进行通信。模型训练及部署均通过 Amazon SageMaker 进行。同时使用 Amazon S3、Amazon EFS、Amazon DynamoDB 分别进行模型数据、临时文件、使用数据的存储。快速部署流程可参考该系列博客的第一篇，本篇不再赘述。

3D 模型为蓝本生产风格化视频

首先我们先了解一下由原视频转换为风格化视频的基本原理，如下图所示：

参考步骤为：

1. 原始视频拆解为视频帧序列

2. 针对每一帧通过 Stable Diffusion 进行风格化，并用 ControlNet 对人物轮廓和姿态进行控制

3. 将生成的新的序列帧重新组合成为视频

从视频生成视频的角度，原视频只是用于风格化视频的轮廓或者动作，使用真人或者实景拍摄的原视频成本还是比较高的；我们不妨使用一些低成本的 3D 模型，比如只有轮廓，没有贴图，调色器，面数很低的模型，作为蓝本进行视频生成。这里采用一个例子：生成一个具有 cyberpunk 风的女孩跳桑巴舞，和一般的视频风格化不同，这个例子中舞蹈动作比较复杂，并且没有版权的原视频作为模版，那么我们可以采用具体步骤如下：

1. 将低成本人物模型导入 Blender 或者 Unity3D，并生成桑巴舞蹈动画。这里我们选择从 mixamo.com 网站上下载一个人物跳舞的模型组件，并转换为原视频如下：

搭建基础 WebUI 环境并导入模型，按照根据生成式 AI 解决方案指南部署后，操作即可：

2. 导入视频，并输入提示词

使用提示词

Hyper realistic painting of a beautiful girl in a cyberpunk plugsuit, hyper detaled ,anime trending on artstation with mask (masterpiece:1.4), (best quality:1.2), (ultra highres:1.2) ,(8k resolution:1.0)

反向提示词

text, letters, logo, brand, close up, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck

3. 进行视频风格化生成，打开 Mov2Mov 插件，这里的参数推荐如下：

Sample steps=20-30，
Generate movie mode=XVID，
CFG scale=7-10，
Denoising strength=0.2-0.3，
Movie frames=30，
Maxframe=60-90，
Controlnet 选择enabled，
Control weight 0.2-0.25。

点击生成后，得到的视频和原视频比较如下：

具有主题的风格化视频

Stable Diffusion 社区具有丰富的风格化视频生成插件，其中 Deforum 是热度最高的插件之一，其原理是确定时间轴上的关键帧使用明确 Prompt 生成的创意图片，关键帧之间的过渡视频帧采用渐进的方式，并配合一定的 2D，3D 空间旋转，产生独特的效果，这种方式的提示词一般都是剧本的形式，原理如图所示：

从风格化视频或者创意视频的角度，通过一定剧本转换为 prompt，再经过 Deforum 的串联，能达到表达一定主题的创意视频的效果，从制作角度这里还是有两个难点：1. 凭空写剧本很难将现实主题和创意视频进行关联；2. 创意视频/风格化视频效果本身还是由创意图片连接而成，很难把控其效果，并且视频生成消耗算力远大于图片生成，造成废片会导致算力浪费。所以这里我们不妨在用简单的现实视频与创意视频交叉呼应的方式进行创作，这里的现实视频可能只需 2-3 秒的手机拍摄视频，并作为起始视频即可。这里采用一个例子：笔者参观某省级博物馆叙利亚文物展，突发感慨，想制作一个几十秒的风格化短视频，表达自己观看文物时感受的千年时代变迁，我们可以采用具体步骤如下：

1. 拍摄一段 3-5 分钟的自拍视频，表示初始主题，作为初始视频。由于目标是创意视频要发在社交媒体上，需要适配手机的尺寸，所以视频分辨率为 540*960

2. 准备 Web UI 的基本环境，包括模型和插件

3. 设置初始视频的某帧为初始帧，我们这里截取最后一帧为初始帧, 图像分辨率为 540*960，并在 Deforum 里设置初始帧，在 init tab 里选择 Use init，并填入文件地址

4. 设置提示词，并设置旋转参数。这里有参数列表和推荐值如下表

参数名称	参数解释	推荐数值
height/width	生成视频宽高	按照实际需求
Animation mode	生成 2D 还是 3D 效果	3D
Border mode	对于不同尺寸视频的处理	wrap
Max frame	视频所有帧数	与 prompt 中的最大帧数一致
Rotation 3D X	视频 X 轴旋转角度和速度	0:(0) ,90:(0), 120:(0.2), 180:(0.15), 300:(0.2), 420:(0.15), 530:(0)
Rotation 3D Y	视频 Y 轴旋转角度和速度	0:(0), 30:(0), 120:(0.2), 180:(0.25), 480:(0), 530:(-0.2)
Rotation 3D Z	视频 Z 轴旋转角度和速度	0:(0),120:(0.1), 300:(0), 480:(-0.15), 530:(-0.2)
Prompt	严格按照如下格式 { “帧数1”: “prompt1”, “帧数2”: “prompt2″,”最后帧数”: “promptN” }	按照实际需求
FPS	每秒帧数	15-30，视频时长=Max frames/FPS

5. 编排适当的风格化提示词，并生成视频，这里提示词必须按照 JSON 格式，在这个规则的基础上，编排视频的情节

提示词如下：

{
“0”: “A Warrior in desolate landscape in Syria, with cracked earth, under a dark and stormy sky, Picasso style”,
“50”: ” sunshine from the earth, ancient relics and mysterious symbols in Syria, Picasso style “,
“150”: “Egypt style building in Syria , Picasso style “,
“200”: “Rome style city with people from different races and cultures mingle and trade in the streets, markets in Syria, Picasso style “,
“250”: ” war between nations east and west of Syria, the kings are seeking to preserve the balance of nature and magic, the other wanting to exploit it for power and profit, Picasso style “,
“300”: “gun smoke and flowers ,generals speech, Picasso style “,
“450”: “bomb explosion on the sky, fires ,flames and smoke, blood and ashes , Picasso style -neg magnificent”,
“500”: “fate of people in the nation, peaceful hope, Picasso style”
}

反向提示词：

NSFW, worst quality, low quality, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck

6. 通过剪辑软件将现实视频与创意视频首尾呼应进行连接，得到完整视频，参考如下：

小结

在本文中，我们大致介绍了泛娱乐行业的视频内容制作场景中，通过不同插件和工具的配合，可以达到生成风格化视频和创意视频的目标。当然这只是冰山一角，在泛娱乐行业应用中，我们通过不断跟踪新的插件和模型，可以根据技术上的迭代达到泛娱乐内容的不断创新，同时和一些标准的媒体制作工具相结合，通过步骤的不断优化，达到可以高效生产创意内容的目的。