Adobe 利用 AWS 实现生成式人工智能领先地位的历程

Adobe 决定训练自己的基础生成式人工智能模型，而非依赖开源模型，为创造性使用案例提供量身定制的服务。Costin 解释说：“我们希望控制模型所需的质量和功能。”一个关键的差异化因素是在授权内容（例如 Adobe Stock 图像和版权已过期的公共域内容）上训练 Firefly 生成式人工智能模型。

在短短九个月内，Adobe 推出了 Firefly 系列生成式人工智能模型。这些模型迅速集成到 Adobe 的旗舰创意软件产品中，例如 Photoshop、Illustrator、Substance 3D 和 Adobe Express。Costin 强调说：“由 Firefly 提供支持的 Photoshop 中的 Generative Fill 功能现在是最常用的功能。”通过在 AWS 上构建，Adobe 可以加速人工智能训练，而不是从头开始构建，从而使公司能够专注于其差异化因素，而非繁重的重复工作。

Adobe 在 AWS 上创建了人工智能超级高速公路，用于构建人工智能训练平台和数据管道，用于快速迭代模型。Adobe 使用 Amazon Elastic Compute Cloud (Amazon EC2) P5 和 P4d 实例构建解决方案，由 NVIDIA GPU、Amazon Elastic Kubernetes Service (Amazon EKS)、Amazon Elastic Block Store (Amazon EBS) 和 Amazon Elastic Fabric Adapter (EFA) 提供支持。Adobe 还使用 Amazon Simple Storage Service (Amazon S3) 作为数据湖和海量数据的主存储库。Adobe 使用适用于 Lustre 的 Amazon FSx 高性能文件存储，快速访问数据并确保 GPU 资源永不闲置。Adobe 持续监控和同步多个来源的数据，确保根据最新的相关信息进行模型训练。借助 Firefly，Adobe 可以进行持续测试，以减少任何不利偏差，并提供用户反馈机制以实时修复问题，从而提高透明度、加强问责制。

尽管人工智能和数据在 Adobe 的创新工作中起着关键作用，但该公司认识到，真正的创新通常源于人性化。为了缩小机器学习和人类创造力之间的差距，Adobe 采用了一种开创性的技术，即基于人类反馈的强化学习 (RLHF)。通过 RLHF，Adobe 从其庞大的用户群中收集宝贵的反馈，记录各种应用程序中的点赞、不喜欢、下载和其他互动信息。然后，将大量的人工生成数据反馈到训练过程中，帮助 Adobe 的人工智能模型学习和适应，不断完善其生成与客户偏好和需求产生共鸣的资产的能力。这样就形成了一个不断改进的循环过程，人类创造力和机器学习相互促进、相互提高。随着 Adobe 的模型越来越适应人类品味和美学的细微差别，这些模型生成的资产变得越来越引人注目，并且可以根据不同用户群的需求量身定制。

随着需求的激增，借助 Amazon EC2 预留实例，Adobe 在六个月内将训练规模扩大了 20 倍。他们实施了诸如管道并行处理之类的分布式训练技术，以有效利用 Tensor Core。除训练外，Adobe 还在 AWS 上部署了用于推理的 Firefly 模型，跨区域实现了无状态系统。他们优化了推理性能和成本，探索了 AWS Inferentia2 芯片等方案。Adobe 展示了快速扩展和转移硬件以实现最优价格和性能的能力。