亚马逊AWS官方博客
基于云的数据网格技术如何实现金融监管数据采集
背景
中央银行和金融监管机构依赖于从银行和保险公司等受监管的金融机构获取高质量、最新的数据。这些受监管的实体拥有各种各样且不断变化的运营环境，每个机构都独立运营，但必须与监管机构协调交换相关数据。今天，银行支持监管机构提出的数据请求所产生的成本非常高。例如，英格兰银行提及了麦肯锡公司 2019 年的一项研究，该研究估计，英国银行在监管报告方面的每年的支出在 20 亿英镑至 45 亿英镑之间。
实践证明，现代云技术可以通过汇集数据并使用数据仓库和大数据工具进行分析，以经济高效的方式实现有价值的见解。例如，使用 Amazon EMR 之类的大数据分析工具整合来自证券交易的数据，以实现增强风险管理。对监管机构来说，面临的挑战在于能够通过以受控、高度灵活且经济高效的方式分析各种大型数据集来获取见解和有价值的信息。随着市场的演变和经济风险的变化，监管机构和中央银行的需求也将发生变化，因此监管生态系统必须继续适应所有参与者并具有成本效益。
介绍数据网格
在 martinFowler.com 发表的一篇文章：“如何从单体数据湖迁移到分布式数据网格”中，Zhamak Dehghani 解释了需要对以数据为中心的系统采用新方法的一些原因。Dehghani 认为，每一代“数据平台”都导致了一个集中化的单体，却忽略了生产者（例如大型组织内的部门）在如何优化数据结构为业务目的服务的个性化需求。虽然单体数据湖对于具有直观业务模式的组织来说可以奏效，但随着数据血缘和治理问题管理难度的增加，这对于更复杂的企业而言变得越来越困难。对于参与监管报告和数据收集的独立实体的生态系统来说，问题更为严重。
与“数据网格”概念结合使用的云技术为解决监管报告问题提供了一种有希望的方法。数据网格可以自然地解决与联合监管生态系统相关的数据所有权、治理和血缘问题。在数据网格方法中，每个数据生产者（例如商业银行）都独立维护和更新其已发布的数据。只有当银行选择“发布”新版本的数据集时，订阅的数据消费者（例如 FSI 监管机构）才能看到更改。每个生产者都会控制每个已发布数据集的结构，此结构由数据模式描述。同时，数据消费者可能会从多个数据生产者（例如监管机构管辖下的每家银行）收集公布的数据。然后，数据消费者可以根据需要使用各种不同的云技术来填充数据湖或数据仓库。因此，以灵活而经济高效的方式，监管数据网格使受监管实体能够“弥合其人员、流程和生成数据的系统之间的差距”。
这种数据网格方法的一个关键推动因素是使用自我描述数据。我们可以设想一个基于集中定义的数据模式、包含多个数据生产者和消费者的数据生态系统。但是，鉴于数据生产者运营的内部 IT 系统种类繁多，保持所有参与者的数据严格同步是不现实的——这种方法的执行成本高昂，而且对持续变化非常脆弱。相反，解决此问题的办法是由每个生产者创建一个嵌入式数据模式，以描述每个已发布数据集的当前结构。在监管生态系统中，此元数据可以参考标准术语和监管机构定义的一组数据字段来描述数据，例如“银行综合报告词典”(BIRD) 和欧洲中央银行系统 (ESCB) 的综合报告框架 (IReF) 中定义的数据字段。只要他们遵守法定命名法并提供所有必填的数据字段，数据生产者就可以自由采用自己的数据架构。然后，每当生产者对数据集的内容或结构进行更改时，这些更改都会反映在嵌入式数据模式中。
实施方法概述
Amazon Data Exchange 为创建这些安全的多方数据网格环境提供了必要的基础。使用 Amazon Data Exchange “Private”（私有）发布选项，只有经生产者授权的特定数据消费者（例如监管机构）才能查看数据产品并订阅该数据产品。AWS Data Exchange 上发布的每个视图都开启了版本控制，因此，数据消费者可以使用可审计的数据更改记录。数据消费者可以访问此自描述数据，并使用工具（例如 AWS Glue）将其转换为通过数据仓库、数据库或数据湖进行下游处理所需的格式。
最近的博客分析 COVID-19 数据展示了以这种方式使用 Amazon Data Exchange 的力量。在此示例中，亚马逊云科技与亚马逊云科技的合作伙伴 Salesforce、Tableau 和 MuleSoft 汇集了可信赖的 COVID-19 数据来源，使其能够通过 Amazon Data Exchange 与感兴趣的第三方共享。这使得数据消费者能够将相关数据提取到他们的分析数据湖中，并根据需要提取和转换数据。Amazon Data Exchange 内的相关数据生产者可以随时提供新版本的数据，并且这些新版本数据的可用性将传达给所有数据消费者。该资源可公开提供，用于支持组织的 COVID 救助工作。在其他使用案例中，也可以使用 Amazon Identity and Access Management 控件严格限制访问权限。
图 1 显示了联合监管报告数据网格环境的概念概述；其中每家受监管银行都是 AWS Data Exchange 数据生产者，每个监管机构都是 Amazon Data Exchange 数据消费者。
图 1：监管机构报告数据网格
图 2 所示的这种环境的实施包括以下阶段：
- 受监管银行（Amazon Data Exchange 数据生产者）策划和上传所需的数据构件，以创建其 Amazon Data Exchange 监管报告数据产品。请参阅 AWS Data Exchange 最佳实践。
- 在适当或需要时，每个数据生产者都会发布其报告数据产品的新修订版本（例如监管数据）。这个新发布的修订版本可能只包括已更改的数据、所有数据或者所有数据和完整的更改历史记录。每个数据生产者可以随时创建和发布修订。
- 监管机构（数据消费者）会收到更新通知，他们可以自行决定对更新采取行动，在需要时将修订内容纳入报告分析基础设施中。由于每个数据生产者的修订都是自我描述的，因此将这些不同来源映射到数据消费者的标准化数据结构中是一个简单的过程。
- 可以使用一系列工具和技术对标准化数据进行分析，以搜索特定信息或提取见解。选项包括图关系分析 (Amazon Neptune)、AI/ML 模式识别 (Amazon SageMaker)、传统数据仓库搜索/查询（Amazon Redshift 或 Amazon Athena）和报告生成。
图 2：联合监管报告数据网格环境的示例实施
机会和益处
Amazon Data Exchange 方法可以用作高度自适应性和可扩展性的“常用输入层”的基础，监管机构认为这是一个理想的属性（例如，参见 2020 年 1 月发布的英格兰银行关于“转型数据收集”的咨询意见）。该文讨论的考虑因素之一是，常用输入层是应采取“推送”还是“拉取”的方法（例如，受监管实体应按照要求向监管机构“推送”数据），或者在必要时，监管机构从每个受监管实体中“提取”数据。监管数据网格架构提供了这两种方法的优势。它为数据生产者提供了“推送”系统的益处，它可以抽象自己底层 IT 系统的复杂性以及更新的时间，而无需直接与监管机构协调。它还允许监管机构在需要时“拉取”所需数据，从而使每家银行免于根据监管机构的要求不断生成新报告或数据提取的负担。
它还为双方提供了进一步的优势。数据生产者有一个本地数据存储库，对于数据生产者来说，它具有作为参考数据存储的潜在价值，并且数据生产者不用承担必须根据监管机构的要求不断生成新报告或数据提取的负担。监管机构的优势是能够创建新的组合数据集并按需分析它们，而无需构建永久的集中式数据湖。
结论
监管机构为实现监管目标而需要收集的数据的数量、及时性和准确性给监管机构和受监管公司带来了挑战。但是，面临的许多业务问题有切实可行的解决方案，可以使用云技术来安全、经济高效且可扩展地开发这些解决方案。我们尤其相信，各方都可以从数据网格技术的应用中受益，以便能够以足够灵活的方式适应不断变化的需求，从而减轻大小型组织的数据收集负担。
基于云的数据网格技术还可以成功地应用于各种其他数据管理要求，从获取第三方和公共数据以帮助进行内部决策制定，到确保内部数据集之间的一致性。这只是云计算改变企业看待他们面临的一些最艰难的数据挑战的方式之一，从而帮助他们创建更敏捷和可持续的解决方案。
要了解有关云计算如何帮助改进监管报告和数据收集的更多信息，请联系：