什么是数据编织架构？

数据编织架构是一种架构设计模式，该模式利用元数据和自动化技术，跨系统、部门以及混合多云基础设施发现、集成、处理和共享数据。数据编织架构层包含一系列数据服务，这些服务可在现有和传统数据库、数据仓库、对象存储、数据湖和其他数据存储系统上运行。数据编织架构使用主动元数据和机器学习（ML）技术来实现数据发现自动化、维护数据治理策略并提供数据建议。

数据编织架构有助于组织发掘那些存储在分散或孤立系统中的数据。随着数据系统的发展，数据工程师在整合、治理及访问来自不同数据来源的数据时面临诸多挑战。这会导致见解获取速度变慢，并引发合规性及数据一致性方面的问题。通过实施数据编织架构，工程师无需进行大规模的数据迁移，即可提升可观测性、治理水平及数据转换能力。数据团队无需手动构建更多数据管道，而是采用一种集成环境，从而实现端到端的数据生命周期管理、统一视图以及自助式数据访问。

数据编织架构通过将多种数据集成方式与机器学习、语义图谱和可视化技术结合来增强数据管理任务的处理能力。尽管某些数据编织架构的实施方案较为简单，但它们可以扩展以涵盖上述各个层级。

机器学习增强型数据目录

数据编织架构解决方案利用机器学习技术与数据湖、数据仓库及其他数据库连接。在此过程中，数据工程师会创建一份清单，整合各类分散的数据资产，并为业务查询提供上下文信息。该数据目录包含标签、历史跟踪和访问管理。

主动元数据层

主动元数据描述了与特定数据集相关的、持续更新的信息，例如访问模式、转换过程、使用情况等。借助主动元数据，数据团队能够追踪数据血统、识别模式、改进数据治理并进行准确的分析。数据编织架构通过主动元数据层将这些信息转化为有价值的建议。例如，它可以识别模式漂移、标示潜在的不准确之处，并向数据团队提出操作建议。

知识图谱

知识图谱是一种语义模型，用于表示数据集与底层业务实体之间的关系。您可以将知识图谱想象成一张将所有相关对象与概念相互连接的网络。通过采用机器学习技术，数据编织架构系统能够进一步丰富知识图谱，助力数据分析师发掘跨不同系统的隐藏模式。

数据集成层

数据编织架构提供多种数据集成方式，支持数据工程师自动访问、管理和分析分散的数据来源。这包括 ETL、ELT、数据虚拟化、数据流式传输和数据复制。数据编织架构系统会根据主动元数据推荐一种集成方案，以实现预期的业务成果。

联合治理与策略执行

数据编织架构使组织能够集中执行策略，同时支持细粒度的实施。策略无需局限于特定领域，而是可以向下游传播至具体的数据库。例如，数据编织架构解决方案可以扫描多个数据库以查找敏感数据，并对其进行掩码处理。

数据质量管理

数据编织架构利用机器学习技术来持续监控主动元数据层中的数据质量信号。通过这些数据信号，数据团队能够在数据质量问题影响下游分析之前，及时发现并解决这些问题。

数据编织架构利用自动化、人工智能/机器学习、数据处理和分析工具实施灵活的数据架构。在大多数应用场景中，数据一旦被摄入，除非必要，通常不会在不同源头间进行物理迁移，而是通过虚拟化层进行整合与转换。以下展示了数据编织架构如何让非技术用户、业务分析师及产品经理更便捷地获取和使用数据。

元数据摄取

数据编织架构从摄取的数据中提取元数据，如架构、血统、访问日志和质量指标。根据使用案例，该架构支持连接来自企业软件、移动应用、物联网（IoT）和社交媒体的结构化和非结构化数据。您可以连接托管在云端、本地或混合环境中的各类数据来源，以进行数据发现和摄取。

元数据分析

元数据摄取后，会在数据目录中进行相应的分类。在此阶段，元数据被视为被动元数据，无法反映实时变化，也无法直接用于增强分析、治理或质量管理。为了丰富被动元数据并将其转化为主动元数据，数据编织架构系统会应用机器学习和图分析技术。主动元数据有助于支持实时商业智能、合规性管理和质量检查。

关系映射

数据编织架构利用知识图谱来映射数据集中各实体之间的关系，从而提供业务上下文信息。例如，它可以对存储在不同数据库中的客户反馈、销售交易和库存报告之间的关系进行建模。

建议

通过创建一个上下文丰富的元数据层，数据编织架构能够识别隐藏的模式，并向数据用户提供建议。数据团队可以获悉数据集之间的最佳集成路径、潜在的数据质量问题以及需要遵循的相关策略。例如，数据编织架构系统可以自动创建具有适当模式、结构和速率限制的数据管道。

治理

数据编织架构支持以一致方式在数据来源的各个架构层级执行策略。例如，您可以实施动态数据掩蔽，以自动识别金融数据库中的信用卡号并进行脱敏处理。

持续适应

数据编织架构并非一次性实施的项目，而是一个持续演进的过程。随着数据来源、模式和策略的变化，它会采用基于机器学习的分析技术，持续更新底层的元数据层。

数据编织架构解决方案构建了一个包含丰富元数据的层，为数据的可发现性、治理和管理提供了基础背景。它能通过多种方式帮助组织克服数据管理方面的挑战。

减少手动数据集成

数据编织架构可以解决组织在处理海量数据移动时面临的挑战。它可以加速将运营数据转化为有用洞察的分析工作流程。此外，数据编织架构解决方案通过自动化数据集成，取代了效率低下且容易出错的手动数据管道。

查找用于分析和 AI/ML 的数据

分析和 AI/ML 工作负载需要对分布式数据资产进行摄取、清洗和处理。借助数据编织架构，数据科学家可以利用多层自动化数据服务，使用高质量数据来训练模型或为模型提供数据。

增强一致性

数据编织架构无需重构现有基础设施，即可在复杂环境中提供统一的数据。通过应用数据编织架构解决方案，您可以实现数据血缘追踪、策略执行以及数据一致性。

为各类应用场景提供开箱即用的元数据

数据编织架构利用集中式虚拟化技术取代传统的数据集成方法，从而打破数据孤岛。这使得业务团队能够在不同的应用场景中提升分析与运营效能。

持续改进

数据编织架构的另一大优势在于，它能确保数据始终保持最新、准确且具有相关性。借助持续更新“活跃元数据”的反馈循环，系统能够基于底层数据集做出决策。

组织可以在这些方面应用数据编织架构。

企业人工智能/机器学习训练数据

人工智能/机器学习的开发需要使用干净、高质量且相关的数据集来训练和微调底层人工智能模型。由于数据分布在多个数据存储中，这往往是一项挑战。机器学习团队使用数据编织架构解决方案跨管道发现、治理和维护数据质量，从而确保模型推理的准确性。

法规遵从性

某些行业受法律法规要求，必须跟踪数据血统和数据隐私，并生成准确的数据报告。通过使用数据编织架构解决方案，合规与审计团队能够访问、监控并管理贯穿整个生命周期的数据流。此外，您还可以针对特定的数据存储强制执行合规策略。

客户分析

业务团队从 CRM、交易日志、社交媒体和评论等多种来源获取客户见解。数据编织架构无需移动海量数据即可连接来自分布式数据来源的信息。利用由机器学习驱动的仪表板，您可以跨数据存储识别模式、揭示客户情绪并预测购物行为。

数据网格是一种去中心化的数据架构，支持各个团队负责管理、治理和保护特定领域的数据。数据网格的目标是可以通过自助服务访问的数据即产品。

同时，数据编织架构是一种架构设计模式，使数据工程师能够访问、共享、分析和管理来自不同来源的数据。数据编织架构和数据网格相辅相成，使各个团队能够在保持集中监管的同时，承担委托的数据所有权。

数据编织架构仍是一项新兴的数据架构技术。尽管优势显著，但数据团队在实际落地过程中可能会面临以下挑战：

元数据的质量和完整性

不完整、过时或不准确的元数据会直接影响数据编织架构的性能。如果数据来源未能同步架构变更，元数据层将基于过时的上下文信息运行。某些数据生态系统（尤其是那些并非为现代数据工作流构建的系统）可能无法提供数据编织架构所需的元数据。

工具的复杂性

数据编织架构需要整合、集成并投入使用多种工具，例如数据目录、数据虚拟化、语义知识图谱、数据治理和可观测性工具。这通常需要组建跨业务职能的多学科团队，并对其进行相应的培训。

组织在数据和机器学习方面的成熟度

数据编织架构建立在基础的数据编目、治理和数据质量实践之上。如果缺乏这些基础，数据编织架构生态系统便无法实现预期的效益。此外，许多组织仍处于应用知识图谱和机器学习驱动的自动化技术的早期阶段。此类技术债务可能会阻碍数据编织架构的实施。

AWS 提供一组用于构建数据编织架构的服务，涵盖元数据管理、数据集成、数据治理以及跨分布式混合云和多云环境的机器学习可用性。您可以选择以下服务进行构建：

• Amazon DataZone 是一项数据管理服务，可让客户更快、更轻松地对存储在 AWS、本地和第三方来源的数据进行分类、发现、共享和治理。借助 Amazon DataZone，工程师、数据科学家、产品经理、分析师和业务用户可以更轻松地访问整个组织的数据，从而发现、使用和协作得出数据驱动的见解。
• AWS Glue 提供数据集成所需的全部功能，让您能够快速获取洞察并利用数据。AWS Glue 提供了一个完全托管的无服务器工具包，用于设计并自动化现代数据管道，包括内置 ETL、架构发现和跨服务集成。
• AWS Lake Formation 可帮助您集中管理、保护数据并在全球范围内共享数据，以用于分析和机器学习。借助 Lake Formation，您可以使用 AWS Glue Data Catalog 集中管理数据安全和管控，从而使用熟悉的数据库式功能在一个位置管理元数据和数据权限。该服务还提供细粒度的数据访问控制，使用户能够访问精确到行和列级别的正确数据。

立即创建免费账户，开始在 AWS 上使用数据编织架构。