数据集成概览

企业会在各种应用、平台和环境中生成数据。财务系统、供应链平台、客户应用、云服务和外部数据提供商都会产生信息，这些信息本身各有价值，但如果能统一访问并联合使用，则会发挥更强大的作用。一旦缺乏协调统一，这些数据将分散在各处，难以信任，并且很难在各个团队和应用场景中得到一致使用。

随着数据量增长和架构日益分散，数据集成俨然已成为一项核心功能。借助数据集成，企业能够摆脱手动对账，告别孤立的数据管道，为获取可信的洞察和数据驱动的成果奠定基础。

本页面将阐述什么是数据集成、数据集成的工作原理以及不同类型。此外，还将介绍企业如何借助现代的数据集成方法实现实时访问、统一分析，并适应不断变化的数据架构。

什么是数据集成？

数据集成是将来自多个不同来源的数据整合为一个统一视图的过程。通过数据集成，企业能够在各种系统、应用及环境中一致地访问、分析和使用数据。

在实际应用中，数据集成会将来自交易系统、分析平台、云服务和外部来源的数据连接整合。通过统一格式、结构和业务定义，数据集成可以帮助确保这些信息值得信任并能在不同应用场景中重复使用。

经过精心设计的数据集成方法可以减少数据孤岛，提升数据质量，并为分析和运营流程建立可靠的基础。团队不必再使用分散或不一致的数据集，而是可以依赖集成的数据来支持报告、预测和决策。

集成数据的优势

数据集成是企业数据管理整体战略的关键要素。数据集成有助于在整个企业提供准确信息，并凝聚各个团队的力量，通过协调各项活动和决策，支持企业实现目标，有效且高效地交付优质的产品和服务。

从整个企业范围内收集数据后，数据会经过清洗和验证，确保准确性和一致性。然后，这些数据可以通过协调一致的数据管理方法，在多个数据集之间进行集成和管理。这种方法通常被称为数据编织，能够连接不同系统的数据，同时无需将所有数据整合到统一的资源库中，即可实现数据治理、分析和实时访问。

全面、准确的集成数据源是企业赖以保持竞争力的创新流程和技术的基石。诸如人工智能、机器学习、工业 4.0 之类的技术举措都要依靠一致的集成数据才能产生可靠的结果。

如果没有数据集成，信息仍将分散在不同的应用和平台中，形成数据孤岛。这会降低企业的运营效率和战略决策能力。例如，企业可能基于从有限数据集得出的不全面或不准确的分析结果，作出重要的业务决策。

数据集成流程

数据集成的工作原理是从源系统收集数据，根据需要转换数据，然后将数据传输至目标系统用于分析或运营。

传统的数据集成方法通常依赖提取、转换和加载 (ETL) 流程。ETL 流程会先从源系统中提取数据，根据业务规则转换数据，然后再将其加载到数据仓库等目标系统中。

近年来，越来越多的数据集成方法采用了提取、加载和转换 (ELT) 流程。ELT 流程会先将原始数据加载到目标环境中，然后利用该环境的处理能力转换数据。这种方法在云架构中很常见。

现代数据集成还融合了 API 和实时数据摄取。API 使应用之间能够直接交换数据，而基于流式处理和事件的集成则支持数据持续更新。这些方法帮助企业在进行传统批处理的同时，支持实时分析和响应式应用。

数据集成流程图

数据集成流程通常包括从多个来源收集数据，转换数据确保其符合业务规则，以及将数据交付到可进行分析或投入运营的环境中。此流程的可视化视图有助于展示数据在集成管道中的流动方式。

数据集成类型

数据集成分为不同类型，通常取决于数据的来源、格式和数量，以及需要访问或更新数据的频率。

• 批量数据移动：这是最常见的数据集成类型，主要包括计划的数据提取、转换和加载环节。批量集成通常用于报告、历史记录分析，以及不需要近乎实时更新的场景。
• 数据复制：通过仅传输已更改的数据，将数据从一个数据库复制到另一个数据库。数据复制有助于保持系统同步，常用于支持可用性、冗余或下游分析。
• 数据虚拟化：利用虚拟抽象层，提供来自多个数据源的统一逻辑数据视图。这种方法支持用户实时访问数据，不受数据存储位置、源系统或格式的影响，且无需物理移动数据。
• 流数据集成：这类集成适用于连续产生的数据流，必须实时对数据进行处理和转换。流数据集成支持事件处理、监控和实时分析等应用场景。
• 以消息为导向的数据移动：将数据分为消息组，这些消息通常在应用之间实时交换。以消息为导向的集成支持异步通信，常用于在实现及时数据交换的同时解耦系统。
• 基于 API 的数据集成：API 支持应用和服务通过标准化接口直接交换数据。基于 API 的集成通常用于支持应用对应用场景、实时数据访问，以及事件驱动的架构。
• 混合数据集成：混合集成将本地和云环境下的多种集成方式相结合。此类集成在采用分布式架构的企业中较为常见，可跨系统实现一致的数据访问，不受数据存储位置的影响。

企业需要根据自身独特的架构环境和业务需求，选择适合的数据集成类型。大多数企业都依赖于不止一种数据集成方法。因此，了解如何将这些数据集成方法整合为一致的集成策略，是构建可扩展且适应性强的数据架构的关键。

统一的数据和分析层的优势

统一的数据和分析层是指一种架构方法，通过该方法，集成的数据能够在整个企业数据架构中得到一致的访问、分析和使用。这种方法不依赖分散的数据副本或孤立的报告环境，而是为分析和决策提供共享基础。

通过从统一的数据和分析层开展工作，企业可以确保基于一致的数据定义和业务情境进行分析、报告和规划。这有助于减少各团队之间的数据差异，提升洞察的可信度，并且更轻松地比较不同职能部门和地区的结果。

此外，统一的数据和分析层还支持重复使用和可扩展性。企业无需为每个应用场景重新创建数据管道或分析模型，而是可以基于共享的数据资产进行构建，在减少重复、降低复杂性的同时，加速交付洞察。

重要的是，这种方法并不需要将所有数据实际整合到单个系统中。通过数据集成，企业可以在数据存储位置直接访问数据，并且获得一致的分析视图。

数据集成生命周期和架构

条理清晰的数据集成生命周期可以帮助企业管控复杂性，并大规模地维护数据质量。典型的数据集成生命周期包括以下阶段：

• 规划：定义集成目标、数据源和目标架构。
• 映射：识别源数据与目标数据结构之间的关系。
• 摄取：使用批量、流式或基于 API 的方法，从源系统收集数据。
• 转换：应用业务规则、信息扩充和格式设置。
• 验证：检查数据的质量、完整性和准确性。
• 创建目录：记录元数据、沿袭和所有权。
• 监控：持续跟踪性能、可靠性和数据新鲜度。

通过上述这些步骤，企业能打造可扩展、可治理的数据集成架构。

数据集成趋势和技术

在当今商业环境下，转换数据并充分释放数据的价值是企业提高韧性和敏捷性的关键。在企业寻求数字化转型和采用新技术的过程中，数据集成方法也在不断发展。各种新兴趋势正在扩展传统的数据集成方法，帮助企业管控复杂性，并为高级分析以及 AI 驱动的应用场景准备数据。

数据编排

随着业务环境日益分散、数据源持续激增、数据类型日趋多样化，企业越来越多地借助数据编排来更有效地管理海量数据。

相较于仅使用 ETL 流程的传统数据集成方法，数据编排方法更广泛、更全面，能够协调本地系统、云环境和外部数据源中多种数据（包括结构化、非结构化和流数据）的集成、扩充和转换过程。通过管理数据在各个系统和流程之间的流动方式，数据编排可以帮助企业生成更有意义的洞察，同时降低大规模数据集成带来的复杂性和成本。

数据编织

近年来，传统的数据集成方法已经难以适应不断扩展的数据架构。数据源日益复杂、连接限制以及架构碎片化等挑战，使得大规模集成管理变得更加困难。

数据编织通过提供更敏捷、更有韧性的数据集成方法来应对这些挑战。借助元数据、自动化技术和智能流程，数据编织能够帮助有效降低集成工作流和管道中的复杂性。采用这种方法，企业可以更加灵活敏捷地连接不同环境中的数据，同时优化数据治理并提升一致性和适应能力。

混合数据集成

如今，许多企业都在混合环境下运营，其中既有云系统又有本地系统。这些系统生成的数据通常分散在各个应用、平台和位置，给数据的访问和一致性带来了挑战。

通过混合数据集成，企业能够跨越不同环境连接、访问和共享数据，无论数据存储在何处。混合集成方法支持云系统和本地系统之间的数据集成，能帮助企业保持灵活性，同时确保数据在不同的分析、运营和应用中得到一致的使用。

全面集成

在快节奏的数字经济时代，提高业务敏捷性成为了企业的战略重点。要实现这一目标，仅仅依靠专注于单一领域的集成方法还不够。

整体集成方法将数据集成与应用集成融合为统一的集成策略。通过将集成视为一种综合能力而非相互独立的领域，企业能够在混合架构下支持各种形式的集成。这种整体性视角有助于实现系统、流程和数据的协同优化，让企业能够更有效地应对变化。

数据集成与 AI

AI 计划的实施依赖于大量准确、高度集成的数据。如果没有可靠、一致的数据基础，AI 模型和应用就难以提供有意义的结果。

数据集成在为 AI 准备数据方面发挥着关键作用，能够整合来自多个系统的信息，统一格式和定义，并确保数据质量。利用集成的数据，AI 能够从更广泛、更具代表性的数据集中提取信息，从而提高输出结果的相关性和可靠性。

随着企业在分析、运营和决策方面开始采用 AI，数据集成还能帮助提升数据治理能力和透明度。通过在数据跨系统移动时维护其沿袭、上下文和控制，集成可以帮助企业以负责任的方式大规模地应用 AI。

这样一来，数据集成就成为了促成 AI 落地的重要推手，提供了支持高级分析、自动化和智能应用所需的可靠数据基础。

数据集成用例

企业产生数据后，就可以对这些数据进行集成并从中获取实时洞察，从而为企业带来收益。跨地域经营或拥有多个业务单元的企业可以整合整个运营流程中的业务视图，了解哪些实践行之有效、哪些有待改进，以及哪些可能出现问题。

借助统一的业务视图，企业可以更轻松地了解各系统和流程之间的因果关系。利用集成的数据，企业能够加快响应速度，实时采取纠正措施，并降低运营和战略风险。

数据集成可以帮助企业：

• 优化分析：访问、排列或提取运营系统（通常为数据仓库）中的数据，再将其转换为企业可以信赖的分析结果。通过集成多个来源的数据，企业能够提升报告准确性，并支持开展更有意义的跨职能分析。
• 提高运营应用之间的一致性：帮助确保企业内部和企业之间的所有应用在数据库层面保持一致性。数据集成同时支持单向和双向数据流，有助于各应用基于一致、最新的信息协同运作。
• 在企业外部共享数据：向客户、供应商和合作伙伴等外部合作方提供可靠、受治理的数据。集成的数据支持在外部互动过程中进行受控的数据共享，同时保持数据的准确性、安全性和透明度。
• 协调数据服务：将运行时数据集成功能部署为可重复使用的数据服务，供应用和流程根据需要访问。该方法有助于确保在运营场景下使用数据时的速度、准确性和一致性。
• 支持数据迁移和整合：在迁移与整合项目中满足数据移动和转换的需求。常见的场景包括替换旧系统、并购后整合应用，或在将数据迁移至新环境的同时保留业务情境。

数据集成的历史

自从业务系统开始采集信息，整合不同数据源的数据就成为了一大难题。直到 20 世纪 80 年代初，计算机科学家才开始设计能够支持异构数据库互操作的系统。

1991 年，明尼苏达大学率先推出了大规模数据集成系统，目标是让数千个人口数据库之间实现互操作。该系统采用数据仓库方法，从不同数据源中提取数据，然后对数据进行转换，再将其加载到统一框架中，确保这些数据能够协同使用。

在随后的几年间，新的挑战不断出现。企业面临着越来越多的问题，包括数据质量、数据治理、数据建模，以及最突出的数据孤岛问题（因信息分散在不同系统而造成）。

到 2010 年代初，随着物联网 (IoT) 的兴起，集成数据成为企业迫在眉睫的任务。相关设备、应用和平台迅猛增加，开始产生海量数据。随着大数据成为主流，企业急需找到新的方法来管理采集的信息并从中挖掘价值。

如今，各行各业不同规模的企业都依赖数据集成，从企业范围内的各种应用和平台存储的数据中挖掘价值。

常见问题