跳转至内容
关于粒子波与网络连接的数字资料

什么是数据集成?

数据集成是指一系列用来帮助企业使用、整合和利用各种数据的实践、工具和架构程序。除了整合不同系统的数据外,数据集成还可以确保数据干净、准确,优化其对业务的价值。

 

数据集成尤其适用于采用分布式多元化架构的企业,这些企业拥有大量产生信息的数据源和资产。在这些企业中,数据往往孤立存储,与其他业务数据脱节,导致企业无法获得统一的业务视图。

 

数据集成可以让企业充分发挥自身的真正潜力。企业将能依据准确的信息制定重大决策,同时采用并优化依赖干净数据的新技术,进而推动业务创新,实现繁荣发展。

数据集成的历史

自从业务系统开始采集数据以来,整合不同数据源成为了一大难题。直到 20 世纪 80 年代初,计算机科学家才开始设计专门的系统,来支持异构数据库或不同数据库之间的互操作性。

 

1991 年,明尼苏达大学推出了一款数据集成系统,这是最早的数据集成系统之一,其目的是让数千个人口数据库之间实现互操作。该系统采用了数据仓库方法,从不同数据源中提取数据,然后对数据进行转换,再将其加载到视图中,实现数据兼容。

 

之后的多年间,又出现了许多不同的挑战,包括数据质量、数据治理数据建模,尤其是数据孤立或数据孤岛问题。

 

到 2010 年代初,随着物联网的问世,集成数据成为企业迫在眉睫的任务。突然之间,各种设备、应用和平台开始产生海量数据,将企业淹没在数据汪洋中,大数据应运而生,企业需要找到合适的方式来充分利用所有信息。

 

如今,各行各业不同规模的企业都在利用数据集成,从企业内部各种应用和平台存储的数据中获取价值。

数据集成用例

企业产生数据后,可以利用数据集成整合这些数据,并利用它们获取实时洞察,优化业务运营。跨地域经营的企业可以整合整个企业的业务视图,了解哪些方面做得好,哪些方面有待改进。借助统一的业务视图,企业可以轻松了解前因后果,实时纠正错误,将风险降至最低。

 

数据集成可以帮助企业:

  • 优化分析:访问、排列或提取业务系统(通常为数据仓库)中的数据,再进行数据转换,让企业能够进行可靠的分析
  • 提高业务应用之间的一致性:确保企业内部和企业之间的所有应用在数据库层面保持一致性,实现双向和单向同步。
  • 在企业外部共享数据:向客户、供应商和合作伙伴等外部合作方提供可靠的数据。
  • 协调数据服务:将所有运行时数据集成功能部署为数据服务,确保数据交付速度和准确性。
  • 支持数据迁移和整合:满足有关数据迁移和整合的数据移动和转换需求,例如,在替换旧应用或迁移至新环境时。

集成数据的优势

数据集成是每家企业整体数据管理战略的关键组成部分。数据集成有助于交付正确的信息,凝聚整个企业的力量,协调所有活动和决策,支持企业实现目标,高效向客户交付优质的产品和服务。

 

在收集整个企业的数据后,为确保数据准确性和一致性,系统会对数据进行清理和验证,再将其整合到统一的数据集中,或者跨多个数据集进行编排,这通常被称为“数据网络架构方法”

 

全面、准确的集成数据源,有助于企业采用必要的创新流程和技术,实现业务成功。例如,如果没有大型的集成数据集,人工智能机器学习工业 4.0计划将难以为继。

 

如果没有数据集成,数据仍将孤立存储在不同的应用和平台中。这会降低企业的运营能力和战略能力。例如,如果数据集有限,企业将无法进行准确的分析,进而影响重要的业务决策。

 

许多企业都从数据集成中获得了显著受益,例如:

  • 赢创工业集团 (Evonik Industries):赢创工业集团是一家全球性的特种化工企业,专为轮胎和床垫等各种产品提供特种化学品,提升这些产品的性能,业务遍及全球 100 多个国家和地区。了解该企业如何简化复杂材料数据的处理工作,并将系统管理任务减少 50%。
  • Costain Group:Costain Group 是英国政府机构的合作伙伴,通过整合并访问孤立的数据,帮助提高运输项目的效率,同时减少碳排放并节省公共资金。该集团利用数据集成来访问更多数据,进而更快速地制定由数据驱动的决策,实现更出色的业务成果。

数据集成的工作原理

进行数据集成时,最常用的是提取、转换和加载 (ETL) 流程。

  1. 提取:将数据从源系统移至临时的暂存数据库,在暂存数据库中进行清理,确保数据质量。
  2. 转换:将数据转换为结构化数据,使其符合目标数据源的要求。
  3. 加载:将结构化数据加载到数据仓库或其他存储实体。

完成数据集成后,就可以进行数据分析,为业务用户提供他们需要的信息,支持他们制定明智的决策。

数据集成的工作原理,包括提取、转换和加载 (ETL) 流程

数据集成流程图:从数据源到 ETL,再到数据分析,整个过程可以帮助企业制定业务决策。

数据集成类型

数据集成分为不同类型,通常取决于数据源和数据类型。

  • 批量数据移动:这是最常见的数据集成类型,主要包括数据提取、数据转换和数据加载环节。
  • 数据复制:将数据从一个数据库复制到另一个数据库,并且仅使用被复制到辅助数据库中的更改数据。
  • 数据虚拟化:利用虚拟抽象层,将数据库中的所有数据整合成一个视图,支持用户实时访问需要的数据,不受存储位置、源系统或数据类型的影响。
  • 流数据集成:用于集成持续产生的数据,在这个过程中,数据转换将实时进行。
  • 以消息为导向的数据移动:将数据块分为多个消息组,由应用读取数据,实时进行数据交换。

企业需要根据自身独特的业务环境和业务需求,选择正确的数据集成类型。大多数企业都需要不止一种数据集成类型。因此,了解如何将这些数据集成工具整合起来至关重要。

正确实施数据集成

了解如何选择适合你企业的数据集成方法。

数据集成趋势和技术

在当今环境下,充分利用数据的价值不仅是企业提高韧性和敏捷性的关键,而且对数字化转型和新技术采用也至关重要。提升数据集成水平和充分发挥数据的重要价值已成为新的趋势。

 

数据编排

 

随着业务架构日益分散、数据源激增和信息类型日趋多样化,企业纷纷开始利用数据编排来帮助管理海量数据。

 

数据编排采用更全面的数据集成方法和传统的 ETL 模式,整合、扩充和转换各种类型的数据,例如来自本地应用、云应用和外部数据源的非结构化数据和流式数据。利用数据编排,企业能获得更有效的洞察,同时降低数据集成的复杂性和相关成本。

聆听 SAP 创新宣传大使和专家 Timo Elliott 分享数据集成到数据编排的发展历程。

数据网络架构

 

近年来,由于不断有新的挑战涌现,比如复杂的数据源、连接限制以及其他因素,标准的数据集成方法已经失效。数据网络架构能够帮助企业更加敏捷、灵活地集成数据。通过实现流程、工作流和渠道自动化,这种方法可以大幅降低数据集成的复杂性。

 

混合数据集成

 

如今,很多企业都混合采用了云系统和本地系统,这些系统中的数据分布在许多不同的位置和应用中。借助混合数据集成,不论数据存储在哪里,用户都可以通过任意应用访问和共享这些数据。

 

全面集成

 

在快节奏的数字经济时代,提高业务敏捷性成为了企业的战略重点。而要实现这一目标,采用全面的数据集成方法至关重要。通过组合使用各种单独的数据和应用集成原则,企业可以在混合环境中实施各种类型的集成。

探索 SAP Data Intelligence 解决方案

将数据转化为重要的业务洞察,推动业务创新。

本系列更多内容

数据集成常见问题

数据智能是指企业从数据集成中获取的价值。在集成过程中,数据经过采集、整合和配置,形成数据集,供各种业务流程和应用访问,满足它们的需求。人工智能和机器学习等创新技术能够分析海量数据集,并将其转化为智能数据洞察,为企业制定战略性业务决策提供依据。

数据编排超越了数据集成的范畴,包括数据发现、数据准备、数据集成、数据处理和连接多个复杂架构中的数据等活动。数据集成是指将数据整合到一处,而数据编排是以灵活的方式处理并整合数据,帮助企业创建新的业务流程和/或完善现有业务流程。

大数据,顾名思义,包含大量大规模的非结构化数据集,这些数据集分散在企业内外部的不同数据源中。传统的数据库和数据集成方法根本无法处理如此大的数据量。要想采集、存储和分析这些数据,企业必须使用专为大数据构建的内存数据库、软件和存储解决方案。借助这些功能强大的产品,企业可以获得所需的速度,确保大数据洞察切实可行且具有价值。

SAP Insights 简报

立即订阅

订阅简报,获取关键洞察。

更多信息

返回顶部