跳转至内容
一位男士在检查数据

什么是数据管理?

在了解数据管理是什么之前,我们需要明确数据对企业的运营和运转的重要性。如今,全球经济体高度互联,需要各种各样的系统和技术提供支持,由此产生了大量的数据。企业必须充分挖掘数据的价值,从杂乱的信息中寻找相关洞察。这样一来,数据就成为了企业的重中之重。数据本身没有价值,企业需要制定有效的数据战略、数据治理和数据管理模式,才能充分利用各种形式的数据,在供应链、员工网络、客户合作伙伴生态体系等领域高效发挥这些数据的作用。

 

那么,什么是数据管理?数据管理的定义是指采集、整理和访问数据,帮助提高生产力、运营效率和决策质量,如何做好数据管理的关键在于如何组织数据。鉴于数据在当今商业领域的重要作用,无论企业规模如何、身处哪个行业,制定可靠的数据管理战略和部署现代化的数据管理系统都至关重要。

什么是数据管理

如何做好数据管理的关键要素

从数据管理的定义中可以看出,数据管理流程包含大量的任务和程序,如何做好数据管理,我们需要从以下几个方面入手:

  • 采集、处理、验证和存储数据
  • 整合来自不同数据源的各类数据,包括结构化和非结构化数据
  • 确保数据的高可用性和灾难恢复
  • 管理员工及应用使用和访问数据的方式
  • 保护数据安全,确保数据隐私

为什么数据管理很重要?

随着数字化转型理念越来越得到大部分企业的认可,企业使用的所有应用、分析解决方案和算法(支持计算机解决问题和完成任务的规则及相关流程)都离不开对数据的无缝访问,数据管理的重要性日益凸显。一个数据管理系统的核心作用在于帮助确保数据安全、可用和准确。但是,数据管理的优势远不止于此。

59

 ZB

当前的数字化数据量已达 59 ZB — IDC

80

%

到 2025 年,非结构化数据将占到全球数据总量的 80% — IDC

了解数据管理和分析的优势。

将大数据转化为高价值的业务资产

 

大数据是数据管理的重点对象之一,如果管理不当,过多的数据会让企业不堪重负,数据本身也会失去价值。但是,借助合适的工具,企业可以充分利用大数据,获得比以往更深刻的洞察和更准确的预测结果。大数据可以帮助企业更准确地了解客户需求,并基于数据提供的洞察交付卓越的客户体验,这也是数据管理的价值之一。此外,利用大数据,企业还可以实施由数据驱动的新业务模式,例如,提供基于实时物联网和传感器数据的服务产品。如果不能在初期建立健全的数据管理系统、缺乏分析和解读大数据的能力,企业将很难发现这些业务模式。

大数据是指极其庞大的数据集,通常具备五大特征(5 个 V):数据量大 (Volume)、数据类型多样 (Variety)、数据生成速度快 (Velocity)、数据真实性高 (Veracity) 以及数据价值大 (Value)

众所周知,由数据驱动的企业具有明显的竞争优势。借助数据管理技术等高级工具,企业能够管理更多数据源的更多数据。此外,他们还可以实时利用各种结构化和非结构化数据,包括物联网设备数据、视频和音频文件、互联网点击流数据和社交媒体评论等,创造更多机会实现数据货币化和资产化。

 

为数字化转型奠定数据基础

 

人们常说,数据是数字化转型的命脉,的确如此。人工智能 (AI)、机器学习工业 4.0、高级分析、物联网以及智能自动化都需要大量及时、准确、安全的数据才能充分发挥自身作用。

自新冠疫情爆发以来,数据和数据驱动的技术越来越重要。许多企业都迫切感受到,他们必须更充分地利用他们的数据来预测未来事件,快速应对变化,并增强业务计划和业务模式的韧性,因此数据管理系统的建立也被众多企业列为重点推动项目之一。

例如,机器学习需要非常庞大且多样化的数据集来进行“学习”,从而识别复杂的模式,解决问题,并确保其模型和算法实时更新和有效运行。常常利用机器学习的高级分析也需要大量优质数据,才能生成可据以采取行动的相关洞察,支持企业自信地采取行动。另外,物联网和工业物联网的运行依赖稳定的机器和传感器数据流,数据流的速度达到每分钟一百万英里。

任何数字化转型项目都有一个共同的要素,那就是数据。企业要想革新流程、利用新技术和打造智慧企业,就必须先构建坚实的数据基础。简言之,他们需要部署现代化的数据管理系统

企业要想实现长远发展,就必须采用以数据为中心且能及时响应变化的敏捷架构。

Donald Feinberg, Gartner 副总裁

建立数据管理体系,确保业务活动遵守数据隐私法

 

要想确保遵守《通用数据保护条例》(GDPR) 和美国《加州消费者隐私法案》(California Consumer Privacy Act) 等国家和国际数据隐私法,以及行业特定的隐私和安全要求,良好的数据管理至关重要。另外,为了方便必要时对隐私保护措施进行审计或提供相关证明,可靠的数据管理政策和程序也必不可少。

如何搭建数据管理系统?

在搭建数据管理系统前,我们需要明确数据管理系统的定义,其是依托于数据管理平台构建,包括一系列组件和流程,这些组件和流程协同工作,帮助企业从数据中获取价值。数据管理系统包括数据库管理系统、数据仓库和数据湖、数据集成工具、分析工具等。

 

数据库管理系统 (DBMS)

 

数据库管理系统有多种不同的类型。最常见的是关系型数据库管理系统 (RDBMS)、面向对象数据库管理系统 (OODMBS)、内存数据库和列式数据库。

数据管理系统

不同的数据管理系统

  • 关系型数据库管理系统 (RDBMS):RDBMS 是一种包含数据定义的数据库管理系统,支持各种程序和检索系统按名称引用数据项,而不是每次都需要描述数据的结构和位置。RDBMS 系统还可以基于关系模型维护数据项之间的关系,从而促进数据访问并避免数据重复。例如,数据项的基本定义和特征只需存储一次,并会链接到客户订单明细行和定价表。
  • 面向对象数据库管理系统 (OODBMS):OODBMS 是一种独特的数据定义和存储方法,由面向对象编程系统 (OOPS) 开发人员开发和使用。与 RDBMS 将数据存储在表格中不同,OODBMS 将数据存储为对象,是独立的自描述实体。
  • 内存数据库:内存数据库 (IMDB) 是一种将数据存储在计算机主内存 (RAM) 而不是硬盘的数据库。从内存中检索数据要比从磁盘系统检索数据快得多,因此有快速响应要求的应用通常会使用内存数据库。例如,过去我们需要几天才能编制一份报告,现在只需几分钟甚至数秒便可完成数据访问和分析。
  • 列式数据库:列式数据库是一种将相关数据组(信息列)集中存储,方便快速访问的数据库。列式数据库常用于现代内存业务应用,以及注重(有限数据范围内的)检索速度的独立数据仓库应用。

数据仓库和数据湖

  • 数据仓库:数据仓库是一个集中的数据库,存储来自不同数据源的数据,供创建报告和执行分析用。
  • 数据湖:数据湖是一个庞大的数据池,按照数据的原始格式或自然格式存储数据。数据湖常用于存储大数据,包括结构化、非结构化和半结构化数据。

主数据管理 (MDM)

 

主数据管理是一门学科,其任务是为所有重要业务数据(如产品数据、客户数据、资产数据、财务数据等)创建统一的可靠主数据参考,即统一的真实数据源。主数据管理有助于确保企业在流程、运营以及分析和报告等不同业务领域使用统一、一致的数据版本。有效的主数据管理包含三个重要方面:数据整合、数据治理和数据质量管理。

主数据管理是一门由技术支持的学科,由业务部门和 IT 部门协同工作,采用问责制对企业官方共享主数据资产进行管理,确保其统一性、准确性和语义一致性。

Gartner 对主数据管理的定义

大数据管理

 

为了帮助当今企业管理海量结构化、非结构化和半结构化数据,各种新型数据库和工具应运而生。除了针对数据量大和生成速度快这两个问题的高效处理技术和云计算设施外,还诞生了许多解读和管理数据种类的新方法。例如,为了使数据管理工具能够理解和使用各种类型的非结构化数据,企业可以采用新的预处理流程来识别数据项并对其进行分类,方便存储和检索。

 

数据集成

 

数据集成是指随时随地根据需要摄取、转换、整合和准备数据。这种集成并不局限于企业内部,还可以发生在合作伙伴以及第三方数据源和第三方用例之间,其目的是满足所有应用和业务流程的数据使用需求。数据集成技术包括批量数据移动、提取、转换、加载 (ETL)、变更数据捕获、数据复制、数据虚拟化、流数据集成、数据编排等。

 

数据治理、安全与合规管理

 

数据治理是一系列确保企业数据可用性、质量、合规性和安全性的规则与职责。数据治理的内容包括搭建数据基础架构,以及指定企业中有权限、有责任处理和保护各类数据的员工(或职位)。数据治理是合规管理的关键组成部分。系统负责数据的存储、处理和安全机制,而人作为治理方,负责确保数据从一开始就准确无误,并且在数据输入系统之前、被使用的过程中,以及从系统中提取出来供其他应用使用或存储时,数据得到妥善处理和保护。数据治理规定了负责人如何使用流程和技术来管理和保护数据。

 

当今世界,黑客、病毒、网络攻击以及数据泄露事件频发,数据安全无疑备受关注。虽然系统和应用均内置了安全功能,但数据治理一方面可以确保正确设置和管理这些系统,从而保护数据安全,另一方面可以确保执行相关程序和职责,保护系统和数据库之外的数据。

 

商业智能和商业分析

 

商业智能与商业分析是数据管理的最终目的。可以说,大部分数据管理系统都包含基本的数据检索和报告工具,许多系统还整合或捆绑了强大的检索、分析和报告应用。另外,第三方开发人员构建的报告和分析应用也常常会作为标准功能或可选扩展组件模块,纳入应用包中,以实现更先进的功能。

 

当今数据管理系统的强大之处很大程度上体现在即席检索工具上,用户只需接受最少量的培训就可以使用这些工具创建电子数据检索结果和打印报告,而且这些报告在格式设置、计算、分类和摘要方面都极具灵活性。此外,专业人员可以使用这些工具或更复杂的分析工具,在计算、比较、高等数学和格式设置方面做更多工作。新的分析应用能够跨越传统数据库、数据仓库和数据湖,将大数据与业务应用数据整合起来,更好地进行预测、分析和计划。

什么是企业数据战略?为什么要制定企业数据战略?

什么是企业数据战略?企业数据战略是企业战略的重要组成部分,其目的在于使企业数据能够成为企业决策和运营管理的重要支持,成为企业的重要资产之一。许多企业在制定数据战略方面一直很被动,采用的完全是业务应用供应商为其系统构建的内容。但现在,这种做法远远不够。如今,数据激增,并且数据对企业的运营至关重要,因此企业越来越需要采取更加主动和全面的方法来管理数据。从实际情况来说,这意味着企业要做好充分准备,制定合适的数据战略来执行以下任务:

  • 确定企业需要和使用的具体数据类型;
  • 为每种类型的数据划分职责;以及
  • 制定相关程序,管理数据获取、采集和处理流程。

企业数据管理战略和基础架构的主要优势之一在于,它可以凝聚整个企业的力量,协调所有活动和决策,支持企业实现目标,高效向客户交付优质的产品和服务。通过制定全面的数据战略并实现无缝的数据集成,企业将能消除信息孤岛。届时,每个部门、经理和员工都可以查看和了解各自对企业成功的贡献,并确保他们的决策和行动与这些目标保持一致。

placeholder

制定适合企业的数据战略

免费在线参加《由成果驱动的数据战略》大师课。

数据管理的发展史

50 多年来,有效的数据管理对企业的重要性不言而喻,包括帮助企业提高信息报告准确性、发现趋势和制定明智决策,推动数字化转型,以及支持当今的新技术和业务模式等。数据已经成为一种新型资本,富有远见的企业一直都在探索如何做好数据管理的实践。以下这些新的现代数据管理趋势很重要,企业应予以关注,并了解这些趋势与自身业务和所在行业的相关性:

  • 数据网络结构: 如今,大多数企业都在本地和云端拥有各种类型的数据,并且使用了多种数据库管理系统、处理技术和工具。数据网络结构是架构与技术的自定义组合,利用动态的数据集成和编排,支持用户在分布式环境中顺畅地访问和共享数据。
  • 云端数据管理:许多企业正在将数据管理平台部分或全部迁移到云端。云数据管理充分利用了云的全部优势,包括可扩展性、先进的数据安全性、更高的数据访问便捷性、自动备份和灾难恢复、成本更低等。云数据库和数据库即服务 (DBaaS) 解决方案云数据仓库以及云数据湖都在日益普及。
  • 增强数据管理:“增强数据管理”是一个新的趋势。Gartner 认为,到 2022 年,增强数据管理将释放巨大的颠覆性潜力,通过利用人工智能(了解什么是人工智能)和机器学习技术,让数据管理流程实现自配置和自调整。增强数据管理能够自动执行从数据质量和主数据管理到数据整合的所有工作,让高技能员工有更多时间专注于更高价值的任务。

到 2022 年,通过利用机器学习和自动化服务水平管理,数据管理的手动任务将减少 45%。

Gartner

  • 增强分析:增强分析是 Gartner 发现的另一个重要技术趋势。目前,增强分析时代已经到来。增强分析使用人工智能、机器学习和自然语言处理 (NLP) 等技术,不仅可以自动发现最重要的洞察,还能实现高级分析的普及,让所有人都能以自然对话的方式询问数据并获得答案,而不是只有数据科学家才能使用高级分析。

了解有关数据管理的其他术语和趋势

总结

在了解什么是数据管理后,我们更能体会到数据管理以及其基础架构的重要性。信息来源于数据。如果说信息具备强大的力量,那么有效管理和利用数据将能为企业带来超能力。因此,数据管理人员和数据库分析师 (DBA) 的角色正逐步转变为变革领导者,助力推动企业采用云解决方案、积极利用新趋势和技术,以及为企业带来战略价值。

placeholder

数据库和数据管理解决方案

SAP 可以帮助你管理、治理和集成企业数据。

本系列更多内容

返回顶部