什么是数据管理？
数据管理是指通过采集、整理、管理和访问数据，提高企业的生产力、效率和决策能力。
数据管理概览
数据对企业运营至关重要。现如今，全球各经济体高度互联，需要各种各样的系统和技术提供支持，由此产生了大量的数据。企业必须充分挖掘数据的价值，从杂乱的信息中获取重要洞察。这样一来，数据就成为了企业的重中之重。实际上，数据本身毫无价值。企业需要制定有效的数据战略、数据治理和数据管理模式，才能充分利用各种形式的数据，在供应链、员工网络、客户和合作伙伴生态系统等领域高效发挥这些数据的作用。
数据管理的定义和流程
数据管理是指通过采集、整理、管理和访问数据，提高企业的生产力、效率和决策能力。随着数据在当今商业世界中扮演着越来越重要的角色，制定有效的企业战略并部署现代化数据管理平台，对于任何规模、任何行业的企业都是一门必修课。数据管理对于各种数据导向型用例都非常重要，这些用例包括端到端业务流程执行、合规管理、精确分析和 AI、数据迁移和数字化转型。
数据管理流程包括大量任务和程序，例如：
采集、处理和验证数据
整合来自不同数据源的各类数据，包括结构化和非结构化数据
管理数据质量，确保符合业务标准
提供自助服务，支持协作和数据访问
保障数据安全，确保数据隐私
管理从创建到删除的整个数据生命周期
确保数据的高可用性，建立有效的灾难恢复机制
数据管理的关键要素
为什么数据管理很重要？
企业使用的所有应用、分析解决方案和算法（支持用户采用技术解决问题和完成任务的规则及相关流程）都离不开对优质数据的无缝访问。数据管理系统旨在帮助企业确保数据安全、可用和准确，但它的优势远不止于此。
将数据转化为高价值的业务资产
如果管理不当，过多的数据会让企业不堪重负，数据本身也会失去价值。再加上数据多样性、数据分布和数据需求也在不断提高，很多企业难以利用数据资产来满足数字业务需求。但是，借助合适的工具，企业可以充分利用数据，获得比以往更深刻的洞察、更准确的预测结果和更具创新性的业务流程。数据可以帮助企业更好地了解客户需求，并基于数据提供的洞察交付卓越的客户体验。企业还可以实施由数据驱动的新业务模式，例如，提供基于生成式 AI 的服务产品。如果缺乏高质量数据来训练模型，就无法确保业务模式的准确性。
“由数据驱动是指充分利用数据（包括处理复杂的状态、存储、访问、质量和情境等），帮助企业实现基于数据的愿景，这是实现数字化业务成功的核心。”
Gartner 发布的 “Data Management Solutions Primer for 2023”（2023 年数据管理解决方案入门手册）。Adam Ronthal、Ehtisham Zaidi，2023 年 2 月 14 日
举例来说，机器学习和生成式 AI 需要借助非常庞大且多样化的数据集进行“学习”，识别复杂模式和解决问题，并确保其模型和算法实时更新和有效运行。高级分析通常依赖机器学习和 AI 技术，也需要基于大量优质数据，才能提供可转化为行动的重要洞察，支持企业自信地采取行动。此外，物联网和工业物联网场景也离不开以极高速度传输且非常稳定的机器数据流和传感器数据流。
任何数字化转型项目都有一个共同的要素，那就是数据。企业要想革新流程、利用新技术和打造智慧企业，就必须先构建坚实的数据基础。简而言之，他们需要部署现代化的数据管理系统。
确保遵守数据隐私法
要想确保遵守《通用数据保护条例》(GDPR) 和美国《加州消费者隐私法案》(California Consumer Privacy Act) 等国家和国际数据隐私法，以及行业特定的隐私和安全要求，实施良好的数据管理至关重要。另外，为了方便必要时对隐私保护措施进行验证或审计，企业还需要制定可靠的数据管理策略和程序。
数据管理方法
数据编织和数据网格已经成为近年来炙手可热的数据管理术语，许多企业都在自身的数据管理架构中采用了这两种数据管理方法。数据编织架构可以为各种数据源创建连接层，促进整个企业的自助服务、数据访问和数据交付。这种架构可以从最终用户的角度对存储数据的不同位置进行抽象化处理，为用户呈现统一的视图，即便底层架构高度分散，用户也能使用这类视图。
数据网格
数据网格是指采用分布式架构框架的数据管理方法。换言之，数据网格是将整个企业内特定数据集的所有权和职责，分散至具备专业知识的用户，这些用户能够理解数据的含义并且知道如何充分发挥数据的价值。数据网格架构从数据湖和数据仓库等各种数据源提取数据，并将相关数据集分发给企业内拥有专业知识的用户和各领域团队。这个过程本质上是将集中的数据湖中大量杂乱无章的数据按业务领域进行分类，并通过易于管理的数据块，分发给最了解且最适合使用这些数据的用户和团队。
数据编织
数据编织是数据架构和专门的软件解决方案的组合，能够集中、连接、管理和治理来自不同系统和应用的数据。借助数据编织解决方案，企业可以实时连接并管理来自不同系统和应用的所有数据。这样，企业就可以创建统一的真实数据源，并随时随地使用和访问数据，实现数据管理流程大众化和自动化。数据编织还可以简化数据，尤其是在复杂的分散架构中。它能够统一、清理、丰富并保护数据，确保这些数据可用于分析、AI 以及机器学习应用。借助数据编织架构和解决方案，企业能够充分利用数据并扩展系统，同时灵活适应瞬息万变的市场环境。
主数据管理 (MDM)
主数据管理是一门学科，旨在为所有重要的业务数据（如产品数据、客户数据、资产数据、财务数据等）创建统一、可靠的主数据参考，即统一的真实数据源。主数据管理有助于确保企业在流程、运营、AI 以及分析和报告等不同业务领域使用统一、一致的数据版本。有效的主数据管理包含三个重要方面：数据整合、数据治理和数据质量管理。
数据集成
数据集成是指随时随地根据需要摄取、转换、整合和准备数据。这种集成并不局限于企业内部，还可以发生在合作伙伴以及第三方数据源和第三方用例之间，旨在满足所有应用和业务流程的数据使用需求。数据集成技术包括批量数据移动、提取、转换、加载 (ETL)、变更数据捕获、数据复制、数据虚拟化、流数据集成和数据编排等。
数据发现和数据编录
数据发现和数据编录能够帮助你找到你拥有的各种数据，并确定这些数据之间的关联。数据发现通常作为数据剖析（用于生成数据鸟瞰视图，展示数据结构、内容等）的部分功能提供，能够揭示各种数据集的位置，及其在数据源内部和多个（异构）数据源之间的关系。从广义上看，数据发现是理解数据架构的基本工具。敏感数据发现是数据发现的重要子类别，侧重于定位和分类企业中的个人数据和其他敏感数据，确保妥善保护这些数据，保障数据的隐私、安全性和合规性。
通过与人工智能和机器学习等先进自动化技术相结合，数据发现也可以用于构建数据目录。数据目录针对企业的数据资产提供信息资源库（即元数据），其中包含数据的内容、格式、存储位置和适用领域。企业需要自动收集尽可能多的信息，并按地理位置、时间和访问控制等进行细分。数据目录编制了索引，支持搜索查询、自助服务和相关协作。除了从物理数据源获取数据，更全面的目录还将从各种衍生数据源（如分析报告和仪表盘）摄取元数据。数据目录通常与数据准备工具结合使用，这项功能非常重要，能支持数据治理和协作式自助数据访问。
数据治理、安全与合规管理
数据治理是一系列确保企业数据可用性、质量、合规性和安全性的规则与职责。数据治理的内容包括搭建数据基础架构，以及指定企业中有权限、有责任处理和保护各类数据的员工（或职位）。数据治理是合规管理的重要组成部分。系统负责数据的安全、存储和访问机制以及妥善删除和保留数据。数据治理也有助于确保数据从一开始就正确无误，并在输入系统之前、被使用的过程中，以及从系统中提取出来以供别处使用或存储时，确保数据符合业务标准。在企业中，数据治理规定了负责人如何使用流程和技术来管理和保护数据。
当今世界，黑客、病毒、网络攻击以及数据泄露事件频发，数据安全问题无疑备受关注。虽然系统和应用均内置了安全功能，但数据治理一方面可以确保正确设置和管理这些系统，从而保护数据安全，另一方面可以确保执行相关程序和职责，保护系统和数据库之外的数据。
什么是企业数据战略？为什么要制定企业数据战略？
如今，业务战略需要依靠数据来实现流程自动化，交付个性化的客户和员工体验，推动创新，并通过开辟新市场或并购推动业务增长。因此，确保数据战略与业务战略协调一致，已经逐渐成为业务成功的关键。数据战略需要获得企业各级员工的认同，既要有重要的业务价值，又要贴合业务情境。
企业需要制定数据战略来确定工作的优先顺序。众所周知，企业生成和使用的数据量正在快速增长。企业的资源有限，但数据问题和各种要求总是层出不穷。因此，企业需要制定数据战略，根据实现价值的高低来确定数据活动的优先顺序。数据战略必须有“旺盛的生命力”，既与业务优先事项完美契合，又能随着业务的革新和成熟灵活调整。数据战略不能停留在书面文字，而必须在企业中充分绽放“活力”。
数据战略概括了企业为实现业务成果必须构建的所有数据功能。这其中不仅包括数据管理功能和工具，还包括组织结构、数据采集和数据网络战略、合规和伦理等业务功能。数据战略描绘了一个多年期功能开发路线图，为企业设定了各种预期，包括具体的交付成果以及需要投入的时间、成本和管理层支持。
数据管理的发展历程
50 多年来，有效的数据管理一直对企业的成功至关重要，包括帮助企业提高信息报告准确性、发现趋势和制定明智决策，推动数字化转型，以及支持当今的新技术和业务模式等。数据已经成为一种新型资本，富有远见的企业一直都在寻找更好的新方法来让数据为他们所用。以下是现代数据管理领域值得关注的最新趋势，了解这些趋势对你的企业和所在行业的重要影响：
数据编织：如今，大多数企业都在本地和云端拥有各种类型的数据，并且使用多种数据库管理系统、处理技术和工具。数据编织是指架构与技术的自定义组合，旨在利用元数据以及动态的数据集成和编排，支持用户在分布式环境中顺畅地访问和共享数据。
云端数据管理：很多企业正在将数据管理平台部分或全部迁移到云端。云数据管理充分发挥了云的全部优势，包括可扩展性、先进的数据安全性、更高的数据可访问性、自动备份和灾难恢复、更低的成本等。云数据库和数据库即服务 (DBaaS) 解决方案、云数据仓库以及云数据湖都在日益普及。
数据即产品：数据即产品是指将内部数据视为一级产品，并将数据团队（广义上包括首席数据官或同级别的高管）的职责定义为：适时为企业其他部门提供所需的优质数据。数据即产品的目标是更加全面、充分地利用数据，例如挖掘出更加及时、准确的分析洞察。
增强数据管理：增强数据管理是一大新兴趋势。增强数据管理利用人工智能和机器学习技术，实现数据管理流程的自配置和自适应。增强数据管理能够自动执行从数据质量和主数据管理到数据集成的所有工作，让高技能员工有更多时间专注于更高价值的任务。
增强分析：利用人工智能、机器学习和自然语言处理 (NLP) 技术，增强分析不仅可以自动发现最重要的洞察，还能促进高级分析的普及，让所有人都能以自然对话的方式询问数据并获得答案，而不只是数据科学家。
总结
信息来源于数据。如果说信息就是力量，那么有效管理和利用数据就是企业的超能力。因此，数据管理人员和首席数据官（和分析官）正逐渐成为企业变革的领导者，助力推动企业采用云解决方案，积极利用新趋势和技术，并为企业带来战略价值。