第 1 章 数据管理

第 1 章 数据管理

1.1    引言

数据管理（DataManagement）是为了交付、控制、保护并提升数据和信息资产的价值，在其整个生命周期中制订计划、制度、规程和实践活动，并执行和监督的过程。

1.2    基本概念

1.2.1    数据

1、【数据的概念】

长期以来，对数据的定义强调了它在反映客观事实方面的作用。在信息技术中，数据也被理解为以数字形式存储的信息（尽管数据不仅限于已数字化的信息，而且与数据库中的数据相同，数据管理的原则也适用于纸面上的数据）。 

Q：数据是以数字形式存储的信息？

A：错，数据是以数字形式+纸面形式存储的信息。

2、【数据本身也需要被解释，如南京市长江大桥】

数据既是对其所代表对象的解释，也是必须解释的对象（SebastianColeman，2013）。

 

1.2.2    数据和信息

1、【数据和信息的关系，信息是被处理过的数据】

数据被称为“信息的原材料”，而信息则被称为“在上下文语境中的数据”。

2、组织内部在数据和信息之间画一条线，可能有助于清晰地沟通不同利益相关方对不同用途的需求和期望（如“这是上季度的销售报告”（信息）。它基于数据仓库中的数据（数据）。下一季度，这些结果（数据）将用于生成季度绩效指标（信息）。认识到要为不同的目的准备数据和信息，将使数据管理形成一个核心原则：数据和信息都需要被管理；如果再将两者的使用和客户的需求结合在一起进行管理，则两者应具有更高的质量。在本书中，这些术语可以互换使用。

Q：数据是原材料，不需要被管理，信息是加工了的数据，所以需要被管理。

A：错，数据和信息都需要被管理。

 

1.2.4    数据管理原则【12  项原则一定会考】

（1） 数据是有独特属性的资产

数据是一种资产，但相比其他资产，其在管理方式的某些方面有很大差异。对比金融和实物资产，其中最明显的一个特点是数据资产在使用过程中不会产生消耗。

（2） 数据的价值可以用【也应该用】经济术语来表示

将数据称为资产意味着它有价值。虽然有技术手段可以测量数据的数量和质量，但还未形成这样做的标准来衡量其价值。想要对其数据做出更好决策的组织，应该开发一致的方法来量化该价值。他们还应该衡量低质量数据的成本和高质量数据的好处。

（3） 管理数据意味着对数据的质量管理

确保数据符合应用的要求是数据管理的首要目标。为了管理质量，组织必须了解利益相关方对质量的要求，并根据这些要求度量数据。

数据管理的首要目标：提高数据质量/确保数据符合应用的要求。数据管理的终极目标：实现数据的价值。

（4） 管理数据需要元数据【元数据先行】

管理任何资产都需要首先拥有该项资产的数据（员工人数、账户号码等）。用于管理和如何使用数据的数据都称为元数据。因为数据无法拿在手中或触摸到，要理解它是什么以及如何使用它，需要以元数据的形式定义这些知识。元数据源于与数据创建、处理和使用相关的一系列流程，包括架构、建模、管理、治理、数据质量管理、系统开发、  IT 和业务运营以及分析。

（5） 数据管理需要规划

即便是小型组织，也可能有复杂的技术和业务流程蓝图。数据在多个地方被创建，且因为使用需要在很多存储位置间移动，因而需要做一些协调工作来保持最终结果的一致，需要从架构和流程的角度进行规划。

（6） 数据管理须驱动信息技术决策【业务驱动技术落地】

数据和数据管理与信息技术和信息技术管理紧密结合。管理数据需要一种方法，确保技术服务于而不是驱动组织的战略数据。

（7） 数据管理是跨职能的工作

数据管理需要一系列的技能和专业知识，因此单个团队无法管理组织的所有数据。数据管理需要技术能力、非技术技能以及协作能力。

（8） 数据管理需要企业级视角【整体角度】

虽然数据管理存在很多专用的应用程序，但它必须能够有效地被应用于整个企业。这就是为什么数据管理和数据治理是交织在一起的原因之一。

（9） 数据管理需要多角度思考

数据是流动的，数据管理必须不断发展演进，以跟上数据创建的方式、应用的方式和消费者的变化。

（10）  数据管理需要全生命周期的管理，不同类型数据有不同的生命周期特征

数据是有生命周期的，因此数据管理需要管理它的生命周期。因为数据又将产生更多的数据，所以数据生命周期本身可能非常复杂。数据管理实践活动需要考虑数据的整个生命周期。不同类型数据有不同的生命周期特征，因此它们有不同的管理需求。数据管理实践需要基于这些差异，保持足够的灵活性，以满足不同类型数据的生命周期需求。

（11）  数据管理需要纳入与数据相关的风险

数据除了是一种资产外，还代表着组织的风险。数据可能丢失、被盗或误用。组织必须考虑其使用数据的伦理影响。数据相关风险必须作为数据生命周期的一部分进行管理。

（12）  有效的数据管理需要领导层承担责任

数据管理涉及一些复杂的过程，需要协调、协作和承诺。为了达到目标，不仅需要管理技巧，还需要来自领导层的愿景和使命。

 

 

1.2.5    数据管理的挑战

1. 数据与其他资产的区别

实物资产是看得见、摸得着、可以移动的，在同一时刻只能被放置在一个地方。金融资产必须在资产负债表上记账。然而数据不同，它不是有形的。尽管数据的价值经常随着时间的推移而变化，但它是持久的、不会磨损的。数据很容易被复制和传送，但它一旦被丢失或销毁，就不容易重新产生了。因为它在使用时不会被消耗，所以它甚至可以在不损耗的情况下被偷走。数据是动态的，可以被用于多种目的。同样，数据甚至可以在同时被许多人使用，而对实物资产或金融资产来说，这是不可能的。数据被多次使用产生了更多的数据，大多数组织不得不管理不断提升的数据量和越来越复杂的数据关系。

Q：数据只能用于一种目的。

A：错，数据是动态的，可以被用于多种目的，如营销、风控等。

2. 数据价值

【DAMA  依赖于成本法、市场法、收益法】

1） 获取和存储数据的成本。

2） 如果数据丢失，更换数据需要的成本。

3） 数据丢失对组织的影响。

4） 风险缓解成本和与数据相关的潜在风险成本。

5） 改进数据的成本。

6） 高质量数据的优势。

7） 竞争对手为数据付出的费用。

8） 数据潜在的销售价格。

9） 创新性应用数据的预期收入。

Q：只包括获取数据的成本，不包括存储数据的成本。

A：错，数据价值包含获取和存储数据的成本。

 

9.数据生命周期【DAMA   认为数据的生命周期起始于计划，和其他体系不同】

1） 创建和使用是数据生命周期中的关键点。

2） 数据质量管理必须贯穿整个数据生命周期。

3） 元数据质量管理必须贯穿整个数据生命周期。

4） 数据管理还包括确保数据安全，并降低与数据相关的风险。

5） 数据管理工作应聚焦于关键数据。组织产生了大量的数据，其 中很大一部分实际上从未被使用过，试图管理每一条数据是不可能 的。生命周期管理要求将重点放在组织关键的数据上，并将数据 ROT（冗余的 Redundant、过时的 Obsolete、碎                               片化的不重要的 Trivial）降至最低（Aiken，2014）。

【处置不是销毁】

1.2.6    数据管理战略

【非常重要】【数据战略是必须的】

战略是一组选择和决策，它们共同构成了实现高水平目标的高水平行动过程。

在许多组织中，数据管理战略由 CDO 拥有和维护，并由数据治理委员会支持的数据管理团队实施。通常，CDO 会在数据治理委员会成立之前起草一份初步的数据战略和数据管理战略，以获得高级管理层对建立数据管理和治理的支持。

数据管理战略的组成应包括：

1） 令人信服的数据管理愿景。

2） 数据管理的商业案例总结。

3） 指导原则、价值观和管理观点。

4） 数据管理的使命和长期目标。

5） 数据管理成功的建议措施。

6） 符合 SMART  原则（具体、可衡量、可操作、现实、有时间限制）的短期（12～24  个月）数据管理计划目标。

【需清除SMART各字母含义，在中国国情下，短期目标为3-6个月】

7） 对数据管理角色和组织的描述，以及对其职责和决策权的总结。

8） 数据管理程序组件和初始化任务。

9） 具体明确范围的优先工作计划。

10）  一份包含项目和行动任务的实施路线图草案。

 

【非常重要】数据管理战略规划的可交付成果包括：

1）  数据管理章程。包括总体愿景、业务案例、目标、指导原则、成功衡量标准、关键成功因素、可识别的风险、

运营模式等。

2） 数据管理范围声明。包括规划目的和目标（通常为  3  年），以及负责实现这些目标的角色、组织和领导。

3） 数据管理实施路线图。确定特定计划、项目、任务分配和交付里程碑（参见第 15  章）。

Q：数据管理战略规划可交付成果包含数据管理章程、范围声明，实施路线图在后期提交。

A：错，数据管理战略规划的可交付成果包含  3  项：数据管理章程、数据管理范围声明、数据管理实施路线图。

 

1.3    数据管理框架

1） 前两个模型，即战略一致性模型和阿姆斯特丹（Amsterdam）信息模型，展示了组织管理数据的高阶关系。

2） DAMA-DMBOK 框架（DAMA 车轮图【技术层面】、六边形图和语境关系图）描述了由 DAMA 定义的数据管理知识领域，并解释了它们在 DMBOK 中的视觉表现。

Q：战略一致性模型和阿姆斯特丹（Amsterdam）信息模型讨论了什么之间的关系？A.软件和硬件；B.人和机器；C.业务与技术

A：业务与技术。

 

 

 

3、DMBOK金字塔

使用DMBOK知识领域来描述组织演化的情况。组织可以根据此框架定义一种演化路径，支持战略目标的实现。

比如下图推荐的组织数据管理的4个阶段：

阶段1：实现数据建模和设计、数据存储和操作、数据集成和互操作、数据安全管理

阶段2：实现数据架构、数据质量和原数据管理

阶段3、实现数据治理、数据仓库和BI、参考数据和主数据、文件和内容管理

阶段4、实现高级实践，如数据挖掘和大数据分析

1.3.5 DAMA 数据管理框架的进化

【官方观点：元数据先行】