作者在《数据治理》中写道:说起来容易做起来难！文章中提到，数据治理不仅是一项辛苦且累人的工作，而且是一项吃力不讨好的工作，这往往会让领导者看不到价值。

数据治理需要对每一个数据字段、数据实体、数据项、数据项进行梳理和规范，有时甚至需要人工逐一定义数据标准，并验证数据质量。

数据管理员不仅要有良好的数据思维，还要有足够的细心、耐心和体力，打磨出适合企业的数据标准，实现企业数据质量的持续提升。

今天，我们来谈谈数据治理中最累的工作:数据清洗。

01

到底什么是数据清洗？

数据清洗也称数据清洗，是指从数据库或数据表中修正和删除不准确数据记录的过程。广义而言，数据清理包括识别和替换不完整、不准确、不相关或有问题的数据和记录。

通过有效的数据清洗，可以保证所有数据集的一致性和无错性，为以后的数据使用和分析提供支持。

02

为什么我们需要数据清理？

数据可以说是企业用来支持和指导其商业成功的最重要的资产之一。数据不准确可能导致的一些问题包括:

市场营销：使用了低质量数据的广告活动并联系不相关的优惠用户，不仅降低了客户满意度，而且错过了重大的销售机会。销售： 销售人员由于没有完整、准确的数据而未能联系以前的客户。合规性： 任何不符合客户数据隐私规则的线上业务会受到监管部门的处罚。生产操作： 依据低质量操作数据配置生产机器，可能导致制造公司出现重大问题。

如果企业有干净的数据，这些问题都可以避免！

数据清理的好处

改进业务实践： 想象一下，如果您的数据记录中都没有重复、错误或不一致的数据。那么您所有关键的业务活动效率会提高多少？提高工作效率： 使企业能够专注于核心业务，而不是专注于找到正确的数据，或者由于不正确的数据而不得不进行更正，这一点至关重要。 干净的高质量数据可以使企业成为行业的标杆。更快的销售周期： 营销决策取决于数据，为营销部门提供尽可能高质量的数据意味着销售团队可以更好、更多的转化潜在客户。更好的决策： 我们之前提到过这个问题，但这个问题很重要，所以有必要重复说一遍。更好的数据=更好的决策。

这些不同的利益结合在一起，通常会更大程度地改善企业的业务，这不仅会使对外销售业务更加有效，还会提供更高效的内部管理和运营。

03

如何定义高质量的数据？

以下标准有助于定义高质量数据的标准，即:

有效性:数据和定义的业务规则或约束之间的紧密性。一些常见的有效性约束包括:

强制约束：某些列不能为空数据类型约束：列中的值必须为特定数据类型范围约束：数字或日期的最小值和最大值外键约束：列中的一组值在另一个表中是唯一值 唯一约束：某字段的值在数据集中必须是唯一的

准确性:数据与标准值或真实值的接近程度。

完整性:数据属性和数据记录完整。

一致性:不同系统和实体之间数据度量的一致性。

可追溯性:找到(和访问)数据源的能力。

及时性:数据更新的速度和及时性如何？

这些不同特征的组合可以帮助企业拥有高质量的数据，并可用于各种业务目标，同时最大限度地减少对不确定数据的假设量。

04

清理数据的5个步骤

想要更干净的数据？有时候，考虑引入外部顾问来帮助你开始是有帮助的。但是在这样做之前，企业可以遵循几个常规步骤来进入更好的数据清理状态:

1。制定数据质量计划。

首先，需要知道大多数错误发生在哪里，以便确定根本原因并建立管理数据的计划。

请记住，有效的数据清洗会对整个企业产生全面的影响，所以尽可能保持开放和沟通是非常重要的。

数据清理计划需要包括:

负责人：需要一名数据清洗总体负责人，一名首席数据官（CDO）-如果公司任命了该职位的话。此外，还需要为不同的数据集分配业务和技术的负责人。指标：理想情况下，数据质量应用1-100间的某个数字标注。虽然不同的数据可能具有不同的数据质量，但有了总体的数字度量可以帮助企业衡量其持续改进的情况。行动： 应确定一组明确的行动计划以启动数据质量管理。随着时间的推移，这些行动方案需要随着数据质量的变化和公司优先级的变化而更新。

2。在源位置更正数据。

如果能够在数据成为系统中的脏数据(或重复数据)之前对其进行修复，可以节省大量的时间和工作。例如，如果表单太拥挤，需要填写太多字段，那么这些表单就存在数据质量问题。既然企业在不断产生越来越多的数据，那么在源头修复数据就显得非常重要。

3。测量数据的准确性

通过数据质量监控工具实现对企业数据的实时测量，提高数据质量，保证数据准确性。

4。管理数据和副本

如果确实无意中输入了一些重复内容，请务必主动检测并删除。删除所有重复条目后，您还必须考虑以下事项:

标准化：确认每列中存在相同类型的数据。规范化：确保所有数据都一致地记录。合并：将多条重复的记录合并为一条有效、准确的记录。聚合：对数据进行排序，并将其以汇总形式表示。筛选：缩小数据集范围，仅包含需要的信息。

5。完成数据

Complement是帮助企业定义和完成缺失信息的过程，可靠的第三方数据源通常是管理这种做法的最佳选择之一。

完成这五个步骤后，你的数据就可以根据需要导出分析了。

记住，对于大型数据集来说，达到100%的整洁度几乎是不可能的。

05

数据清理的最佳实践

在任何数据清理工作中，都应该记住几个最佳实践，它们是:

1。尽可能全面地考虑你的数据，不仅要考虑谁会分析它，还要考虑谁会使用数据分析得到的结果。

2。增加对数据库输入的控制，可以保证系统最终使用的数据更加干净。

3。选择一个能在问题发生前提醒甚至解决错误数据的技术方案。

4。如果是大型数据集，请务必限制样本量，以最大限度地减少准备时间，加快数据清理性能。

5。抽查整个过程，防止任何错误的数据被复制。

,