效率笔记

数据清洗的工具怎么配,才不会白买

2 次阅读

从系统导出的表,日期是文本、金额带空格、姓名前后有看不见的符号。 本文从工具的角度讲数据清洗,给出5条可执行方法、1个真实案例和3个常见坑。

数据清洗的工具怎么配,才不会白买

工具解决不了判断,但能省掉重复。

从系统导出的表,日期是文本、金额带空格、姓名前后有看不见的符号。

同一个模板,有人十分钟出结果,有人填半小时还是空的。差别在流程,不在工具。

这篇讲数据清洗的工具怎么配、流程怎么走、哪里别指望它。

工具和模板怎么配

先把流程定下来,再去找工具。反过来做,你会不断换工具,因为每次都觉得是工具不好用。

一份能用的模板,至少要包含三块:要填什么、填到什么程度算完成、填完给谁。缺一块,模板就会变成形式。

工具的选择标准只有一个:它能不能让你下一次少想一步。做不到这一点的工具,再漂亮也会被你弃用。

流程怎么配

先定流程,再选工具。顺序反了,工具只是摆设。

1. 先复制一份原始表再动手

清洗过程不可逆。保留原始表,出问题能回溯,也能对账。

2. 用 TRIM 和 CLEAN 去隐形字符

=TRIM(A2) 去首尾空格,=CLEAN(A2) 去不可打印字符。很多『看起来一样但不相等』的问题都出在这里。

3. 文本型数字用分列转换

选中整列,数据—分列,直接点完成。比改单元格格式可靠,因为格式只是显示,值还是文本。

4. 删除重复项前先看清哪几列

只勾选关键列做判重,否则同一客户的两条不同订单会被当成重复删掉。

5. 清洗完做三项体检

行数对不对、关键列有没有空、金额合计和原始表是否一致。

一个用模板跑通的例子

某次客户名单要做短信群发。

做法是:清洗时发现 200 多条手机号带空格和横线。

结果是:用 SUBSTITUTE 去掉后重新校验位数,避免了大量发送失败。

这个例子不复杂,难的是每次都这么做。可以照着做,也可以只挑其中一步先试。

整个过程里没有出现什么复杂工具,改的都是顺序和标准。这也是它能被复制的原因——不需要天赋,只需要不再省那一步。

几个常被问到的问题

问:照着做了,还是没效果,为什么?

答:不要只改格式不改值。文本型数字改成『数值格式』,求和仍然是 0。 先回头检查这一条,多数时候问题在这里。

问:要多久才能见效?

答:第一周通常只是熟悉流程,第二周才开始省时间。如果两周后完全没感觉,回头看看是不是漏了第一步。

问:第一步该从哪里开始?

答:复制一份原始表,命名带日期。从这一件开始,别一次全上。

问:最容易犯的错是什么?

答:一行行手改。几百行还能忍,几千行一定出错。

几个容易踩的坑

这几条比方法更值得看,因为方法可以慢慢学,坑踩一次就要花时间填。

  • 不要在原始表上直接改。改坏了没有退路。
  • 不要忽略全角半角。全角的数字和括号,会让匹配全部失败。

明天就能做的事

不用全做,挑一件今天就能开始的。

  • 复制一份原始表,命名带日期
  • 全表跑一遍 TRIM 和 CLEAN
  • 清洗完对一次总数

可以直接用的一段话

如果你平时用 AI 帮忙,下面这段可以直接复制,把方括号里的内容换成你的情况。

这列数据看起来一样但不相等,可能有哪些隐形字符?给我检测和清除的公式。

最后

工具解决的是重复,不解决判断。判断那部分,还是得你自己来。

模板可以慢慢搭,先把这一步固定下来:全表跑一遍 TRIM 和 CLEAN。

评论 0

还没有评论,来说两句。

评论需审核后显示