效率笔记

数据清洗的教训,都是用时间换的

2 次阅读

一列数字怎么求和都是 0,因为它们是文本格式。 本文从复盘的角度讲数据清洗,给出5条可执行方法、1个真实案例和3个常见坑。

数据清洗的教训,都是用时间换的

有些事,做过了才知道当初想错了。

一列数字怎么求和都是 0,因为它们是文本格式。

回头看,当初有几处判断是错的,而且错得很有代表性。

这篇不复述方法,只复盘数据清洗:以为会怎样、实际怎样、差在哪。

以为会怎样,实际怎样

以为:直接对原始表做分析。脏数据上的分析,结论一定是错的。

实际:清洗过程不可逆。保留原始表,出问题能回溯,也能对账。

差别不在于谁更努力,在于有没有先想清楚这件事的验收标准。想清楚了,动作自然就少。

如果重来一次,我会先花十分钟写清楚『做成什么样算完成』,再动手。这十分钟能省掉后面两小时。

现在会怎么做

这篇不复述方法,只复盘:以为会怎样、实际怎样、差在哪。

1. 先复制一份原始表再动手

清洗过程不可逆。保留原始表,出问题能回溯,也能对账。

2. 用 TRIM 和 CLEAN 去隐形字符

=TRIM(A2) 去首尾空格,=CLEAN(A2) 去不可打印字符。很多『看起来一样但不相等』的问题都出在这里。

3. 文本型数字用分列转换

选中整列,数据—分列,直接点完成。比改单元格格式可靠,因为格式只是显示,值还是文本。

4. 日期用统一格式重算

=TEXT(A2,"yyyy-mm-dd") 输出标准文本,或 =DATEVALUE(A2) 转成真日期再统一格式。

5. 清洗完做三项体检

行数对不对、关键列有没有空、金额合计和原始表是否一致。

当初那个判断

某次客户名单要做短信群发。

做法是:清洗时发现 200 多条手机号带空格和横线。

结果是:用 SUBSTITUTE 去掉后重新校验位数,避免了大量发送失败。

这个例子不复杂,难的是每次都这么做。可以照着做,也可以只挑其中一步先试。

整个过程里没有出现什么复杂工具,改的都是顺序和标准。这也是它能被复制的原因——不需要天赋,只需要不再省那一步。

几个常被问到的问题

问:照着做了,还是没效果,为什么?

答:不要在原始表上直接改。改坏了没有退路。 先回头检查这一条,多数时候问题在这里。

问:要多久才能见效?

答:第一周通常只是熟悉流程,第二周才开始省时间。如果两周后完全没感觉,回头看看是不是漏了第一步。

问:第一步该从哪里开始?

答:复制一份原始表,命名带日期。从这一件开始,别一次全上。

问:最容易犯的错是什么?

答:一行行手改。几百行还能忍,几千行一定出错。

明天就能做的事

不用全做,挑一件今天就能开始的。

  • 复制一份原始表,命名带日期
  • 全表跑一遍 TRIM 和 CLEAN
  • 清洗完对一次总数

可以直接用的一段话

如果你平时用 AI 帮忙,下面这段可以直接复制,把方括号里的内容换成你的情况。

这列数据看起来一样但不相等,可能有哪些隐形字符?给我检测和清除的公式。

最后

复盘不是为了后悔,是为了下次少花点时间。把结论写成一条规则,比记住感受有用。

复盘到最后落到动作上,就是这一条:复制一份原始表,命名带日期。

评论 0

还没有评论,来说两句。

评论需审核后显示