效率笔记

数据清洗这件事,多数人从一开始就想反了

2 次阅读

同一家公司录入了三种写法,透视表里分成三行。 本文从反常识的角度讲数据清洗,给出4条可执行方法、1个真实案例和3个常见坑。

数据清洗这件事,多数人从一开始就想反了

先看一句你可能听过的建议。

同一家公司录入了三种写法,透视表里分成三行。

这句话不算错,但它只在一个前提下成立——而这个前提,很多人的场景里并不满足。

先把数据清洗这件事的真实机制说清楚,再讲怎么做。

先说说那个流传很广的说法

直接对原始表做分析。脏数据上的分析,结论一定是错的。

这句话之所以流行,是因为它在某种情况下确实成立。但很多人把它当成通用规则,结果就是用错了场合。

真正的机制是这样的:方法本身没错,错在它假设了一个前提——而这个前提在你的场景里不成立。

真正管用的做法

下面这几条,可能和你现在的做法相反。先别急着否定,看完再判断。

1. 用 TRIM 和 CLEAN 去隐形字符

=TRIM(A2) 去首尾空格,=CLEAN(A2) 去不可打印字符。很多『看起来一样但不相等』的问题都出在这里。

2. 文本型数字用分列转换

选中整列,数据—分列,直接点完成。比改单元格格式可靠,因为格式只是显示,值还是文本。

3. 空值用定位批量处理

Ctrl+G 定位条件—空值,一次性填 0 或上一行值。

4. 清洗完做三项体检

行数对不对、关键列有没有空、金额合计和原始表是否一致。

一个真实的反例

一位做财务的读者每月要合并 12 张门店表。

做法是:她固定了五步:去空格、转数值、统一日期、按门店名标准化、删除完全重复行。

结果是:合并时间从一整天压到一小时,且月末对账差异从几千降到零。

这个例子不复杂,难的是每次都这么做。可以照着做,也可以只挑其中一步先试。

整个过程里没有出现什么复杂工具,改的都是顺序和标准。这也是它能被复制的原因——不需要天赋,只需要不再省那一步。

几个常被问到的问题

问:照着做了,还是没效果,为什么?

答:不要忽略全角半角。全角的数字和括号,会让匹配全部失败。 先回头检查这一条,多数时候问题在这里。

问:要多久才能见效?

答:第一周通常只是熟悉流程,第二周才开始省时间。如果两周后完全没感觉,回头看看是不是漏了第一步。

问:第一步该从哪里开始?

答:复制一份原始表,命名带日期。从这一件开始,别一次全上。

问:最容易犯的错是什么?

答:一行行手改。几百行还能忍,几千行一定出错。

几个容易踩的坑

这几条比方法更值得看,因为方法可以慢慢学,坑踩一次就要花时间填。

  • 不要在原始表上直接改。改坏了没有退路。
  • 不要只改格式不改值。文本型数字改成『数值格式』,求和仍然是 0。

明天就能做的事

不用全做,挑一件今天就能开始的。

  • 复制一份原始表,命名带日期
  • 全表跑一遍 TRIM 和 CLEAN
  • 清洗完对一次总数

可以直接用的一段话

如果你平时用 AI 帮忙,下面这段可以直接复制,把方括号里的内容换成你的情况。

我有一张表,字段是:X。请给我一份 Excel 清洗清单,按操作顺序列出每一步用什么功能或公式。

最后

反常识的说法值得听,但别急着全盘接受。拿一个你自己的场景试一次,比争论有用。

别急着推翻原来的做法,先试这一件:清洗完对一次总数。试完再判断。

评论 0

还没有评论,来说两句。

评论需审核后显示