效率笔记

数据清洗不用学太多,记住这 6 条就够用

2 次阅读

一列数字怎么求和都是 0,因为它们是文本格式。 本文从清单的角度讲数据清洗,给出6条可执行方法、1个真实案例和3个常见坑。

数据清洗不用学太多,记住这 6 条就够用

先看一个常见的场面。

一列数字怎么求和都是 0,因为它们是文本格式。

这类问题翻来覆去就那几个,所以这篇不铺垫,直接给能用的。

下面这六条,是我筛过之后留下的。不追求全,只追求能用。

为什么会卡在这里

先看看多数人是怎么处理的。

直接对原始表做分析。脏数据上的分析,结论一定是错的。

多数人卡住,不是因为不努力,是因为没人把步骤的先后讲清楚。一头扎进去做,做到一半才发现方向错了,返工的时间比第一次做还长。

下面这套顺序,是我试过之后留下来的。它不一定最聪明,但每一步都能马上动手。

六条,可以直接抄

每条一句话说清做什么、为什么。可以全做,也可以先挑一条试。

1. 先复制一份原始表再动手

清洗过程不可逆。保留原始表,出问题能回溯,也能对账。

2. 文本型数字用分列转换

选中整列,数据—分列,直接点完成。比改单元格格式可靠,因为格式只是显示,值还是文本。

3. 日期用统一格式重算

=TEXT(A2,"yyyy-mm-dd") 输出标准文本,或 =DATEVALUE(A2) 转成真日期再统一格式。

4. 删除重复项前先看清哪几列

只勾选关键列做判重,否则同一客户的两条不同订单会被当成重复删掉。

5. 空值用定位批量处理

Ctrl+G 定位条件—空值,一次性填 0 或上一行值。

6. 清洗完做三项体检

行数对不对、关键列有没有空、金额合计和原始表是否一致。

照着做的一个例子

某次客户名单要做短信群发。

做法是:清洗时发现 200 多条手机号带空格和横线。

结果是:用 SUBSTITUTE 去掉后重新校验位数,避免了大量发送失败。

这个例子不复杂,难的是每次都这么做。可以照着做,也可以只挑其中一步先试。

整个过程里没有出现什么复杂工具,改的都是顺序和标准。这也是它能被复制的原因——不需要天赋,只需要不再省那一步。

几个常被问到的问题

问:照着做了,还是没效果,为什么?

答:不要在原始表上直接改。改坏了没有退路。 先回头检查这一条,多数时候问题在这里。

问:要多久才能见效?

答:第一周通常只是熟悉流程,第二周才开始省时间。如果两周后完全没感觉,回头看看是不是漏了第一步。

问:第一步该从哪里开始?

答:复制一份原始表,命名带日期。从这一件开始,别一次全上。

问:最容易犯的错是什么?

答:一行行手改。几百行还能忍,几千行一定出错。

明天就能做的事

不用全做,挑一件今天就能开始的。

  • 复制一份原始表,命名带日期
  • 全表跑一遍 TRIM 和 CLEAN
  • 清洗完对一次总数

最后

清单的价值在于用,不在于存。今天挑一条,试完再说下一条。

清单第一条,今天就做:复制一份原始表,命名带日期。

评论 0

还没有评论,来说两句。

评论需审核后显示