处理客户数据
제품팀이 절대 볼 수 없는 것을 FDE 는 봅니다. 실제 고객 데이터의 지저분함이 그중 하나입니다. 이 코스는 깨진 CSV 를 진단하고, 재사용 가능한 검증기를 만들고, SQL 로 고객의 질문에 답하는 세 단계를 다룹니다. 정답 데이터가 아니라 현실의 데이터에서 출발하기 때문에, NULL 과 중복과 인코딩과 타입이 어떻게 조용히 잘못된 답을 만드는지를 손으로 겪게 됩니다.
중급 · 레슨 30 · 实验 10
커리큘럼
脏数据诊断
- 客户数据长得不像示例数据 reading
- 清洗坏掉的订单 CSV lab
- 测验:脏数据诊断 quiz
清洗与校验
- 说不出「通过」的校验器,不算校验器 reading
- 做一个能反复用的校验器 lab
- 测验:清洗与校验 quiz
用 SQL 找答案
- 最危险的 SQL 不报错 reading
- 用 SQL 回答客户的问题 lab
- 测验:用 SQL 找答案 quiz
处理客户数据的规矩
- 有权限,不等于就可以看 reading
- 做出一份能带出去的表 lab
- 测验:处理客户数据的规矩 quiz
文字乱码了
- 文字乱码了 — 不要猜,要判定 reading
- 姓名列全是方块 — 动手做判定工具 lab
- 测验:文字乱码了 quiz
不守规范的 CSV
- 数行数就会算错 — CSV 没那么简单 reading
- 行数对不上 — 数的是记录,不是行 lab
- 测验:不守规范的 CSV quiz
悄悄变化的接收结构
- 文件名没变,里面变了 reading
- 第 13 周营收变成 0 — 把接收契约写进代码 lab
- 测验:悄悄变化的接收结构 quiz
缺失与重复
- 「没有」不止一种写法,「相同」也是 reading
- 平均值有两个 — 用规则定义「缺失」与「相同」 lab
- 测验:缺失与重复 quiz
装不下的文件
- 内存装不下的文件 reading
- 笔记本上没事,到了 Pod 就被杀 lab
- 测验:装不下的文件 quiz
用画像与统计找异常
- 格式全对,数值却不对劲 reading
- 校验全绿,数字仍然可疑 lab
- 测验:用画像与统计找异常 quiz