测验:schema 与格式
“守恒定律”在炼油管道中意味着什么?
- 切勿删除原始数据
- 维护列顺序
- 不改变类型
- 细化次数和拒绝次数的总和必须恰好等于原始案例的数量。
简单地跳过加载失败的行最大的问题是什么?
- 数据会毫无错误地消失,使得以后无法追踪丢失的内容和时间。
- 跳过检查会降低性能
- 目标表的架构已损坏。
- 由于行失败而事务回滚
为什么将空金额字符串转换为 0 很危险?
- 因为包含空字符串的0不是数字类型,
- 因为0被排除在平均值计算之外
- 无值和 0 是不同的事实,因为缺失的信息在转换时被删除。
- 因为0不能作为索引
当您有多种日期格式时,为什么不能将其留给自动推理呢?
- 因为当格式混合时,推理总是失败。
- 这是因为推断每行的格式太慢。
- 这是因为自动推理根本无法创建日期类型。
- 如果不清楚该月份是哪一个月,例如 03/04/2025,则直到 12 号才会默默地错误。
为什么原始(临时)表只有字符串列?
- 因为字符串占用的存储空间更少
- 因为无法创建索引
- 为了保留原来的样子,而不会由于类型转换失败而加载自身。
- 因为它是唯一可以使用正则表达式的类型
将tablet表的列和类型记录在单独的表中有什么好处?
- 下游管道可以立即检测到模式何时悄然发生变化
- 提前知道类型可以使查询更快。
- 可以替换架构备份
- 索引是在记录的列上自动创建的。