测验：数据质量与契约

上游发送了一个空文件，管道在加载 0 个项目后“成功”。缺少什么？

• 错误处理
• 重试逻辑
• 新鲜度和完整性检查
• 交易

“如果病例数少于 1000 则发出警告”等绝对阈值有什么问题？

• 阈值计算速度慢
• 随着服务规模的变化，它很快就变得毫无意义，也没有人更新它。
• 绝对阈值无法用 SQL 表达。
• 不反映一周中各天的差异

仅每周一早上才会出现完整性警告。最可能的原因是什么？

• 他们忽略了周末流量的减少并将其与“昨天”进行比较
• 仅在周末发生的管道错误
• 时区设置已关闭。
• 由于周一早上的数据库负载

在实践中，数据合同的正确改变是什么？

• 管道速度更快
• 责任变得清晰，合同本身成为自动验证规则。
• 存储成本降低
• 架构更改变得不可能

如果只在装货后进行质量检验会出现什么问题？

• 检查查询速度慢
• 单独留下测试结果会占用更多空间。
• 当受污染的数据已经传播到仪表板和下游管道后，您就会发现。
• 装载后的检查使规则变得复杂。

检查不合格无条件停输管道政策有何副作用？

• 中断部分的数据将丢失。
• 当小问题反复导致整个事情陷入停顿时，人们就会关闭测试。
• 更多的重新运行会增加成本
• 架构在断点处中断