标签: #columnar-storage
关于 GPU、LLM、MLOps、Kubernetes 以及心态的文章 · 1 篇
Parquet 2.13.0 的 nan_count 与 IEEE 754 total order — float 统计用 3 年 3 个月才修好的故事
Parquet 的 min/max 统计，是让查询引擎跳过数据的机制。但在浮点数列上，这套机制已经悄悄坏了 10 多年 — NaN 在任何比较中都返回 false，因此会被排除在统计之外，结果就是包含 NaN 的页面，可能在查找大于 max 的值的查询中被整页跳过。这不是性能问题，而是结果错误的问题。2026 年 6 月 13 日发布的 parquet-format 2.13.0，通过引入 nancount 字段和一个叫 IEEE754
2026-07-16 · 25 分钟阅读 #data-engineering#parquet#columnar-storage#apache-arrow