标签: #arrow
关于 GPU、LLM、MLOps、Kubernetes 以及心态的文章 · 1 篇
PySpark 4.2，Python UDF 默认搭上 Arrow — 类型强制转换225格里132格发生变化的故事
2026年7月14日发布的 Apache Spark 4.2.0 通过 SPARK-54555 把 spark.sql.execution.pythonUDF.arrow.enabled 的默认值从 false 反转成了 true。厂商博客把这称为"无需重写代码就能获得更快的列式路径"，但整个发布里都没有公开 Arrow 与 pickle 之间的速度对比数字。而真正的故事不是速度，而是类型强制转换。实际 diff 两份检入 Spark
2026-07-16 · 23 分钟阅读 #spark#python#arrow#data-engineering