タグ: #dataframe
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 2 件
Polars 1.x vs Pandas — Pandas 時代の終わりか? Rust・Arrow・lazy 時代の dataframe 深掘り 2026
Polars が 1.x で stable API を約束し、Pandas 2.2 が PyArrow backend を正式採用したことで、dataframe 世界の重心が揺れた。Polars 1.x は本当に Pandas を置き換えるのか? Rust + Arrow アーキテクチャ、lazy evaluation、query optimizer(predicate / projection pushdown、common sube
2026-05-14 · 28 分で読めます #polars#pandas#dataframe#apache-arrow#duckdbApache Spark 内部完全ガイド 2025: RDD, Catalyst Optimizer, Tungsten, Whole-Stage Codegen, Shuffle 深層解析
Spark が同じクエリを MapReduce より 100 倍速く処理する秘訣。RDD から DataFrame/Dataset、Catalyst optimizer、Tungsten project、whole-stage code generation、shuffle 最適化まで完全解析する。
2026-04-15 · 17 分で読めます #spark#catalyst#tungsten#rdd#whole-stage-codegen