タグ: #duckdb
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 11 件
2026年のデータツール地形の読み方 — ツール一覧ではなく層ごとの決定として
2026年7月28日、GeekNewsに「開発者のためのデータツール地形ガイド」が投稿され51ポイントを獲得しました。良い地図ですが、地図は目的地を選んでくれません。この記事は同じ地形を五つの層に分け、各層で実際に下すべき決定が何かを整理します。テーブルフォーマット戦争がIceberg v3で事実上終結し、争いがカタログへ移った経緯、DuckDB級の単一ノードエンジンがクラスタの仕事をローカルへ引き寄せる流れ、FivetranとdbtL
2026-07-31 · 26 分で読めます #data-engineering#lakehouse#iceberg#duckdb#data-platformDuckDB にクライアント・サーバープロトコルができた — Quack が変えるものと変えないもの
2026年5月12日、DuckDBチームがQuackを発表しました。HTTPの上に載せたクライアント・サーバープロトコルで、DuckDBインスタンス2つが互いにクライアントとサーバーになり、同じデータベースを複数プロセスから同時に読み書きできるようにします。7年間「インプロセス」をアイデンティティとして掲げてきたプロジェクトが自らサーバーを取り付けたわけで、何が変わったかより何が変わらなかったかのほうが重要です。本稿ではQuackの設計
2026-07-16 · 31 分で読めます #database#duckdb#olap#analytics#data-engineeringDuckDB実践 — ノートPCで完結する組み込み分析の時代
OLAPのSQLiteと呼ばれるDuckDBがなぜこれほど愛されるのか、アーキテクチャから解き明かします。Parquetの直接クエリ、ウィンドウ関数・PIVOT・ASOF JOINの実践例、pandasとのzero-copy連携、dbt-duckdbによる軽量ETL、MotherDuckのハイブリッド実行、そしてPostgresやClickHouseと比較した選択ガイドまで整理します。
2026-06-12 · 22 分で読めます #duckdb#database#olap#analytics#parquetPython エコシステム 2026 完全ガイド — Python 3.13 · FastAPI · Django 5 · Litestar · SQLAlchemy 2 · Polars · Pydantic 2 · Ruff · uv · mypy 徹底分析
2026年5月時点の Python エコシステム全体を一つの記事に整理します。Python 3.13 の free-threaded ビルドと JIT、FastAPI / Django 5 / Litestar / Flask 3 / Sanic / Robyn、SQLAlchemy 2 と Polars / DuckDB / pandas 2、Pydantic 2 · msgspec · attrs の検証エンジン、Ruff と uv
2026-05-16 · 29 分で読めます #python#fastapi#django#litestar#sqlalchemyデータベースエンジン 2026 ディープダイブ — Postgres が API を制し、ClickHouse と DuckDB が分析を制した
PostgreSQL 17/18、MySQL 9、MariaDB 12、SQLite + libSQL + Turso、DuckDB 1.x、ClickHouse、StarRocks、Doris、Druid、Pinot、TiDB、CockroachDB 25、YugabyteDB、Cassandra 5、ScyllaDB、Aerospike、Neon、Supabase、PlanetScale、Xata、EdgeDB → Gel、Surr
2026-05-16 · 20 分で読めます #database#postgresql#mysql#clickhouse#duckdbデータレイクハウス & モダンデータエンジニアリング 2026 — Iceberg / Delta / Hudi / Paimon / Tabular (Databricks買収) / Trino / Spark 4 / Flink 2 / DataFusion 徹底ガイド
2026年のデータエンジニアリングは、もはや「データウェアハウス対データレイク」の時代ではない。2024-25年のテーブルフォーマット戦争はApache Icebergの勝利に終わり、Netflix・Apple・LinkedIn・Stripe・Airbnbが揃ってその上に集まった。Databricksは2024年6月、Iceberg共同創設者Ryan BlueのTabularを10億ドル超で買収し、Delta LakeとIcebergを
2026-05-16 · 40 分で読めます #data-engineering#data-lakehouse#apache-iceberg#delta-lake#apache-hudiPolars 1.x vs Pandas — Pandas 時代の終わりか? Rust・Arrow・lazy 時代の dataframe 深掘り 2026
Polars が 1.x で stable API を約束し、Pandas 2.2 が PyArrow backend を正式採用したことで、dataframe 世界の重心が揺れた。Polars 1.x は本当に Pandas を置き換えるのか? Rust + Arrow アーキテクチャ、lazy evaluation、query optimizer(predicate / projection pushdown、common sube
2026-05-14 · 28 分で読めます #polars#pandas#dataframe#apache-arrow#duckdbOLAP エンジン 2025 比較ガイド: DuckDB・ClickHouse・Snowflake・StarRocks・Pinot・Druid・Trino、ベンチマークの罠、エンジン配置 (2025)
Season 5 Ep 3. 1つのエンジンがすべての OLAP をカバーすることはない。DuckDB はシングルノードの革命を、ClickHouse はリアルタイム OLAP を、Snowflake・BigQuery はマネージドの手軽さを、StarRocks・Doris・Pinot・Druid はリアルタイム MPP を、Trino は連合クエリを担う。各エンジンの強みと弱み、ベンチマークの罠、適材適所の配置パターン、韓国企業向けの
2026-04-15 · 15 分で読めます #olap#duckdb#clickhouse#snowflake#bigqueryDuckDB Internals Deep Dive — Embedded OLAP、Vectorized Execution、Morsel-Driven Parallelism、Storage Format 完全攻略 (2025)
Pandas を置き換え、ClickHouse を embedded にもたらした解析エンジン、DuckDB。本記事では DuckDB の内部を一から解剖する。Mark Raasveldt と Hannes Mühleisen による 2018 年の CWI プロジェクトから 2024 年の 1.0 リリースまでの歩み、単一ファイル・単一プロセス設計、columnar storage と Vector(1024 行の chunk)、Hy
2026-04-15 · 30 分で読めます #duckdb#olap#database#columnar#vectorizationDuckDBインメモリ分析とOLAPガイド
OLAPワークロード向けのDuckDBインメモリ分析ガイド。クエリ最適化、データフォーマット、統合パターンを解説します。
2026-03-15 · 39 分で読めます #database#duckdb#olap#analytics#in-memoryDuckDB OLAP分析とデータレイクガイド
DuckDBを使用したOLAP分析とデータレイククエリのガイド。インプロセス分析、Parquet統合、パフォーマンス最適化を解説します。
2026-03-08 · 32 分で読めます #database#duckdb#olap#analytics#data-lake