タグ: #olap
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 12 件
300倍はPostgreSQLをチューニングして出た数字ではない — 火山モデルとベクトル化実行
pgrust 0.2のリリースとともに公開された300倍という数字を正確に解剖します。この数値はPostgreSQLの設定を変えて出たものではなく、Rustで新しく実装したデータベースをClickBenchで測定した結果であり、著者本人が別に提示したSUMクエリの実験は火山モデルの1.3秒からSIMDの135ミリ秒まで9.6倍を示します。バッチ、演算子融合、SIMDがそれぞれ何を取り除くのかをコードのレベルで追い、著者が自ら明かした限界
2026-08-09 · 15 分で読めます #postgresql#database#performance#query-engine#simdClickHouse の Lazy Materialization — LIMIT 10 の小技が FINAL と JOIN まで育った経緯
ClickHouseのlazy materializationは、ソートとLIMITが終わるまでSELECT列を読まない最適化で、25.4(2025年4月)にLIMIT 10以下でのみ有効になる保守的な機能として登場しました。その後、行単位のlookupをjoin方式の一括取得に作り直した25.12でゲートが10,000まで引き上げられ、2026年には26.2のUNION ALL全ブランチ、26.4のReplacingMergeTree
2026-07-17 · 24 分で読めます #database#clickhouse#olap#query-optimization#performanceDuckDB にクライアント・サーバープロトコルができた — Quack が変えるものと変えないもの
2026年5月12日、DuckDBチームがQuackを発表しました。HTTPの上に載せたクライアント・サーバープロトコルで、DuckDBインスタンス2つが互いにクライアントとサーバーになり、同じデータベースを複数プロセスから同時に読み書きできるようにします。7年間「インプロセス」をアイデンティティとして掲げてきたプロジェクトが自らサーバーを取り付けたわけで、何が変わったかより何が変わらなかったかのほうが重要です。本稿ではQuackの設計
2026-07-16 · 31 分で読めます #database#duckdb#olap#analytics#data-engineeringDuckDB実践 — ノートPCで完結する組み込み分析の時代
OLAPのSQLiteと呼ばれるDuckDBがなぜこれほど愛されるのか、アーキテクチャから解き明かします。Parquetの直接クエリ、ウィンドウ関数・PIVOT・ASOF JOINの実践例、pandasとのzero-copy連携、dbt-duckdbによる軽量ETL、MotherDuckのハイブリッド実行、そしてPostgresやClickHouseと比較した選択ガイドまで整理します。
2026-06-12 · 22 分で読めます #duckdb#database#olap#analytics#parquetモダンクラウドデータウェアハウス 2026 完全ガイド - Snowflake / Databricks SQL / BigQuery / Redshift / Firebolt / Azure Synapse / MotherDuck 徹底分析
2026年5月時点のモダンクラウドデータウェアハウス生態系を整理します。Snowflake、Databricks SQL、Google BigQuery、AWS Redshift Serverless、Azure Synapse、Firebolt、MotherDuck、DuckDB、ClickHouse Cloud、StarRocks、Apache Druid/Pinot、さらに Apache Iceberg / Delta Lake
2026-05-16 · 41 分で読めます #data-warehouse#snowflake#databricks#bigquery#redshiftデータベースエンジン 2026 ディープダイブ — Postgres が API を制し、ClickHouse と DuckDB が分析を制した
PostgreSQL 17/18、MySQL 9、MariaDB 12、SQLite + libSQL + Turso、DuckDB 1.x、ClickHouse、StarRocks、Doris、Druid、Pinot、TiDB、CockroachDB 25、YugabyteDB、Cassandra 5、ScyllaDB、Aerospike、Neon、Supabase、PlanetScale、Xata、EdgeDB → Gel、Surr
2026-05-16 · 20 分で読めます #database#postgresql#mysql#clickhouse#duckdbOLAP エンジン 2025 比較ガイド: DuckDB・ClickHouse・Snowflake・StarRocks・Pinot・Druid・Trino、ベンチマークの罠、エンジン配置 (2025)
Season 5 Ep 3. 1つのエンジンがすべての OLAP をカバーすることはない。DuckDB はシングルノードの革命を、ClickHouse はリアルタイム OLAP を、Snowflake・BigQuery はマネージドの手軽さを、StarRocks・Doris・Pinot・Druid はリアルタイム MPP を、Trino は連合クエリを担う。各エンジンの強みと弱み、ベンチマークの罠、適材適所の配置パターン、韓国企業向けの
2026-04-15 · 15 分で読めます #olap#duckdb#clickhouse#snowflake#bigqueryDuckDB Internals Deep Dive — Embedded OLAP、Vectorized Execution、Morsel-Driven Parallelism、Storage Format 完全攻略 (2025)
Pandas を置き換え、ClickHouse を embedded にもたらした解析エンジン、DuckDB。本記事では DuckDB の内部を一から解剖する。Mark Raasveldt と Hannes Mühleisen による 2018 年の CWI プロジェクトから 2024 年の 1.0 リリースまでの歩み、単一ファイル・単一プロセス設計、columnar storage と Vector(1024 行の chunk)、Hy
2026-04-15 · 30 分で読めます #duckdb#olap#database#columnar#vectorizationClickHouse Internals Deep Dive — MergeTree、Vectorized Execution、分散クエリ、Keeper 完全攻略 (2025)
Cloudflare、Uber、Bloomberg、Yandex が毎日数十兆行を処理する分析エンジン ClickHouse の内部を一から解剖します。Columnar と Row ストレージの根本的な違い、MergeTree ファミリ (Replacing/Summing/Aggregating/Collapsing)、Parts と Mutation、Sparse Primary Index と Data Skipping Inde
2026-04-15 · 22 分で読めます #clickhouse#olap#columnar#mergetree#analyticsDuckDBインメモリ分析とOLAPガイド
OLAPワークロード向けのDuckDBインメモリ分析ガイド。クエリ最適化、データフォーマット、統合パターンを解説します。
2026-03-15 · 39 分で読めます #database#duckdb#olap#analytics#in-memoryDuckDB OLAP分析とデータレイクガイド
DuckDBを使用したOLAP分析とデータレイククエリのガイド。インプロセス分析、Parquet統合、パフォーマンス最適化を解説します。
2026-03-08 · 32 分で読めます #database#duckdb#olap#analytics#data-lakeClickHouseリアルタイムOLAPとMergeTree最適化ガイド
高性能分析ワークロード向けのClickHouseリアルタイムOLAP分析とMergeTreeエンジン最適化の実践ガイド。
2026-03-06 · 31 分で読めます #database#clickhouse#olap#mergetree#real-time-analytics