태그: #duckdb
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 12 편
2026년 데이터 도구 지형 읽는 법 — 도구 목록이 아니라 층별 결정으로
2026년 7월 28일 GeekNews에 "개발자를 위한 데이터 도구 지형 가이드"가 올라와 51포인트를 받았습니다. 좋은 지도지만 지도는 목적지를 골라 주지 않습니다. 이 글은 같은 지형을 다섯 개 층으로 나누고, 각 층에서 실제로 내려야 하는 결정이 무엇인지 정리합니다. 테이블 포맷 전쟁이 Iceberg v3에서 사실상 끝나고 싸움이 카탈로그로 옮겨 간 경위, DuckDB급 단일 노드 엔
2026-07-31 · 29 분 읽기 #data-engineering#lakehouse#iceberg#duckdb#data-platformDuckDB에 클라이언트-서버 프로토콜이 생겼다 — Quack이 바꾸는 것과 바꾸지 않는 것
2026년 5월 12일 DuckDB 팀이 Quack을 발표했습니다. HTTP 위에 얹은 클라이언트-서버 프로토콜로, DuckDB 인스턴스 두 개가 서로 클라이언트와 서버가 되어 같은 데이터베이스를 여러 프로세스에서 동시에 읽고 쓸 수 있게 합니다. 7년 동안 "인프로세스"를 정체성으로 내세운 프로젝트가 스스로 서버를 붙인 셈이라, 무엇이 바뀌었는지보다 무엇이 안 바뀌었는지가 더 중요합니다.
2026-07-16 · 31 분 읽기 #database#duckdb#olap#analytics#data-engineeringDuckDB 실전 — 노트북에서 끝내는 임베디드 분석의 시대
OLAP의 SQLite라 불리는 DuckDB가 왜 이렇게 사랑받는지 아키텍처부터 풀어봅니다. Parquet 직접 쿼리, 윈도우 함수와 PIVOT과 ASOF JOIN 실전 예제, pandas와의 zero-copy 연동, dbt-duckdb 기반 경량 ETL, MotherDuck 하이브리드 실행, 그리고 Postgres와 ClickHouse 대비 선택 가이드까지 정리합니다.
2026-06-12 · 24 분 읽기 #duckdb#database#olap#analytics#parquet데이터베이스 엔진 2026 딥다이브 — Postgres가 API를 이겼고, ClickHouse·DuckDB가 분석을 이겼다
PostgreSQL 17/18, MySQL 9, MariaDB 12, SQLite + libSQL + Turso, DuckDB 1.x, ClickHouse, StarRocks, Doris, Druid, Pinot, TiDB, CockroachDB 25, YugabyteDB, Cassandra 5, ScyllaDB, Aerospike, Neon, Supabase, PlanetScale, Xat
2026-05-16 · 25 분 읽기 #database#postgresql#mysql#clickhouse#duckdb데이터 레이크하우스 & 모던 데이터 엔지니어링 2026 — Iceberg / Delta / Hudi / Paimon / Tabular (Databricks 인수) / Trino / Spark 4 / Flink 2 / DataFusion 심층 가이드
2026년의 데이터 엔지니어링은 더 이상 "데이터 웨어하우스 vs 데이터 레이크"의 시대가 아니다. Apache Iceberg가 2024-25년 테이블 포맷 전쟁의 승자로 떠오르면서 Netflix·Apple·LinkedIn·Stripe·Airbnb가 모두 그 위에 모였고, Databricks는 2024년 6월 Iceberg 공동 창시자 Ryan Blue의 Tabular를 $1B 이상으로 인수
2026-05-16 · 48 분 읽기 #data-engineering#data-lakehouse#apache-iceberg#delta-lake#apache-hudiPython 생태계 2026 완벽 가이드 — Python 3.13 · FastAPI · Django 5 · Litestar · SQLAlchemy 2 · Polars · Pydantic 2 · Ruff · uv · mypy 심층 분석
2026년 5월 기준 Python 생태계 전반을 한 글에 정리합니다. Python 3.13의 free-threaded 빌드와 JIT, FastAPI/Django 5/Litestar/Flask 3/Sanic/Robyn, SQLAlchemy 2와 Polars/DuckDB/pandas 2, Pydantic 2 · msgspec · attrs 검증 엔진, Ruff와 uv가 가져온 도구 통합, myp
2026-05-16 · 33 분 읽기 #python#fastapi#django#litestar#sqlalchemyPolars 1.x vs Pandas — Pandas 시대의 끝인가? Rust·Arrow·lazy 시대의 dataframe 심층 분석 2026
Polars가 1.x로 stable API 약속을 내걸고, Pandas 2.2가 PyArrow backend를 정식 지원하면서 dataframe 세계의 무게중심이 흔들렸다. Polars 1.x는 정말로 Pandas를 대체하는가? Rust + Arrow 아키텍처, lazy evaluation, query optimizer(predicate/projection pushdown, common su
2026-05-14 · 30 분 읽기 #polars#pandas#dataframe#apache-arrow#duckdbDuckDB Internals Deep Dive — 임베디드 OLAP, 벡터화 실행, Morsel-Driven 병렬, Storage Format 완전 정복 (2025)
Pandas를 대체하고 ClickHouse를 임베디드로 가져온 분석 엔진, DuckDB. 이 글은 DuckDB의 내부를 처음부터 해부합니다. Mark Raasveldt와 Hannes Mühleisen의 2018년 CWI 프로젝트부터 2024년 1.0 릴리스까지의 여정, 단일 파일 단일 프로세스 설계, 컬럼나 저장 + Vector(1024 행 chunk), HyPer 스타일 Morsel-Dri
2026-04-15 · 32 분 읽기 #duckdb#olap#database#columnar#vectorization데이터 플랫폼의 현대 — Lakehouse·Iceberg·dbt·Airflow·Dagster·Flink·DuckDB·ClickHouse·Snowflake·Databricks 심층 가이드 (2025)
Hadoop의 무덤 위에 선 2025년 데이터 스택. Lakehouse·Iceberg/Delta/Hudi·dbt/SQLMesh·Airflow vs Dagster vs Prefect·Flink vs Spark Streaming·DuckDB·ClickHouse·Snowflake vs Databricks vs BigQuery·Semantic Layer·Data Contracts·Feature St
2026-04-15 · 19 분 읽기 #data-platform#lakehouse#iceberg#dbt#airflowOLAP 엔진 2025 비교 가이드: DuckDB·ClickHouse·Snowflake·StarRocks·Pinot·Druid·Trino, 벤치마크 함정, 엔진 배치 (2025)
Season 5 Ep 3. 하나의 엔진이 모든 OLAP을 커버하지 않는다. DuckDB는 단일 노드의 혁명을, ClickHouse는 실시간 OLAP을, Snowflake·BigQuery는 관리형 편리함을, StarRocks·Doris·Pinot·Druid는 실시간 MPP를, Trino는 연합 쿼리를 맡는다. 각 엔진의 강약점, 벤치마크의 함정, 적재적소 배치 패턴, 한국 기업 선택 가이드까지
2026-04-15 · 16 분 읽기 #olap#duckdb#clickhouse#snowflake#bigqueryDuckDB 인메모리 분석 엔진 실전 가이드: OLAP 워크로드를 로컬에서 처리하기
DuckDB의 벡터화 실행 엔진과 컬럼 기반 아키텍처를 깊이 분석하고, Python/Node.js 통합, Parquet/CSV 직접 쿼리, S3 원격 데이터 소스 연동, 메모리 관리 전략과 실패 복구까지 실전 운영 중심으로 다룹니다.
2026-03-15 · 39 분 읽기 #database#duckdb#olap#analytics#in-memoryDuckDB 분석 엔진 실전 가이드: 로컬 OLAP부터 데이터 레이크 통합까지
DuckDB의 아키텍처와 벡터화 실행 엔진을 분석하고, Parquet·CSV·JSON 데이터 소스 통합, Python/SQL 활용법, ClickHouse·BigQuery 대비 벤치마크, 프로덕션 운영 패턴을 실전 코드와 함께 다룹니다.
2026-03-08 · 32 분 읽기 #database#duckdb#olap#analytics#data-lake