태그: #data-lakehouse
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 5 편
데이터 레이크하우스 & 모던 데이터 엔지니어링 2026 — Iceberg / Delta / Hudi / Paimon / Tabular (Databricks 인수) / Trino / Spark 4 / Flink 2 / DataFusion 심층 가이드
2026년의 데이터 엔지니어링은 더 이상 "데이터 웨어하우스 vs 데이터 레이크"의 시대가 아니다. Apache Iceberg가 2024-25년 테이블 포맷 전쟁의 승자로 떠오르면서 Netflix·Apple·LinkedIn·Stripe·Airbnb가 모두 그 위에 모였고, Databricks는 2024년 6월 Iceberg 공동 창시자 Ryan Blue의 Tabular를 $1B 이상으로 인수
2026-05-16 · 48 분 읽기 #data-engineering#data-lakehouse#apache-iceberg#delta-lake#apache-hudi오브젝트 스토리지 이그레스 전쟁 2026: S3, R2, B2, Bunny, Wasabi, Tigris 완전 비교
2022년 Cloudflare R2가 시작한 이그레스 요금 파괴 이후 4년. 2026년 현재 S3, R2, Backblaze B2, Wasabi, Bunny, Tigris Data, R2 Catalog(Iceberg), Storj까지 — 1TB 저장 + 10TB/월 송신 시나리오로 실제 비용을 계산하고, 언제 어떤 스토리지를 선택해야 하는지 솔직하게 정리합니다.
2026-05-14 · 34 분 읽기 #object-storage#s3#cloudflare-r2#backblaze-b2#wasabi시스템 디자인 마스터 클래스: 1B QPS·Multi-Region·Data Lakehouse·Consensus·Cost·Observability 완전 가이드 (2025~2026)
시즌 2의 첫 Deep Dive. 1B QPS급 실제 아키텍처 (Twitter·Slack·Discord·Stripe 케이스), Multi-region Active-Active vs. Active-Passive, Data Lakehouse 3대(Iceberg·Delta·Hudi) 비교, Consistency 모델 (CAP·PACELC·Raft·Paxos), Cost vs Performance
2026-04-15 · 15 분 읽기 #system-design#scale#multi-region#data-lakehouse#consensus데이터 엔지니어링 완전 가이드 2025: Flink vs Spark, dbt, Iceberg, Airflow — 현대 데이터 스택 총정리
Flink vs Spark 스트림 처리 비교, dbt $100M ARR 돌파, Iceberg vs Delta Lake vs Hudi 레이크하우스 대전, ClickHouse vs StarRocks 실시간 분석, Airflow 3.0 vs Dagster vs Prefect 오케스트레이션 — 2025년 현대 데이터 스택 완전 가이드.
2026-03-22 · 50 분 읽기 #data-engineering#apache-flink#apache-spark#dbt#apache-icebergApache Iceberg 데이터 레이크하우스: 테이블 포맷 혁신과 실전 운영 가이드
Apache Iceberg의 아키텍처와 핵심 기능(Time Travel, Schema Evolution, Partition Evolution)을 분석하고, Spark/Trino 연동과 프로덕션 운영 전략을 다룹니다.
2026-03-14 · 27 분 읽기 #apache-iceberg#data-lakehouse#big-data#hadoop#spark