태그: #data-engineering

한국어English日本語中文

← 전체 글

• Databricks AI Engineer (FDE) 합격 가이드: Spark, Unity Catalog, RAG부터 고객 배포까지

  Databricks AI Engineer (FDE) JD를 완전 분석합니다. Spark/Delta Lake/Unity Catalog 기술 스택, Lakehouse 아키텍처, RAG 파이프라인 구축, 고객 현장 배포 역량까지 — 면접 예상 질문 25선과 8개월 학습 로드맵.

  2026-03-23 · 59 분 읽기 #databricks#fde#spark#delta-lake#unity-catalog

• 데이터 엔지니어링 완전 가이드 2025: Flink vs Spark, dbt, Iceberg, Airflow — 현대 데이터 스택 총정리

  Flink vs Spark 스트림 처리 비교, dbt $100M ARR 돌파, Iceberg vs Delta Lake vs Hudi 레이크하우스 대전, ClickHouse vs StarRocks 실시간 분석, Airflow 3.0 vs Dagster vs Prefect 오케스트레이션 — 2025년 현대 데이터 스택 완전 가이드.

  2026-03-22 · 50 분 읽기 #data-engineering#apache-flink#apache-spark#dbt#apache-iceberg

• 토스뱅크 Data Engineer (Kafka & Streaming) 합격을 위한 완벽 가이드: 기술스택·면접·공부 로드맵

  토스뱅크 Real-Time Data 팀의 Kafka & Streaming Data Engineer JD를 완전 분석합니다. Kafka Broker 운영, Spring Boot Kafka Client, Active-Active 이중화, CDC, Flink, ClickHouse까지 — 합격을 위한 기술스택 학습 로드맵과 면접 준비 전략.

  2026-03-21 · 64 분 읽기 #kafka#data-engineering#tossbank#streaming#flink

• Apache Spark 실전 운영 가이드: 성능 튜닝, 셔플, 스큐, AQE, 스트리밍 운영

  Apache Spark를 프로덕션에서 안정적으로 운영하기 위해 꼭 알아야 할 실행 모델, 셔플과 데이터 스큐, AQE, 캐시 전략, Structured Streaming 운영 체크리스트를 정리합니다.

  2026-03-17 · 11 분 읽기 #spark#spark-tuning#data-engineering#shuffle#adaptive-query-execution

• 데이터 엔지니어링 & AI 파이프라인: Spark부터 Kafka까지 완전 가이드

  AI를 위한 데이터 엔지니어링 완전 가이드. Apache Spark, Kafka, Airflow, dbt, Delta Lake, 피처 스토어까지 대규모 데이터 파이프라인 설계와 구현을 다룹니다.

  2026-03-17 · 22 분 읽기 #data-engineering#apache-spark#kafka#airflow#dbt

• DuckDB 인메모리 분석 엔진 실전 가이드: OLAP 워크로드를 로컬에서 처리하기

  DuckDB의 벡터화 실행 엔진과 컬럼 기반 아키텍처를 깊이 분석하고, Python/Node.js 통합, Parquet/CSV 직접 쿼리, S3 원격 데이터 소스 연동, 메모리 관리 전략과 실패 복구까지 실전 운영 중심으로 다룹니다.

  2026-03-15 · 39 분 읽기 #database#duckdb#olap#analytics#in-memory

• MLOps Feature Store 실전 — Feast로 피처 파이프라인 구축하기

  Feast를 활용하여 오프라인/온라인 피처 스토어를 구축하고, 학습과 서빙에서 일관된 피처를 제공하는 실전 파이프라인을 만들어본다

  2026-03-02 · 13 분 읽기 #mlops#feast#feature-store#machine-learning#data-engineering