태그: #etl
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 4 편
Power Query로 데이터 정제 자동화 — 클릭 한 번으로 갱신되는 리포트
Power Query로 데이터 가져오기와 변환을 자동화하는 방법을 단계별로 정리합니다. 폴더 결합, 쿼리 병합/추가, 매개변수, M 언어 맛보기, 새로 고침 자동화와 한계, 그리고 실무 월간 리포트 사례와 흔한 함정까지 다룹니다.
2026-06-15 · 16 분 읽기 #excel#productivity#power-query#etl#data-cleaningCDC (Change Data Capture) 완전 가이드 2025: Debezium, Kafka, 데이터 동기화, Outbox 패턴
CDC의 모든 것! 동작 원리(WAL/binlog 기반), Debezium 아키텍처, PostgreSQL Logical Replication, MySQL binlog, Outbox 패턴, 데이터 웨어하우스 동기화, Kafka 통합, 마이그레이션, 흔한 함정.
2026-04-15 · 17 분 읽기 #cdc#debezium#kafka#postgresql#mysql데이터 엔지니어링 입문 — ETL, 데이터 웨어하우스, 스트리밍, 데이터 레이크
데이터 파이프라인은 어떻게 구축하는가? ETL/ELT, 데이터 웨어하우스, 스트리밍, 배치 처리, Spark, Kafka, Airflow까지.
2026-04-13 · 29 분 읽기 #data-engineering-aws#data-engineering#etl#data-warehouse#spark데이터 엔지니어링 파이프라인 완전 가이드 2025: ETL/ELT, Spark, Airflow, 실시간 스트리밍
데이터 엔지니어링의 모든 것! ETL vs ELT, Apache Spark(PySpark), Apache Airflow(DAG/Operator/Sensor), 실시간 스트리밍(Kafka+Flink), dbt(데이터 변환), 데이터 웨어하우스(BigQuery/Snowflake/Redshift), 데이터 품질, 모니터링.
2026-03-25 · 27 분 읽기 #data-engineering#etl#elt#spark#airflow