タグ: #dagster
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 7 件
デュラブル実行 & ワークフローエンジン 2026 — Temporal・Inngest・Trigger.dev・Hatchet・Restate・DBOS・Step Functions 徹底比較(長時間実行AIエージェント時代のインフラ)
2026年のワークフローエンジンは二つの巨大な潮流の上に立っている。第一に、長時間実行のAIエージェント(LLMが数分から数日かかる作業)がデュラブル実行を事実上必須化した。第二に、Postgresがメッセージキューとワークフローエンジンのバックボーンになるという大きな合流である。Temporal(Uber Cadenceのフォーク)、Inngest、Trigger.dev v3、Hatchet、Restate、DBOS(Mike St
2026-05-25 · 45 分で読めます #durable-execution#workflow-engine#temporal#inngest#trigger-devHadoopエコシステム & データエンジニアリング 2026 完全ガイド - Hadoop · Spark · Flink · Trino · Iceberg · Delta Lake · Hudi · Airflow · dbt 詳細分析
2026年5月時点のデータエンジニアリングスタックを徹底解説する。「Hadoopは死んだ」という刺激的なヘッドラインの真実(HDFSは縮小しているが、YARNとレイクハウスパターンは生き残っている)、Iceberg vs Delta Lake vs Hudiのテーブルフォーマット戦争の決着、Spark 4.0 + Photon + Spark Connectの現在、Flink SQLとCDCによるストリーミング標準化、Trinoによるフ
2026-05-16 · 33 分で読めます #hadoop#spark#flink#trino#prestoCron とスケジュールタスク 2026 — systemd timers / Vercel Cron / AWS EventBridge Scheduler / k8s CronJobs / BullMQ / Sidekiq / Temporal 徹底ガイド
2026 年のスケジュールタスク地形図。古典的な cron は今も健在で、systemd timers が Linux のモダンな代替となった。クラウド側には Vercel Cron、AWS EventBridge Scheduler（2022 年 11 月に CloudWatch Events Rules を置き換え）、Cloudflare Workers Cron Triggers、GitHub Actions schedule、G
2026-05-16 · 35 分で読めます #cron#scheduled-tasks#systemd-timers#vercel-cron#aws-eventbridge-schedulerワークフローエンジン2026 — Temporal・Inngest・Trigger.dev・Hatchet・Restate・DBOS・Airflow徹底比較(Durable Execution時代の地図)
AIエージェント時代の到来でワークフローエンジンが再びtier-1インフラに戻ってきた。Uber Cadenceを作った人達が立ち上げたTemporal Cloudが事実上の標準、TypeScriptファーストのInngestとTrigger.dev v3、Y Combinator W24出身でPostgres頼みのHatchet、RustコアでVirtual ObjectsのRestate、Postgresをcontrol plane
2026-05-15 · 35 分で読めます #workflow#durable-execution#temporal#inngest#trigger-devデータエンジニアリング完全ガイド — Lakehouse・Streaming・dbt・Orchestration・Data Mesh (Season 2 Ep 8, 2025)
データエンジニアリングはもはや「ETLを回す仕事」ではない。2025年のデータエンジニアは Lakehouse アーキテクチャ(Iceberg/Delta/Hudi)を設計し、Streaming(Flink/Kafka)と Batch(Spark)を統合し、dbt でモデリングを標準化し、Data Mesh で組織境界を引き直し、Data Contract でチーム間のインタフェースを管理する。2025年のデータエンジニアリングを一本に
2026-04-15 · 11 分で読めます #data-engineering#lakehouse#iceberg#delta-lake#hudiデータオーケストレーション 2025 完全ガイド: dbt・SQLMesh・Dagster・Airflow・Prefect、データ契約、CI/CD (2025)
Season 5 Ep 4. エンジンがクエリするなら、オーケストレーターはパイプラインを治める。dbt の標準化と限界、SQLMesh の反乱、Dagster の asset-centric モデル、Airflow 2.x/3.0 の進化、Prefect 3.0 の再誕、データ契約（Data Contracts）、パイプラインの CI/CD、オブザーバビリティとアラート、韓国企業の実務スタック選定まで。
2026-04-15 · 15 分で読めます #data-orchestration#dbt#sqlmesh#dagster#airflowデータエンジニアリング完全ガイド2025：Flink vs Spark、dbt、Iceberg、Airflow — モダンデータスタック総整理
Flink vs Sparkストリーム処理比較、dbt $100M ARR突破、Iceberg vs Delta Lake vs Hudiレイクハウス対決、ClickHouse vs StarRocksリアルタイム分析、Airflow 3.0 vs Dagster vs Prefectオーケストレーション — 2025年モダンデータスタック完全ガイド。
2026-03-22 · 39 分で読めます #data-engineering#apache-flink#apache-spark#dbt#apache-iceberg