タグ: #kafka
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 30 件
データストアとキューの世代交代 — ライセンス、フォーク、そしてAtticへ行ったプロジェクト
データ層で場所を譲った、あるいは配布条件が変わったプロジェクト10個を、公式発表とApache Atticの記録だけを根拠に整理します。Redis、Elasticsearch、MongoDBのライセンス変更とそこから生まれたValkey、OpenSearchのフォークを事実だけで扱い、KafkaからZooKeeperが外れた経緯、Apache Atticへ移管されたSqoop、Oozie、Giraph、Tajo、会社の終了後にLinux
2026-08-12 · 17 分で読めます #open-source#database#kafka#redis#elasticsearch韓国の開発ブログ名文キュレーション 1 — バックエンドとインフラ、直接開いて確認した14本
韓国語で書かれたバックエンドとインフラの記事から、説明が具体的で再現可能な14本を選んで紹介します。IstioのSidecarとServiceEntry、Envoyのサーキットブレーカーとルーティング、Prometheus Push Gatewayの限界、JVMのメモリ構造とGC、クラスパスシャドーイング、Kafkaのパーティション増設時のコンシューマ設定、Linuxサーバーを60秒で把握する順序、HTTP Keep-AliveとTCP
2026-08-12 · 24 分で読めます #curation#큐레이션#backend#infra#istioKafka Diskless Topics(KIP-1150)とは — クロスAZコストと引き換えるレイテンシ、そしてまだ出荷されていない機能
2026年3月2日、Apache KafkaコミュニティはKIP-1150 Diskless Topicsを承認しました。ブローカーのディスクの代わりにオブジェクトストレージをデータの正本とし、ハイパースケーラーでKafkaコストの大きな柱であるクロスAZレプリケーショントラフィックをなくそうという提案です。ただし承認されたのは方向性であって実装ではなく — KIP本文自体が「このKIPは承認されてもコードベースの変更を要求しない」とは
2026-07-16 · 31 分で読めます #kafka#streaming#distributed-systems#cloud-native決定論的シミュレーションテストが見つけたバグ — KAFKA-19880、そして「バグ0件」の読み方
決定論的シミュレーションテスト(DST)は、クロック、スレッドのインターリーブ、乱数のように非決定性が入り込む出所をシミュレータの中に閉じ込め、再現できなかったheisenbugを一つのシードで呼び戻せるようにする技法です。2026年3月、AivenはKafkaのDiskless Topics実装をAntithesisにかけて約2,200論理時間動かし、結果はバグ0件でした。ところが実際のバグは対照群から出てきました — 検証のために動
2026-07-16 · 32 分で読めます #testing#deterministic-simulation-testing#distributed-systems#kafka#antithesisメッセージキューと非同期入門：Queue・Kafka・RabbitMQ・Redis・asyncio
素朴なFIFOキューからKafkaのパーティションログ、RabbitMQのエクスチェンジとルーティング、Redisのリスト・Pub/Sub・Streams、そしてPython asyncioのイベントループまで。メッセージキューと非同期の核心概念を一つずつ対比して整理し、いつ何を使うかを比較表で押さえます。
2026-07-03 · 18 分で読めます #message-queue#kafka#rabbitmq#redis#asyncio変身 — カフカが描いた不条理と疎外
ある朝、虫に変わった一人の男の物語。カフカの変身を通して、現代人の疎外と不条理、家族と労働の意味、そして短くとも深いこの作品が今も私たちに投げかける問いを見ていきます。
2026-07-02 · 35 分で読めます #literature#kafka#the-metamorphosis#absurdism#classic-reviewモダン Hadoop & ビッグデータエコシステム 2026 完全ガイド - Hadoop 3.4 · Spark 4 · Hive 4 · Kafka 4 · Flink 2 · Iceberg · Trino 徹底解説
2026年の Hadoop とビッグデータエコシステムは『死んだ』のではなく『再配置された』。Hadoop 3.4 の Erasure Coding と Ozone、Spark 4 の ANSI モードと Spark Connect、Hive 4 の Iceberg 統合、Kafka 4 の KRaft GA と tiered storage、Flink 2 の disaggregated state、Iceberg 1.8 と RES
2026-05-16 · 38 分で読めます #japanese#hadoop#spark#hive#kafkaHadoopエコシステム & データエンジニアリング 2026 完全ガイド - Hadoop · Spark · Flink · Trino · Iceberg · Delta Lake · Hudi · Airflow · dbt 詳細分析
2026年5月時点のデータエンジニアリングスタックを徹底解説する。「Hadoopは死んだ」という刺激的なヘッドラインの真実(HDFSは縮小しているが、YARNとレイクハウスパターンは生き残っている)、Iceberg vs Delta Lake vs Hudiのテーブルフォーマット戦争の決着、Spark 4.0 + Photon + Spark Connectの現在、Flink SQLとCDCによるストリーミング標準化、Trinoによるフ
2026-05-16 · 33 分で読めます #hadoop#spark#flink#trino#presto分散メッセージング 2026 — Kafka 3.9 / NATS / Redpanda / Pulsar / RabbitMQ 4 / WarpStream 徹底比較
2026 年の分散メッセージング地図。Kafka 3.9 で KRaft が既定となり ZooKeeper は消えた。WarpStream は S3 上に Kafka API を載せて Confluent に買収された。Redpanda は C++ で Kafka 互換を推し進め、NATS は JetStream/KV/ObjectStore で単一インフラ化し、Pulsar 4.0 は Functions でストリーム上にコードを置く
2026-05-15 · 24 分で読めます #messaging#distributed-systems#kafka#nats#redpandaストリーミング vs バッチの再定義: Flink・RisingWave・Materialize、CDC、Streaming SQL、リアルタイムの実用主義 (2025)
Season 5 Ep 2. 「すべてのデータをリアルタイムに」は 2020年の約束だった。2025年は実用主義の時代 — バッチとストリーミングの境界は曖昧になり、本当の問いは「このデータはどれだけ新鮮であれば SLA を満たすのか」に変わった。Flink・RisingWave・Materialize・ksqlDB の比較、Kappa/Lambda の 2025年版、Iceberg v3 の row-level delete とリアル
2026-04-15 · 16 分で読めます #streaming#batch#flink#risingwave#materializeKafka と Event-Driven Architecture 完全解剖 — Partition/ISR、Exactly-Once、Outbox、Schema Registry、Flink
Kafka を使う現場は多いが内部を理解する人は少ない。Partition と Leader/ISR、Log Segment の物理構造、Exactly-Once Semantics の真実、Transactional Outbox、Event Sourcing vs CDC、Schema Registry、100ms SLA 達成法まで。
2026-04-15 · 12 分で読めます #kafka#event-driven#streaming#exactly-once#schema-registryデータエンジニアリング完全ガイド — Lakehouse・Streaming・dbt・Orchestration・Data Mesh (Season 2 Ep 8, 2025)
データエンジニアリングはもはや「ETLを回す仕事」ではない。2025年のデータエンジニアは Lakehouse アーキテクチャ(Iceberg/Delta/Hudi)を設計し、Streaming(Flink/Kafka)と Batch(Spark)を統合し、dbt でモデリングを標準化し、Data Mesh で組織境界を引き直し、Data Contract でチーム間のインタフェースを管理する。2025年のデータエンジニアリングを一本に
2026-04-15 · 11 分で読めます #data-engineering#lakehouse#iceberg#delta-lake#hudiCDC (Change Data Capture) 完全ガイド 2025: Debezium, Kafka, データ同期, Outbox Pattern
CDCの全て。動作原理 (WAL/Binlog ベース)、Debezium アーキテクチャ、PostgreSQL Logical Replication、MySQL Binlog、Outbox Pattern、データウェアハウス同期、Kafka 統合、マイグレーション、よくある落とし穴。
2026-04-15 · 15 分で読めます #cdc#debezium#kafka#postgresql#mysqlEvent Streaming深掘りガイド2025：Kafka内部構造、Flink、Exactly-Once、スキーマ進化
Event Streaming深掘り！Kafka内部（パーティション/セグメント/ISR/コントローラー）、Consumer Group（リバランス/オフセット管理）、Exactly-Once（トランザクション/冪等性）、Schema Registry（Avro/Protobuf進化）、Apache Flink（ウィンドウ/ウォーターマーク/状態）、Kafka Streams vs Flink。
2026-04-14 · 24 分で読めます #event-streaming#kafka#flink#exactly-once#schema-registryデータエンジニアリング入門 — ETL、データウェアハウス、ストリーミング、データレイク
データパイプラインはどう構築するのか？ETL/ELT、データウェアハウス、ストリーミング、バッチ処理、Spark、Kafka、Airflowまで。
2026-04-13 · 23 分で読めます #data-engineering-aws#data-engineering#etl#data-warehouse#sparkデータエンジニアリングパイプライン完全ガイド2025：ETL/ELT、Spark、Airflow、リアルタイムストリーミング
データエンジニアリングの全て！ETL vs ELT、Apache Spark（PySpark）、Apache Airflow（DAG/Operator/Sensor）、リアルタイムストリーミング（Kafka+Flink）、dbt（データ変換）、データウェアハウス（BigQuery/Snowflake/Redshift）、データ品質、モニタリング。
2026-03-25 · 25 分で読めます #data-engineering#etl#elt#spark#airflowイベント駆動アーキテクチャパターンガイド2025：CQRS、Event Sourcing、Sagaパターン
EDAパターンの全て！ドメインイベント、Event Sourcing、CQRS（コマンド/クエリ分離）、Sagaパターン（Choreography vs Orchestration）、Outboxパターン、冪等性、最終的一貫性、Kafka/RabbitMQ実装。
2026-03-24 · 27 分で読めます #event-driven#cqrs#event-sourcing#saga-pattern#microservicesEAI（Enterprise Application Integration）完全ガイド：企業システム統合のすべて
EAI（企業アプリケーション統合）のすべてを一記事に！Hub-and-Spoke、ESB、API-Led、イベント駆動アーキテクチャパターン比較、Gregor HohpeのEnterprise Integration Patterns、MuleSoft/Apache Camel/Dell Boomiプラットフォーム比較、実践ERP-CRM-WMS連携プロジェクトまで。
2026-03-23 · 37 分で読めます #eai#enterprise-integration#middleware#esb#api-gatewayWebFlux + Kafka + ZooKeeper完全攻略：リアクティブストリーミングアーキテクチャのすべて
Spring WebFluxのリアクティブプログラミングからKafkaストリーミング、ZooKeeperからKRaftへの移行、SSE/WebSocket/gRPC Streaming APIまで — リアルタイムデータ処理アーキテクチャの開発者完全ガイド。
2026-03-22 · 46 分で読めます #webflux#kafka#zookeeper#spring-webflux#reactive-programmingメッセージキュー完全比較：Kafka vs RabbitMQ vs SQS vs Pulsar vs NATS — 2025年実践選択ガイド
Kafka 4.0 KRaft GA、RabbitMQ 4.2ストリームフィルタリング、Pulsar 4.1、NATS 2.11 — 2025年メッセージキュー6種完全比較。アーキテクチャ、ベンチマーク（Kafka 1M msgs/s vs RabbitMQ 50K）、価格、Spring Boot連携まで実践選択ガイド。
2026-03-22 · 29 分で読めます #kafka#rabbitmq#sqs#pulsar#nats