标签: #kafka
关于 GPU、LLM、MLOps、Kubernetes 以及心态的文章 · 7 篇
Kafka Diskless Topics(KIP-1150)是什么 — 用延迟换取的跨 AZ 成本，以及一个尚未交付的功能
2026 年 3 月 2 日，Apache Kafka 社区批准了 KIP-1150 Diskless Topics。这是一项提议：用对象存储取代broker磁盘作为数据的真源，从而消除跨 AZ 复制流量 — 这正是超大规模云厂商环境下 Kafka 成本中最大的一块。但被批准的只是方向，不是实现 — KIP 正文自己写明「本 KIP 一旦被接受，不要求对代码库做任何改动」— 真正的设计文档 KIP-1163 与 KIP-1164 仍处于
2026-07-16 · 26 分钟阅读 #kafka#streaming#distributed-systems#cloud-native确定性模拟测试找到的那个 bug — KAFKA-19880，以及该怎么读「零 bug」
确定性模拟测试(DST)把时钟、线程交错、随机数这些非确定性会渗入的来源，全部关进模拟器里，让那些原本无法复现的 heisenbug 可以靠一个种子重新召唤出来。2026 年 3 月，Aiven 把 Kafka 的 Diskless Topics 实现放进 Antithesis 里，跑了大约 2,200 个逻辑小时，结果是零 bug。真正的 bug 却出自对照组 — 他们为了验证而跑的上游 Apache Kafka 原版代码，跑出了 K
2026-07-16 · 26 分钟阅读 #testing#deterministic-simulation-testing#distributed-systems#kafka#antithesis消息队列与异步入门：Queue·Kafka·RabbitMQ·Redis·asyncio 一览
从最朴素的 FIFO 队列开始，到 Kafka 的分区日志、RabbitMQ 的交换机与路由、Redis 的列表·Pub/Sub·Streams，再到 Python asyncio 的事件循环。本文把消息队列与异步的核心概念逐一对照梳理，并用一张比较表说明什么时候该用什么。
2026-07-03 · 17 分钟阅读 #message-queue#kafka#rabbitmq#redis#asyncio流式与批处理的重新定义：Flink・RisingWave・Materialize、CDC、Streaming SQL，实时的实用主义（2025）
Season 5 Ep 2。“所有数据都要实时”是 2020 年的承诺。2025 年是实用主义的时代 — 批处理与流式之间的边界已经模糊，真正的问题变成了“这份数据要多新鲜才能满足 SLA”。涵盖 Flink・RisingWave・Materialize・ksqlDB 的对比、Kappa/Lambda 的 2025 版本、Iceberg v3 的 row-level delete 与实时 upsert、CDC 流水线、成本与延迟的权衡，
2026-04-15 · 16 分钟阅读 #streaming#batch#flink#risingwave#materialize[Architecture] 用消息队列实现异步系统：Kafka vs RabbitMQ
全面梳理 Kafka 与 RabbitMQ 的架构差异、LLM Gateway 中的异步处理模式、实战实现示例与选型指南。
2026-03-20 · 19 分钟阅读 #architecture#kafka#rabbitmq#async#message-queue分布式系统完全指南: 从 CAP theorem 到分布式 ML 训练、Kafka
从 CAP theorem、Raft 共识算法、Kafka 消息队列，到 Ring-AllReduce 分布式 ML 训练与 NCCL，一份写给 AI 工程师的分布式系统完全指南。
2026-03-17 · 21 分钟阅读 #distributed-systems#kafka#raft#pytorchdistributed#nccl数据工程与 AI 流水线完全指南：从 Spark 到 Kafka
面向 AI 的数据工程完全指南。涵盖 Apache Spark、Kafka、Airflow、dbt、Delta Lake 直至特征存储的大规模数据流水线设计与实现。
2026-03-17 · 17 分钟阅读 #data-engineering#apache-spark#kafka#airflow#dbt