タグ: #distributed-systems
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 39 件
型検査を通った二つのサービスが互いを待って止まるとき — コレオグラフィという別のアプローチ
メモリ安全を保証する言語を使っても、二つのサービスが互いのメッセージを待って止まることは防げません。型検査器の視野がプロセスひとつで終わるからです。コレオグラフィプログラミングはシステム全体をひとつのプログラムとして書き、コンパイラにノードごとのコードを取り出させることで、この境界自体をなくします。最近公開されたWyzerを手がかりに、エンドポイント射影とは何か、なぜデッドロックが設計上消えるのか、そしてこの言語がいまどの段階にあるのか
2026-08-09 · 14 分で読めます #programming-languages#compiler#distributed-systems#type-systems#concurrencyNATS Server 2.14 — 高速バッチパブリッシュ、サーバー内蔵スケジュール、そして2.15前に片付けておく宿題
2026年4月30日にリリースされたNATS Server 2.14は、JetStreamにフロー制御を内蔵した高速バッチパブリッシュ(fast batch publish)、cron形式の繰り返しスケジュールとサブジェクトサンプリング、WorkQueue・Interestストリームソーシングの永続(durable)コンシューマーへの切り替え、コンシューマーリセットAPIを追加しました。2.13はスキップされましたが、理由は公式に説明さ
2026-07-17 · 24 分で読めます #messaging#nats#distributed-systems#release-notesRay 2.56のラベルロカリティスケジューリング — 配置グループがノードではなくNVLinkラックを見始めた
2026年6月29日に出たRay 2.56.0は、配置グループにドメインレベルのスケジューリング層をアルファとして追加しました。これまでPACKやSTRICTPACKといった配置戦略はすべてノード単位でしか動かず、GB200・GB300 NVL72のようにNVLinkドメインが複数ノードにまたがるラックでは「この配置グループを1つのラックの中に全部入れてくれ」を表現する方法がありませんでした。新しいラベルロカリティスケジューリングは、r
2026-07-17 · 19 分で読めます #ray#gpu#scheduling#distributed-systemsCassandra 6.0-alpha1 と Accord トランザクション — 5年越しの「汎用トランザクション」は今どこまで来たか
2021年にCEP-15として提案されたCassandraの汎用トランザクションプロトコルAccordが、2026年3〜4月、ついに6.0-alpha1という実行可能なリリースに乗って登場しました。リーダーなしの合意によって、マルチパーティションのstrict-serializableトランザクションを、正常条件下でWAN往復1回で処理する、というのがこのプロトコルの約束であり、BEGIN TRANSACTION構文とテーブルごとのtr
2026-07-17 · 23 分で読めます #database#cassandra#distributed-systems#transactionsTemporal Worker Versioning GA — リプレイモデルが生んだデプロイ問題、2世代を捨てて出てきた3つ目の答え
Temporalのような耐久実行エンジンはイベント履歴をリプレイして障害に耐えますが、まさにそのリプレイのせいで「実行中のワークフローがあるまま新しいコードをデプロイする」ことが、このモデルで最も厄介な問題になります。Temporalは2026年3月30日にWorker VersioningのGAを発表し、OSSサーバーではv1.31.0(4月29日)で明記されました — 2023年6月の初プレビューから2年9か月、その間に2世代のバー
2026-07-17 · 22 分で読めます #distributed-systems#durable-execution#temporal#workflow-engine#reliabilityKafka Diskless Topics(KIP-1150)とは — クロスAZコストと引き換えるレイテンシ、そしてまだ出荷されていない機能
2026年3月2日、Apache KafkaコミュニティはKIP-1150 Diskless Topicsを承認しました。ブローカーのディスクの代わりにオブジェクトストレージをデータの正本とし、ハイパースケーラーでKafkaコストの大きな柱であるクロスAZレプリケーショントラフィックをなくそうという提案です。ただし承認されたのは方向性であって実装ではなく — KIP本文自体が「このKIPは承認されてもコードベースの変更を要求しない」とは
2026-07-16 · 31 分で読めます #kafka#streaming#distributed-systems#cloud-native決定論的シミュレーションテストが見つけたバグ — KAFKA-19880、そして「バグ0件」の読み方
決定論的シミュレーションテスト(DST)は、クロック、スレッドのインターリーブ、乱数のように非決定性が入り込む出所をシミュレータの中に閉じ込め、再現できなかったheisenbugを一つのシードで呼び戻せるようにする技法です。2026年3月、AivenはKafkaのDiskless Topics実装をAntithesisにかけて約2,200論理時間動かし、結果はバグ0件でした。ところが実際のバグは対照群から出てきました — 検証のために動
2026-07-16 · 32 分で読めます #testing#deterministic-simulation-testing#distributed-systems#kafka#antithesis5ノードRaftのうち3ノードが同時に死んだ理由 — Coinbaseの2026年5月7日障害を読む
2026年5月7日夜、AWS us-east-1の可用性ゾーンuse1-az4内にある一つのデータホールで冷却装置が同時に故障し、Coinbaseは取引や入出金を含む大半のサービスが約8時間にわたって停止または縮退する障害を経験しました。6月1日に公開されたCoinbaseのポストモーテムは、5ノードのRaftマッチングエンジンのうち3ノードが同時に死んでクォーラムを失った経緯と、AWSのマネージドKafkaであるMSKのコントロールプ
2026-07-16 · 35 分で読めます #distributed-systems#postmortem#consensus#aws#resilience2026年も閏秒なし — そして誰も動かしたことのない負の閏秒
2026年7月6日、IERSはBulletin C 72で「2026年12月末に閏秒なし」を発表しました。一見静かなニュースですが、地球の自転が2016年頃からむしろ速くなり、史上初の負の閏秒を入れる可能性が現実に出てきました。閏秒とは何か、なぜPOSIX時間がそれを表現できないのか、2012年と2017年の実際の障害が何を教えてくれるのか、そして一度も実行されたことのない負の閏秒の処理経路を前に、エンジニアが今何を確認すべきかを整理し
2026-07-11 · 11 分で読めます #leap-second#utc#ntp#distributed-systems#posix-time分散トランザクション：2PC vs Sagaパターン
一つのデータベース内では簡単だったACIDが、なぜ複数サービスにまたがると崩れるのか、2フェーズコミットの原理と限界（コーディネータ、ブロッキング、障害モード）、Sagaパターン（コレオグラフィ vs オーケストレーション、補償トランザクション）、二重書き込み問題を解くアウトボックスパターン、そして結果整合性が実務で意味することまで。マイクロサービス時代のトランザクションを整理します。
2026-06-29 · 24 分で読めます #distributed-systems#transactions#sagaExactly-onceは幻想か：決済・メッセージングの正確性
配信保証の三段階（at-most-once、at-least-once、exactly-once）が実際に意味すること、なぜexactly-once「配信」は原理的に不可能なのにexactly-once「処理」は冪等性・重複排除・トランザクションアウトボックスで達成可能なのか、二人の将軍問題が教えること、そしてKafkaのexactly-onceが本当に保証するものまで。決済とメッセージングの正確性を冷静に整理します。
2026-06-28 · 26 分で読めます #distributed-systems#messaging#reliability分散システムが教えてくれた恋愛の技術
リトライとバックオフ、タイムアウト、ハートビート、一貫性モデル、バックプレッシャー、グレースフルデグラデーション、冪等性、二人の将軍問題、そしてTTL付きキャッシュとしての信頼。分散システムを難しくしている問題は、誰かと近づくことを難しくしている問題とそっくり同じでした。信頼できないネットワークと長年つき合って学んだことを、恋愛の言葉で読み直してみます。
2026-06-25 · 26 分で読めます #engineering#relationships#fun#distributed-systemsCAP定理をごまかさずに理解する
「三つのうち二つを選ぶ」という定番の説明は間違いです。三つの文字がそれぞれ何を厳密に意味するのか、なぜ実際にはパーティションが起きたときだけCとAのあいだで選ぶのか、なぜPACELCがより完全な絵なのか、そしてDynamoやSpannerといった実システムがどこに立っているのかを、ごまかさずに押さえます。
2026-06-23 · 23 分で読めます #distributed-systems#databases#theory冪等性とリトライ：信頼できるAPIの作り方
ネットワークはいつか必ず失敗し、失敗すればリトライしなければなりません。厄介なのは「すでに処理されたのに応答だけ届かなかった」場合です。冪等性とは何か、安全なHTTPメソッドとそうでないメソッド、POSTのための冪等キー、「ちょうど一度」という神話、そして指数バックオフとジッターでサンダリングハードを避ける方法を整理します。
2026-06-21 · 24 分で読めます #api#reliability#distributed-systems分散メッセージング 2026 — Kafka 3.9 / NATS / Redpanda / Pulsar / RabbitMQ 4 / WarpStream 徹底比較
2026 年の分散メッセージング地図。Kafka 3.9 で KRaft が既定となり ZooKeeper は消えた。WarpStream は S3 上に Kafka API を載せて Confluent に買収された。Redpanda は C++ で Kafka 互換を推し進め、NATS は JetStream/KV/ObjectStore で単一インフラ化し、Pulsar 4.0 は Functions でストリーム上にコードを置く
2026-05-15 · 24 分で読めます #messaging#distributed-systems#kafka#nats#redpandaRaft Consensus 完全ガイド 2025: Leader Election、Log Replication、Safety、etcd/Consul 実戦分析
etcd、Consul、CockroachDB、TiDB がすべて Raft を使う理由は理解しやすいからだ。Leader Election、Log Replication、Safety Property、Membership Change、Snapshot まで実戦システム分析とともに深掘りする。
2026-04-15 · 16 分で読めます #raft#consensus#distributed-systems#leader-election#log-replicationRedis 内部と分散キャッシュ — シングルスレッド、データ構造、Cluster、Sentinel、RDB/AOF、Redlock、Valkey、Dragonfly 完全解説 (2025)
Redis はなぜシングルスレッドで毎秒 100 万 QPS を出せるのか?String から Stream まで 9 つのデータ構造、Cluster の Hash Slot、Sentinel HA、RDB/AOF のトレードオフ、Cache-Aside と Thundering Herd、Redlock 論争、2024 年ライセンス騒動と Valkey フォーク、マルチスレッド対抗馬 Dragonfly/KeyDB まで — キャッシ
2026-04-15 · 21 分で読めます #redis#valkey#cache#distributed-systems#infra分散システム完全ガイド — 時計・Consensus・Event Sourcing・Saga・CRDT・障害パターン (Season 2 Ep 12, 2025)
分散システムは「複数のコンピュータが協力する仕事」のように見えるが、実際には「時計の違う複数のコンピュータが、一部が壊れた状態で、メッセージが失われ遅延するネットワークを通じて合意に至る仕事」だ。Lamport/ベクトルクロック・HLCからRaft・Paxos・PBFT、Event Sourcing・CQRS、Sagaパターン、CRDT、そして8 Fallaciesと実戦の障害パターンまで。Byzantine Faultを含む分散の本当
2026-04-15 · 18 分で読めます #distributed-systems#consensus#raft#paxos#lamport-clock分散システムの本質的難しさ — CAP, PACELC, Raft/Paxos, Vector Clock, Saga, Event Sourcing 完全整理 (2025)
CAP は『CP か AP か』の選択ではない。PACELC、Raft のリーダー選出、Paxos の悪名、Lamport/Vector Clock、2PC の限界と Saga の登場、Event Sourcing/CQRS、Outbox Pattern、Exactly-Once の真実、FLP Impossibility、Google Spanner の TrueTime、CockroachDB/TiDB まで。分散システムを『感覚』
2026-04-15 · 21 分で読めます #distributed-systems#cap-theorem#pacelc#raft#paxosCRDT完全ガイド 2025: Conflict-Free Replicated Data Types、ローカルファースト協業、Yjs/Automerge
CRDTのすべて! Conflict-free Replicated Data Typesの原理、State-based vs Operation-based、基本CRDT(G-Counter/PN-Counter/G-Set/2P-Set/LWW-Register)、高度(Sequence/RGA/Yjs)、ローカルファーストソフトウェア、Automerge/Yjs比較、Figma/Linear事例。
2026-04-15 · 17 分で読めます #crdt#distributed-systems#local-first#collaboration#yjs