タグ: #scheduler
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 8 件
vLLM 内部構造 (4) — スケジューラとプリエンプション、スループットが崩れる地点
vLLMスケジューラが毎ステップ何を決定しているのか、待機キューと実行リストがどう動くのか、KVキャッシュが不足したときに起きるプリエンプション(preemption)がレイテンシと処理量をどう崩すのかを、公式ドキュメントとV1スケジューラソースで確認して整理した。recomputeとswapの違い、fcfsとpriorityポリシーも合わせて扱う。vLLM内部構造シリーズ第4回。
2026-08-12 · 12 分で読めます #vllm#scheduler#preemption#kv-cache#llmvLLMを速くする — 設定、内部構造、そしてコードに手を入れるべき場所
vLLMの性能を上げる作業を、コードを触らずにできることから順に整理します。バッチ関連の引数とプレフィックスキャッシュ、チャンクドプリフィル、量子化の選択をまず扱い、そのあとPagedAttentionと連続バッチングスケジューラが内部で何を決めているのかを、実際のソースを根拠に説明します。実際にコードを触る価値のある三箇所、カスタムロジットプロセッサ、カスタムアテンションバックエンド、スケジューラポリシーとその代償も押さえます。何を固
2026-08-02 · 33 分で読めます #vllm#llm-inference#paged-attention#benchmark#schedulerKubernetes Pod Pending 状態の解決 — スケジューラーが残した拒否理由の読み方
Pod が Pending のまま数分間も先に進まないとき、スケジューラーはすでに拒否理由をイベントに残しています。0/5 nodes are available で始まるあの一文を正確に解読する方法から始めて、九つの原因を一つずつ排除していきます。リソース不足は実際の使用量ではなく requests の合計で判定されること、taint とトレランス、ノードセレクターとアフィニティの不一致、PVC の未バインドと WaitForFirs
2026-07-26 · 20 分で読めます #kubernetes#scheduler#pending#troubleshooting#autoscalingsched_ext サブスケジューラ — カーネル7.1に半分だけ届いたcgroup別スケジューラ
Linux 7.1(2026年6月14日)で、schedextにcgroupサブスケジューラのサポートが入りました。狙いは明確です — cgroupツリーのどこにでもBPFスケジューラを付け、親スケジューラが子にCPUを動的に配分することで、コンテナやアプリケーションドメインごとに自分のワークロードに合ったスケジューリングポリシーを走らせることです。動機はcpusetのハードパーティショニングが与えられない柔軟性であり、マルチテナントマ
2026-07-16 · 22 分で読めます #linux#kernel#scheduler#cgroups#bpfLinux CPUスケジューラの進化 — CFSからEEVDFへ
vruntimeと赤黒木で公平性を実現したCFSの原理から、レイテンシ重視ワークロードの課題に応えるためカーネル6.6で既定となったEEVDFまで、スケジューラの進化をたどります。cgroupによるCPU制御とKubernetesスロットリングの診断、低レイテンシワークロードの分離レシピ、テールレイテンシ改善シナリオを扱います。
2026-06-13 · 27 分で読めます #linux#kernel#scheduler#cfs#eevdf金融機関のバッチと日次締め(EOD) — 深夜を支配するアーキテクチャ
金融機関でバッチが依然として中核である理由と、日次締め(EOD)処理の全体像を扱います。ジョブスケジューラと依存関係DAG、チェックポイント再起動、パーティショニングとチャンク処理、センターカットと日付切替、障害復旧と冪等設計、バッチのモダナイゼーションまで運用の観点から整理します。
2026-06-13 · 34 分で読めます #finance#batch#eod#spring-batch#schedulerKubernetes 内部構造 完全ガイド — etcd, API Server, Controller, Scheduler, kubelet, CRI/CNI/CSI ディープダイブ (2025)
Kubernetes 内部構造のすべて — Google Borg の歴史、etcd の Raft コンセンサス、kube-apiserver の REST と watch、Scheduler の filter/score、Controller Manager の reconciliation ループ、kubelet の Pod lifecycle、CRI/CNI/CSI プラグインモデル、kube-proxy の Service 実装
2026-04-15 · 12 分で読めます #kubernetes#etcd#controller#scheduler#kubeletKubernetes上級運用ガイド2025：オートスケーリング、スケジューリング、リソース管理、マルチクラスター
K8s上級運用のすべて！オートスケーリング（HPA/VPA/KEDA/Karpenter）、スケジューリング（Affinity/Taint-Toleration/Priority/Topology）、リソース管理（QoS/LimitRange/ResourceQuota）、マルチクラスター（Cluster API/Fleet）、アップグレード戦略、トラブルシューティング。
2026-04-14 · 20 分で読めます #kubernetes#hpa#vpa#keda#scheduler