タグ: #prometheus
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 32 件
vLLMメトリクス — 何をダッシュボードに載せ何でアラートを張るか
vLLMが公開する時系列は、GPUメトリクスが答えられない問いに答えます。今いくつ実行中でいくつ待機中か、KVキャッシュがどれだけ埋まっているか、最初のトークンまで何秒かかるか、といったことです。本記事ではvLLM公式ドキュメントとリポジトリのメトリクスロガーのソースを直接読み、スケジューラ状態のゲージ、キャッシュ系カウンタ、遅延ヒストグラムの正確な名前と意味を整理し、カウンタ名の接尾辞の違いのようにバージョン間で人をつまずかせる箇所を
2026-08-12 · 12 分で読めます #gpu#kubernetes#vllm#prometheus#observabilityDCGM Exporter — GPU利用率はあなたが思っているものではない
DCGM ExporterはGPUテレメトリをPrometheus形式で公開する標準経路ですが、最も多くダッシュボードに載るGPU利用率系のメトリクスは、人々が期待するものを測っていません。本記事ではdcgm-exporterリポジトリの既定カウンタCSV、DCGM公式ドキュメント、NVML APIドキュメントを直接読み、既定で有効なメトリクス一覧、利用率メトリクスが実際に何を意味するのか、併せて見るべきプロファイリングメトリクスは何か
2026-08-12 · 16 分で読めます #gpu#kubernetes#dcgm#prometheus#observabilityGPUサービングのSLOとアラート設計 — 何を約束し何で人を起こすか
GPU推論サービスにSLOを掛けるには、まずどの指標が利用者体験を代弁するかを決める必要があります。最初のトークンまでの遅延とスループットは互いを食い合う関係にあり、片方だけを見て目標を立てると必ずもう一方が崩れます。本記事ではvLLMとDCGM Exporterが実際に公開する時系列だけを使ってSLIを定義する方法、ヒストグラムのバケット境界を閾値にすべき理由、飽和シグナルを読む順序、症状ベースのアラート設計、そしてGPUサービングで
2026-08-12 · 13 分で読めます #gpu#kubernetes#slo#alerting#prometheus質問に答えるPrometheusメトリクス設計 — 型の選択、カーディナリティ予算、rateと分位数の罠
メトリクスは多ければよいのではなく、質問に答えられてこそ価値があります。カウンタ、ゲージ、ヒストグラムがそれぞれどんな質問に答えるのか、選び方を間違えるとどんな計算が原理的に不可能になるのかから整理します。ラベルのカーディナリティを感覚ではなく数字で予算化する方法、rateとhistogramquantileが静かに間違った答えを返す条件、そしてレコーディングルールをいつどんな名前で作るかを扱います。最後にパネルを作る前に自問すべき五つ
2026-08-02 · 27 分で読めます #observability#prometheus#promql#metrics#cardinality平均応答時間が嘘をつく理由 — p50・p95・p99を正しく読む方法
平均応答時間が80msのサービスで、ユーザーが3秒待たされることはよくあります。ロングテール分布において平均が何を隠すのか、p50とp95、p99、p99.9がそれぞれどんな問いに答えるのか、そしてp99がなぜ「100人に1人」ではないのかを数字で説明します。パーセンタイルは平均できないという決定的な事実と、だからこそヒストグラムが必要になる理由、Prometheusのhistogramquantileにおける線形補間の誤差とバケット境
2026-07-26 · 18 分で読めます #observability#percentile#prometheus#histogram#slo深夜3時に起こさないアラート設計 — 症状ベースのアラートとバーンレート実践
オンコールが崩壊する理由は、アラートが足りないからではなく多すぎるからです。アラート疲れが実際の事故を見逃させるメカニズムから、症状にだけページを掛けて原因はダッシュボードに置くという原則、SLOとエラーバジェットからしきい値を逆算する方法までを扱います。短い窓と長い窓をANDで結ぶ多重ウィンドウのバーンレートアラートが、どうやって感度と誤検知を同時に押さえるのか、for句がフラッピングを防ぐ原理は何なのかを、Prometheusのルー
2026-07-26 · 21 分で読めます #observability#alerting#slo#error-budget#prometheusネイティブヒストグラムはstableになったのに、なぜまだオンにできないのか
2022年11月にv2.40で実験機能として登場したPrometheusのネイティブヒストグラムは、2025年12月の3.8.0でstableになり、2026年7月1日にリリースされた3.13がこの機能をstable状態で含む最初のLTSです。既存の3.5 LTSは2026年7月31日にサポートが終了するため、LTSトラックに乗る組織にとって今がまさに決定の時点です。ただし「stable」という言葉が保証する範囲は思ったより狭く、依然と
2026-07-16 · 30 分で読めます #prometheus#observability#native-histograms#metrics#monitoringOperator の可観測性 — メトリクス、イベント、ロギング、そして SLO
Kubebuilder ベースの Operator の可観測性を、メトリクス、イベント、ロギング、トレーシング、status/conditions、そして SLO の観点から深く掘り下げます。controller-runtime のデフォルトメトリクスの意味から、カスタムメトリクスの追加、Prometheus/Grafana 連携、アラートルール、reconcile が動かないときのデバッグランブックまで、実践的なコードとともに整理しま
2026-06-15 · 30 分で読めます #kubernetes#operator#observability#prometheus#controller-runtimeHubbleとClusterMesh — Ciliumの可観測性とマルチクラスタ運用
Ciliumの可観測性レイヤーHubbleのアーキテクチャとCLI実践クエリ、Prometheusメトリクスとフローログの長期保管を扱い、ClusterMeshによるマルチクラスタのサービスディスカバリ、グローバルサービス、ポリシー、暗号化の構成方法を運用の視点で整理します。
2026-06-13 · 18 分で読めます #cilium#hubble#clustermesh#observability#multi-clusterKeycloak 可観測性 — メトリクス、監査ログ、イベントベースのモニタリング
Keycloak のイベントシステムとメトリクスエンドポイント、EventListener SPI による外部送信、Prometheus と Grafana のダッシュボード構成、OpenTelemetry tracing、異常検知とアラートルール、そして ISMS/SOC 2 監査コンプライアンスの観点まで、Keycloak の可観測性を総合的に扱います。
2026-06-12 · 20 分で読めます #keycloak#observability#monitoring#prometheus#security時系列データベース 2026 完全ガイド - InfluxDB 3 · TimescaleDB · QuestDB · ClickHouse · Prometheus · VictoriaMetrics · Grafana Mimir 徹底解剖
2026年の時系列データベース (TSDB) フルスタックを解剖。InfluxDB 3.0 の Rust + Apache Arrow + DataFusion + Parquet リライト、TimescaleDB 2.18 ハイパーテーブル、QuestDB 8.x SIMD インジェスト、ClickHouse 25.x MergeTree、Prometheus 3.0 と VictoriaMetrics 1.110+ MetricsQ
2026-05-16 · 37 分で読めます #time-series-database#influxdb#timescaledb#questdb#clickhouseオブザーバビリティ 2026 完全ガイド - OpenTelemetry・Datadog・Grafana スタック（LGTM+Beyla）・Honeycomb・Prometheus・Jaeger・eBPF・SLO 徹底解説
2026年5月時点のプロダクション・オブザーバビリティ・スタックを OpenTelemetry 標準の上で徹底的に俯瞰する。SaaS（Datadog・New Relic・Dynatrace・Splunk・Honeycomb・Coralogix・Logz.io・Chronosphere）、OSS（Grafana LGTM+Beyla・Prometheus+Mimir/Cortex/Thanos・Jaeger・Tempo・Zipkin・Py
2026-05-16 · 26 分で読めます #observability#opentelemetry#datadog#grafana#honeycombKubestronaut ロードマップ 2026 完全ガイド - CKA・CKAD・CKS・KCNA・KCSA と CNCF 認定資格ラダー（Prometheus・Istio・Cilium・OpenTelemetry・Argo）徹底解説
2026年5月時点の Kubestronaut プログラムと CNCF 認定資格ラダーを最後まで読み解く。主要5試験（CKA・CKAD・CKS・KCNA・KCSA）の出題範囲、試験形式、合格点、合格率、Killer Shell 模試、KodeKloud・A Cloud Guru・Linux Foundation Training、Golden Kubestronaut、アソシエイト系（PCA・ICA・CAPA・OTCA・CGOA・CCS
2026-05-16 · 27 分で読めます #kubestronaut#cncf#kubernetes#cka#ckad時系列データベース 2026 — TimescaleDB / InfluxDB 3 / QuestDB / ClickHouse / VictoriaMetrics 徹底比較
2026年の時系列DB地図を描く — TimescaleDB（Postgres拡張の筆頭）、InfluxDB 3（Apache DataFusion + Arrowで生まれ変わり）、QuestDB（SQLと高速ingest）、ClickHouse（カラムストアの圧倒的な分析性能）、VictoriaMetrics（Prometheus互換で軽量）、Prometheus + Grafana Mimir（k8sの標準）、GreptimeDB（
2026-05-15 · 24 分で読めます #time-series#database#tsdb#timescaledb#influxdbObservability 完全ガイド — Metric・Log・Trace・OpenTelemetry・eBPF・SLO (Season 2 Ep 9, 2025)
「観測できなければ運用できない」。Observability はログ収集やモニタリングの上位概念で、unknown unknowns をシステム状態だけから推論する能力である。本稿では Metric・Log・Trace の3軸、Profile を加えた4軸、OpenTelemetry 標準の真価、eBPF によるカーネルレベル観測、SLO・SLI・Error Budget の実戦設計、そして Grafana Stack vs Elast
2026-04-15 · 14 分で読めます #observability#opentelemetry#prometheus#grafana#lokiWebSocketリアルタイム通信 & オブザーバビリティ（監視）完全ガイド
WebSocket/SSE/gRPCリアルタイム通信の原理からOpenTelemetry、Prometheus、Grafanaを活用したオブザーバビリティ構築まで。
2026-04-12 · 16 分で読めます #devops#websocket#realtime#observability#monitoringObservability & モニタリング完全ガイド 2025: ロギング、メトリクス、トレーシング、アラート戦略
Observabilityのすべて！Three Pillars（ログ/メトリクス/トレース）、OpenTelemetry、Prometheus+Grafana、ELK Stack、分散トレーシング（Jaeger/Tempo）、アラート戦略（PagerDuty/OpsGenie）、SLO/SLI/SLA、コスト最適化。
2026-03-25 · 22 分で読めます #observability#monitoring#logging#distributed-tracing#metricsオブザーバビリティ(Observability)完全ガイド2025：Prometheus、Grafana、OpenTelemetryでシステムを透明に
オブザーバビリティの3つの柱（メトリクス/ログ/トレース）を完全制覇！Prometheusクエリ(PromQL)、Grafanaダッシュボード、OpenTelemetry計装、Jaeger分散トレーシング、ELK/Lokiロギング、アラート戦略、SLI/SLO/SLA、オンコール文化まで。
2026-03-23 · 30 分で読めます #observability#monitoring#prometheus#grafana#opentelemetry[Prometheus] TSDB内部構造：WAL、Chunks、Blocks、Compaction
Prometheus TSDBの内部構造をソースコードレベルで分析します。WALセグメント構造、Head BlockのmemSeriesとチャンクエンコーディング（XOR、delta-of-delta）、ブロック構造、コンパクションアルゴリズム、インデックスのposting listまで深く解説します。
2026-03-20 · 12 分で読めます #prometheus#observability#open-source-internals[Prometheus] アーキテクチャ内部分析：ソースコードレベルディープダイブ
Prometheusサーバーの内部アーキテクチャをソースコードレベルで分析します。Scrape Manager、TSDB、Rule Manager、Notifier、Web UIなどの主要コンポーネントのgoroutineモデルとライフサイクル管理、設定リロードメカニズムを詳しく解説します。
2026-03-20 · 12 分で読めます #prometheus#observability#open-source-internals