タグ: #observability
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 113 件
分散トレーシングが実際に答える問い — スパン、サンプリング、そしてどこで時間が消えたのか
「遅い」という報告は来るのに、十個のサービスのどれが犯人か分からないときに必要なのがトレーシングです。トレースとスパン、コンテキスト伝播の構造から始めて、ログとメトリクスでは原理的に答えられない問いが何かを整理します。自動計装がカバーする範囲と手動スパンを必ず入れるべき地点、ヘッドサンプリングがなぜ必要なトレースを優先的に捨てるのか、テールサンプリングがそれをどう解いて代わりに何を支払うのかを、コレクターの設定とともに扱います。メッセー
2026-07-26 · 24 分で読めます #observability#distributed-tracing#opentelemetry#tail-sampling#performance平均応答時間が嘘をつく理由 — p50・p95・p99を正しく読む方法
平均応答時間が80msのサービスで、ユーザーが3秒待たされることはよくあります。ロングテール分布において平均が何を隠すのか、p50とp95、p99、p99.9がそれぞれどんな問いに答えるのか、そしてp99がなぜ「100人に1人」ではないのかを数字で説明します。パーセンタイルは平均できないという決定的な事実と、だからこそヒストグラムが必要になる理由、Prometheusのhistogramquantileにおける線形補間の誤差とバケット境
2026-07-26 · 18 分で読めます #observability#percentile#prometheus#histogram#slo構造化ロギングの設計 — 障害が起きたときに実際に役立つログを作る
障害の真っ只中でログをgrepして諦めた経験があるなら、ログ設計が間違っています。人が読むログと機械が読むログを分離し、すべての行に必ず入れるべきフィールドを決め、ログレベルを判断するたったひとつの基準を立てる方法を扱います。W3Cのtraceparentでサービス境界を越えてリクエストを追う方法、個人情報とシークレットを取り除くマスキング設定、物語が途切れないリクエスト単位のサンプリング、そしてカーディナリティとコストの計算までを実際
2026-07-26 · 19 分で読めます #observability#logging#structured-logging#opentelemetry#incident-response深夜3時に起こさないアラート設計 — 症状ベースのアラートとバーンレート実践
オンコールが崩壊する理由は、アラートが足りないからではなく多すぎるからです。アラート疲れが実際の事故を見逃させるメカニズムから、症状にだけページを掛けて原因はダッシュボードに置くという原則、SLOとエラーバジェットからしきい値を逆算する方法までを扱います。短い窓と長い窓をANDで結ぶ多重ウィンドウのバーンレートアラートが、どうやって感度と誤検知を同時に押さえるのか、for句がフラッピングを防ぐ原理は何なのかを、Prometheusのルー
2026-07-26 · 21 分で読めます #observability#alerting#slo#error-budget#prometheusAIエージェントはプロダクションでどう失敗するのか — 14の失敗モード、そしてリトライが安全ではない理由
エージェントをプロダクションに載せると、3つの場所が痛みます。第一に、失敗はモデルではなくシステム設計から生まれます — UCバークレーのMAST研究は実行トレース1642件を分類して14の失敗モードを抽出し、そのうち44.2%がシステム設計の問題でした。第二に、最も多い2つの失敗モード(ステップ反復15.7%、終了条件の未認識12.4%)が、そのままトークンの請求書になります。第三に、まさにその2つがリトライ/冪等性の問題を生みます
2026-07-17 · 39 分で読めます #ai#agents#observability#reliability#mcpネイティブヒストグラムはstableになったのに、なぜまだオンにできないのか
2022年11月にv2.40で実験機能として登場したPrometheusのネイティブヒストグラムは、2025年12月の3.8.0でstableになり、2026年7月1日にリリースされた3.13がこの機能をstable状態で含む最初のLTSです。既存の3.5 LTSは2026年7月31日にサポートが終了するため、LTSトラックに乗る組織にとって今がまさに決定の時点です。ただし「stable」という言葉が保証する範囲は思ったより狭く、依然と
2026-07-16 · 30 分で読めます #prometheus#observability#native-histograms#metrics#monitoringOTelのKubernetes属性がstableになった — k8sattributesのデフォルトが反転する前にすべきこと
OpenTelemetryのKubernetesセマンティック規約は、2026年6月12日のsemconv v1.42.0でstableに昇格しました。ところがCollectorのk8sattributesプロセッサはいまだデフォルトが旧スキーマ(v0)のままなので、大半の人には何も起きていません。問題はこれが恒久的ではないという点です — Collector RFCが定めたロールアウトどおりなら、フィーチャーゲートがbetaに上がった
2026-07-16 · 22 分で読めます #opentelemetry#observability#kubernetes#semantic-conventions#telemetry-pipelineオブザーバビリティ徹底解説：ログ・トレーシング・LLM監視
ログ・メトリクス・トレースという三本柱から、それらがtraceidでどう結びつくか、LokiとOpenSearchのログ戦略の違い、OpenTelemetryを中心とした分散トレーシング（Jaeger・Tempo）、そしてLangfuseに代表されるLLMオブザーバビリティまで。実務でスタックをどう組み、何を選ぶべきかを一つずつ対比して整理します。
2026-07-03 · 24 分で読めます #observability#opentelemetry#tracing#logging#llmログとスタックトレースを探偵のように読む
スタックトレースは事件現場、ログは目撃者の証言です。スタックトレースを上から下へ読む方法（一方の端は壊れた場所、もう一方の端は発端）、「caused by」の連鎖の追跡、構造化・JSONロギング、相関IDとtraceid、grep・jq・ripgrepでログを掘る、ログレベルとサンプリングまで。ログとトレースを証拠として扱う探偵の技術。
2026-06-28 · 21 分で読めます #logging#debugging#stack-trace#observabilityOperator の可観測性 — メトリクス、イベント、ロギング、そして SLO
Kubebuilder ベースの Operator の可観測性を、メトリクス、イベント、ロギング、トレーシング、status/conditions、そして SLO の観点から深く掘り下げます。controller-runtime のデフォルトメトリクスの意味から、カスタムメトリクスの追加、Prometheus/Grafana 連携、アラートルール、reconcile が動かないときのデバッグランブックまで、実践的なコードとともに整理しま
2026-06-15 · 30 分で読めます #kubernetes#operator#observability#prometheus#controller-runtimeIngress オブザーバビリティ — メトリクス、アクセスログ、トレーシング
Ingress コントローラのゴールデンシグナルを定義し、ingress-nginx の Prometheus メトリクス、Grafana ダッシュボード、構造化アクセスログ(Loki)、OpenTelemetry 分散トレーシング、アラートルールまで、実務的なオブザーバビリティスタックを構築する方法を解説します。per-ingress 分析、キャパシティプランニング、トラブルシューティングのワークフローも扱います。
2026-06-14 · 17 分で読めます #ingress#kubernetes#nginx#observability#networkingeBPF基礎完全制覇 — プログラム、マップ、そしてVerifierの世界
eBPFがLinuxカーネルプログラミングをどう変えたのかをゼロから整理します。プログラムタイプとマップ、Verifierの動作原理を理解し、libbpfとCO-REによる初めてのeBPFプログラムを実際に作ってみます。
2026-06-13 · 28 分で読めます #ebpf#linux#kernel#libbpf#observabilityeBPF可観測性の実践 — bpftraceでシステムのブラックボックスを開く
bpftraceワンライナー10選とBCCツールボックスで、コード修正なしに稼働中のシステムを覗き込む方法を扱います。レイテンシヒストグラムの読み方、フレームグラフ、コンテナ環境への適用、そして実践的なトラブルシューティングシナリオ3つを段階的に整理しました。
2026-06-13 · 22 分で読めます #ebpf#bpftrace#observability#linux#profilingHubbleとClusterMesh — Ciliumの可観測性とマルチクラスタ運用
Ciliumの可観測性レイヤーHubbleのアーキテクチャとCLI実践クエリ、Prometheusメトリクスとフローログの長期保管を扱い、ClusterMeshによるマルチクラスタのサービスディスカバリ、グローバルサービス、ポリシー、暗号化の構成方法を運用の視点で整理します。
2026-06-13 · 18 分で読めます #cilium#hubble#clustermesh#observability#multi-clusterKeycloak 可観測性 — メトリクス、監査ログ、イベントベースのモニタリング
Keycloak のイベントシステムとメトリクスエンドポイント、EventListener SPI による外部送信、Prometheus と Grafana のダッシュボード構成、OpenTelemetry tracing、異常検知とアラートルール、そして ISMS/SOC 2 監査コンプライアンスの観点まで、Keycloak の可観測性を総合的に扱います。
2026-06-12 · 20 分で読めます #keycloak#observability#monitoring#prometheus#securityeBPFがオブザーバビリティを飲み込む
カーネルの中でサンドボックス化されたプログラムを安全に走らせるというアイデアが、オブザーバビリティの常識をひっくり返しています。kprobe・uprobe・tracepoint・XDPでどこにでもフックを掛け、検証器が安全を保証し、アプリのコードを一行も変えずにトレースする。なぜCilium・Falco・Pixie・bpftraceがサイドカーを置き換えるのか、そしてeBPFにできないことは何かを実務目線で整理します。
2026-06-11 · 23 分で読めます #ebpf#observability#linux#kernel時系列データベース 2026 完全ガイド - InfluxDB 3 · TimescaleDB · QuestDB · ClickHouse · Prometheus · VictoriaMetrics · Grafana Mimir 徹底解剖
2026年の時系列データベース (TSDB) フルスタックを解剖。InfluxDB 3.0 の Rust + Apache Arrow + DataFusion + Parquet リライト、TimescaleDB 2.18 ハイパーテーブル、QuestDB 8.x SIMD インジェスト、ClickHouse 25.x MergeTree、Prometheus 3.0 と VictoriaMetrics 1.110+ MetricsQ
2026-05-16 · 37 分で読めます #time-series-database#influxdb#timescaledb#questdb#clickhouseソフトウェアデバッグツール2026完全ガイド - gdb・lldb・rr・Pernosco・Replay.io・ASan・Valgrind・eBPF・perf・タイムトラベルデバッグ徹底解説
2026年のデバッグツール全地形を一望する。printf無敗神話からgdb・lldbのインタラクティブデバッグ、rr・Pernosco・Replay.ioが切り開いたタイムトラベル・オムニサイエントデバッグ、AddressSanitizer対Valgrindのトレードオフ、perf・FlameGraph・eBPF・bpftrace・BCCの動的トレーシング、JFR・async-profiler・py-spy・Delveの言語別ツール、k
2026-05-16 · 35 分で読めます #debugging#gdb#lldb#rr#pernoscoオブザーバビリティ 2026 完全ガイド - OpenTelemetry・Datadog・Grafana スタック（LGTM+Beyla）・Honeycomb・Prometheus・Jaeger・eBPF・SLO 徹底解説
2026年5月時点のプロダクション・オブザーバビリティ・スタックを OpenTelemetry 標準の上で徹底的に俯瞰する。SaaS（Datadog・New Relic・Dynatrace・Splunk・Honeycomb・Coralogix・Logz.io・Chronosphere）、OSS（Grafana LGTM+Beyla・Prometheus+Mimir/Cortex/Thanos・Jaeger・Tempo・Zipkin・Py
2026-05-16 · 26 分で読めます #observability#opentelemetry#datadog#grafana#honeycombネットワーク & サービスオブザーバビリティ 2026 完全ガイド — eBPF · Cilium Hubble · Pixie · Pyroscope · Grafana Loki + Tempo + Mimir · Netdata · OpenTelemetry 深掘り
2026年のオブザーバビリティはメトリクス・ログ・トレース・プロファイルの4本柱と、eBPFによる自動計装が標準である。Cilium Hubble、Pixie、Pyroscope、Grafana LGTMスタック、Netdata、OpenTelemetryまで — 何をいくらでどこに使うかを一枚の地図にまとめる。韓国NCsoft、Coupang、Naver、Kakaoと日本Mercari、LINE Yahoo、CyberAgentの導入
2026-05-16 · 27 分で読めます #observability#ebpf#cilium-hubble#pixie#pyroscope