タグ: #troubleshooting
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 24 件
3行の設定ファイルが GPU 4枚を1週間殺した — containerd ドロップイン統合の真実
ノードが GPU を広告しませんでした。設定ファイルには nvidia ランタイムがちゃんと書かれているのに、containerd config dump には存在しませんでした。犯人は1週間前に入れた3行のレジストリ設定で、理由は containerd の imports 統合がフィールド単位ではなくプラグイン単位の丸ごと置き換えだからでした。二度まちがえて診断した過程と、最後に答えをくれた実験をそのまま書きます。
2026-08-26 · 21 分で読めます #kubernetes#containerd#gpu#nvidia#troubleshootingデバッグはなぜ置き換えにくいのか — 消去の技術と仮説の一文
デバッグはコードを書く仕事と向きが逆です。書くことは可能なものを一つ作り出す仕事で、デバッグは可能なものを一つ残るまで消していく仕事です。この記事では、デバッグがなぜ検証の高い側に残るのか、反証できる仮説をどう一文で書くのか、システムを層に切って半分ずつ狭める手順がどう働くのか、そして再現しない問題を再現ではなく観測で攻める方法を扱います。同じ年数でも差が最も開く能力がなぜこれなのかも合わせて説明します。高いまま残る技術シリーズの第2回
2026-08-15 · 12 分で読めます #career#skills#debugging#craft#troubleshootingGPU障害診断プレイブック — 層を決めてから降りる
KubernetesでGPUの問題を診断するとき最大の無駄は、順序なくあちこち突くことです。Podがスケジュールされない、Podは起動したのにGPUが見えない、ドライバとツールキットのバージョンがずれている、メモリが足りない、ノードからGPUが消える、これらは別の層の問題であり確認順序が異なります。本記事ではNVIDIA GPU Operatorの公式トラブルシューティングドキュメントとdcgm-exporterリポジトリを根拠に、五つ
2026-08-12 · 13 分で読めます #gpu#kubernetes#troubleshooting#nvidia#gpu-operator韓国の開発ブログ名文キュレーション 2 — 障害振り返りとトラブルシューティング、直接開いて確認した12本
韓国の開発者がもっとも得意とするジャンルは障害の振り返りです。p6spyがDBルーティングを無力化した事件、HTTPタイムアウトがDNS解決を覆えなかった理由、TCPハーフクローズが重複例外に偽装された事例、MetalLBの設定ひとつが生んだクラスタの遅延スパイク、ヒープダンプでOOMを追跡した記録、JITウォームアップでデプロイ直後のCPUスパイクを抑えた過程、外部キーが招いたデッドロック、HikariCPのコネクション枯渇、MySQ
2026-08-12 · 22 分で読めます #curation#큐레이션#troubleshooting#postmortem#incidentdig は通るのにアプリケーションは失敗する — DNS 解決順序から確認する方法
dig では正常に答えが返るのにアプリケーションだけが名前を見つけられない状況は、バグではなく構造です。dig と nslookup は /etc/hosts も nsswitch.conf もまったく経由せず、リゾルバに直接問い合わせるからです。アプリケーションが実際にたどる経路を nsswitch.conf から systemd-resolved のスタブリゾルバまで追いかけ、getent と resolvectl で同じ経路を再現
2026-07-26 · 21 分で読めます #network#dns#linux#kubernetes#troubleshootingToo many open files 完全解決 — ulimit を上げても直らない理由
サーバーのログに accept4 failed (24: Too many open files) が記録され、ulimit -n を上げてもそのままです。この症状の裏には互いに独立した三つの上限があります。プロセスごとの RLIMITNOFILE、システム全体の fs.file-max、そして systemd サービスの LimitNOFILE がシェルの ulimit 設定を完全に無視するという事実です。/proc/PID/limi
2026-07-26 · 22 分で読めます #linux#systemd#file-descriptor#troubleshooting#containers空き容量はあるのに No space left on device — inode 枯渇、削除済みのオープンファイル、予約ブロック
df は空き容量を表示しているのに、ファイルを一つも作れず ENOSPC が返ります。原因はほぼ必ず五つのうちのどれかです。inode 枯渇、削除されたのにプロセスが開いたままのファイル、ext4 の予約ブロック、別のファイルシステムが重ねてマウントされて見えなくなったファイル、そしてコンテナのオーバーレイ上限です。それぞれを df -i、lsof +L1、tune2fs、バインドマウントでどう確定して何で解決するのか、さらに inot
2026-07-26 · 25 分で読めます #linux#filesystem#ext4#troubleshooting#storageKubernetes ImagePullBackOffとErrImagePull完全解剖 — 原因文字列ひとつで終わらせる
PodがErrImagePullを経てImagePullBackOffに留まる状況を原因別に分解します。2つの状態が同じ事象の異なる段階であること、そしてkubectl describeのEventsの最後の1行にすでに答えが書かれていることから出発します。タグのタイプミス、プライベートレジストリの認証失敗、ServiceAccountにSecretが付いていない場合、Docker Hubの匿名プルのレートリミット、プロキシとエアギャッ
2026-07-26 · 18 分で読めます #kubernetes#imagepullbackoff#container-registry#troubleshooting#containerd.gitignoreが効かないとき — 原因1位とパターン規則の精読
無視リストにはっきり書いたのにファイルが上がり続ける理由は、たいてい1つです。すでに追跡中のファイルには無視の規則が適用されません。この記事では、インデックスから外す正確な命令と、その命令が同僚の作業ディレクトリからファイルを消してしまうという副作用、どの規則が犯人なのかをGitに直接尋ねるcheck-ignoreの使い方と、追跡中のファイルでは何も出力しないという罠、先頭のスラッシュと末尾のスラッシュと否定パターンの順序依存、上位ディ
2026-07-26 · 20 分で読めます #git#gitignore#troubleshooting#security#version-controlKubernetes Pod Pending 状態の解決 — スケジューラーが残した拒否理由の読み方
Pod が Pending のまま数分間も先に進まないとき、スケジューラーはすでに拒否理由をイベントに残しています。0/5 nodes are available で始まるあの一文を正確に解読する方法から始めて、九つの原因を一つずつ排除していきます。リソース不足は実際の使用量ではなく requests の合計で判定されること、taint とトレランス、ノードセレクターとアフィニティの不一致、PVC の未バインドと WaitForFirs
2026-07-26 · 20 分で読めます #kubernetes#scheduler#pending#troubleshooting#autoscalingロードアベレージが CPU 使用率ではない理由 — load average 24 なのに CPU は 30% のとき
uptime の load average は 24 を超えているのに top の CPU は 30% にも届かない、という状況を扱います。Linux のロードアベレージは他の Unix と違い、実行待ち (R) のタスクだけでなく D 状態 (uninterruptible sleep) のタスクまで数えるため、ディスクや NFS の待ちだけでも数値が跳ね上がります。3 つの数字が 5 秒サンプリングと指数移動平均でどのように作られる
2026-07-26 · 21 分で読めます #linux#performance#load-average#psi#troubleshootingKubernetes CrashLoopBackOff の原因別診断と解決 — ログが空のとき何を見ればよいか
Pod が CrashLoopBackOff に陥っているのに kubectl logs が何も返さない状況を、最初から最後まで扱います。BackOff は原因ではなく 10 秒から 5 分まで伸びる再起動待ち時間だという正確な意味から、describe の Last State と Exit Code を読む順序、終了コード 0/1/127/137/139/143 がそれぞれ何を意味するかまで整理しました。アプリケーションの即時終了、
2026-07-26 · 20 分で読めます #kubernetes#crashloopbackoff#troubleshooting#kubectl#sreConnection refused と timeout の違い — TCP レベルで原因を絞り込む方法
接続できないときにターミナルが返すメッセージは大きく二種類あります。Connection refused は相手が RST を返したという意味で、timeout は送った SYN に何の応答もないという意味です。この一行の違いが、プロセスの問題なのか経路の問題なのかをほぼ決めてしまいます。tcpdump で SYN と RST を直接確認する方法、SYN 再送間隔からタイムアウトの長さをあらかじめ計算する方法、リスナーがあるのに tim
2026-07-26 · 19 分で読めます #network#tcp#troubleshooting#linux#kubernetesIngress トラブルシューティング・プレイブック — 502/504/404 から TLS まで
Ingress で遭遇する代表的な症状(404、502、503、504、TLS エラー、リダイレクトループ、413)を症状別の診断ツリーにまとめた実践プレイブックです。各症状ごとに kubectl/curl/ログ確認コマンドと解決策、一般的なデバッグ手順、よくある設定ミスのカタログ、チェックリストを提供します。
2026-06-14 · 17 分で読めます #ingress#kubernetes#nginx#troubleshooting#networking体系的デバッグ — 推測ではなく推論でバグを捕まえる
デバッグの大半は訓練されていない推測だ。再現・分離・仮説・検証・修正・確認というコアループ、git bisect と二分探索、スタックトレースを正しく読む方法、heisenbug や race condition のような難しいバグ、そして AI エージェントとデバッグする方法まで。推論でバグを捕まえる技術をまとめる。
2026-05-14 · 35 分で読めます #debugging#methodology#engineering-craft#git-bisect#observabilityDNS完全攻略：ネームサーバー、DDNS、nslookup実践ガイド — ドメイン登録からトラブルシューティングまで
DNSのすべてを一記事で！ネームサーバーの動作原理、ドメイン登録・移管の実践ガイド、DDNSで自宅サーバー運用、nslookup/dig完全活用法、DNSレコードタイプ総整理、DNSセキュリティ（DNSSEC、DoH、DoT）、実践トラブルシューティング10シナリオまで。
2026-03-23 · 48 分で読めます #dns#nameserver#ddns#nslookup#digsystemdサービス管理・ユニットファイル設定・トラブルシューティング
Linuxシステム管理者向けのsystemdサービス管理、ユニットファイル設定、トラブルシューティング技術の実践ガイド。
2026-03-14 · 27 分で読めます #systemd#linux#service-management#troubleshooting#devopsTCP/IP接続デバッグ完全ガイド - 本番環境で使えるトラブルシューティング
TCP 3ウェイハンドシェイクから接続状態分析、SYNフラッド対策、tcpdump/Wiresharkによるパケットキャプチャ、カーネルチューニングパラメータまで、実務で使えるTCP/IPデバッグの全てを解説します。
2026-03-08 · 19 分で読めます #networking#tcp#ip#troubleshooting#devopsHTTP/HTTPSトラブルシューティング完全ガイド - 現場で使えるデバッグ手法
HTTPステータスコード分析からTLSハンドシェイクデバッグ、証明書チェーン検証、curl高度テクニック、502/503/504エラー解決、CORS問題、リダイレクトループ、HTTP/2・HTTP/3デバッグ、ロードバランサーのトラブルシューティングまで、実務シナリオ中心にまとめた総合ガイド
2026-03-08 · 32 分で読めます #networking#http#https#tls#troubleshootingクラウドネットワークアーキテクチャ トラブルシューティング完全ガイド — AWS・GCP・Azure実践デバッグ
VPCネットワーキングの基礎からSecurity Group・NACLデバッグ、VPC Peering、Transit Gateway、Flow Logs分析、NAT/IGW問題、クロスリージョン接続、DNS問題まで、クラウドネットワークトラブルシューティングの全てを解説します。
2026-03-08 · 20 分で読めます #networking#cloud#aws#troubleshooting#vpc