タグ: #inference
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 41 件
Qwen3.8-27Bのハイブリッドアテンション — 64層のうちKVキャッシュを積むのは16層だけ
27Bのモデルが26万トークンのコンテキストをノートパソコンで扱える理由は、パラメータ数ではなく層の構成にあります。Qwen3.8-27Bは64層のうち48層を線形アテンション(Gated DeltaNet)に、16層だけを通常のアテンションに配置し、KVキャッシュが伸びる層そのものを4分の1に減らしました。この構造が何を節約して何を失うのか、FP8ブロック量子化はどこに効くのか、そしてローカル推論を検討するとき実際に計算すべき値は何か
2026-08-14 · 13 分で読めます #llm#inference#quantization#local-llm#attentionCerebras Ultrafastとエージェントループのボトルネック — 毎秒750トークンでも減らない時間
CerebrasとOpenAIが毎秒最大750トークンを出す推論ティアを公開しました。発表文が挙げる原理は演算量ではなくデータ移動であり、重みをウェハ上のSRAMに置く方式です。なぜバッチ1のデコードがメモリ帯域に縛られるのか、公開された倍率が何を測り何を測っていないのか、そしてトークン生成が速くなっても減らない時間が自分のエージェントループで何パーセントかを計算する方法を整理します。
2026-08-14 · 13 分で読めます #llm#inference#hardware#latency#performanceいま注目のオープンソース (1) AIエージェントとLLMツール
LLMアプリケーションのスタックは、推論サーバー、オーケストレーション、ゲートウェイ、エージェント、RAGへと層が分かれました。各層で実際に使われているオープンソース12件を、スター数の順位ではなく役割ごとにまとめて紹介します。プロジェクトごとに何を置き換えるのか、成熟度はどの程度か、どんな状況で使ってはいけないのかも併せて整理し、リポジトリのパスとライセンス、スター数、最近のプッシュ日は2026年8月12日にGitHubで直接確認した
2026-08-12 · 9 分で読めます #open-source#llm#ai-agent#ai-platform#ragテキスト生成オープンモデルをサイズ別に選ぶ
オープンなテキスト生成モデルを選ぶとき、サイズは性能の等級ではなく配置の制約です。この記事はオンデバイス向けの小型、GPU1枚に載せる中型、サーバが必要な大型に分け、各区分で実際に確認したモデルのパラメータ、コンテキスト、ライセンスを整理し、MoEのメモリ計算がなぜ違うのか、コンテキスト拡張がなぜ無料ではないのか、カードが要求する実行条件を無視すると何が壊れるのかを説明します。オープンモデルガイドシリーズ第2回です。
2026-08-12 · 11 分で読めます #ai#llm#huggingface#open-source-llm#text-generationvLLM 内部構造 (3) — 連続バッチングが GPU を遊ばせない仕組み
静的バッチングがなぜGPUを遊ばせるのか、vLLMのイテレーション単位のスケジューリングがそれをどうなくすのかを整理した。prefillとdecodeの性質の違い、V1の統合スケジューラとトークン予算、chunked prefillがレイテンシと処理量に与える影響を公式ドキュメント基準で確認した。vLLM内部構造シリーズ第3回。
2026-08-12 · 11 分で読めます #vllm#continuous-batching#chunked-prefill#llm#inferencevLLM 内部構造 (1) — リクエスト一つがトークンになるまでの全経路
vLLMにリクエストが一つ入ってからトークンが出てくるまでの全経路をたどる。APIサーバー、スケジューラ、KVキャッシュマネージャ、ワーカー、サンプラーがそれぞれ何をしているのか、V1書き換え以降プロセスがどう分かれているのかを公式ドキュメントとソースで確認して整理した。vLLM内部構造シリーズ第1回。
2026-08-12 · 9 分で読めます #vllm#llm#inference#gpu#ai-platform推論強度はモデル選択ではなくリクエスト単位のデプロイパラメータです
ARC Prizeが公開したDeepSeek V4 Flash 0731の結果ページには、スコアがひとつではなく推論強度別に三つ載っています。この記事はその三つの数字から実際に読み取れることを計算します。同じ強度の引き上げが、易しいベンチマークでは5ポイントを、難しいベンチマークでは15ポイントを買ってくれるという事実と、ならば強度はモデル設定ではなくリクエストごとに決める値として扱うべきだという結論です。はしごを上る構造と、その構造が
2026-08-09 · 15 分で読めます #llm#benchmark#arc-agi#inference#costLLM推論のVRAM計算 — 重みより先にKVキャッシュが溢れます
「このモデルはうちのGPUに載りますか」という質問に、掛け算を数回するだけで答える方法をまとめました。重みのメモリはパラメータ数×バイト数で終わりますが、実際にデプロイを止めるのはシーケンス長とバッチに比例して育つKVキャッシュです。KVキャッシュの公式とGQAがそれを何分の一かに減らす原理、プリフィル活性化とフレームワークオーバーヘッドの大きさ、PagedAttentionが消した断片化の損失、そして4bit量子化がタダではない理由を
2026-07-26 · 20 分で読めます #llm#inference#vram#kv-cache#quantizationPD分離はスループットを増やさない — プリフィル/デコード分離が実際に買うもの
プリフィルとデコードを別々のGPUに分けるPD分離は、2026年にvLLM・SGLang・TensorRT-LLMすべてに入った設計ですが、どこを見ても「2倍から7倍」という数字ばかりが出回っています。ところがvLLM公式ドキュメントは同じ機能について「分離プリフィルはスループットを改善しない」と大文字で明記しています。実は両方とも正しいのです — そのベンダー数値はすべて、スループットではなくgoodput(SLOを守った処理量)か、
2026-07-16 · 29 分で読めます #llm#ai#inference#kv-cache#vllmもっと考えれば正解に近づく、とは限らない: テストタイム計算と過剰思考
2026年4月、Shu Zhou ら6名は "When More Thinking Hurts" で、推論トークンをただ増やし続ける流れに正面から問いを立てます。著者らの報告によれば、計算予算が大きくなるほど追加の推論トークンの限界効用は大きく減り、ある地点からモデルは「過剰思考」に陥って、いったん正解していた答えを自ら覆します。最適な思考の長さは問題の難易度ごとに異なるため、すべてに同じ予算を与える方式は無駄が多い、というわけです。ア
2026-07-11 · 13 分で読めます #ai#llm#reasoning#inference#test-time-computeMac mini がオンデバイス AI マシンになった理由 — アップル半導体幹部インタビューが語ること、語らないこと
Apple Silicon のシニアプロダクトマネージャー、ダグ・ブルックス氏が The Deep View のインタビューで Mac mini と Mac Studio の需要とオンデバイス AI の方向性を語りました。開発者や小規模チームがなぜこの小さなデスクトップをローカル LLM・エージェント機として選ぶのか、統合メモリ構成の本当の利点は何か、そして CUDA エコシステムの差と直近の値上げという正直なトレードオフまで — 幹部
2026-07-11 · 10 分で読めます #apple-silicon#on-device-ai#local-llm#mac-mini#inferenceKVキャッシュを4ビットへ — SAW-INT4とシステムを踏まえたINT4量子化
長文脈のLLMサービングで本当のメモリのボトルネックは、重みではなくKVキャッシュです。これを素朴にINT4へ落とすと精度が崩れますが、2026年4月のプリプリントSAW-INT4は、トークン単位のINT4量子化にブロック対角アダマール回転を組み合わせ、素朴なINT4が失った精度をほぼ取り戻すと報告します。この論文の本当の狙いは精度だけでなくスループットです — ページド型KVキャッシュのレイアウトに直接組み込む融合回転・量子化カーネル
2026-07-11 · 12 分で読めます #ai#llm#quantization#inference#kv-cacheHybrid SWA による長コンテキスト推論の最適化 — Xiaomi MiMo v2.5 が実際に行ったこと
スライディングウィンドウアテンション（SWA）とフルアテンションを層ごとに交互配置するハイブリッド SWA は、長コンテキスト推論の KV キャッシュメモリと計算量を同時に削減する最近の主流設計です。Xiaomi が公開した MiMo v2.5 推論最適化の記事を根拠に、ハイブリッド SWA とは何でなぜ重要か、MiMo v2.5 が実際にどんなアーキテクチャとシステムエンジニアリングを行ったか（70 層中 10 層のみフルアテンション
2026-07-11 · 14 分で読めます #ai#llm#inference#attention#optimizationLLMキャッシングの原理 — プロンプトキャッシングとPrefix Cacheはなぜお金を節約できるのか
プロンプトの前半が同じだと、なぜコストが10分の1になるのでしょうか。答えはトランスフォーマー内部のKVキャッシュにあります。アテンションが因果的（causal）なので、前方トークンのKey/Valueベクトルは後ろに何が来ても変わらず、保存して再利用できるのです。prefillとdecodeの区別、KVキャッシュのメモリ計算、vLLM・SGLangのprefix cache実装、そしてAnthropic・OpenAIプロンプトキャッシ
2026-07-08 · 13 分で読めます #ai#llm#caching#inference#performance最新LLM量子化技術の総まとめ — GPTQ・AWQからFP8・MXFP4・KVキャッシュ量子化まで
量子化はモデルの数値をより少ないビットで表現し、メモリとコストを削る技術です。ビットを減らしても品質が持ちこたえる理由（外れ値とスケーリング）、GPTQとAWQのアプローチの違い、llama.cpp GGUFのk-quant、QLoRAのNF4、そして2026年の中心軸であるFP8とマイクロスケーリングFP4（MXFP4・NVFP4）、次のボトルネックであるKVキャッシュ量子化まで — W4A16のような表記の読み方とハードウェア・目的
2026-07-08 · 13 分で読めます #ai#llm#quantization#inference#optimizationLLM推論サービング2026 — vLLM、SGLang、TensorRT-LLMの比較
2026年のLLM推論サービングを一目で整理します。prefillとdecodeの性質の違い、continuous batching、paged KVキャッシュといった核心原理から、vLLM、SGLang、TensorRT-LLMの強み弱みの比較と選択ガイド、実際のデプロイ設定まで、開発者の視点で扱います。
2026-06-26 · 26 分で読めます #llm-serving#vllm#sglang#tensorrt-llm#inferenceマルチモーダルLLMのサービング — 画像入力が生む新たな課題
テキスト専用LLMサービングとの違いから、ビジョンエンコーダの追加段階、可変のビジュアルトークン数、プリフィルコストの急増、マルチモーダルKVキャッシュとバッチングの難しさ、遅延分解とスループット最適化、コストと運用の落とし穴まで、マルチモーダルLLMサービングの実務を整理します。
2026-06-26 · 24 分で読めます #mlops#multimodal#llm-serving#vllm#kv-cache推論を速く — Speculative Decodingとスループット最適化
LLMのdecodeが遅い根本的な理由から、speculative decodingで速度を引き上げる原理、MedusaやEAGLEのような変種、chunked prefillとprefill/decodeの分離、遅延とスループットのトレードオフ、そしてTTFTやTPOTのような測定指標まで、推論高速化の核心を整理します。
2026-06-26 · 23 分で読めます #speculative-decoding#throughput#inference#mlops#latencyKVキャッシュとPagedAttention — 推論メモリのすべて
LLM推論でメモリを最も消費する張本人であるKVキャッシュを深く掘り下げます。KVキャッシュとは何か、なぜメモリを消費するのか、メモリの計算と断片化の問題、PagedAttentionのブロック管理、prefix共有とKV量子化まで、開発者の視点で整理します。
2026-06-26 · 21 分で読めます #kv-cache#paged-attention#inference#gpu-memory#quantizationカスタムASIC対GPU — チップ戦争を投資の視点で読む
クラウド事業者の自社チップ(カスタムASIC)の台頭と推論市場の変化を投資の視点で分析します。Nvidiaの堀とそれへの挑戦、バリューチェーンの受益マップ、そして主要なリスクをバランスよく整理します。
2026-06-18 · 38 分で読めます #asic#gpu#semiconductor#investing#nvidia