ブログ

한국어English日本語中文

#2026-03 764#japanese 587#deep-dive 254#kubernetes 247#culture 236#career 224#ai 214#llm 208#devops 193#2026-04 144#security 139#observability 113#database 110#communication 107#architecture 100#productivity 88#finance 87#mindset 80#ai-papers 79#history 79#it 78#psychology 78#english 75#networking 74#deep-learning 73#gpu 70#linux 70#performance 70#cs-fundamentals 63#ai-agent 61#postgresql 59#rag 59#economy 57#mlops 53#self-improvement 53#ai-platform 51#food 51#learning 51#python 51#travel 51

• 埋め込みとリランカー、RAGで実際に重要なもの

  RAGを作るとき埋め込みモデルの選択を左右するのは、リーダーボードの順位ではなく次元、最大入力長、接頭辞の規約、多言語対応の表記、そしてリランカーとの役割分担です。この記事は2026-08-12に確認した埋め込み・リランカーモデルの実際のカード値を整理し、MTEBのスコアが何を語らないのか、日本語や韓国語の文書を扱うときに何を自分で測るべきかを説明します。オープンモデルガイドシリーズ第3回です。

  2026-08-12 · 12 分で読めます #ai#llm#huggingface#open-source-llm#embedding

• vLLM 内部構造 (5) — プレフィックスキャッシュ、システムプロンプト設計が性能になる理由

  vLLMのプレフィックスキャッシュがいつ効いていつ効かないかを、公式設計ドキュメントを基準に整理する。ブロックハッシュが直前のブロックに鎖のように連なる構造、フルに埋まったブロックだけがキャッシュされる理由、プロンプトの先頭に置いたタイムスタンプ一つがキャッシュ全体を無効にする過程、そしてcachesaltまで扱う。vLLM内部構造シリーズ第5回。

  2026-08-12 · 12 分で読めます #vllm#prefix-caching#kv-cache#prompt-engineering#llm

• vLLM 内部構造 (3) — 連続バッチングが GPU を遊ばせない仕組み

  静的バッチングがなぜGPUを遊ばせるのか、vLLMのイテレーション単位のスケジューリングがそれをどうなくすのかを整理した。prefillとdecodeの性質の違い、V1の統合スケジューラとトークン予算、chunked prefillがレイテンシと処理量に与える影響を公式ドキュメント基準で確認した。vLLM内部構造シリーズ第3回。

  2026-08-12 · 11 分で読めます #vllm#continuous-batching#chunked-prefill#llm#inference

• vLLM 内部構造 (4) — スケジューラとプリエンプション、スループットが崩れる地点

  vLLMスケジューラが毎ステップ何を決定しているのか、待機キューと実行リストがどう動くのか、KVキャッシュが不足したときに起きるプリエンプション(preemption)がレイテンシと処理量をどう崩すのかを、公式ドキュメントとV1スケジューラソースで確認して整理した。recomputeとswapの違い、fcfsとpriorityポリシーも合わせて扱う。vLLM内部構造シリーズ第4回。

  2026-08-12 · 12 分で読めます #vllm#scheduler#preemption#kv-cache#llm

• vLLM 内部構造 (1) — リクエスト一つがトークンになるまでの全経路

  vLLMにリクエストが一つ入ってからトークンが出てくるまでの全経路をたどる。APIサーバー、スケジューラ、KVキャッシュマネージャ、ワーカー、サンプラーがそれぞれ何をしているのか、V1書き換え以降プロセスがどう分かれているのかを公式ドキュメントとソースで確認して整理した。vLLM内部構造シリーズ第1回。

  2026-08-12 · 9 分で読めます #vllm#llm#inference#gpu#ai-platform

• vLLM 内部構造 (7) — デプロイのチューニングとよくある落とし穴、OOM の切り分け順

  vLLMのデプロイを実際にチューニングする手順を整理する。gpumemoryutilizationが何を決めるのか、テンソル並列とパイプライン並列をいつ使うのか、量子化とKVキャッシュのデータ型をどう選ぶのか、そしてOOMが起きたときに起動段階と運用段階を分けて診断する手順まで、公式ドキュメントを基準に確認して整理した。vLLM内部構造シリーズ最終回。

  2026-08-12 · 16 分で読めます #vllm#gpu#quantization#tensor-parallel#llm

• vLLM 内部構造 (2) — PagedAttention はなぜ KV キャッシュをページに分けたのか

  PagedAttentionがKVキャッシュをブロック単位に分割した理由を、原論文(arXiv:2309.06180)とvLLM公式設計ドキュメントで確認して整理した。連続割り当てが生む内部・外部フラグメンテーション、ブロックテーブルが担う役割、ブロックサイズを大きくしたり小さくしたりする際のトレードオフまで扱う。vLLM内部構造シリーズ第2回。

  2026-08-12 · 12 分で読めます #vllm#paged-attention#kv-cache#llm#gpu

• vLLM 内部構造 (6) — コンテキストウィンドウ、max_model_len、max_tokens 完全整理

  コンテキストウィンドウとmaxtokensの違いが紛らわしいなら、この記事一つで整理できる。モデルのコンテキストウィンドウ(構造的な上限)、vLLMのmaxmodellen(エンジン設定)、リクエストごとの生成上限であるmaxtokensとmaxcompletiontokens、そしてバッチの上限であるmaxnumbatchedtokensとmaxnumseqsがそれぞれ何を制限するのかを、比較表と実際のエラーメッセージで整理した。入力

  2026-08-12 · 20 分で読めます #vllm#context-window#max-model-len#max-tokens#llm

• 音声認識・合成の技術レポート、何を読むか — WERという一つの数字では見えないもの

  音声認識と合成の技術レポート10本を、arXivの原文アブストラクトで直接確認して整理しました。WhisperとOmnilingual ASR、Qwen3-ASR、Open ASR Leaderboard、Seed-TTSとF5-TTS、CosyVoice 2、Qwen3-TTS、Fish Audio S2、Moshi、Qwen2.5-OmniとMOSS-Audioが何を新しく行い、著者がどんな限界を述べたかを読みます。順位ではなく遅延

  2026-08-12 · 13 分で読めます #ai-papers#paper-review#technical-report#speech-recognition#text-to-speech

• 画像生成・理解の技術レポート、何を読むか — サンプル画像ではなく設計を読む

  画像生成と理解の技術レポート11本を、arXivの原文アブストラクトで直接確認して整理しました。整流フロートランスフォーマーとVAR、Emu3、SANA、Janus-Pro、FLUX.1 Kontext、Qwen-Image系列、Seedream 4.0、Z-ImageとMage-Flow、InternVL3、そして評価側のQwen-Image-Benchまで、何を新しく行い著者がどんな限界を述べたかを読みます。順位は扱いません。領域別

  2026-08-12 · 14 分で読めます #ai-papers#paper-review#technical-report#image-generation#diffusion-transformer

• トークナイザの内部 — 日本語がトークンを多く食う理由とその代価

  バイトレベル BPE の仕組みを説明し、Qwen3、DeepSeek-V3、Mixtral の実際のトークナイザファイルをダウンロードして同じ意味の英語と韓国語の文章を直接トークン化して比較します。語彙サイズのトレードオフ、config の vocabsize と実際の語彙数が異なる理由、トークン数がコストと文脈窓に与える影響を整理します。

  2026-08-12 · 11 分で読めます #ai-papers#model-internals#tokenizer#bpe#korean-nlp

• 正規化と活性化 — 学習を壊さないために

  RMSNorm とプレノルム、SwiGLU がなぜ現在の標準になったのかを config の値で確認し、Qwen3 の QK-Norm や Kimi K2 の QK-Clip のようにアテンションロジットの暴走を止める新しい仕組みを、各レポートが記す数値とともに整理します。安定性のために何を足し、何を引き受けるのかを扱います。

  2026-08-12 · 11 分で読めます #ai-papers#model-internals#rmsnorm#swiglu#training-stability

• アテンションの変種 — MHA から MLA まで、KV キャッシュはどう縮むか

  MHA、MQA、GQA、MLA を実際の config 値で比較します。Qwen3、Mixtral、GLM-4.5 のグループクエリアテンションと、DeepSeek-V3、Kimi K2 の潜在アテンションがトークンあたりの KV キャッシュを何倍縮めるのかを式と数字で計算し、その代償に何を差し出すのかを整理します。

  2026-08-12 · 10 分で読めます #ai-papers#model-internals#attention#gqa#mla

• 動画生成・理解の技術レポート、何を読むか — デモではなく制約を読む

  動画生成と理解の技術レポート10本を、arXivの原文アブストラクトで直接確認して整理しました。CogVideoX、Movie Gen、HunyuanVideo、LTX-Video、Wan、Seedance 1.0と2.0、そして理解側のQwen2.5-VL、VideoLLaMA 3、HY-Himmelまで、何を新しく行い著者がどんな限界を述べたかを読みます。順位は扱わず、長さ・解像度・トークン予算といった実際の制約を見ます。領域別・最

  2026-08-12 · 12 分で読めます #ai-papers#paper-review#technical-report#video-generation#diffusion-transformer

• テキストLLMの技術レポート、何を読むか — 順位ではなく設計判断を読む

  テキストLLMの技術レポート9本を、arXivの原文アブストラクトで直接確認して整理しました。DeepSeek-V3とDeepSeek-R1、Qwen3、Gemma 3、Olmo 3、Kimi K2、MiniMax-01、Mellum2、s1がそれぞれ何を新しく行い、著者自身がどんな限界を述べているかを読みます。モデルの順位は扱いません。リーダーボードは動き続け、レポートの数値はほぼ自己申告だからです。領域別・最新技術レポートの読み方シ

  2026-08-12 · 13 分で読めます #ai-papers#paper-review#technical-report#llm#moe

• 学習レシピ — 事前学習から後学習まで、レポートは何を書くか

  Llama 3 の三段階と六回の文脈拡張、Qwen3 の三段階事前学習、DeepSeek-V3 の学習率スケジュールと二段階 YaRN 拡張、Kimi K2 のデータ再記述実験を、レポートに書かれたとおりに比較し、学習段階の記述を読む方法を整理します。

  2026-08-12 · 12 分で読めます #ai-papers#model-internals#pretraining#training-recipe#data-mixture

• 位置エンコーディング — RoPE と文脈拡張の代償

  ropetheta 一つが文脈長にどう作用するかを波長の計算で示し、Llama 3 の 500000、Qwen3 の ABF、DeepSeek-V3 と Kimi K2 の YaRN 設定、GLM-4.5 の部分回転を実際の config で比較します。長い文脈がなぜ無料でないのかを、プリフィルの演算量とキャッシュのコストから整理します。

  2026-08-12 · 11 分で読めます #ai-papers#model-internals#rope#positional-encoding#long-context

• config.json 完全解剖 — 設定ファイル一枚でモデル構造を読む

  hiddensize、numhiddenlayers、numattentionheads と numkeyvalueheads、headdim、intermediatesize、ropetheta、vocabsize、tiewordembeddings まで、config.json の各フィールドがメモリと速度にどう現れるかを説明し、Qwen3-8B と Mixtral-8x7B のパラメータ数を手で数えて公開されたテンソル数と正確に一

  2026-08-12 · 10 分で読めます #ai-papers#model-internals#config-json#transformer#llm-architecture

• OCR・文書理解の技術レポート、何を読むか — パースはなぜまだ終わっていないのか

  OCRと文書理解の技術レポート10本を、arXivの原文アブストラクトで直接確認して整理しました。DonutとNougatからGOT-OCR2.0、olmOCR、DeepSeek-OCRとその後継、GLM-OCR、Qianfan-OCR、MinerU2.5-Pro、HunyuanOCR-1.5まで、それぞれ何を新しく行い著者がどんな限界を述べたかを読みます。順位は扱いません。文書パースのスコアはベンチマークのバージョンと採点方法にとりわ

  2026-08-12 · 13 分で読めます #ai-papers#paper-review#technical-report#ocr#document-ai

• リーダーボードとベンチマークの読み方 — SOTAの賞味期限はなぜ短いのか

  ベンチマーク方法論の論文12本を、arXivの原文アブストラクトで直接確認し、リーダーボードの数値をどう読むべきかを整理しました。データ汚染、プロンプト形式への敏感さ、評価ハーネスの差、自己申告、リーダーボードの標本の偏り、LLM審査者の偏り、そして誤差棒をつける統計的アプローチまで扱います。領域別・最新技術レポートの読み方シリーズの最終回であり、先行する5回を読むための案内でもあります。

  2026-08-12 · 13 分で読めます #ai-papers#paper-review#technical-report#benchmark#evaluation