LabHub

ブログ

ビジョン言語モデル(VLM)2026 完全ガイド — CLIP・LLaVA・InternVL3・Qwen2.5-VL・GPT-4o・Gemini 2.5・Claude 4.7・DINOv2・SAM 2・Florence-2 徹底解説

2026-05-16 · 27 分で読めます · #vision-language-models#vlm#clip#llava#internvl#qwen-vl#gpt-4o#gemini#claude#dinov2#sam#florence#multimodal#foundation-models

한국어English日本語

はじめに — 2026年5月、VLMはテキストLLMとほぼ同速で平準化された

2024年までVLMの構図は「GPT-4Vが圧倒的、オープンモデルは遥か後方」だった。2026年5月現在、その差は事実上なくなった。Qwen2.5-VL 72B、InternVL3 78B、LLaVA-NeXT-Interleave、Pixtral Large、Molmo 72B、MiniCPM-V 3.0 がMMMU・MathVista・ChartQAなどのベンチでGPT-4o、Claude 4.7 Vision、Gemini 2.5 Pro Visionと一桁台のポイント差で並んでいる。同時にオンデバイスVLMがApple Intelligence Vision、Samsung Galaxy AI、ASUS NPU搭載ノートPCで本格的に動き始めた。

本稿はマーケティング資料ではなく「今、現場でどのVLMがどこに入り、どう学習・評価・サービングするか」を一本にまとめる。CLIP系列の基本原理、LLaVAの2段階アライメント、Qwen-VLの3段階学習、MMMU・MathVista評価、vLLM/SGLangサービングまで、実APIで比較する。

VLM 2026の地図 — 5つの系統に分かれる

まず全体像。2026年5月のVLM市場は次の5系統に分かれる。

  1. CLIP系列(対比学習): 画像・テキストの共同埋め込み。CLIP、SigLIP、EVA-CLIP。検索・ランキング・フィルタリングの基盤。
  2. オープン生成型VLM: LLaVA-NeXT、InternVL3、Qwen2.5-VL、Pixtral、Molmo、Idefics3、MiniCPM-V。「画像を見て自然言語を生成する」本丸。
  3. クローズドフロンティアVLM: GPT-4o Vision、Claude 4.7 Vision、Gemini 2.5 Pro Vision。APIのみ。
  4. ビジョン基盤(テキストなし): DINOv2/v3、SAM 2、Florence-2。自己教師ありビジョン基盤 + 汎用セグメンテーション・検出。
  5. 拡散モデルベースのビジョン(生成): Stable Diffusion 3.5、FLUX.1、DALL-E 3。画像を「理解」するのではなく「生成」する側。

本稿は1〜4に集中し、5の拡散モデルは別稿に譲る。狭義のVLMは2〜3(生成型)を指すが、実プロダクトラインでは1(CLIP)と4(DINO/SAM/Florence)も前処理・検索・グラウンディング段階で併用される。

CLIPとその後継 — 対比学習という出発点

VLMの物語の出発点はOpenAIのCLIP(2021)。4億組の(画像、テキスト)ペアを対比損失(contrastive loss) で学習し、ViT画像エンコーダとテキストエンコーダを同じ空間に埋め込む。要は、1つのミニバッチ内でマッチするペアのコサイン類似度を上げ、マッチしないペアの類似度を下げる。

import torch
import clip
from PIL import Image

device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load("ViT-L/14", device=device)

image = preprocess(Image.open("cat.jpg")).unsqueeze(0).to(device)
texts = clip.tokenize(["a photo of a cat", "a photo of a dog", "a photo of a car"]).to(device)

with torch.no_grad():
    image_features = model.encode_image(image)
    text_features = model.encode_text(texts)
    logits_per_image, logits_per_text = model(image, texts)
    probs = logits_per_image.softmax(dim=-1).cpu().numpy()

print("Label probs:", probs)

2026年5月時点では、純粋なCLIPをそのまま使う現場はほぼない。代わりにSigLIP、SigLIP 2、EVA-CLIP、MetaCLIPが事実上の標準。

CLIP系列は2026年でも「RAGの画像検索バックボーン」「データセットフィルタリング」「ゼロショット分類」「動画クリップランキング」の第一候補。生成型VLMが普及してもこのポジションは消えない。

LLaVA — ビジュアル命令チューニングのデファクト

オープン生成型VLMの出発点はLLaVA(Large Language and Vision Assistant)。2023年4月の初出論文(arXiv:2304.08485)以降、LLaVA-1.5、LLaVA-NeXT、LLaVA-OneVision、LLaVA-NeXT-Interleaveと進化し、2026年5月ではLLaVA-NeXT-Interleaveが事実上の参照アーキテクチャ。

LLaVAの本質は2つ。

  1. シンプルなプロジェクタ(アライメント)層: CLIP/SigLIPビジョンエンコーダの出力トークンをLLMの埋め込み空間にマップする小さなMLP(またはQ-Former系)。ビジョンエンコーダはfrozen、LLMも最初はfrozen、プロジェクタのみ学習。
  2. 2段階学習:
    • Stage 1(特徴アライメント): 画像-キャプションペアでプロジェクタのみを学習。
    • Stage 2(ビジュアル命令チューニング): GPT-4で合成した命令データ(LLaVA-Instruct)でプロジェクタ + LLMをファインチューン。

このシンプルさゆえLLaVAは「自分のLLMにビジョンを付ける最短経路」になった。2026年現在、LLaVA-NeXTはVicuna、Mistral、Llama 3.1/3.3、Qwen 2.5などをLLMバックボーンとしてサポート。

from transformers import LlavaNextProcessor, LlavaNextForConditionalGeneration
import torch
from PIL import Image

processor = LlavaNextProcessor.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf")
model = LlavaNextForConditionalGeneration.from_pretrained(
    "llava-hf/llava-v1.6-mistral-7b-hf",
    torch_dtype=torch.float16,
    device_map="auto",
)

image = Image.open("chart.png")
prompt = "[INST] <image>\nWhat is the trend shown in this chart? [/INST]"

inputs = processor(prompt, image, return_tensors="pt").to("cuda")
output = model.generate(**inputs, max_new_tokens=256)
print(processor.decode(output[0], skip_special_tokens=True))

InternVL3 — オープンVLMの現チャンピオン

上海AI LabのInternVL3(2025年Q4) はオープンVLMの中でMMMU最高峰のスコアを持つモデル群。1B、2B、8B、14B、38B、78Bの構成。

InternVL3の特徴。

InternVL3-78Bは2026年5月時点でMMMUにおいてGPT-4o(2024-08)、Claude 3.7 Vision、Gemini 2.0 Proと一桁台のポイント差まで詰めている。ライセンスはInternLMベースなので商用利用時は規約確認必須。

Qwen2.5-VL — Alibabaの3段階学習レシピ

AlibabaのQwenチームが2025年1月にリリースしたQwen2.5-VL(3B、7B、32B、72B) は、オープンVLM市場のもう一つの柱。本質は3段階学習。

  1. Stage 1 — ビジョンエンコーダ事前学習: 自前ViTを大規模画像-テキストペアで学習。
  2. Stage 2 — マルチモーダル事前学習: ViT + プロジェクタ + LLM全体を大規模インターリーブド(画像-テキスト交互)データで覚醒させる。
  3. Stage 3 — 命令チューニング: 高品質SFT + DPOで命令追従を強化。

Qwen2.5-VLは動画入力とグラウンディングを一級市民として扱う。たとえば「この画像の赤い車の座標を(x1,y1,x2,y2)形式で出力して」のような要求を自然にこなす。32B/72Bはエージェント用途に向けてUIスクリーンショットを見て次のアクションを出力する能力が強化されており、Anthropic Computer Use系のタスクにそのまま使える。

ライセンスはApache 2.0(7B以下)とQwen Research License(32B/72B)の混在。商用利用時はモデル別ライセンス確認必須。

Pixtral · Molmo · Idefics3 · MiniCPM-V — その他の重要なオープンVLM

InternVL3とQwen2.5-VL以外にも、2026年5月時点で次のモデルが各々の立ち位置を確保している。

選び方ガイド: データライセンスのクリーンさが最優先ならIdefics3・Molmo、OCR・文書が核ならInternVL3・Qwen2.5-VL、エージェント・UIが核ならQwen2.5-VL 32B+、オンデバイスが核ならMiniCPM-V・Phi-3.5-Vision。

クローズドフロンティアVLM — GPT-4o · Claude 4.7 · Gemini 2.5

クローズドは一部領域(チャート精度、文書抽出、マルチ画像推論、安全性)でまだ優位。

OpenAI Vision APIの呼び出し例。

from openai import OpenAI
import base64

client = OpenAI()

with open("invoice.png", "rb") as f:
    b64 = base64.b64encode(f.read()).decode()

resp = client.chat.completions.create(
    model="gpt-4o-2026-05",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "Extract invoice number, date, total amount as JSON."},
            {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{b64}"}},
        ],
    }],
)
print(resp.choices[0].message.content)

クローズドの決定的な強みは安定性、安全フィルタ、そしてマルチ画像コンテキストの一貫性。オープンモデルは単一画像ではほぼ追いついたが、「30ページPDFから一貫して抽出」「複数画像の差分分析」のような作業ではクローズドフロンティアがまだ少し安定している。

DINOv2 · DINOv3 — テキストなしで学習されるビジョン基盤

CLIPが(画像、テキスト)ペアで学習されるのに対し、DINOv2(Meta, 2023) はテキストを使わない自己教師ありのViT基盤。arXiv:2304.07193。テキストアライメントなしでも検出・セグメンテーション・深度推定に強力な事前学習表現を提供する。

2025年後半に公開されたDINOv3(仮称)、またはその後継は、より大きなキュレーション済み自然画像データ(約17億枚)と大型モデルで強化された。2026年5月時点ではDINOv2系列がまだ最も広く使われている。

産業現場では「テキストアライメントが不要なビジョンタスク」(異常検知、産業検査、医療画像事前学習)でDINOv2がCLIPより良い出発点になることが多い。

SAM 2 — 画像と動画の汎用セグメンテーション

Segment Anything Model 2(Meta, 2024) は画像だけでなく動画でも物体を追跡しながらセグメントできる汎用モデル。arXiv:2408.00714。1フレームに点・ボックス・マスクでプロンプトすると、動画全体にマスクが伝播する。

2026年5月時点でSAM 2は次のワークロードの標準になった。

SAM 2自身はテキスト入力を受け付けない。テキスト→物体マッチングはGroundingDINOやOWL-ViTのようなオープン語彙検出器を前段に置く。

Florence-2 — Microsoftのマルチタスクビジョン基盤

Florence-2(Microsoft, 2024) はキャプショニング・検出・セグメンテーション・OCR・VQAを1つのseq2seqビジョン基盤で処理する。arXiv:2311.06242。モデルサイズは0.23B(base)と0.77B(large)の2種類のみだが、同サイズの単一タスクSOTAモデルと張り合うレベル。

要はタスクプロンプト: <CAPTION>、<DETAILED_CAPTION>、<OD>、<DENSE_REGION_CAPTION>、<OCR> のような特殊トークンでタスクを切り替える。エッジ・オンデバイスで「ビジョンスイスアーミーナイフ」が必要な時の第一候補。

VLM学習データセット — LAIONからShareGPT4Vまで

VLMの性能はデータセットに左右される。2026年5月時点のコアデータセット。

データライセンスのクリーンさは決定的。2026年に欧州AI Actが発効し、「このモデルがどのデータで学習されたか」の公開義務が強くなっている。Idefics3、Molmo、OpenFlamingoのような「完全公開」モデルの価値が高まった。

VLM評価 — MMMU · MathVista · MMVet · ChartQA · DocVQA · RealWorldQA

VLM評価はLLM評価よりも分化している。コアベンチは次の通り。

2026年5月時点のMMMUリーダーボード上位はGPT-4o(2024-11〜)、Gemini 2.5 Pro、Claude 4.7 Vision、InternVL3-78B、Qwen2.5-VL-72B、Molmo-72B、Pixtral Large。オープン-クローズドの差は5〜8%ポイントまで縮まった。

OCR特化VLM — GOT-OCR 2.0 · Nougat · Donut

文書・表・数式OCRは一般VLMがまだ弱い領域。2026年5月時点でこの領域はOCR特化VLMが棲み分けている。

一般VLM(InternVL3、Qwen2.5-VL)もOCRが大きく改善したが、フォーム・表・多段レイアウト・数式が混在する文書ではまだ専用モデルが精度・コスト両面で優位。

動画VLM — Video-LLaVA · VideoLLaMA · InternVideo · Qwen2-VL-Video

画像から動画に行くとモデル数が一気に絞られる。2026年5月時点の動画VLMのコア。

動画VLMの根本問題はトークン爆発。30fps × 60秒 = 1800フレームで各フレームが256〜1024トークンを占めるとLLMコンテキストが即破綻する。あらゆる動画VLMはフレームサンプリング・トークン圧縮・時間軸プーリングをどう設計するかが本質。

効率的推論 — vLLM · SGLang · TensorRT-LLMがVLMを扱う形

2026年5月時点でVLMサービングの標準は明確。

vLLMでQwen2.5-VLをOpenAI互換サーバとして立てる典型パターン。

pip install "vllm>=0.7.0"

vllm serve Qwen/Qwen2.5-VL-7B-Instruct \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.92 \
  --limit-mm-per-prompt image=4 \
  --tensor-parallel-size 1 \
  --host 0.0.0.0 --port 8000

クライアントはOpenAI SDKをそのまま使える — 画像をbase64の image_url で渡すだけ。

本番デプロイ — トークン予算 · バッチ前処理 · キャッシュ

VLMを実サービスに乗せる際の重要変数はテキストLLMとは異なる。

  1. 画像トークンコスト: 1枚が256〜3000トークンを占有。解像度とタイリングでコントロール。Qwen2.5-VLの min_pixels/max_pixels、InternVL3の max_num_tiles、OpenAIの detail: low/high/auto。
  2. バッチ画像前処理: PILはシングルスレッドでボトルネック。Pillow-SIMD + マルチプロセス、またはGPUデコード(NVIDIA DALI)。
  3. 画像キャッシュ: 同じ画像が繰り返されるならSHA256キーで埋め込み・トークンをキャッシュ。Redisまたはオブジェクトストア。
  4. コンテンツ安全: NSFW分類器とOCRベースのPIIフィルタを前段に。CLIPベース安全分類器はほぼタダ。
  5. トークン予算の事前見積もり: レスポンス開始前に入力画像トークン数を計算し、コストをユーザに開示。
  6. PDFとマルチ画像: ページ単位で切り出して並列処理。Claude 4.7 VisionはPDFネイティブ、それ以外はPyMuPDFでページをPNG化。

トークン予算のワンライナー(Qwen2.5-VL基準):

def estimate_image_tokens(width: int, height: int, min_pixels=256*28*28, max_pixels=1280*28*28) -> int:
    pixels = width * height
    pixels = max(min_pixels, min(max_pixels, pixels))
    # Qwen2.5-VL uses 28x28 patches and merges them 2x2
    patches = pixels / (28 * 28)
    tokens = int(patches / 4)
    return tokens

print(estimate_image_tokens(1920, 1080))  # ~1064 tokens

VLMファインチューニング — LoRA · QLoRA · SwiftVLM

オープンVLMを自社ドメインに合わせる2系統のアプローチ。

ツール: LLaMA-Factory、ms-swift(SwiftVLM)、Unsloth Vision、axolotl。2026年5月時点で ms-swift がQwen・InternVL・LLaVA・Idefics系統を最も広くサポート。

学習データ形式はShareGPT / LLaVA系のJSONが事実上の標準。1サンプルは {"image": "path/to.jpg", "conversations": [...]} 形で、ビジュアル命令チューニングコーパスと互換。

グラウンディングと領域レベル理解 — 座標を出力するVLM

2026年VLMの最大の変化の1つはグラウンディングの一般化。「これは車です」だけでなく「(x1, y1, x2, y2)に車があります」を正確に出力する。

主要モデル。

これはエージェントワークフローの決定的部品。「このスクリーンショットで『保存』を押せ」のような命令でVLMが直接座標を出力すれば追加検出モデル無しでクリック可能。Claude Computer Use、OpenAI Operator、Anthropic Computer Useはすべて同じ原理。

韓国のVLMシーン — HyperCLOVA X Vision · LG EXAONE Vision · NAVER Cloud

韓国も自前のVLMを多数出している。

韓国語OCR・文書理解はまだ自前モデルが強い。一般的マルチモーダル推論はInternVL3・Qwen2.5-VLの韓国語性能が十分妥当なので「オープンモデル + 韓国語SFT」も多い。

日本のVLMシーン — Stockmark · Sakana AI · ABEJA · Preferred Networks

日本も独自のVLMエコシステムが堅実。

日本語OCR・文書・表理解は韓国同様、自前モデルが強い。韓国・日本ともに「グローバルオープンモデル + 自国語ファインチューニング + 自国ドメインデータ」戦略が標準。

組み合わせパターン — 実プロダクションはどう束ねるか

2026年5月時点で実務で頻出するVLMスタック組み合わせ7つ。

  1. Eコマース検索: SigLIP 2 + ChromaDB/Qdrant + GPT-4oリランキング。画像類似度検索の標準。
  2. 金融文書自動抽出: Claude 4.7 Vision(PDFネイティブ) + 自社検証ルール + Surya OCRフォールバック。
  3. Eコマース商品登録: 自前InternVL3-38B + DINOv2埋め込みで重複商品検出。
  4. コンテンツモデレーション: SigLIP安全分類器 + InternVL3またはQwen2.5-VLで精密判定。
  5. カスタマーサポート画像トリアージ: オンプレMiniCPM-V 3.0 + GPT-4oフォールバック。
  6. エージェント(コンピュータ操作): Qwen2.5-VL-32B(またはClaude 4.7) + SAM 2 + 自社アクションモデル。
  7. 医療・産業検査: DINOv2 frozenバックボーン + ドメインヘッド。テキストアライメント不要領域の標準。

複数のVLMをルーティング(LiteLLM、Portkey、OpenRouter)で束ね、高価なクローズドは難しいケースだけにフォールバックさせるパターンが標準になった。

安全 · ガバナンス · EU AI Actの影響

VLMリスクはLLMリスクより分化している。2026年5月時点の主要論点。

導入ロードマップ — 0から本番まで

VLMを初めて導入するチームのための6週間ロードマップ。

落とし穴: 「MMMUスコアだけでモデル選定」「安全フィルタ無しで本番投入」「PDFを丸ごと1回で送ってトークン爆発」「画像キャッシュ無しで同じ写真を繰り返し呼ぶ」。

おわりに — 2026年5月、VLMは「基盤インフラ」になった

2024年は「GPT-4Vを使え」が答えだった。2026年5月では答えが分かれる。

VLMは「個別統合が必要な新技術」から「テキストLLMと同じく呼ぶだけの基盤インフラ」へ移行した。今後12ヶ月の差別化はモデル自体ではなくデータキュレーション · 評価セット · ドメインSFT · 安全 · コスト管理から生まれる。

References

原文を読む: https://www.youngju.dev/blog/culture/2026-05-16-vision-language-models-clip-llava-internvl-qwen-vl-gpt4o-gemini-claude-vlm-2026-deep-dive.ja

コメント

まだコメントはありません。

ログインするとコメントできます