タグ: #llmops
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 12 件
LangfuseがトレースをClickHouseに置く理由 — 保存層の役割分担
Langfuseを自分で立ち上げてみると、まずデータストアが一つではないことに驚きます。ClickHouse、Postgres、Redis、オブジェクトストレージの四つがそれぞれ別の役割を担います。本記事は公式ドキュメントを基準に、各ストアが何を持つのか、取り込まれたイベントがどの順序でこれらの構成要素を通るのか、大きなペイロードがどこへ抜けるのかを整理します。カラム指向ストレージがトレース分析の問い合わせに合う理由をClickHous
2026-08-14 · 19 分で読めます #observability#langfuse#clickhouse#architecture#postgresLangfuseトレーシングのデータモデル — trace、observation、scoreが一度の実行を収める形
Langfuseの画面を先に見ても、何を見ているのかは分かりません。本記事はLangfuseが収集するデータの形から整理します。traceが何をまとめ、observationがspan・generation・eventに分かれる基準は何か、sessionとuserがtraceの上にどんな層として乗るのか、scoreがどこに付くのかを公式ドキュメントで確認します。RAGの一回の呼び出しとエージェントの一回の実行がそれぞれどんなツリーとして
2026-08-14 · 14 分で読めます #observability#langfuse#llm-tracing#data-modeling#opentelemetry集めたあと — Langfuseのダッシュボード、メトリクスAPI、そしてトレースに付く評価
トレースを集めることと、そのトレースから答えを得ることは別の仕事です。本記事はLangfuseが提供する指標の軸は何で、それをどの次元で切って見るべきかを整理したうえで、メトリクスAPI v2の問い合わせ構造を実際のリクエストの形で確認します。v4でtracesビューが姿を消しobservations中心に再編された変化、scoreがtrace・observation・session・データセット実行の四か所に付く仕組み、評価器がtra
2026-08-14 · 16 分で読めます #observability#langfuse#llm-evaluation#metrics-api#dashboardLangfuseのセルフホスト — 配備経路、シークレット、そして初回起動で引っかかるもの
Langfuseを自分で運用するには、コンテナ二つとデータストア四つを同時に立てる必要があります。本記事は公式ドキュメントを基準に、docker compose の経路とHelmチャートの経路をそれぞれ整理し、必ず自分で作って入れるシークレットは何か、PostgresとClickHouseの接続文字列がなぜ二つずつ必要か、オブジェクトストレージの設定でMinIOが要求するオプションは何かを押さえます。マイグレーションが自動で走る仕組みと
2026-08-14 · 15 分で読めます #observability#langfuse#self-hosting#docker-compose#kubernetesLLM Opsが実際にやっていること — 再現性、汚染、チェックポイント、昇格、そしてロールバック
LLM Opsをツールの一覧ではなく責任の一覧として整理しました。学習の実行を再構築できるようにする実行マニフェストに何を含めるべきか、評価セットのデータ汚染をどう防ぎ監査するか、チェックポイント間隔を障害率から逆算する公式と保管コストの実際の数字、評価をCIに組み込む際に何をゲートにするかを扱います。後半では学習とサービングの間の引き継ぎで実際に壊れる箇所、デプロイ後の回帰検知、ロールバック設計を扱います。ツールはカテゴリ別にのみ紹介
2026-08-02 · 23 分で読めます #mlops#llmops#reproducibility#evaluation#model-registryLLMOps 完全ガイド: モデル・プロンプト・評価セットの3軸バージョン管理、Canary、コスト統制、プラットフォームチーム (2025)
LLM プロダクトを速く作る方法は簡単になった。持続可能に回し続ける方法が難しい。モデル・プロンプト・評価セットの3軸バージョン管理、Shadow/Canary/Blue-Green デプロイ、トークン・キャッシュ・モデルルーティングによるコスト統制、組織構造（AI プラットフォーム/Model プラットフォーム/Product AI）、失敗事例、KPI・オンコールまで。MLOps の延長線上にありながら、LLM 固有の課題に正面から向
2026-04-15 · 14 分で読めます #llmops#mlops#devops#canary#cost-controlプロンプトキャッシング実践ガイド: エージェントアプリのコストとレイテンシーを同時に下げる
エージェントアプリでプロンプトキャッシングが重要な理由、OpenAIとAnthropicの違い、プロンプト構成パターン、ROIの見方、よくある失敗、移行チェックリストを実務向けに整理します。
2026-04-12 · 13 分で読めます #prompt-caching#latency#cost-optimization#ai-agent#llmopsMLOps & モデルライフサイクル完全ガイド: MLflow、DVC、LLMOpsまで
MLOps成熟度モデルからMLflow実験追跡、DVCデータバージョン管理、フィーチャーストア、LLMOpsまで、実践的なMLパイプライン完全ガイドです。
2026-03-17 · 21 分で読めます #mlops#mlflow#dvc#llmops#フィーチャーストアGemini API を本番に載せるための Prompt、Guardrails、Evaluation
Gemini API を本番サービスで扱うために必要なプロンプト設計、structured output、安全性ポリシー、評価ループ、コスト制御を整理した実践ガイドです。
2026-03-17 · 7 分で読めます #gemini#generative-ai#ai#llmops#prompt-engineeringLLMOpsプラットフォーム構築ガイド：モデルデプロイ、モニタリング、A/Bテスト
LLMOpsプラットフォームの設計と実装を解説します。vLLM/TGIベースのモデルサービング、トークン使用量/レイテンシ/品質モニタリング、プロンプトバージョン管理、A/Bテストフレームワーク、ガードレール統合まで、本番LLM運用の全ライフサイクルをコードとともに構築します。
2026-03-13 · 19 分で読めます #ai-platform#llmops#model-serving#monitoring#ab-testingChatbot Tool Calling Guardrails 設計：安全なツール呼び出しアーキテクチャ実践
ツールコーリングチャットボットをプロダクションで安全に運用するためのガードレール設計をまとめる。スキーマ検証、権限制御、ポリシーエンジン、リスクスコア、観測/回帰テストまでコード中心で扱う。
2026-03-04 · 18 分で読めます #chatbot#tool-calling#guardrails#ai-agent#securityRAGチャットボット評価実践：オフライン/オンライン品質測定からプロダクションガードレールまで
RAGチャットボットを実際のサービスで安定的に運用するための評価体系をまとめる。オフラインベンチマーク、LLM-as-a-Judge、オンライン実験、アラート閾値、回帰防止パイプラインまでコード中心で扱う。
2026-03-04 · 22 分で読めます #chatbot#rag#evaluation#llmops#production