タグ: #langfuse
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 9 件
Langfuse SDK計測 — 何が自動で取れて何を手で入れるか
トレースを作る作業はSDKを入れることではなく、境界を引くことです。本記事はLangfuse Python SDK v4を基準に、デコレータ、コンテキストマネージャ、手動生成という三つの計測方式が何を違えているのかを整理し、属性を下へ流すpropagateattributesがなぜ必要か、OpenAIやLangChainのようなフレームワーク統合が自動で取ってくれる範囲はどこまでかを押さえます。v4で取り込み経路がOpenTelemet
2026-08-14 · 14 分で読めます #observability#langfuse#llm-tracing#instrumentation#opentelemetryLangfuseがトレースをClickHouseに置く理由 — 保存層の役割分担
Langfuseを自分で立ち上げてみると、まずデータストアが一つではないことに驚きます。ClickHouse、Postgres、Redis、オブジェクトストレージの四つがそれぞれ別の役割を担います。本記事は公式ドキュメントを基準に、各ストアが何を持つのか、取り込まれたイベントがどの順序でこれらの構成要素を通るのか、大きなペイロードがどこへ抜けるのかを整理します。カラム指向ストレージがトレース分析の問い合わせに合う理由をClickHous
2026-08-14 · 19 分で読めます #observability#langfuse#clickhouse#architecture#postgresLangfuseトレーシングのデータモデル — trace、observation、scoreが一度の実行を収める形
Langfuseの画面を先に見ても、何を見ているのかは分かりません。本記事はLangfuseが収集するデータの形から整理します。traceが何をまとめ、observationがspan・generation・eventに分かれる基準は何か、sessionとuserがtraceの上にどんな層として乗るのか、scoreがどこに付くのかを公式ドキュメントで確認します。RAGの一回の呼び出しとエージェントの一回の実行がそれぞれどんなツリーとして
2026-08-14 · 14 分で読めます #observability#langfuse#llm-tracing#data-modeling#opentelemetry集めたあと — Langfuseのダッシュボード、メトリクスAPI、そしてトレースに付く評価
トレースを集めることと、そのトレースから答えを得ることは別の仕事です。本記事はLangfuseが提供する指標の軸は何で、それをどの次元で切って見るべきかを整理したうえで、メトリクスAPI v2の問い合わせ構造を実際のリクエストの形で確認します。v4でtracesビューが姿を消しobservations中心に再編された変化、scoreがtrace・observation・session・データセット実行の四か所に付く仕組み、評価器がtra
2026-08-14 · 16 分で読めます #observability#langfuse#llm-evaluation#metrics-api#dashboardLangfuseのセルフホスト — 配備経路、シークレット、そして初回起動で引っかかるもの
Langfuseを自分で運用するには、コンテナ二つとデータストア四つを同時に立てる必要があります。本記事は公式ドキュメントを基準に、docker compose の経路とHelmチャートの経路をそれぞれ整理し、必ず自分で作って入れるシークレットは何か、PostgresとClickHouseの接続文字列がなぜ二つずつ必要か、オブジェクトストレージの設定でMinIOが要求するオプションは何かを押さえます。マイグレーションが自動で走る仕組みと
2026-08-14 · 15 分で読めます #observability#langfuse#self-hosting#docker-compose#kubernetesトレースが費用になるとき — Langfuseの保持、サンプリング、マスキング
トレーシングはトラフィックが少ないうちは無料のように見え、ある時点から保存費用と個人情報の問題として戻ってきます。本記事はLangfuseで量が費用に変わる地点を四つに分けて整理し、公式ドキュメントを基準にサンプリングがtrace単位で決まるという事実とそれが実務で何を意味するか、PythonとJSそれぞれのマスキング方式がデータをどの時点で隠すのかを確認します。保持ポリシーの既定値が削除しないであること、最小の保持期間と削除の基準にな
2026-08-14 · 16 分で読めます #observability#langfuse#cost#sampling#data-retentionLLM 可観測性 & プロンプトツール 2026 — Helicone / LangSmith / Langfuse / Braintrust / Athina / Comet Opik / Portkey 徹底比較
2026年の LLM ops 地図。Helicone (YC) · LangSmith (LangChain) · Langfuse (OSS Series A) · W&B Weave · Arize Phoenix · Braintrust · Athina · Comet Opik (2025年3月リリース) · Vellum · PromptHub · Portkey AI Gateway · TruLens · Ragas ·
2026-05-16 · 33 分で読めます #llm-observability#prompt-engineering#helicone#langsmith#langchainLLM 評価 & 可観測性 完全ガイド: Eval Harness、LLM-as-Judge、Tracing、回帰防止 (2025)
モデルを変えたら「何となく良くなった気がする」は科学ではない。2025年のLLMプロダクトの失敗要因1位は「測定していないこと」。Eval harness 設計、LLM-as-judge の落とし穴と補正、Trace・Span・Metric 3層可観測性、本番フィードバックループ、Phoenix・LangSmith・LangFuse・Helicone 比較まで。評価をプロダクト開発の基盤に据える方法。
2026-04-15 · 16 分で読めます #llm-eval#observability#llm-judge#distributed-tracing#langsmithLLMプロダクションモニタリングプラットフォーム比較：LangSmith・LangFuse・Arize Phoenix 実践運用ガイド
LLMプロダクションモニタリングプラットフォーム3種（LangSmith、LangFuse、Arize Phoenix）の総合比較ガイド。トレース収集、プロンプトバージョン管理、評価パイプライン、コストモニタリング、品質ダッシュボード構成、そして実践的な選択基準までコード例とともに解説します。
2026-03-09 · 32 分で読めます #ai-platform#llm-monitoring#langsmith#langfuse#arize