태그: #ai-platform
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 50 편
지금 주목받는 오픈소스 (1) AI 에이전트와 LLM 도구
LLM 애플리케이션 스택은 추론 서버, 오케스트레이션, 게이트웨이, 에이전트, RAG로 층이 갈라졌습니다. 각 층에서 실제로 쓰이는 오픈소스 12개를 스타 순위가 아니라 역할별로 묶어 소개합니다. 프로젝트마다 무엇을 대체하는지, 성숙도가 어느 정도인지, 어떤 상황에서 쓰면 안 되는지를 함께 정리했고, 저장소 경로와 라이선스, 스타 수, 최근 푸시 날짜는 2026년 8월 12일 GitHub에서
2026-08-12 · 10 분 읽기 #open-source#llm#ai-agent#ai-platform#ragvLLM 내부 구조 (1) — 요청 하나가 토큰이 되어 나오기까지
vLLM에 요청 하나가 들어와 토큰이 나오기까지의 전체 경로를 따라갑니다. API 서버, 스케줄러, KV 캐시 매니저, 워커, 샘플러가 각각 무슨 일을 하는지, V1 재작성 이후 프로세스가 어떻게 나뉘는지를 공식 문서와 소스로 확인해 정리했습니다. vLLM 내부 구조 시리즈 1편.
2026-08-12 · 10 분 읽기 #vllm#llm#inference#gpu#ai-platformOpenAI RFT with Custom Graders: A Practical Guide for Product and Platform Teams
A practical guide to OpenAI reinforcement fine-tuning with custom graders, including when to use it, how to prepare data, how to evaluate checkpoints, and how to roll it out safely.
2026-04-12 · 5 분 읽기 #ai-platform#openai#rft#reinforcement-fine-tuning#custom-gradersGemini CLI 실전 가이드: 터미널 우선 AI 에이전트를 도입할지 판단하는 법
2026년 시점에서 Gemini CLI가 IDE 우선 도구와 어떻게 다른지, plan mode와 hooks, MCP, 스크립팅이 실제 개발 흐름에 어떤 의미를 갖는지, 그리고 팀에 안전하게 도입하는 방법을 정리한다.
2026-04-12 · 13 분 읽기 #gemini-cli#google-gemini#terminal-ai#ai-agent#mcpLlamaIndex Workflows 실전 가이드: 이벤트 기반 에이전트와 RAG를 프로덕션으로 옮기는 법
LlamaIndex Workflows를 이벤트 기반 설계, observability, human-in-the-loop, LlamaDeploy 관점에서 정리한 실전 가이드입니다. 언제 쓰고 어떻게 운영에 올릴지까지 함께 다룹니다.
2026-04-12 · 11 분 읽기 #llamaindex#workflows#agent-workflow#rag#observabilityAmazon Bedrock AgentCore Practical Guide: How to Build Secure Production Agents in 2026
A practical guide to Amazon Bedrock AgentCore for teams that need secure, production-ready agents, with clear coverage of Runtime, Memory, Gateway, observability, and rollout checks.
2026-04-12 · 6 분 읽기 #aws#bedrock#agentcore#ai-agent#mcpPydanticAI 실전 가이드: 2026년 Python 팀이 프로덕션 에이전트에 채택하는 이유
Python 중심 에이전트 시스템, 모델 유연성, 내구성 있는 워크플로, 관측 가능성, 평가 체계가 필요한 팀을 위한 PydanticAI 실전 가이드입니다.
2026-04-12 · 11 분 읽기 #pydantic#pydantic-ai#python#ai-agent#mcpGoogle Agent Development Kit 실전 가이드: 엔터프라이즈 에이전트에 ADK가 맞는 이유
Google Agent Development Kit를 평가하는 팀을 위한 실전 가이드로, 컨텍스트 관리, callbacks, 멀티에이전트 구성, 롤아웃 판단 기준을 중심으로 정리한다.
2026-04-12 · 10 분 읽기 #google-adk#agent-development-kit#ai-agent#multi-agent#session-state브라우저·컴퓨터 유즈 에이전트 실전 가이드: 2026년 팀이 바로 도입할 수 있는 아키텍처, 안전장치, 체크리스트
브라우저와 가상 컴퓨터를 직접 조작하는 에이전트가 왜 지금 중요해졌는지, 어떤 아키텍처로 설계해야 하는지, 어디까지 자동화하고 어디서 멈춰야 하는지 실무 기준으로 정리한다.
2026-04-12 · 17 분 읽기 #ai-platform#ai-agent#browser-agent#computer-use#automationMastra 실전 가이드: 2026년 TypeScript 팀이 프로덕션 AI 에이전트에 채택하는 이유
오픈소스 TypeScript 스택 안에서 에이전트, 메모리, 워크플로, 관측 가능성, 평가, 프로덕션 배포를 함께 다뤄야 하는 팀을 위한 Mastra 실전 가이드입니다.
2026-04-12 · 12 분 읽기 #mastra#typescript#ai-agent#mcp#memoryManaged Agent Platforms Comparison Guide: OpenAI AgentKit vs Azure AI Foundry Agent Service vs Amazon Bedrock AgentCore
A practical comparison of three managed agent platforms as of 2026-04-12, including product fit, governance, tooling, deployment, and rollout checklists grounded in official docs.
2026-04-12 · 5 분 읽기 #ai-platform#managed-agents#agent-platform#comparison#openaiCloudflare AI Gateway 실전 가이드: AI 트래픽을 관찰하고 제어하는 가장 빠른 방법
Cloudflare AI Gateway를 왜 쓰는지, 어떤 제어가 가능한지, Dynamic Routing과 자동 재시도를 어떻게 함께 써야 하는지 2026년 4월 기준으로 실무적으로 정리한다.
2026-04-12 · 11 분 읽기 #ai-platform#cloudflare#ai-gateway#observability#cachingAzure AI Foundry Agent Service 실전 가이드: 2026년 엔터프라이즈 배포 판단 기준
Azure AI Foundry Agent Service를 엔터프라이즈 관점에서 정리한 실전 가이드로, 왜 관리형 에이전트가 필요한지, 도구 카탈로그와 원격 MCP 서버를 어떻게 활용하는지, 그리고 tracing, evaluation, governance, private networking 기준으로 어떻게 배포를 판단할지 설명한다.
2026-04-12 · 9 분 읽기 #azure#azure-ai-foundry#agent-service#ai-agent#mcpOpenAI Responses API와 Agents SDK 실전 가이드: 2026년 팀이 아키텍처를 다시 그리는 법
2025년 3월 11일 공개된 OpenAI Responses API와 Agents SDK를 기준으로, 어떤 팀이 Chat Completions를 유지하고 어떤 팀이 Responses API로 옮겨야 하는지, Assistants API 사용자는 무엇을 언제 준비해야 하는지 실무 중심으로 정리한다.
2026-04-12 · 19 분 읽기 #openai#responses-api#agents-sdk#ai-agent#chat-completionsVercel AI SDK 6와 AI Gateway로 멀티 모델 앱 만들기: 2026 실전 가이드
2025년 12월 22일 공개된 Vercel AI SDK 6와 AI Gateway를 바탕으로, 2026년 멀티 모델 아키텍처를 설계하는 방법과 fallback, provider routing, human approval, Next.js 도입 체크리스트를 실무 관점에서 정리한다.
2026-04-12 · 15 분 읽기 #ai-platform#ai-sdk#ai-gateway#multi-model#fallbacksOpenAI AgentKit과 에이전트 평가 워크플로: 데이터셋, 트레이스 그레이딩, 프롬프트 최적화 실전 가이드
2025년 10월 6일 공개된 OpenAI AgentKit을 기준으로, 데이터셋 기반 평가와 트레이스 그레이딩, 자동 프롬프트 최적화를 어떻게 운영 워크플로에 연결할지 실무 관점에서 정리한다.
2026-04-12 · 17 분 읽기 #ai-platform#agentkit#agent-evals#trace-grading#prompt-optimizationAI Gateway Platforms Comparison Guide: Vercel AI Gateway vs Cloudflare AI Gateway vs Amazon Bedrock AgentCore Gateway
A practical comparison of AI gateway layers as of 2026-04-12, showing where Vercel AI Gateway, Cloudflare AI Gateway, and Amazon Bedrock AgentCore Gateway belong in the stack.
2026-04-12 · 4 분 읽기 #ai-platform#ai-gateway#comparison#vercel#cloudflareModel Context Protocol 운영 가이드: 서버 설계, Tool 거버넌스, Transport 전략
Model Context Protocol을 실무에 도입할 때 필요한 서버 경계 설정, tool 설계, transport 선택, 인증, 토큰 예산 관리, 운영 체크리스트를 공식 문서 중심으로 정리합니다.
2026-03-17 · 13 분 읽기 #ai-platform#mcp#model-context-protocol#ai-agent#tool-governance1M 컨텍스트 윈도우 시대의 LLM 활용 전략: 대규모 문맥 처리의 실전 가이드
2026년 3월 Anthropic이 Claude Opus 4.6/Sonnet 4.6의 1M 토큰 컨텍스트 윈도우를 GA로 발표했다. 기존 128K~200K 제한에서 1M으로의 확장이 가져오는 활용 패러다임의 전환, 실전 활용 패턴 5가지, RAG 대비 트레이드오프, 비용 최적화 전략까지 종합 가이드를 제공한다.
2026-03-15 · 41 분 읽기 #ai-platform#llm#context-window#long-context#claudeVibe Coding과 2026 AI 개발 도구 생태계: 생산성 혁명의 빛과 그림자
Andrej Karpathy가 제안한 Vibe Coding 개념의 1년 후 현실을 분석합니다. 2026년 AI 코딩 도구 생태계의 현황, 생산성 데이터, 한계, 그리고 엔지니어가 준비해야 할 전략을 다룹니다.
2026-03-14 · 28 분 읽기 #vibe-coding#ai-tools#developer-productivity#ai-platform#trend-analysis