태그: #sliding-window
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 2 편
API Rate Limiting 완전 가이드 2025: Token Bucket, Sliding Window, 분산 환경, Stripe/GitHub 사례
API Rate Limiting의 모든 것! 5대 알고리즘(Token Bucket, Leaky Bucket, Fixed/Sliding Window), 분산 환경 구현(Redis), HTTP 429 응답, Burst 처리, Stripe/GitHub/Twitter 실전 사례, 우회 방지.
2026-04-15 · 17 분 읽기 #rate-limiting#api#token-bucket#sliding-window#leaky-bucket멀티턴 대화 관리와 컨텍스트 최적화: LLM 챗봇의 Memory 패턴·대화 요약·Sliding Window 전략
LLM 챗봇에서 멀티턴 대화를 효과적으로 관리하는 메모리 패턴을 다룹니다. Buffer·Summary·Vector Store 메모리, Sliding Window 전략, 대화 요약 기법, 토큰 비용 최적화, LangChain/LlamaIndex 구현, 벡터 DB 기반 영속 메모리, 컨텍스트 드리프트 대응, 프로덕션 아키텍처 패턴을 설명합니다.
2026-03-12 · 28 분 읽기 #chatbot#multi-turn#conversation-management#memory-pattern#context-window