태그: #vector-database
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 16 편
지금 주목받는 오픈소스 (5) 데이터와 ML 파이프라인
데이터 파이프라인은 스케줄러 하나로 해결되지 않습니다. 적재, 변환, 오케스트레이션, 실행 엔진, 모델 수명 주기, 검색 저장소가 각각 다른 도구의 영역이 되었습니다. 이 층들에서 실제로 쓰이는 오픈소스 11개를 스타 순위가 아니라 담당 구간별로 묶어 소개합니다. 무엇을 대체하는지, 성숙도가 어느 정도인지, 언제 쓰면 안 되는지를 함께 적었고, 저장소 경로와 라이선스, 스타 수, 최근 푸시는
2026-08-12 · 9 분 읽기 #open-source#data-engineering#mlops#python#rust벡터 인덱스의 기본값이 HNSW에서 디스크로 바뀐 이유 — Elasticsearch bbq_disk의 트레이드오프
Elasticsearch 9.4(2026-05-05)부터 float 벡터의 기본 인덱스 타입이 bbqdisk, 즉 디스크 기반 IVF로 바뀌었습니다. 1년 사이에 기본값이 int8hnsw에서 bbqhnsw로, 다시 그래프가 아닌 디스크 인덱스로 옮겨간 것인데, 이 이동은 벡터 검색의 진짜 비용이 계산이 아니라 RAM에 있다는 판단을 담고 있습니다. 이 글은 HNSW의 메모리 절벽이 벤더 벤치
2026-07-16 · 41 분 읽기 #vector-database#elasticsearch#ann-index#quantization#hnsw벡터 데이터베이스 2026 완벽 가이드 - Pinecone · Weaviate · Qdrant · Milvus · pgvector · LanceDB · Chroma · FAISS · DiskANN 심층 분석
2026년 5월 기준 RAG와 시맨틱 검색을 지탱하는 벡터 DB 생태계를 끝까지 본다. Pinecone Serverless v3, Weaviate, Qdrant(Rust), Milvus 2.5 + Zilliz, Chroma, LanceDB, pgvector + pgvectorscale + ParadeDB, Vespa, OpenSearch k-NN, Redis Vector, MongoDB At
2026-05-16 · 29 분 읽기 #vector-database#pinecone#weaviate#qdrant#milvus벡터 데이터베이스 2026 완벽 가이드 - Pinecone · Weaviate · Milvus · Qdrant · Chroma · LanceDB · pgvector · Vespa · Turbopuffer 심층 분석
2026년 벡터 데이터베이스 시장은 캄브리아기 폭발 그 자체다. Pinecone serverless, Weaviate 1.27, Milvus 2.5, Qdrant 1.13, Chroma 0.5, LanceDB 0.20, pgvector 0.8, Vespa, Turbopuffer까지 — 10개 이상의 진영이 각자의 의견을 들고 시장에 들어왔다. HNSW와 DiskANN, IVF·PQ·SQ 같은
2026-05-16 · 46 분 읽기 #vector-database#pinecone#weaviate#milvus#qdrant벡터 DB 지형 2026 — Pinecone Serverless·Turbopuffer·pgvectorscale·Qdrant·Weaviate·Vespa 한 장에 정리하는 딥다이브
2024년에 쓴 '벡터 DB 비교' 글은 이미 낡았다. Pinecone Serverless의 가격 붕괴, Turbopuffer가 S3 위에 띄운 2.5조 벡터, pgvectorscale의 StreamingDiskANN, Qdrant의 RocksDB 제거, Weaviate의 ColBERT 멀티벡터, Milvus 2.6의 GPU 인덱스, Vespa가 Spotify에서 돌리는 실시간 하이브리드,
2026-05-14 · 29 분 읽기 #vector-database#pinecone#turbopuffer#pgvector#qdrantANN 알고리즘 완전 가이드 2025: HNSW, IVF, Product Quantization, LSH — 벡터 DB의 내부는 어떻게 작동하는가
Pinecone, Weaviate, Qdrant, pgvector가 수억 벡터에서 밀리초 만에 유사 항목을 찾는 비결. HNSW, IVF, Product Quantization, LSH 등 ANN 알고리즘의 수학과 구현을 720줄로 깊이 있게 파헤친다.
2026-04-15 · 40 분 읽기 #ann#hnsw#ivf#product-quantization#lshAI 엔지니어링 실전 — LLM API, RAG, 에이전트, LoRA/DPO, 벡터 DB, 평가, 관측, Prompt Injection 완전 가이드 (2025)
LLM API 프로덕션 호출의 진짜 어려움, RAG가 단순 조회가 아닌 이유, 에이전트 패턴(ReAct/Plan-Execute/ReWOO), 파인튜닝 언제/언제 하지 말까(LoRA/QLoRA/DPO), 벡터 DB 선택 매트릭스, LLM 평가의 근본적 어려움, 비용 최적화, Prompt Injection 방어까지. 데모가 아닌 '진짜 프로덕션' AI 앱을 만드는 법.
2026-04-15 · 20 분 읽기 #ai-engineering#llm#rag#ai-agent#loraVector Database 완전 가이드 2025: 임베딩, 유사도 검색, Pinecone/Weaviate/Qdrant/pgvector
Vector DB의 모든 것! 벡터 임베딩 원리, 유사도 검색(코사인/유클리드/내적), 인덱싱 알고리즘(HNSW/IVF/PQ), Pinecone vs Weaviate vs Qdrant vs Milvus vs pgvector 비교, 하이브리드 검색, 필터링, 프로덕션 운영, 성능 벤치마크.
2026-04-13 · 34 분 읽기 #vector-database#embedding#similarity-search#pinecone#weaviateVector Database 엔지니어 커리어 가이드: Pinecone·Weaviate·Milvus·pgvector 완전 비교와 RAG 시대의 필수 역량
RAG 시대의 핵심 인프라 Vector Database를 완전 분석합니다. Pinecone, Weaviate, Milvus, Qdrant, pgvector, Chroma 6대 벡터 DB 아키텍처/성능/비용 비교, 임베딩 모델 선택, ANN 알고리즘(HNSW/IVF), 하이브리드 검색, 프로덕션 운영 가이드.
2026-03-23 · 55 분 읽기 #vector-database#pinecone#weaviate#milvus#qdrantRAG 시스템 완전 정복: 검색 증강 생성의 모든 것
RAG(검색 증강 생성) 시스템을 완전히 마스터하는 가이드. 기본 RAG부터 고급 Self-RAG, Corrective-RAG, HyDE까지, 벡터 데이터베이스, 임베딩 모델, 청킹 전략, 리랭킹까지 실전 예제로 구축합니다.
2026-03-17 · 39 분 읽기 #rag#llm#vector-database#langchain#embedding데이터베이스 엔지니어링 완전 정복: SQL부터 벡터DB, AI RAG 시스템까지
SQL 고급 기법부터 pgvector 벡터 검색, Pinecone, RAG 시스템 구축까지 AI 시대의 데이터베이스 엔지니어링 완전 가이드입니다.
2026-03-17 · 29 분 읽기 #database#postgresql#vector-database#pgvector#ragRAG 2.0: 기업 지식관리의 혁신 - 단순 챗봇을 넘어 지능형 조직 메모리로
RAG(검색 증강 생성)는 2026년 기업 인공지능의 핵심 기술로 진화했습니다. 하이브리드 검색, 지식 그래프 통합, 다중 모달 처리를 통해 조직 전체의 암묵적 지식을 명시적인 조직 메모리로 변환하며, 단순한 챗봇을 넘어 전략적 의사결정 도구로 활용되고 있습니다.
2026-03-16 · 16 분 읽기 #rag#llm#enterprise#knowledge-management#vector-databaseRAG 파이프라인 프로덕션 구축 가이드: 벡터 DB 선택부터 청킹·리랭킹·평가까지
RAG(Retrieval-Augmented Generation) 파이프라인의 프로덕션 구축을 체계적으로 다룹니다. 임베딩 모델 비교, 벡터 DB 선택(Pinecone·Milvus·Weaviate·Qdrant·Chroma), 청킹 전략, 하이브리드 검색, 리랭킹, RAGAS 평가 메트릭, 장애 대응까지 실전 운영 노하우를 제공합니다.
2026-03-11 · 25 분 읽기 #llm#rag#vector-database#retrieval#embeddingQdrant 벡터DB 운영 및 사용 방법 총정리 — 컬렉션 설계부터 RAG 연동까지
Qdrant 벡터DB의 핵심 개념부터 컬렉션 설계, 인덱스 전략, 필터링, RAG 파이프라인 연동, 운영 모니터링까지 실전에서 바로 쓸 수 있는 가이드를 정리했습니다.
2026-03-09 · 18 분 읽기 #database#qdrant#vector-database#embedding#similarity-searchRAG 기반 FAQ 챗봇 프로덕션 구축 가이드: 벡터 DB 선정부터 운영 최적화까지
RAG 파이프라인의 청킹·임베딩·검색 전략, Pinecone·Weaviate·Milvus 벡터 DB 비교, LangChain 기반 FAQ 챗봇 구현, 프로덕션 배포와 품질 평가·모니터링까지 다루는 실전 가이드.
2026-03-06 · 42 분 읽기 #chatbot#rag#vector-database#faq#langchainRAG: Retrieval-Augmented Generation 논문 분석과 실전 아키텍처
RAG 논문의 핵심 개념을 분석하고, Chunking 전략, Vector DB 선택, Advanced RAG 패턴 등 프로덕션 레벨 RAG 시스템 설계를 정리한다.
2026-03-01 · 35 분 읽기 #ai-papers#rag#llm#vector-database#langchain