태그: #elasticsearch
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 13 편
데이터 저장소와 큐의 세대교체 — 라이선스, 포크, 그리고 Attic으로 간 프로젝트들
데이터 계층에서 자리를 내주었거나 배포 조건이 바뀐 프로젝트 10개를 공식 발표문과 Apache Attic 기록만 근거로 정리합니다. Redis와 Elasticsearch, MongoDB의 라이선스 변경과 그로 인해 생긴 Valkey, OpenSearch 포크를 사실만으로 다루고, Kafka에서 ZooKeeper가 빠진 과정, Apache Attic으로 이관된 Sqoop과 Oozie, Gir
2026-08-12 · 18 분 읽기 #open-source#database#kafka#redis#elasticsearch로그를 검색 가능하게, 그리고 파산하지 않게 — 구조화, 매핑 폭발, 보존, 그리고 진짜 비용
로그 비용이 컴퓨트 비용을 넘어서는 시점은 대부분의 조직에 옵니다. 그 시점을 늦추는 것은 압축률이 아니라 무엇을 필드로 만들 것인가에 대한 결정입니다. 구조화 로그의 필드 설계부터 OpenSearch 매핑 폭발이 실제로 클러스터를 죽이는 경로, 인덱스 템플릿과 ISM 으로 수명주기를 통제하는 방법, 원칙 있는 샘플링과 보존 계층을 다룹니다. 마지막으로 로그로 메트릭을 흉내 낼 때 드는 비용
2026-08-02 · 24 분 읽기 #observability#logging#opensearch#elasticsearch#cost벡터 인덱스의 기본값이 HNSW에서 디스크로 바뀐 이유 — Elasticsearch bbq_disk의 트레이드오프
Elasticsearch 9.4(2026-05-05)부터 float 벡터의 기본 인덱스 타입이 bbqdisk, 즉 디스크 기반 IVF로 바뀌었습니다. 1년 사이에 기본값이 int8hnsw에서 bbqhnsw로, 다시 그래프가 아닌 디스크 인덱스로 옮겨간 것인데, 이 이동은 벡터 검색의 진짜 비용이 계산이 아니라 RAM에 있다는 판단을 담고 있습니다. 이 글은 HNSW의 메모리 절벽이 벤더 벤치
2026-07-16 · 41 분 읽기 #vector-database#elasticsearch#ann-index#quantization#hnswNoSQL·이기종 데이터 마이그레이션 — RDB와 MongoDB와 다양한 스토어 사이에서
관계형과 문서형은 데이터 모델 자체가 다릅니다. RDB에서 문서로, 문서에서 RDB로 옮길 때 무엇을 다시 설계해야 하는지, 스트랭글러와 이중 쓰기와 CDC로 어떻게 무중단 이전을 하는지, 그리고 일관성을 어디까지 양보할지 실전 관점에서 정리합니다.
2026-06-16 · 30 분 읽기 #database#migration#nosql#mongodb#cdc셀프 호스트 검색 엔진 2026 완벽 가이드 - Meilisearch · Typesense · Manticore · OpenSearch · Vespa · ParadeDB · Orama · ElasticSearch 심층 분석
2026년의 검색 엔진 지형은 Algolia가 만든 관리형 시장 위에, Meilisearch·Typesense·Manticore·OpenSearch·Vespa·ParadeDB·Orama 같은 셀프 호스트 대안이 폭발적으로 성장하면서 다시 그려졌다. 이 글은 각 엔진의 강점·약점·요금·성능·언어 토크나이저·RAG 친화도까지 한 호흡으로 정리한다.
2026-05-16 · 35 분 읽기 #search-engines#meilisearch#typesense#manticore#opensearch차세대 검색 엔진 2026 — Meilisearch·Typesense·Elasticsearch·OpenSearch·Quickwit·Vespa 심층 비교 (Elastic 이후의 풍경)
2026년의 검색 엔진 풍경은 Elasticsearch 한 곳에서 시작해 사방으로 흩어졌다. Meilisearch와 Typesense가 'in-app 검색'을 단순함의 미학으로 가져갔고, AWS는 OpenSearch로 라이선스 우회로를 만들었으며, Quickwit은 S3-native 로그 검색을 들고 나타나 결국 Datadog에 인수됐다. Vespa는 Spotify·Wikipedia·Pint
2026-05-14 · 34 분 읽기 #search-engine#meilisearch#typesense#elasticsearch#opensearchElasticsearch & Lucene 내부 완전 가이드 2025: Segment, Inverted Index, Refresh/Flush/Merge, Shard Routing 심층 분석
Elasticsearch가 매일 수십억 로그를 수 밀리초에 검색하는 비결. Lucene segment 구조, inverted index, refresh/flush/merge 사이클, shard routing, near real-time 검색 구현까지 720줄로 완전 분석한다.
2026-04-15 · 40 분 읽기 #elasticsearch#lucene#search#inverted-index#segment검색 엔진 내부 구조 완전 가이드 2025: Inverted Index, BM25, Ranking, Vector Search
검색 엔진의 모든 것! Inverted Index 구조, TF-IDF/BM25 알고리즘, Lucene/Elasticsearch 내부, Tokenization/Analyzer, Boolean/Phrase/Fuzzy 쿼리, Vector Search(임베딩), Hybrid Search, RRF, 검색 품질 평가.
2026-04-15 · 21 분 읽기 #search#inverted-index#bm25#tf-idf#rankingElasticsearch와 OpenSearch, Lucene의 내부 — Inverted Index, BM25, Sharding, Vector Search, Hybrid RAG까지 (2025)
검색은 왜 어렵나? Lucene의 Segment와 Merge, Inverted Index의 수학, BM25가 TF-IDF를 어떻게 이겼나, primary/replica shard와 routing, Ingest 파이프라인, Query DSL의 미로, kNN과 HNSW, 2021년 Elastic vs AWS 라이선스 전쟁과 OpenSearch 포크, Hybrid Search로 완성되는 RAG 시
2026-04-15 · 20 분 읽기 #elasticsearch#opensearch#lucene#search#vector-searchElasticsearch 완전 가이드 2025: 검색 엔진부터 로그 분석, 벡터 검색까지
Elasticsearch의 모든 것! 역색인 원리, 매핑/분석기, 쿼리 DSL, 집계, ELK 스택, 벡터 검색(kNN), 클러스터 운영, 성능 최적화, 면접 질문까지.
2026-03-24 · 29 분 읽기 #elasticsearch#search#elk-stack#kibana#logstashELK 스택 기반 로그 수집·분석 파이프라인: Elasticsearch·Fluentd·Kibana 프로덕션 구축과 최적화
ELK/EFK 스택의 아키텍처와 Elasticsearch 클러스터 설계, 샤드·레플리카 전략, ILM(Index Lifecycle Management) 설정, Fluentd/Fluent Bit 로그 수집 파이프라인 구성, Kibana 대시보드 시각화, 성능 튜닝과 장애 대응까지 프로덕션 환경의 로그 파이프라인 구축 전 과정을 다룹니다.
2026-03-12 · 18 분 읽기 #observability#elk-stack#elasticsearch#fluentd#kibanaOpenSearch 운영·관리·인덱스 설계 실전 가이드 2026
OpenSearch 클러스터 운영자를 위한 인덱스 설계, 샤드/레플리카 전략, ISM 롤오버 라이프사이클, 모니터링·알림, 장애 대응, 보안 강화, 마이그레이션까지 실전 API 예제와 함께 총정리한다.
2026-03-04 · 30 분 읽기 #database#opensearch#elasticsearch#index-design#operations-managementFluent Bit 완벽 가이드: 경량 로그 프로세서의 아키텍처, 설정, Kubernetes 연동까지 총정리
Fluent Bit의 경량 아키텍처와 파이프라인(Input→Parser→Filter→Buffer→Output) 구조부터 Kubernetes DaemonSet 배포, 로그 라우팅, 파서 설정, Elasticsearch·Loki·S3 연동, Fluentd 비교, 성능 튜닝, 프로덕션 운영 가이드까지 총정리한다.
2026-03-01 · 53 분 읽기 #fluent-bit#logging#observability#kubernetes#fluentd