segments
-
elasticsearch는 어떤 segment 부터 읽을까?elasticsearch 2021. 4. 16. 21:09
오래된 segment? 가장 최근에 만들어진 segment? elasticsearch를 공부하면서 그냥 든 생각이 가장 오래 된 segment이 가장 최적화가 되어있을 가능성(물론 용량이 큰 파일은 삭제된 문서가 어느정도 선일 때는 머지되지 않아 비효율 적일 수도 있음)과 데이터가 많으므로 데이터를 찾을 수 있을 가능성이 더 높다고 생각을 했었었다 그러나 elasticsearch의 기반이 된다는 LSM(log structure merge) Tree를 공부할 때에는 가장 최근에 만들어진 파일부터 읽는다고 해서 궁금해서 여러 자료를 서치해봤지만 내 능력 밖인지 찾지를 못했다 그래서 별거는 아니지만 es는 필터를 주면 들어간 값 대로 리스팅 되므로 그것을 이용해서 테스트 해보기로 했다 인덱스를 생성 PUT m..
-
elasticsearch segments 1부elasticsearch 2021. 3. 20. 14:17
세그먼트란? 루씬의 색인은 물리적 세그먼트로 구성되어 있으며 세그먼트를 간당히 정의하면 색인된 도큐먼트 모음이다 세그먼트는 독특한 색인 구조가 성능과 직결되기 때문에 상당히 중요하므로 잘 살펴볼 필요가 있다 세그먼트는 RAM과 DISK에 저장된다 색인 안에는 수많은 세그먼트가 있고 세그먼트 안에는 수많은 도큐먼트가 있다 lucene.apache.org/core/6_4_0/core/org/apache/lucene/codecs/lucene62/package-summary.html#package.description 세그먼트의 구성 하나의 세그먼트는 여러 개의 파일로 구성된다 세그먼트에는 도큐먼트 필드 뿐만아니라 효과적인 검색에 필요한 다양한 정보가 담겨있다 위 그림은 세그먼트로 구성된 색인인데 팡일 이름에 ..