translog
-
elasticsearch translog 튜닝 with asyncelasticsearch 2021. 3. 16. 21:33
왜 필요할까? 트랜스 로그가 왜 필요한지 기본적인 설명은 전에 설명하였지만 간단하게 설명하면 장애 복구이다 요청 들어온 것을 translog에 기록하여 디스크에 동기화 되었을 때만 해당 데이터를 삭제하는 사이클을 가지고 있다 더 궁금하다면 https://ksk-developer.tistory.com/28 에 들어가서 확인 바란다 오늘은 색인시 더 빨리 색인할 수 있는 간단한 팁을 설명하겠다 index.translog.durability index.translog.durability이라는 옵션은 기본 값이 request인데 translog도 파일에 건건이 I/O 작업을 하게 된다 실제로 색인, 삭제, 업데이트 벌크 요청등등 매 요청마다 translog에 들어가게 된다 건건이 들어가는 이유는 장애 복구 때문..
-
elasticsearch translog는 왜 필요할까?elasticsearch 2021. 2. 24. 21:19
엘라스틱 서치는 샤드에 일어나는 모든 변경사항을 담고 있는 특수 형태 로그이며 고가용성 장애 복구를 위한 백업 데이터 및 데이터 유실 방지를 위해 사용된다 해당 파일의 로그는 언제 삭제될까? 삭제 되는 시점은 fsync() 실행되는 시점 즉 es 기준 flush 루씬기준 commit이 발생해 디스크로 쓰여지고 난 뒤 쓰여진 내용은 로그파일에서 제거된다 Translog의 동작 순서 데이터가 추가되면 Translog에 기록되고 동시에 인메모리 버퍼에 추가된다. Refresh가 수행되면 인메모리 버퍼에서는 사라지지만 Translog에는 계속 남아있다. 더 많은 데이터가 추가되고 지속적으로 세그먼트가 생성된다. Translog가 일정 크기 이상으로 커지면 Flush 작업이 수행된다. 시스템 캐시의 내용이 디스크..