[Elasticsearch] Split Brain 이란?

🚀 스플릿 브레인의 문제점

1. 데이터 불일치: 서로 다른 마스터 노드가 동일한 데이터에 대해 다른 업데이트를 수행할 수 있으며, 이는 데이터 불일치를 초래합니다.

2. 데이터 손실: 네트워크가 복구된 후, 클러스터가 다시 하나로 합쳐지면서 한 쪽의 업데이트가 다른 쪽의 업데이트를 덮어쓸 수 있습니다. 이로 인해 일부 데이터가 손실될 수 있습니다.

3. 클러스터 상태 혼란: 클러스터의 상태 관리가 혼란스러워지며, 이는 클러스터의 안정성과 성능에 영향을 줄 수 있습니다.

🚀 스플릿 브레인 방지 방법

📌 6.X 이전 버전

• 최소 마스터 노드 설정(discovery.zen.minimum_master_nodes): 이 설정은 클러스터가 유효한 마스터 노드를 가지기 위해 필요한 최소 마스터 노드 수를 지정합니다. 이 값은 클러스터 전체 마스터 후보 노드의 절반 이상 +1로 설정해야 합니다. 예를 들어, 클러스터에 5개의 마스터 후보 노드가 있다면, 최소 3개의 마스터 노드가 필요합니다. 이는 네트워크 분할 시 한 쪽만이 유효한 마스터 노드를 가질 수 있게 해 스플릿 브레인을 방지합니다.
💡
참고 - 공식: (전체 마스터 후보 노드 / 2) + 1

# elasticsearch.yml
discovery.zen.minimum_master_nodes: 2

📌 7.X 이후 버전

• Quorum 기반의 마스터 선출: 엘라스틱서치 7.x 버전부터discovery.zen.minimum_master_nodes 설정 대신에 새로운 노드 발견 알고리즘과 Quorum 기반의 마스터 선출 방식이 도입되었습니다. 이는 클러스터 내의 노드가 쿼럼(과반수)을 형성해야만 마스터 노드를 선출할 수 있게 함으로써, 스플릿 브레인을 효과적으로 방지합니다.

• 네트워크 설정과 모니터링 강화: 네트워크 분할을 최소화하기 위해 네트워크 인프라를 강화하고, 네트워크 상태를 지속적으로 모니터링하여 문제가 발생하면 신속히 대응합니다.
💡
참고 - 클러스터에 마스터로 가능한 노드들 중 과반수 이상이 동의해야만 유효한 마스터 노드 선출이 이루어집니다. 이를 위해 엘라스틱서치는 마스터 가능 노드의 총 수를 홀수로 유지하는 것을 권장합니다.

# elasticsearch.yml
node.master: true

# 최초 마스터 노드 후보로 선출할 노드 값 설정
cluster.initial_master_nodes: ["node-1"]

🚀 엘라스틱서치 스플릿 브레인 방지 전략

1. 전용 마스터 노드 사용: 엘라스틱서치 클러스터에서는 데이터 노드와 별개로 전용 마스터 노드를 설정할 수 있습니다. 전용 마스터 노드는 클러스터 상태 관리와 관련된 작업만을 담당하므로, 클러스터의 안정성을 높이고 스플릿 브레인 문제의 위험을 줄일 수 있습니다.

2. 증가하는 노드 ID를 활용한 마스터 선출: 엘라스틱서치 7.x 버전부터는 새로운 마스터 노드 선출 알고리즘을 사용하며, 이는 노드의 ID가 증가하는 순서대로 마스터 노드를 선출하는 방식을 포함합니다. 이 방식은 클러스터의 마스터 노드 선출 과정을 더욱 예측 가능하게 만들어 줍니다.

3. 클러스터 상태 API를 통한 모니터링 강화: 엘라스틱서치의 클러스터 상태 API를 정기적으로 사용하여 클러스터의 상태를 모니터링하고, 문제가 발생할 조짐을 사전에 감지하여 대응할 수 있습니다. 이는 클러스터의 건강 상태를 유지하는 데 중요한 역할을 합니다.

4. 네트워크 설정 최적화: 네트워크 연결의 신뢰성을 높이기 위해, 네트워크 장비와 설정을 최적화합니다. 이는 네트워크 분할의 가능성을 줄이고, 만약 분할이 발생하더라도 빠르게 복구될 수 있도록 합니다.

5. 엘라스틱서치 버전 업데이트 유지: 엘라스틱서치는 지속적으로 성능과 안정성을 개선하기 위한 업데이트를 제공합니다. 최신 버전으로 업데이트하는 것은 새로운 기능뿐만 아니라, 클러스터의 안정성과 성능을 최적화하는 데 도움이 됩니다.

스플릿 브레인 문제는 클러스터의 데이터 일관성과 안정성에 심각한 위험을 초래할 수 있으므로, 이러한 문제를 방지하기 위한 조치들을 잘 이해하고 적용하는 것이 중요합니다. 엘라스틱서치 클러스터를 구성하고 운영할 때는 이러한 전략들을 적극적으로 고려하여, 클러스터의 안정적인 운영을 보장해야 합니다.

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.