Data Center クラスタのスプリットブレイン状態から回復する
この記事は Confluence Data Center 5.8.5 以降に適用されます。
症状
Confluence Data Center node will not start up and you see the following message in the Confluence logs (<confluence-home>/logs/atlassian-confluence.log
):
2014-08-15 15:23:00,023 ERROR [scheduler_Worker-6] [confluence.cluster.safety.ClusterPanicListener] onClusterPanicEvent Received a panic event, stopping processing on the node: Clustered Confluence: Database is being updated by an instance which is not part of the current cluster. You should check network connections between cluster nodes, especially multicast traffic.
2014-08-15 15:23:00,035 WARN [scheduler_Worker-6] [confluence.cluster.safety.ClusterPanicListener] onClusterPanicEvent com.atlassian.confluence.cluster.hazelcast.HazelcastClusterInformation@29f82619
2014-08-15 15:23:00,036 WARN [scheduler_Worker-6] [confluence.cluster.safety.ClusterPanicListener] onClusterPanicEvent Shutting down Quartz scheduler
これは既知のクラスタのスプリットブレイン状態 (クラスタ パニックとも呼ばれます) であり、あらゆるノードで起こりえます (たとえば 1 つのノードを再起動したときに、同じノードまたは別のノードで上記のクラスタのスプリットブレインのメッセージが表示されることがあります)。
背景
クラスタの安全性を保つためのメカニズムは、1 人のユーザーによる更新がほかのユーザーに表示されないことで Confluence の一貫性が失われてしまうことのないように設計されています。このメカニズムの失敗は Confluence における致命的なエラーであり、クラスタのスプリットブレインと呼ばれます。クラスタの安全性を保つためのメカニズムは、Confluence の任意の 2 つのコピーが同じデータベースに接続しているときにデータの一貫性を保つことを支援します。このため、Confluence Data Center だけでなくすべての Confluence インスタンスで有効化されています。
診断
Cluster split-brain can have a number of causes.
If confluence.cluster.join.type is set to multicast you should:
- Check that the network connectivity for multicast traffic is working between the nodes.
Check that the same multicast address is being used by all the nodes.
To determine the multicast address being used by a node, look in the Confluence logs (<confluence-home>/logs/atlassian-confluence.log
) for the stringConfiguring Hazelcast with
. For example:2014-08-15 15:20:08,140 INFO [RMI TCP Connection(4)-127.0.0.1] [confluence.cluster.hazelcast.HazelcastClusterManager] configure Configuring Hazelcast with instanceName [nutella-buster], multicast address 238.150.128.250:54327, multicast TTL [1], network interfaces [fe80:0:0:0:0:0:0:1%1, 0:0:0:0:0:0:0:1, 127.0.0.1] and local port 580
If confluence.cluster.join.type is set to tcp_ip you should:
Check that all the nodes of the cluster can reach each other on hazelcast port (default 5801) with one of the below command:
telnet <cluster.node.ip.address> 5801 nc <cluster.node.ip.address> 5801 curl <cluster.node.ip.address>:5801 nmap <cluster.node.ip.address> -p 5081
ソリューション
クラスタのスプリットブレインから回復するには、次のことを行います。
- ネットワーク接続が適切な状態であることを確認します。
- Double check parameter confluence.cluster.peers (for tcp_ip node discovery) that all the IPs are listed and confluence.cluster.address (for multicast node discovery) that the same multicast address is being used by all the nodes in confleunce.cfg.xml
- Double check parameter confluence.cluster.join.type in confleunce.cfg.xml for all the nodes as its the same
- パニック状態に陥ったノードを 1 つずつ再起動し、それぞれがクラスタに再ジョインしたことを確認してから (> [全般設定] > [クラスタリング] に移動) してから次のノードを開始します。