로컬에서 Couchbase XDCR 환경 구축하기

두 개의 클러스터 구축

Docker Compose를 이용해 간단하게 두 클러스터를 구축하였다. Cluster A는 3개 노드로 구성되고, Cluster B는 2개 노드로 구성된다.

services:
  # --- Cluster A (3 Nodes) ---
  cb-a1:
    image: couchbase:community-6.6.0
    platform: linux/x86_64
    container_name: cb-a1
    ports:
      - "8091:8091"
      - "11210:11210"
    networks: [cb-net]

  cb-a2:
    image: couchbase:community-6.6.0
    platform: linux/x86_64
    container_name: cb-a2
    networks: [cb-net]

  cb-a3:
    image: couchbase:community-6.6.0
    platform: linux/x86_64
    container_name: cb-a3
    networks: [cb-net]

  cb-a4:
    image: couchbase:community-6.6.0
    platform: linux/x86_64
    container_name: cb-a4
    networks: [cb-net]

  # --- Cluster B (2 Nodes) ---
  cb-b1:
    image: couchbase:community-6.6.0
    platform: linux/x86_64
    container_name: cb-b1
    ports:
      - "9091:8091"
      - "12210:11210"
    networks: [cb-net]

  cb-b2:
    image: couchbase:community-6.6.0
    platform: linux/x86_64
    container_name: cb-b2
    networks: [cb-net]

networks:
  cb-net:
    driver: bridge

7.0.0 버전 이후부터는 XDCR 기능이 엔터프라이즈 플랜 구매 시에만 지원되기 때문에 6.6.0 버전에서 테스트하였다. 애플 칩 맥 환경에서 구동하는데 도커 이미지를 못찾아서 platform 값을 명시해주었다. 그리고 모두 동일한 도커 내부 네트워크를 사용하도록 하였다. 이를 통해 각 노드들을 클러스터로 추가할 때 도커 내부 IP를 사용할 수 있다.

노드 엔드포인트에서 제공하는 UI에 접속하면 클러스터를 생성하거나 이미 존재하는 클러스터에 합류할 수 있다. Docker Compose 파일에서 각 클러스터마다 하나의 노드만 외부 포트로 노출시키도록 설정해두었기 때문에, 포트가 노출되어 있는 노드인 localhost:8091 에 접근하였다. Setup New Cluster로 새롭게 클러스터를 생성할 수 있다.

현재 노드를 새롭게 만든 클러스터에 포함하는 개념이다. Data Service는 기본적으로 구동되며, 어떤 서비스들을 새롭게 구동할 지 결정할 수 있다.

클러스터가 생성되면 아래와 같이 대시보드 화면이 뜬다. 아직 버킷을 생성하지 않았으므로 아무 정보도 뜨지 않는다.

Servers 탭으로 이동하여 우측 상단의 ADD SERVER 버튼을 통해 클러스터에 새 노드들을 추가한다.

도커 내부 Network를 사용하기 위해 아래 명령으로 내부 IP를 조회해 사용하였다.

docker inspect <컨테이너 이름> | grep IPAddress

클러스터에 등록하기 전 노드에 띄워진 프로세스 목록은 다음과 같다. memcached, goport, goxdcr 등 데이터 저장 및 내부적으로 사용하는 용도의 프로세스들이 구동되어 있다.

# ps -ef  
UID        PID  PPID  C STIME TTY          TIME CMD
root         1     0  1 03:08 ?        00:00:00 runsvdir -P /etc/service log: .........................................................................
root        41     1  0 03:08 ?        00:00:00 runsv couchbase-server
couchba+    42    41 12 03:08 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/beam.smp /opt/couchbase/lib/erlang/erts
couchba+    61     1  0 03:08 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/epmd /opt/couchbase/lib/erlang/erts-9.3
couchba+   140    42  3 03:08 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/erl_child_setup erl_child_setup 1048576
couchba+   176   140 54 03:08 ?        00:00:02 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/beam.smp /opt/couchbase/lib/erlang/erts
couchba+   198   176  4 03:08 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/erl_child_setup erl_child_setup 1048576
couchba+   234   198  0 03:08 ?        00:00:00 /run/rosetta/rosetta /bin/sh sh -s disksup
couchba+   235   198  0 03:08 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/lib/os_mon-2.4.4/priv/bin/cpu_sup /opt/couchbase/lib/erl
couchba+   236   198  0 03:08 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/lib/os_mon-2.4.4/priv/bin/memsup /opt/couchbase/lib/erla
couchba+   238   198 59 03:08 ?        00:00:01 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/beam.smp /opt/couchbase/lib/erlang/erts
couchba+   254   238  5 03:08 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/erl_child_setup erl_child_setup 1048576
root       290     0  1 03:08 pts/0    00:00:00 /bin/sh
couchba+   295   254  1 03:08 ?        00:00:00 /run/rosetta/rosetta /bin/sh sh -s disksup
couchba+   296   254  0 03:08 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/lib/os_mon-2.4.4/priv/bin/memsup /opt/couchbase/lib/erla
couchba+   297   254  0 03:08 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/lib/os_mon-2.4.4/priv/bin/cpu_sup /opt/couchbase/lib/erl
couchba+   308   254  1 03:08 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/bin/priv/godu /opt/couchbase/bin/priv/godu
couchba+   309   198  2 03:08 ?        00:00:00 /run/rosetta/rosetta /bin/sh sh -s ns_disksup
couchba+   310   198  1 03:08 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/bin/priv/godu /opt/couchbase/bin/priv/godu
couchba+   320   198  1 03:08 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/inet_gethost inet_gethost 4
couchba+   321   320  0 03:08 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/inet_gethost inet_gethost 4
couchba+   322   140  6 03:08 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/bin/saslauthd-port /opt/couchbase/bin/saslauthd-port
couchba+   323   198  1 03:08 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/bin/sigar_port portsigar for ns_1@cb.local 42
couchba+   329   140  4 03:08 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/bin/goport /opt/couchbase/bin/goport -graceful-shutdown=false -wind
couchba+   333   140 19 03:08 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/bin/memcached /opt/couchbase/bin/memcached -C /opt/couchbase/var/li
couchba+   335   329 18 03:08 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/bin/goxdcr /opt/couchbase/bin/goxdcr -sourceKVAdminPort=8091 -xdcrR

클러스터에 노드를 등록할 때 Search, Query, Index Service를 추가적으로 구동시키도록 설정하면, 새롭게 프로세스가 구동된다. Service 프로세스의 이름과 설명은 다음과 같다.

프로세스 이름	설명
cbft	전문 검색을 위한 Search Service
indexer	인덱스 보관을 위한 Index Service
cbq-engine	쿼리 처리를 위한 Query Service

자세한 프로세스 목록은 아래 링크에서 확인할 수 있다.

https://docs.couchbase.com/server/current/install/server-processes.html#linux

아래는 실제로 Service들이 추가적으로 구동된 상태의 프로세스 목록이다.

root        40     1  0 Feb23 ?        00:00:00 runsv couchbase-server
couchba+    41    40  0 Feb23 ?        00:00:18 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/beam.smp /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/beam.smp -A 16 -sbwt none
couchba+    60     1  0 Feb23 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/epmd /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/epmd -daemon
couchba+   139    41  0 Feb23 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/erl_child_setup erl_child_setup 1048576
couchba+   318   139  0 Feb23 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/bin/saslauthd-port /opt/couchbase/bin/saslauthd-port
couchba+   329   139  4 Feb23 ?        00:06:28 /run/rosetta/rosetta /opt/couchbase/bin/memcached /opt/couchbase/bin/memcached -C /opt/couchbase/var/lib/couchbase/config/memcached.json
couchba+   382   139  0 00:01 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/bin/goport /opt/couchbase/bin/goport -graceful-shutdown=false -window-size=524288
couchba+   389   382  0 00:01 ?        00:00:05 /run/rosetta/rosetta /opt/couchbase/bin/projector /opt/couchbase/bin/projector -kvaddrs=127.0.0.1:11210 -adminport=:9999 -diagDir=/opt/couchb
couchba+   514   139  0 00:05 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/bin/goport /opt/couchbase/bin/goport -graceful-shutdown=false -window-size=524288
couchba+   519   514  0 00:05 ?        00:00:26 /run/rosetta/rosetta /opt/couchbase/bin/cbft /opt/couchbase/bin/cbft -cfg=metakv -uuid=1ef6ad982d4ff97536a0388ffbfe9203 -server=http://127.0.
couchba+  1013   139  0 01:49 ?        00:00:01 /run/rosetta/rosetta /opt/couchbase/bin/goport /opt/couchbase/bin/goport -graceful-shutdown=false -window-size=524288
couchba+  1019  1013  1 01:49 ?        00:00:23 /run/rosetta/rosetta /opt/couchbase/bin/goxdcr /opt/couchbase/bin/goxdcr -sourceKVAdminPort=8091 -xdcrRestPort=9998 -isEnterprise=false -ipv6
couchba+  1038   139 10 01:51 ?        00:03:29 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/beam.smp /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/beam.smp -A 16 -sbt u -P 
couchba+  1060  1038  0 01:51 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/erl_child_setup erl_child_setup 1048576
couchba+  1096  1060  0 01:51 ?        00:00:00 /run/rosetta/rosetta /bin/sh sh -s disksup
couchba+  1097  1060  0 01:51 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/lib/os_mon-2.4.4/priv/bin/memsup /opt/couchbase/lib/erlang/lib/os_mon-2.4.4/priv/bin/memsup
couchba+  1098  1060  0 01:51 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/lib/os_mon-2.4.4/priv/bin/cpu_sup /opt/couchbase/lib/erlang/lib/os_mon-2.4.4/priv/bin/cpu_sup
couchba+  1100  1060  0 01:51 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/inet_gethost inet_gethost 4
couchba+  1101  1100  0 01:51 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/inet_gethost inet_gethost 4
couchba+  1103  1060  0 01:51 ?        00:00:17 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/beam.smp /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/beam.smp -P 327680 -K tru
couchba+  1119  1103  0 01:51 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/erl_child_setup erl_child_setup 1048576
couchba+  1155  1119  0 01:51 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/inet_gethost inet_gethost 4
couchba+  1156  1155  0 01:51 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/erts-9.3.3.9/bin/inet_gethost inet_gethost 4
couchba+  1157  1119  0 01:51 ?        00:00:00 /run/rosetta/rosetta /bin/sh sh -s disksup
couchba+  1158  1119  0 01:51 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/lib/os_mon-2.4.4/priv/bin/memsup /opt/couchbase/lib/erlang/lib/os_mon-2.4.4/priv/bin/memsup
couchba+  1159  1119  0 01:51 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/lib/erlang/lib/os_mon-2.4.4/priv/bin/cpu_sup /opt/couchbase/lib/erlang/lib/os_mon-2.4.4/priv/bin/cpu_sup
couchba+  1170  1119  0 01:51 ?        00:00:02 /run/rosetta/rosetta /opt/couchbase/bin/priv/godu /opt/couchbase/bin/priv/godu
couchba+  1171  1060  0 01:51 ?        00:00:00 /run/rosetta/rosetta /bin/sh sh -s ns_disksup
couchba+  1173  1060  0 01:51 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/bin/priv/godu /opt/couchbase/bin/priv/godu
couchba+  1184  1060  0 01:52 ?        00:00:02 /run/rosetta/rosetta /opt/couchbase/bin/sigar_port portsigar for ns_1@172.20.0.5 41
couchba+  1187   139  0 01:53 ?        00:00:01 /run/rosetta/rosetta /opt/couchbase/bin/goport /opt/couchbase/bin/goport -graceful-shutdown=false -window-size=524288
couchba+  1192  1187  0 01:53 ?        00:00:16 /run/rosetta/rosetta /opt/couchbase/bin/indexer /opt/couchbase/bin/indexer -adminPort=9100 -scanPort=9101 -httpPort=9102 -streamInitPort=9103
couchba+  1277   139  0 02:23 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/bin/goport /opt/couchbase/bin/goport -graceful-shutdown=false -window-size=524288
couchba+  1283  1277  1 02:23 ?        00:00:00 /run/rosetta/rosetta /opt/couchbase/bin/cbq-engine /opt/couchbase/bin/cbq-engine --datastore=http://127.0.0.1:8091 --http=:8093 --configstore

리밸런싱을 통해 클러스터에 안전하게 편입시키면 클러스터 구축 완료이다.

XDCR 연결하기

XDCR 대상이 될 버킷을 각 클러스터 환경에 생성해준다.

노드가 3개인 Cluster A에 버킷을 생성한 후 상세 정보를 보면, 다음과 같이 vBucket이 1024 / 3 하여 분배되어 있는 것을 확인할 수 있다.

양 클러스터에 버킷을 모두 생성했다면 버킷 간에 복제 관계를 맺기 전 XDCR Remote Cluster를 등록해주어야 한다. 이 때 현재 클러스터 -> 상대 클러스터 방향으로 복제하기 위한 설정임을 알고 있어야 한다. 상대 클러스터의 이름, IP, Admin 계정 정보를 입력하면 등록이 완료된다.

현재 클러스터의 버킷을 선택하고, 상대 클러스터와 클러스터 내부에 있는 버킷을 지정하면 복제 관계를 생성할 수 있다. Advanced Replication Settings에서는 XDCR 내부 동작을 위한 값들을 설정할 수 있다.

다음과 같이 복제 관계가 형성되었다.

다른 클러스터에서도 동일한 방식으로 Remote Cluster, Replication을 등록하여 양방향으로 복제 관계를 만들었다.

이후 몇 개의 Document를 임의로 추가했고, Replications에서 보여주는 Stats 정보에서 XDCR이 잘 수행되고 있는지 확인할 수 있었다.

개발자국 🐾

로컬에서 Couchbase XDCR 환경 구축하기

두 개의 클러스터 구축

XDCR 연결하기

댓글

티스토리툴바