RHCS설치 및 사용하기(KVM guest 환경에서)

클러스터는 보통 두대 이상의 컴퓨터가 상호작용하며 특정 작업을 수행하는것을 의미한다. 클러스터는 보통 HA(High Avaliablity), 로드밸런싱(Load Balancing), High Performence 등의 용도로 사용한다.

여기서는 2개의 node와 1 개의 스토리지 노드를 사용할 것이며, 각각의 노드는 CentOS6.3 최소설치버전(CentOS-6.3-x86_64-minimal.iso)을 이용했다. 192.168.1.x 는 ha 구성용으로 사용한다.

구성환경은 아래와 같으며, Node-C에 클러스터 매니저를 설치했다.

Node-A(Node-1): 192.168.100.31(192.168.1.1)
Node-B(Node-2): 192.168.100.32(192.168.1.2)
Node-C(Node-3): 192.168.100.33(Cluster Management Server)

# cat /etc/hosts
192.168.100.31 cent63-a
192.168.100.32 cent63-b
192.168.100.33 cent63-c

1. RHCS(RedHat Cluster Suite)와 Conga(Web base management suit) 설치

모든 노드에 yum groupinstall “High Availability” 커맨드로 관련 패키지를 설치한다.

# yum groupinstall "High Availability"

2. 클러스터 관리서버(Node-C)에 yum groupinstall “High Availability Management”로 관련 패키지를 설치한다.

# yum groupinstall "High Availability Management"

3. Node-A, B의 /etc/cluster/cluster.conf 화일을 아래와 같이 수정한다.

<?xml version=”1.0″?>
<cluster config_version=”23″ name=”Cent63-cluster”>
<clusternodes>
<clusternode name=”cent63-a” nodeid=”1″/>
<clusternode name=”cent63-b” nodeid=”2″/>
</clusternodes>
</cluster>

클러스터의 이름은, Cent63-cluster가 되며, cent63-a, cent63-b가 클러스터 된다.

4. Node-A, B 에서 아래 서비스를 실행한다.

# chkconfig cman on
# chkconfig rgmanager on
# chkconfig modclusterd on


# passwd ricci
Changing password for user ricci.
New password:
BAD PASSWORD: it is too short
BAD PASSWORD: is too simple
Retype new password:
passwd: all authentication tokens updated successfully.

# /etc/init.d/cman start
Starting cluster:
Checking if cluster has been disabled at boot... [ OK ]
Checking Network Manager... [ OK ]
Global setup... [ OK ]
Loading kernel modules... [ OK ]
Mounting configfs... [ OK ]
Starting cman... [ OK ]
Waiting for quorum... [ OK ]
Starting fenced... [ OK ]
Starting dlm_controld... [ OK ]
Starting gfs_controld... [ OK ]
Unfencing self... [ OK ]
Joining fence domain... [ OK ]
# /etc/init.d/ricci start
Starting oddjobd: [ OK ]
Starting ricci: [ OK ]
# /etc/init.d/rgmanager start
Starting Cluster Service Manager: [ OK ]
# /etc/init.d/modclusterd start
Starting Cluster Module - cluster monitor: Setting verbosity level to LogBasic
[ OK ]


5. 매니지먼트 노드에서는 아래 서비스를 시작한다.

# chkconfig luci on
# chkconfig ricci on

# /etc/init.d/luci start
Starting saslauthd: [ OK ]
Start luci... [ OK ]
Point your web browser to https://cent63-c:8084 (or equivalent) to access luci
# /etc/init.d/ricci start
Starting oddjobd: [ OK ]
Starting ricci: [ OK ]

여기서, luci가 실행되지 않는 문제가 발생했으며, https://access.redhat.com/knowledge/solutions/66259 를 참고하여, 아래 패키지를 다운그레이드 하여 해결했다.

# yum downgrade python-repoze-who-friendlyform-1.0-0.3.b3.el6

여기까지 실행했다면, luci 서버에 로그인한다. 웹브라우져에서 https://192.168.100.22:8084  (luci 서버의 ip주소)하면 아래와같이 로그인 창이 나온다.  id는 root, 비밀번호는 root의 비밀번호를 입력하면 로그인 할 수 있다.

luci login

로그인한 후, 위에서 설정한 cent63-cluster가 보이지 않았다. 새로 생성하려면, 이미 생성되었다는 메시지만 보일 뿐이다. 그래서, 모든 노드의 /etc/cluster/cluster.conf 를 지우고, 클러스터 서비스를 중지 시켰다.

# cat /etc/cluster/cluster.conf
<?xml version="1.0"?>
# /etc/init.d/rgmanager stop
# /etc/init.d/cman stop

클러스터를 다시 만들면 아래처럼 정상적으로 보이게 된다.

create cluster

이제, Failover domain, Resource, Service Group을 등록하여 사용하면 된다.

내 경우, apache 서버를 resource로 등록해 보았으나, 정상작동하지 않아서, 동일 서비스를 스크립트로 지정했더니 잘 되었다.

service running…

터미널 창에서는 clustat 커맨드를 이용하여 확인 가능하다.

# clustat
Cluster Status for Cent63-cluster @ Thu Mar 28 12:49:49 2013
Member Status: Quorate

Member Name ID Status
—— —- —- ——
cent63-a 1 Online, rgmanager
cent63-b 2 Online, Local, rgmanager

Service Name Owner (Last) State
——- —- —– —— —–
service:HTTPd cent63-a started

6. 클러스터 서비스의 정지.
# /etc/init.d/rgmanager stop
# /etc/init.d/cman stop
# /etc/init.d/ricci stop
# /etc/init.d/modclusterd stop

7. 클러스터에서 iSCSI 와 GFS2 사용.

iscsi 서버: 192.168.100.35

각 노드에 iscsi와, gfs2 를 설치한다. iscsi사용은 freeNAS에서 iscsi사용하기를 참고… 혹시 iscsi가 예전 target을 찾고 있다면, 예전 target을 지워준다( # iscsiadm -m node -o delete <ip address>)

# yum install iscsi-initiator-utils gfs2-utils

cent63-c에서, iSCSI 디바이스를 마운트하고, gfs2 화일시스템을 생성한다.

# mkfs.gfs2 -t Cent63-cluster:gfs2fs -j 4 /dev/sda1
This will destroy any data on /dev/sda1.
It appears to contain: data

Are you sure you want to proceed? [y/n] y

Device: /dev/sda1
Blocksize: 4096
Device Size 5.00 GB (1310465 blocks)
Filesystem Size: 5.00 GB (1310464 blocks)
Journals: 4
Resource Groups: 20
Locking Protocol: "lock_dlm"
Lock Table: "Cent63-cluster:gfs2fs"
UUID: c2c6666b-f069-2ebb-ac05-7446f25b0773

cent64-a, b 에서 iscsi서비스를 실행한 후,  iSCSI 장치를 마운트 하여 사용한다. gfs2 덕분에, a 노드에서 화일을 생성하거나 삭제하면, b노드에서도 바로 적용되는것을 볼 수 있다.

# mount -t gfs2 /dev/sda1 /iscsi