CloudStack 4.0 설치와 사용하기.

Apache CloudStack 4.0 설치와 사용.

OS: Ubuntu 12.04

참고문서: http://incubator.apache.org/cloudstack/docs/en-US/Apache_CloudStack/4.0.0-incubating/html/Installation_Guide/index.html

CloudStack 4.0을 사용하기 위해서는, 64비트 x86 CPU, 4GB 이상의 메모리, 50GB 이상의 HDD 가 필요하다.
또한, Management Server, Database, Storage System은 Ubuntu 12.04 이상 또는 CentOS/RHEL 6.3 이상 버전이 필요하다.
CloudStack을 빌드하기 위해서는, ant, maven(version 3), Java(Java 6/openJDK 1.6), dpkg-dev(또는 rpmbuild)가 필요하다.

용어:
Management Server – 클라우드 리소스를 관리하는 클라우드스택 소프트웨어
Zone – 전형적으로, 하나의 데이타센터와 같다. zone은 하나 이상의 Pod와 secondary storage로 구성된다.
Pod – 보통 하나 이상의 클러스터와 L2 스위치를 포함한 하드웨어 랙이다.
Cluster – 하나 이상의 host와 primary storage로 구성된다.
Primary storage – cluster와 관련되며, cluster내의 host가 동작하는 모든 VM(가상머신)을 저장한다.
Secondary storage – zone과 관련되며, template, ISO 이미지, 디스크 볼륨 스냅샷을 저장한다. 설치에 local disk만을 사용한다면 secondary storage는 구성하지 않아도 된다.

1. 소스파일 다운로드후 압축을 풀어준다.

# wget  http://mirror.apache-kr.org/incubator/cloudstack/releases/4.0.0-incubating/apache-cloudstack-4.0.0-incubating-src.tar.bz2

# tar -jxvf apache-cloudstack-4.0.0-incubating-src.tar.bz2

2. 압축을 푼 디렉토리로 이동하고, deb package로 build한다.

아래 와같이 deb 패키지로 설치하면 간단하다. 물론, source file을 컴파일해서 사용 할 수도 있다.

# cd ./apache-cloudstack-4.0.0-incubating-src
# apt-get update
# apt-get install python-software-properties
# add-apt-repository ppa:natecarlson/maven3
# apt-get update
# apt-get install ant debhelper openjdk-6-jdk tomcat6 libws-commons-util-java genisoimage python-mysqldb libcommons-codec-java libcommons-httpclient-java liblog4j1.2-java maven3

deb 패키지를 생성하기 위해 의존성 검사를 실행한다.

root@localhost:~/cloudstack/apache-cloudstack-4.0.0-incubating-src# mvn3 -P deps
[INFO] Scanning for projects...
Downloading: http://repo.maven.apache.org/maven2/org/apache/apache/11/apache-11.pom
Downloaded: http://repo.maven.apache.org/maven2/org/apache/apache/11/apache-11.pom (15 KB at 44.2 KB/sec)
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO]
[INFO] Apache CloudStack
[INFO] Apache CloudStack Utils
[INFO] Apache CloudStack API
[INFO] Apache XenSource XAPI

......

[INFO] Apache CloudStack AWS API Bridge .................. SUCCESS [2:50.882s]
[INFO] Apache CloudStack Test ............................ SUCCESS [12.759s]
[INFO] Apache CloudStack Dependencies .................... SUCCESS [27.096s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 6:30.373s
[INFO] Finished at: Mon Feb 04 17:01:36 KST 2013
[INFO] Final Memory: 30M/148M
[INFO] ------------------------------------------------------------------------

deb 패키지를 만들기 위해 아래 커맨드를 실행하면 16개의 .deb 파일이 생성된 것을 볼 수 있다.

root@localhost:~/cloudstack/apache-cloudstack-4.0.0-incubating-src# dpkg-buildpackage -uc -us

root@localhost:~/cloudstack/apache-cloudstack-4.0.0-incubating-src#cd ..

root@localhost:~/cloudstack# ls *.deb
cloud-agent_4.0.0-incubating_amd64.deb
cloud-agent-deps_4.0.0-incubating_amd64.deb
cloud-agent-libs_4.0.0-incubating_amd64.deb
cloud-awsapi_4.0.0-incubating_amd64.deb
cloud-cli_4.0.0-incubating_amd64.deb
cloud-client_4.0.0-incubating_amd64.deb
cloud-client-ui_4.0.0-incubating_amd64.deb
cloud-core_4.0.0-incubating_amd64.deb
cloud-deps_4.0.0-incubating_amd64.deb
cloud-python_4.0.0-incubating_amd64.deb
cloud-scripts_4.0.0-incubating_amd64.deb
cloud-server_4.0.0-incubating_amd64.deb
cloud-setup_4.0.0-incubating_amd64.deb
cloud-system-iso_4.0.0-incubating_amd64.deb
cloud-usage_4.0.0-incubating_amd64.deb
cloud-utils_4.0.0-incubating_amd64.deb

# mv *.deb ../

위에서 만든 데비안 패키지는 apt-get 으로 설치하기 위해 APT repo로 만들어 놓았다.

# cd /etc/apt/sources.list.d

# vi cloudstack.list
deb http://blog.boxcorea.com/cloudstack/repo binary/

# apt-get update

3.  매니지먼트 서버 설치.

하나의 노드에 mysql과 매니지먼트 서버를 설치하거나 여러개의 매니지먼트 서버에 mysql역시 분산시키는 설치방법이 있다. 매니지먼트 서버는 아래와 같은 작업을 해야 한다.

• OS 설치
• vhd-util 설치
• management server 설치
• mysql 설치와 설정
• NFS 설정
• (필요하다면) 추가적인 매니지먼트 서버 설치
• VM 템플릿 준비

OS 설치후, cloud의 시간 동기화를 위해 ntp서버를 설치해준다.

vhd-util, management server(cloud-client) 설치.

vhd-util 을 /usr/lib/cloud/common/scripts/vm/hypervisor/xenserver 에 다운로드 받으면 된다. 아마도 cloud 관련 패키지를 설치하지 않았다면,  /usr/lib 디렉토리에 cloud 디렉토리가 없을 것이다. 그러므로, 먼저 cloud-client를 설치해주면, 위의 디렉토리가 생성되어 있을 것이다. CentOS/RHEL 6.3 은 디렉토리 위치가 ubuntu 와는 다르다.

# apt-get install cloud-client

# cd /usr/lib/cloud/common/scripts/vm/hypervisor/xenserver

# wget http://download.cloud.com.s3.amazonaws.com/tools/vhd-util

MySQL 설정.

mysql 서버를 설치하고, 설정을 해준다.

# apt-get install mysql-server

# vi /etc/mysql/conf.d/cloudstack.cnf

[mysqld]
innodb_rollback_on_timeout=1
innodb_lock_wait_timeout=600
max_connections=350
log-bin=mysql-bin
binlog-format = "ROW"

cloud-setup-database 명령으로 데이타베이스를 설정한다.

# cloud-setup-databases cloud:cloudpasswd@localhost --deploy-as=root:mysqlrootpasswd

Primary Storage 설정(여기서는 management server에 nfs 서버를 같이 사용하며, 동일 서버에서 nfs 마운트한다).

아래 커맨드로 nfs서버를 설치하고, 설정한다.

# apt-get install nfs-kernel-server

# vi /etc/exports
/export *(rw,async,no_root_squash)

# mkdir -p /export/primary
# mkdir -p /export/secondary
# exportfs -a

# mount -t nfs 192.168.100.12:/export/primary /primary-cloud
# mount -t nfs 192.168.100.12:/export/secondary /secondary-cloud
# df -h
Filesystem Size Used Avail Use% Mounted on
...
192.168.100.12:/export/primary 459G 36G 400G 9% /primary-cloud
192.168.100.12:/export/secondary 459G 36G 400G 9% /secondary-cloud

시스템 VM template 준비(여기서는 KVM을 사용할 것이다).

VM과 iso 이미지 등은 Secondary storage(위에서 /export/secondary 로 설정)를 사용하므로, 아래 커맨드로 템플릿을 생성한다.

마운트는 cloudstack이 나중에 자동으로 하므로, 모두 nfs는 모두 umount 해준다.

# /usr/lib/cloud/common/scripts/storage/secondary/cloud-install-sys-tmplt -m /export/secondary -u http://download.cloud.com/templates/acton/acton-systemvm-02062012.qcow2.bz2 -h kvm -F

여기서, 템플릿이 다운로드 되는 위치가 중요하다. 나중에, system VM을 실행하지 못한다면, 이것을 확인해 보아야 한다.

마지막으로, cloud-setup-management 커맨드를 실행하여, 설치를 마무리 하도록 한다.

# cloud-setup-management
Starting to configure CloudStack Management Server:
Configure sudoers ... [OK]
Configure Firewall ... [OK]
Configure CloudStack Management Server ...[OK]
CloudStack Management Server setup is Done!

4. UI로 로그인

웹브라우저를 실행하고 manager server가 설치된 ip주소로 접속한다. http://192.168.100.12:8080/client

아래 그림처럼 로그인 화면이 나오면, id는 admin ,비밀번호는 password 로 로그인 할 수 있다.

로그인이 정상적으로 진행되면, cloudstack에 관한 소개가 나오며 하단에 두개의 버튼이 나온다. 이 중에서, “Continue with basic setup”을 선택하면 비밀번호를 변경하는 화면이 나오게 된다. 그렇지 않고, “I have used CloudStack before”를 선택하면 관리자 페이지를 볼 수 있다.

5. 클라우드 설정.

UI로 로그인 한 후 “Skip his guide”를 선택하면 대쉬보드로 들어가게 된다. 왼쪽의 Global Settings 메뉴를 누르고 나오는 화면의 오른쪽 상단 검색창에 “swift.enable”을 입력한 후 찾기 버튼을 누른후, true을 입력하고 저장한 후 management server를 재시작한다.

# service cloud-management restart

다시 로그인 한 후에, 왼쪽 Infrastructure > Zone >View More > Add Zone 을 차례대로 선택한다.

Basic 타입과 Advanced 타입 두가지가 있는데, 여기서는 Basic을 선택.

이름은 fox-cloud 로, DNS 는 모두 구글 퍼블릭 DNS인 8.8.8.8로 설정했으며, hypervisor는 KVM을 선택했다. (Xen, VMware, 심지어 OVM도 지원된다.)

여기서는 가장 간단한 구성을 사용할 것이므로 다음으로 진행. 다음은 pod 설정화면이다.

다음은, Guest traffic 설정. VM 들이 사용할 ip주소를 설정해 준다.

다음은 Cluster 이름 설정.

Host 설정(여기서는  KVM  서버)

Primary Storage 설정

Secondary Storage 설정

여기까지 한후 Launch Zone 버튼을 눌러 설정을 적용한다.

host 생성시 unable to add the host 오류가 발생했다. 이 문제는 의외로 많은 사람들이 경험하고 있는것 같다.

http://www.mirantis.com/blog/an-openstack-guy-takes-cloudstack-for-a-test-drive/ 에 따르면, host가 생성되지 않는것은 주로 두 가지 가 원인이라고 하는데, 첫번째는, sshd 접속이 안되는 문제이거나 두번째는(우분투의경우) /etc/network/interfaces 설정 문제라고 한다.

내 경우 문제는, 두번째 였다. 추가하려는 kvm 호스트가 이미 kvm 을 사용하고 있는 상태였고, 네트워크 인터페이스는 br0로 설정되어 있는 상황이었다.  결국, br0 를 cloudbr0 로 바꾸니 문제가 해결되었다. 설치문서상에도, kvm 이 실행되고 있으면 안된다는 내용이 나오는데, 이는, cloudstack이 kvm 관련 패키지를 설치하기 때문인것으로 이해 된다.

원래 /etc/network/interfaces

auto br0
#iface br0 inet dhcp
iface br0 inet static
address 192.168.100.12
netmask 255.255.255.0
gateway 192.168.100.1
bridge_ports eth0 eth1
bridge_fd 9
bridge_hello 2
bridge_maxage 12
bridge_stp off

변경후 interfaces 파일

auto cloudbr0
#iface br0 inet dhcp
iface cloudbr0 inet static
address 192.168.100.12
netmask 255.255.255.0
gateway 192.168.100.1
bridge_ports eth0 eth1
bridge_fd 9
bridge_hello 2
bridge_maxage 12
bridge_stp off

이렇게, cloudstack에 zone을 등록했다.(등록된 zone에, create)

또하나의 문제, SystemVM이 실행되지 않는 문제는, Secondary Storage의 경로가 잘못되었을 가능성이 크다. 내 경우는 Secondary Storage 에 템플릿이 없어서 발생했다. 정확한 경로에, 다시  템플릿을 다운로드 받아서 다시 설정하니 문제가 해결되었다.

System VM 이 잘 부팅이 되었다면, VM을 생성해 본다. 왼쪽의 Instance 를 누르고, 오른쪽 위의 Add Instance를 누르면, wizard가 실행될 것이다. 여기서 Template를 선택하면, Cent5.5 가 나온다.  이것을 선택하여, VM을 만든다(시간이 조금 걸린다).

가상머신이 잘 생성된다!!!

=============================================

삭제는 생성의 역순

The Physical Network is not deletable because there are networks associated to this physical network. 메시지가 나오면서 network 삭제 안될때, 데이타베이스에 접속하여 physical_network 테이블에서 삭제해준다.

delete from physical_network where name=”네트워크이름”;