Dec 13 06:47:11 solaris9 picld[60]: [ID 679711 daemon.error] NOTICE: Device FAN_TRAY_0 (CPU1_FAN) OK
Dec 13 06:47:11 solaris9 picld[60]: [ID 114988 daemon.error] FSP_GEN_FAULT_LED has turned OFF
Dec 13 08:22:26 solaris9 picld[60]: [ID 562987 daemon.error] WARNING: FAN_TRAY_0 (CPU1_FAN) failure detected
Dec 13 08:22:28 solaris9 picld[60]: [ID 691918 daemon.error] FSP_GEN_FAULT_LED has turned ON
Dec 13 08:22:41 solaris9 picld[60]: [ID 562987 daemon.error] WARNING: FAN_TRAY_0 (CPU1_FAN) failure detected
Dec 13 08:22:57 solaris9 picld[60]: [ID 679711 daemon.error] NOTICE: Device FAN_TRAY_0 (CPU1_FAN) OK
Dec 13 08:22:58 solaris9 picld[60]: [ID 114988 daemon.error] FSP_GEN_FAULT_LED has turned OFF

FAN TRAY를 교체하려고 준비했을때는 아래와 같이 바뀌었음.

Jan 19 15:24:11 solaris9 picld[60]: [ID 562987 daemon.error] WARNING: FAN_TRAY_0 (CPU0_FAN) failure detected
Jan 19 15:24:11 solaris9 picld[60]: [ID 562987 daemon.error] WARNING: FAN_TRAY_0 (CPU1_FAN) failure detected
Jan 19 15:24:11 solaris9 picld[60]: [ID 562987 daemon.error] WARNING: FAN_TRAY_0 (CPU2_FAN) failure detected
Jan 19 15:24:26 solaris9 picld[60]: [ID 679711 daemon.error] NOTICE: Device FAN_TRAY_0 (CPU0_FAN) OK
Jan 19 15:24:26 solaris9 picld[60]: [ID 679711 daemon.error] NOTICE: Device FAN_TRAY_0 (CPU1_FAN) OK
Jan 19 15:24:26 solaris9 picld[60]: [ID 562987 daemon.error] WARNING: FAN_TRAY_0 (CPU2_FAN) failure detected
Jan 19 15:26:41 solaris9 last message repeated 9 times

FAN TRAY를 교체하고 (이때 FAN Tray의 fan 3개는 모두 정상적으로 돌고 있었음.) 재부팅했을때 아래와 같음.

Jan 19 15:38:59 solaris9 ntpdate[234]: [ID 558275 daemon.notice] adjust time server 10.100.88.42 offset 0.266879 sec
Jan 19 15:39:02 solaris9 xntpd[292]: [ID 702911 daemon.notice] xntpd 3-5.93e Mon Sep 20 15:47:11 PDT 1999 (1)
Jan 19 15:39:02 solaris9 xntpd[292]: [ID 301315 daemon.notice] tickadj = 5, tick = 10000, tvu_maxslew = 495, est. hz = 100
Jan 19 15:39:02 solaris9 xntpd[292]: [ID 798731 daemon.notice] using kernel phase-lock loop 0041
Jan 19 15:39:02 solaris9 last message repeated 1 time
Jan 19 15:39:04 solaris9 picld[60]: [ID 562987 daemon.error] WARNING: FAN_TRAY_0 (CPU2_FAN) failure detected
Jan 19 15:39:05 solaris9 picld[60]: [ID 691918 daemon.error] FSP_GEN_FAULT_LED has turned ON
Jan 19 15:39:19 solaris9 picld[60]: [ID 562987 daemon.error] WARNING: FAN_TRAY_0 (CPU2_FAN) failure detected
Jan 19 15:40:05 solaris9 last message repeated 3 times

일단 팬트레이를 교체해도 문제가 해결되지 않아서 더 찾아보니, picld 버그일 가능성이 있다고 한다.  패치를 찾아서 시도해 보아야 할 상황인데, 패치를 받기가 힘들다. sun이 오라클에 합병당해서…

디스크는 내부 FCAL 디스크 2개이며, mirror 구성되어 있다.  때문에, 디스크 교체후 mirror를 구성해 주어야 한다.

1. 디스크의 교체(핫스왑)

먼저, iostat -en 으로 고장 디스크 확인.

—- errors —-
s/w   h/w   trn   tot
…
1        0         0       0        c1t0d0
0      13   126   139         c1t1d0

luxadm으로 디스크 제거.

luxadm -e remove_device -F /dev/rdsk/c1t1d0s2

WARNING!! please ensure that no filesystem are mounted on these device(s).
All data on these devices should have been backed up.

Error: SCSI failure. – /dev/rdsk/c1t1d0s2

luxadm -e offline /dev/rdsk/c1t1d0s2
devctl: I/O error

디스크가 이미 고장이므로 luxadm이 정상작동 하지 않았다.

그래서, 그냥 디스크 빼고 새 디스크로 교체.

바로 online 메시지 나오면서 인식.

이후 mirror작업수행.

2. 미러작업 완료후, Resync 중에 시스템을 종료해야만 했다. 이후 재 부팅과정에서 문제가 발생했다.

stale databases …

single user모드로 부팅이 되며, fsck 로도 해결되지 않았음. single모드에서 아래 커맨드 수행

metadb

metadb -d /dev/dsk/c1t1d0s7

s7이 메타디바이스영역.

이후 정상 부팅후,

metadb -a /dev/dsk/c1t1d0s7

이후 metastat 로 확인해보면, resyncing되는것을 확인.

혹시나해서 검색해보니, http://download.oracle.com/docs/cd/E19455-01/806-3205/troubleshoottasks-38/index.html

http://blog.naver.com/comki/100024647947

복구

http://www.brandonhutchinson.com/Replacing_a_disk_with_different_geometry_in_DiskSuite.html

내가 해본것.

원본디스크: c0t0d0s2  대상디스크: c0t1d0s2

원본디스크의 파티션 (7번 슬라이스는 md를 위한 공간으로 16MB잡았음)

partition> p
Current partition table (original):
Total disk cylinders available: 47994 + 2 (reserved cylinders)

Part      Tag    Flag     Cylinders         Size            Blocks
0       root    wm     352 – 27391       38.47GB    (27040/0/0)  80687360
1       swap    wu       0 -   351      512.88MB    (352/0/0)     1050368
2     backup    wm       0 – 47993       68.29GB    (47994/0/0) 143214096
3 unassigned    wm       0                0         (0/0/0)             0
4 unassigned    wm       0                0         (0/0/0)             0
5 unassigned    wm   27392 – 34255        9.77GB    (6864/0/0)   20482176
6 unassigned    wm   34256 – 47982       19.53GB    (13727/0/0)  40961368
7 unassigned    wm   47983 – 47993       16.03MB    (11/0/0)        32824

1. 디스크 미러 만들기

prtvtoc /dev/rdsk/c0t0d0s2 | fmthard -s – /dev/rdsk/c0t1d0s2

여기서 두 디스크의 모델이 서로 달라서 에러 발생. 이것은 두번째 문서를 참조하여, 같은 모델로 설정함.

format -> disk -> 1 -> type -> …..

디스크 파티션은 아래와 같음

/dev/dsk/c0t0d0s1       -       -       swap    -       no      -
/dev/dsk/c0t0d0s0  /dev/rdsk/c0t0d0s0 /       ufs     1       no      -
/dev/dsk/c0t0d0s5       /dev/rdsk/c0t0d0s5      /oracle ufs     2       yes     -
/dev/dsk/c0t0d0s6       /dev/rdsk/c0t0d0s6      /oradata        ufs     2       yes     -
swap    -       /tmp    tmpfs   -       yes     -

작업내용

metadb -a -f -c 2 /dev/dsk/c0t0d0s7 /dev/dsk/c0t1d0s7

metainit -f d10 1 1 c0t0d0s0
metainit -f d20 1 1 c0t1d0s0
metainit d0 -m d10
metaroot d0
lockfs -fa
metainit -f d11 1 1 c0t0d0s1
metainit -f d21 1 1 c0t1d0s1
metainit d1 -m d11
metainit -f d 15 1 1 c0t0d0s5
metainit -f d15 1 1 c0t0d0s5
metainit -f d25 1 1 c0t1d0s5
metainit d5 -m d15
metainit -f d16 1 1 c0t0d0s6
metainit -f d26 1 1 c0t1d0s6
metainit d6 -m d16

/etc/vfstab 을 편집

/dev/md/dsk/d1  -       -       swap    -       no      -
/dev/md/dsk/d0  /dev/md/rdsk/d0 /       ufs     1       no      -
/dev/md/dsk/d5  /dev/md/rdsk/d5 /oracle ufs     2       yes     -
/dev/md/dsk/d6  /dev/md/rdsk/d6 /oradata        ufs     2       yes     -
swap    -       /tmp    tmpfs   -       yes     -

그리고 재부팅 후 나머지 슬라이스를 메타디바이스에 추가해준다.

metattach d0 d20
metattach d1 d21
metattach d5 d25
metattach d6 d26

# metastat
d6: Mirror
Submirror 0: d16
State: Okay
Submirror 1: d26
State: Resyncing
Resync in progress: 17 % done
Pass: 1
Read option: roundrobin (default)
Write option: parallel (default)
Size: 40961368 blocks (19 GB)

d16: Submirror of d6
State: Okay
Size: 40961368 blocks (19 GB)
Stripe 0:
Device     Start Block  Dbase        State Reloc Hot Spare
c0t0d0s6          0     No            Okay   Yes
d26: Submirror of d6
State: Resyncing
Size: 40961368 blocks (19 GB)
Stripe 0:
Device     Start Block  Dbase        State Reloc Hot Spare
c0t1d0s6          0     No            Okay   Yes
d5: Mirror
Submirror 0: d15
State: Okay
Submirror 1: d25
State: Resyncing
Resync in progress: 79 % done
Pass: 1
Read option: roundrobin (default)
Write option: parallel (default)
Size: 20482176 blocks (9.8 GB)

d15: Submirror of d5
State: Okay
Size: 20482176 blocks (9.8 GB)
Stripe 0:
Device     Start Block  Dbase        State Reloc Hot Spare
c0t0d0s5          0     No            Okay   Yes
d25: Submirror of d5
State: Resyncing
Size: 20489378 blocks (9.8 GB)
Stripe 0:
Device     Start Block  Dbase        State Reloc Hot Spare
c0t1d0s5          0     No       Resyncing   Yes
d1: Mirror
Submirror 0: d11
State: Okay
Submirror 1: d21
State: Okay
Pass: 1
Read option: roundrobin (default)
Write option: parallel (default)
Size: 1050368 blocks (512 MB)

d11: Submirror of d1
State: Okay
Size: 1050368 blocks (512 MB)
Stripe 0:
Device     Start Block  Dbase        State Reloc Hot Spare
c0t0d0s1          0     No            Okay   Yes
d21: Submirror of d1
State: Okay
Size: 1051466 blocks (513 MB)
Stripe 0:
Device     Start Block  Dbase        State Reloc Hot Spare
c0t1d0s1          0     No            Okay   Yes
d0: Mirror
Submirror 0: d10
State: Okay
Submirror 1: d20
State: Resyncing
Resync in progress: 0 % done
Pass: 1
Read option: roundrobin (default)
Write option: parallel (default)
Size: 80687360 blocks (38 GB)

d10: Submirror of d0
State: Okay
Size: 80687360 blocks (38 GB)
Stripe 0:
Device     Start Block  Dbase        State Reloc Hot Spare
c0t0d0s0          0     No            Okay   Yes
d20: Submirror of d0
State: Resyncing
Size: 80687360 blocks (38 GB)
Stripe 0:
Device     Start Block  Dbase        State Reloc Hot Spare
c0t1d0s0          0     No            Okay   Yes

2.  dd로 두번째 디스크 에러 유발

dd if=/dev/zero of=/dev/dsk/c0t1d0s2

이후, prtvtoc로 두번째 디스크의 파티션을 재 설정하고,  각각의 서브미러를 replace해준다.

metareplace -e d5 c0t1d0s5
metareplace -e d6 c0t1d0s6
metareplace -e d0 c0t1d0s0
metareplace -e d1 c0t1d0s1

만약 제대로 수행이 안된다면,  메타디바이스에서 분리(metadetach)후, 삭제(metaclear)하고, 다시 만들어줌(metainit)

metadetach -f d0 d20
metaclear d20
metainit -f d20 1 1 c0t1d0s0

netservices [open | limited]

open이면 모든 네트워크 서비스들이 열리고, limited로 하면, nfs같은 사용안하는 서비스는 열리지 않음.

관련커맨드는, svcadm, svccfg등..

/etc/system 파일에서 변수로 사용 되는 것들
- moddir 변수는 부팅되는 시간에 로드되는 모듈의 탐색 경로를 수정
- exclude 변수는 참조되는 모듈들을 배제할 때 사용
- rootdev 변수는 교체될 루트 장치를 결정할 때 사용
- variable = value 는 커널 매개변수의 기본으로 지정

* 스택상에서 프로그램 실행되는것을 방지하는 방법
set noexec_user_stack = 1
set noexec_user_stack_log = 1         #로그에 남도록 설정

* session time out 설정
set swip :tcpidletimeout=200

* 텔넷의 동시접속자 수 제한
set pt_cnt=100
set npty=100

오늘 http://sdnkorea.com/blog/641에서 그 실 사용 예를 보았다.

dtrace를 실행하는 것이 문제가 아니라, 그 실행 결과물을 해석하는것. 역시 해석이 어려운거다.

SMF가 모든 서비스를  관리 하겠다는 것 같다. 그런데, 새로운 서비스를 등록하려면???

문서를 찾아본 결과는 좀 복잡했다. 게다가 설정을 xml로 하는듯 해서 그냥 포기한 상태다. 그러던 중 오늘 우연히, 정말로 우연히 apache2를 SMF에 등록하는 문서를 보게되었다. 물론, 하나하나 자세하게 설명되어 있는것은 아니지만, 그냥 한번 따라해 보기에는 적당한듯 하다.

아래에 링크를 적어 놓는다.

http://CecilDesK.egloos.com/tb/4414991

따라해 보니 잘 된다. 시간 날때, tomcat의 catalina.sh를 가지고 도전해 봐야 겠다.

환경은 Solaris 10, SunStudio 12.

export PATH=/usr/bin:/usr/sbin:/usr/ccs/bin:/usr/sfw/bin:/usr/lib
export CC=cc
LD_LIBRARY_PATH=/usr/lib

위와이 환경을 잡아 놓고 cc로 컴파일

마지막에 워닝…

ld: warning: file /usr/sfw/lib/libstdc++.so: attempted multiple inclusion of file

설치하니 잘 작동한다.

오라클 화일:  10gr2_db_sol.cpio.gz

oracle 계정관련: id: oracle, group: dba

.profile의 내용(bash 쉘)

export ORACLE_BASE=/oracle;
export ORACLE_HOME=/oracle/product/10gr2;
export ORACLE_SID=fox;
export ORACLE_OWNER=oracle;
export ORACLE_PATH=$ORACLE_HOME/bin;
export ORACLE_DOC=$ORACLE_HOME/ocommon/nls/admin/data;

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$ORACLE_HOME/lib32:$ORACLE_HOME/lib:$ORACLE_HOME/jdbc/lib;
PATH=$PATH:/usr/ccs/bin:/usr/sfw/bin:/usr/local/bin:$ORACLE_HOME/bin:$ORACLE_HOME/network/admin;
export PATH;
LANG=c;

oracle 계정으로 로그인한후 runInstaller를 실행시킨후 진행하면 됨. 데이타베이스생성은 나중에 한다.

오라클 설치후, 데이타베이스를 생성하기위해서 아래의 명령을 실행 

oracle$ $ORACLE_HOME/bin/dbca

out of memory 에러. 커널 파라메터를 수정한다. (/etc/system 화일에 다음의 내용을 추가)

set shmsys:shminfo_shmmax=4294967295
set shmsys:shminfo_shmmin=1
set shmsys:shminfo_shmmni=100
set shmsys:shminfo_shmseg=10
set semsys:seminfo_semmns=1024
set semsys:seminfo_semmsl=256
set semsys:seminfo_semmni=100
set semsys:seminfo_semvmx=32767
set noexec_user_stack=1

커널파라메타 설정후 재부팅을 한다. 이후, 데이타베이스생성은 에러없이 진행되었다.

리스너 생성은 netca 를 이용한다.

오랫동안 사용하던 E450이 문제가 있어서 수리를 하면서, 그동안 사용하던 solaris9를 solaris10으로 다시 설치했다. disksuit로 구성을 하려다가 오래전에 본 비디오가 생각나서 zfs로 구성을 해 보기로 했다.

개념은 굉장히 간단하며, 사용방법 또한 metadb를 구성하는 것보다 간단하다. 하지만, 아직 확실한 개념 정립이 되지 않아서…

사용하는 디스크는 모두 6개로, 9GB 3개와 18GB 3개다. 9GB 1개는 OS를 설치했고, 나머지는 모두 사용하지 않는 상태다. 디스크는 아래와 같다

bash-3.00# format
Searching for disks…done
AVAILABLE DISK SELECTIONS:
       0. c0t0d0 <SUN9.0G cyl 4924 alt 2 hd 27 sec 133>
          /pci@1f,4000/scsi@3/sd@0,0
       1. c0t1d0 <FUJITSU-MAE3091L SUN9.0G-0706-8.43GB>
          /pci@1f,4000/scsi@3/sd@1,0
       2. c0t2d0 <IBM-DDRS39130SUN9.0G-S98E-8.43GB>
          /pci@1f,4000/scsi@3/sd@2,0
       3. c2t0d0 <FUJITSU-MAG3182L SUN18G-1111-16.87GB>
          /pci@1f,4000/scsi@4/sd@0,0
       4. c3t2d0 <SEAGATE-ST318203LSUN18G-034A-16.87GB>
          /pci@1f,4000/scsi@4,1/sd@2,0
       5. c3t3d0 <SEAGATE-ST318203LC-0002-16.96GB>
          /pci@1f,4000/scsi@4,1/sd@3,0
Specify disk (enter its number):

먼저, zpool을 사용하여 디스크 풀(이름은 fox_pool로 했다)을 만든다. (18GB 짜리 3개)

#zpool create fox_pool c2t0d0 c3t2d0 c3t3d0

#zpool list
NAME                    SIZE    USED   AVAIL    CAP  HEALTH     ALTROOT
fox_pool               58.8G    102K   58.7G     0%  ONLINE     -

9GB 디스크를 하나 더 추가했다.

 #zpool add -f fox_pool c0t2d0

예전의 disk suit이 디스크 size에 민감했던 반면에, zfs는 디스크 size가 달라도 잘 추가가 된다.  상태를 확인해보면,

# zpool status
  pool: fox_pool
 state: ONLINE
 scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        fox_pool    ONLINE       0     0     0
          c2t0d0    ONLINE       0     0     0
          c3t2d0    ONLINE       0     0     0
          c3t3d0    ONLINE       0     0     0
          c0t2d0    ONLINE       0     0     0

errors: No known data errors

이렇게  pool을 생성하면 /에 pool이름이 자동으로 마운트되어 사용가능한 상태가 된다. 이게 영 맘에 안들어서 zpool destroy로 만든 pool을 삭제하고 다시 생성했다(마운트하는 방법을 몰라서… ;ㅡㅡ)

#zpool create -f -m /export/home fox_pool c2t0d0 c3t2d0 c3t3d0 c0t2d0

그런데, 이것이 굳이 이럴 필요가 있는것인지 알 수가 없다. 왜냐하면, zfs 로  /export/home 에 zfs를 마운트할 수 있기 때문이다. 즉, 하나의 디스크 풀을 각기 다른 디렉토리에 마운트 할 수 있는것 같다. 그래서 oracle 프로그램용으로 zfs를 생성해서 마운트 해보았다.

 #zfs create fox_pool/oracle mount /oracle  —> error

#zfs create fox_pool/oracle

# zfs list
NAME              USED  AVAIL  REFER  MOUNTPOINT
fox_pool          130K  57.8G    31K  /export/home
fox_pool/oracle  24.5K  57.8G  24.5K  /export/home/oracle

생성은 잘 되었지만, 문제가 있다. 나는 oracle을 /에 마운트 하고 싶은 것이다.

# zfs destroy fox_pool/oracle
# zfs list
NAME       USED  AVAIL  REFER  MOUNTPOINT
fox_pool  99.5K  57.8G    30K  /export/home

그래서 삭제를 해 버렸다.

여기서 어떻게 해야할지 모르겠다……   자, 답을 알아냈다

#zfs create fox_pool/oracle
#zfs set mountpoint=/oracle fox_pool/oracle

마운트 포인트를 변경하니 해결이 된다.

자, 여기서, 일부러 에러를 유발하여 복구시켜보았다.

#dd if=/dev/urandom of=/dev/c3t3d0s0 bs=1024 count=10000

s0는 디스크들의 정보가 기록되는 슬라이스로 보이는데, 이곳을 쓰레기 값으로 채워넣은 것이다.

#zpool scrub fox_pool

이 에러는 복구가 되지 않았다. 사실 내가 원하는것은 이것이 아니었다. 그 후 여러번의 시행 착오를 거쳐서 알아낸 것은, zpool 생성시 어떤 옵션도 주지 않으면 디스크들이 stripe 로 묶이는 것이며, mirror 옵션을 주던가 아니면 가장 중요한, raidz 옵션을 주는 것이다.  사실 내가 원하던 것은 Raid5 였다.  mirror도 좋지만, 디스크 두개중 한개밖에 사용할 수 없으니까.

아무튼, Raid-Z 로 디스크를 구성했다. Raid5와 다른점은 디스크 두개로도 구성이 가능하다는 점이다. 사실 이 경우는 mirror와 별 차이가 없는것 같다.

# zpool create fox_pool raidz c2t0d0 c3t2d0      
# zpool status
  pool: fox_pool
 state: ONLINE
 scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        fox_pool    ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            c2t0d0  ONLINE       0     0     0
            c3t2d0  ONLINE       0     0     0

errors: No known data errors
# df -h

fox_pool                16G    24K    16G     1%    /fox_pool

# zpool list
NAME                    SIZE    USED   AVAIL    CAP  HEALTH     ALTROOT
fox_pool               33.5G    178K   33.5G     0%  ONLINE     -

두 개의 디스크에 다시 에러를 유발시킨다. 여기서는 두번째 디스크 c3t2d0s0에 쓰레기값을 넣었다.

# zpool scrub fox_pool
# zpool status
  pool: fox_pool
 state: ONLINE
status: One or more devices has experienced an unrecoverable error.  An
        attempt was made to correct the error.  Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
        using ‘zpool clear’ or replace the device with ‘zpool replace’.
   see: http://www.sun.com/msg/ZFS-8000-9P
 scrub: scrub completed with 0 errors on Tue May 27 22:00:49 2008
config:

        NAME        STATE     READ WRITE CKSUM
        fox_pool    ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            c2t0d0  ONLINE       0     0     0
            c3t2d0  ONLINE       0     0    27

errors: No known data errors

에러를 수정하는 방법에는 두가지가 있다. clear나 replace하는 방법이다. 나는 디스크가 하나 더 있기때문에, replace했다.

#zpool replace fox_pool c3t2d0 c3t3d0
# zpool status
  pool: fox_pool
 state: ONLINE
 scrub: resilver completed with 0 errors on Tue May 27 22:02:22 2008
config:

        NAME           STATE     READ WRITE CKSUM
        fox_pool       ONLINE       0     0     0
          raidz1       ONLINE       0     0     0
            c2t0d0     ONLINE       0     0     0
            replacing  ONLINE       0     0     0
              c3t2d0   ONLINE       0     0    27
              c3t3d0   ONLINE       0     0     0

errors: No known data errors

잠시후 확인해보면 디스크가 바뀌어 있는것을 확인 할 수 있다.

 zpool status
  pool: fox_pool
 state: ONLINE
 scrub: scrub completed with 0 errors on Tue May 27 22:09:20 2008
config:

        NAME        STATE     READ WRITE CKSUM
        fox_pool    ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            c2t0d0  ONLINE       0     0     0
            c3t3d0  ONLINE       0     0     0

errors: No known data errors

 

 fox_pool에 남은 c3t2d0를 추가하기 위하여 zpool add명령을 사용했다.

결과는 별로다. 디스크가 raidz로 추가되는 것이 아니라, 기존의 raidz1과 stripe로 묶여버린 것이다. 물론, raidz 옵션을 추가할때 넣어봤지만, 이경우역시 작동되지 않았다.

# zpool status
  pool: fox_pool
 state: ONLINE
 scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        fox_pool    ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            c2t0d0  ONLINE       0     0     0
            c3t3d0  ONLINE       0     0     0
          c3t2d0    ONLINE       0     0     0

errors: No known data errors

 그래서 다시 디스크 세개로 fox_pool을 생성하였으며, 역시 에러를 유발한 후 테스트 하였다.

# zpool scrub fox_pool
# zpool status
  pool: fox_pool
 state: ONLINE
status: One or more devices has experienced an unrecoverable error.  An
        attempt was made to correct the error.  Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
        using ‘zpool clear’ or replace the device with ‘zpool replace’.
   see: http://www.sun.com/msg/ZFS-8000-9P
 scrub: scrub completed with 0 errors on Tue May 27 21:44:42 2008
config:

        NAME        STATE     READ WRITE CKSUM
        fox_pool    ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            c2t0d0  ONLINE       0     0     0
            c3t2d0  ONLINE       0     0     0
            c3t3d0  ONLINE       0     0    38

errors: No known data errors

같은방식으로 에러를 유발했다. c3t3d0의 체크섬이 38이다. 이것은 아래 명령으로 수정가능하다.

bash-3.00# zpool clear fox_pool c3t3d0
bash-3.00# zpool status
  pool: fox_pool
 state: ONLINE
 scrub: scrub completed with 0 errors on Tue May 27 21:44:42 2008
config:

        NAME        STATE     READ WRITE CKSUM
        fox_pool    ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            c2t0d0  ONLINE       0     0     0
            c3t2d0  ONLINE       0     0     0
            c3t3d0  ONLINE       0     0     0

errors: No known data errors

다음은 snapshot을 만들어 보았다. snapshot은 만드는 시점의 데이타를 한번만 반영하는것 같다. 말 그대로 스냅샷을 수행하던 시점의 백업을 만드는 것 같다.

fox_pool에 zfs로 화일시스템을 만들고 세개의 화일(test.txt, last.txt, words)을 생성했다.  그리고 스냅샷을 만들었다.

# ls -al
total 576
drwxr-xr-x   2 root     sys            5 May 27 22:26 .
drwxr-xr-x   3 root     sys            3 May 27 22:25 ..
-rw-r–r–   1 root     root        7105 May 27 22:26 last.txt
-rw-r–r–   1 root     root       16566 May 27 22:26 test.txt
-r–r–r–   1 root     root      206663 May 27 22:26 words

# zfs snapshot fox_pool/home@snap1
bash-3.00# zfs list
NAME                  USED  AVAIL  REFER  MOUNTPOINT
fox_pool              424K  33.1G  35.3K  /fox_pool
fox_pool/home         316K  33.1G   316K  /fox_pool/home
fox_pool/home@snap1      0      -   316K  -

# rm words
# ls -al
total 58
drwxr-xr-x   2 root     sys            4 May 27 22:37 .
drwxr-xr-x   3 root     sys            3 May 27 22:25 ..
-rw-r–r–   1 root     root        7105 May 27 22:26 last.txt
-rw-r–r–   1 root     root       16566 May 27 22:26 test.txt
bash-3.00# zfs snapshot fox_pool/home@snap2
bash-3.00# zfs list
NAME                  USED  AVAIL  REFER  MOUNTPOINT
fox_pool              467K  33.1G  35.3K  /fox_pool
fox_pool/home         348K  33.1G  57.9K  /fox_pool/home
fox_pool/home@snap1   290K      -   316K  -
fox_pool/home@snap2      0      -  57.9K  -

스냅샷은 /fox_pool/home/.zfs/snapshot/snap1 과, /fox_pool/home/.zfs/snapshot/snap2에 각각 저장되어 있다.

# pwd
/fox_pool/home/.zfs/snapshot/snap2
# ls
last.txt  test.txt
# cd ../snap2
# ls
last.txt  test.txt

snap1로 롤백을 해보았다.

# zfs rollback fox_pool/home@snap1
cannot rollback to ‘fox_pool/home@snap1′: more recent snapshots exist
use ‘-r’ to force deletion of the following snapshots:
fox_pool/home@snap2
# zfs rollback -r fox_pool/home@snap1
cannot unmount ‘/fox_pool/home’: Device busy
bash-3.00# pwd
/fox_pool/home
# ls
# cd ..
# zfs rollback -r fox_pool/home@snap1
# cd home
# ls
last.txt  test.txt  words
 

이때, 나중에 만든 snap2는 snap1이 만들어지던 시점에는 존재하지않았기때문에, 지워져 버렸다.. 그래서 경고메시지가 나왔었군…

암튼, 스냅샷은 디스크를 차지하고 있으므로, 필요가 없으면 제거해준다.

#zfs  destroy fox_pool/home@snap1

스냅샷이 저장되는 디렉토리 .zfs 는 ls -al로는 확인이 되지 않았지만, 그 이후는 확인이 가능했다. 아울러, 필요한 화일을 직접 복사하는것도 가능했다.

여기까지 사용해본 소감은, 참 편리하다는거. newfs도 필요없고, 마운트도 필요없고. 생성속도 또한 빠르다. disksuit을 사용해야할 이유를 더 이상 찾을 수가 없다.(물론, solaris10이 아니라면 선택의 여지가 없겠지만…)

마지막으로 참고사이트 : http://docs.sun.com/app/docs/doc/819-5461?l=en  너무 늦게 발견 ;ㅡㅡ