어떻게 RHEL 4에서 multipath maps을 만들때 local disk를 제외시키고 만들 수 있나?

[이누기]

어떻게 RHEL 4에서  multipath maps을 만들때 local disk를 제외시키고 만들 수 있나?

Article ID: 4042 - Created on: Dec 6, 2005 6:00 PM - Last Modified:  Jul 16, 2009 1:33 PM

Release Found: Red Hat Enterprise Linux 4 and Red Hat Enterprise Linux 5

제한사항:

이 문서에서, /dev/sda 는 internal disk의 예로 사용될 것이다.
명심해라 dm multipath 는 단지 Red Hat Enterprise Linux 4 Update 2 와 그 이후버젼 과 ed Hat Enterprise Linux 5 부터 지원된다.

어떤 머신은 그들의 internal disks에 대해서 local SCSI 카드를 가지고 있다. 이러한 경우 device mapper 는 multipathed devices들을 검색하는 것을
권장하지 않는다.

어떤 디스크들이 internal disks 인지 결정하고, blacklist에 그것들을 마킹해라.
이 장치들을 blacklisting하기전에 ,multipath -v2 명령으로  이들의 multipath map내에서 local disk가 보여지는지를 관찰해라.

[root@rh4cluster1 ~]# multipath -v2
create: SIBM-ESXSST336732LC____F3ET0EP0Q000072428BX1
[size=33 GB][features="0"][hwhandler="0"]
\\_ round-robin 0
  \\_ 0:0:0:0 sda  8:0

device-mapper ioctl cmd 9 failed: Invalid argument
device-mapper ioctl cmd 14 failed: No such device or address
create: 3600a0b80001327d80000006d43621677
[size=12 GB][features="0"][hwhandler="0"]
\\_ round-robin 0
  \\_ 2:0:0:0 sdb  8:16
  \\_ 3:0:0:0 sdf  8:80

create: 3600a0b80001327510000009a436215ec
[size=12 GB][features="0"][hwhandler="0"]
\\_ round-robin 0
  \\_ 2:0:0:1 sdc  8:32
  \\_ 3:0:0:1 sdg  8:96

create: 3600a0b80001327d800000070436216b3
[size=12 GB][features="0"][hwhandler="0"]
\\_ round-robin 0
  \\_ 2:0:0:2 sdd  8:48
  \\_ 3:0:0:2 sdh  8:112

create: 3600a0b80001327510000009b4362163e
[size=12 GB][features="0"][hwhandler="0"]
\\_ round-robin 0
  \\_ 2:0:0:3 sde  8:64
  \\_ 3:0:0:3 sdi  8:128

위의 예제 처럼,  device mapper는 multipath maps에서 multipath maps으로 매핑되었다.
이러한 결과를 막기위해서는 , /etc/multipath.conf 를 아래처럼 수정해라.

• Solution 1:  
    
    한가지 방법은 devnode 키워드를 blacklist 부분에 쓰는 방법이다:  
   
  

devnode_blacklist {
      ...
      devnode "^sda$"
      ...
 }

만약 머신이1개 이상의 internal disk를 가지고 있다면, 예를 들어 /dev/sda 와  /dev/sdb, 그러면 이렇게 될 것이다.: 
 

  devnode "^sd[ab]$"

Note: 이것은 패턴매치를 위해서 $ 심볼을 추가하는 것이 중요하다. 그렇지 않으면  /dev/sdaa에서  /dev/sdaz까지 장치 이름들은 모두 blacklist될 것이다. 왜냐하면 이것들은 단순히 sda를 매치하긱 때문이다.
만약 26개 보다(/dev/sd* devices) 많은   장치들이 머신에서 가지고 있다면 이것은 이슈가 될 것이다.
만약 이러하다면 어떤 일이 발생할 수 있다. 이를 말하여라.  7개 또는 그 이상의 LUN들은 LUN당 4개의 path로 머신에 할당된다.

• Solution 2: 
   
   
  그러나 internal disk 가 항상 장치이름  /dev/sda으로 할당될 것인지는 보증되지 않는다.
  좀더 나은 솔루션은 internal disk를 blacklist하기위해서 wwid 키워드를 사용하는 것이다. 왜냐면 disk의 WWID/serial number는 결코 변하지 않기 때문이다.
  /dev/sda의 WWID/serial number는 위의 multipath의 결과에서 보여진다.
  이것은 아마 multipath -ll 명령을 실행하거나 scsi_id 명령으로 확인이 가능할 것이다:
  
   
  

 [root@rh4cluster1 ~]# scsi_id -g -u -s /block/sda
 SIBM-ESXSST336732LC____F3ET0EP0Q000072428BX1

그래서,  /dev/sda를 blacklist하기위해서 wwid 키워드를 사용하는 것은, Red Hat Enterprise Linux 4 에서는 blacklist section에

아래와 같이 볼 수 있을 것이다.: 
 

devnode_blacklist {
       wwid SIBM-ESXSST336732LC____F3ET0EP0Q000072428BX1
       wwid 26353900f02796769
       devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
       devnode "^hd[a-z][0-9]*"
       devnode "^cciss!c[0-9]d[0-9]*[p[0-9]*]"
 }

Red Hat Enterprise Linux 5에서는 , blacklist section 은 아래와 같을 것이다: 
 

 blacklist {
       wwid SIBM-ESXSST336732LC____F3ET0EP0Q000072428BX1
       wwid 26353900f02796769
       devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
       devnode "^hd[a-z][0-9]*"
 }
 

새로운 설정을 적용하기위해서는 아래와 같은 명령을 실행해라:

multipath -F
multipath -v2

이제 local disks는 더이상 multipath maps내에 리스트되지 않을 것이다:

[root@rh4cluster1 ~]# multipath -F
[root@rh4cluster1 ~]# multipath -v2
create: 3600a0b80001327d80000006d43621677
[size=12 GB][features="0"][hwhandler="0"]
\\_ round-robin 0
  \\_ 2:0:0:0 sdb  8:16
  \\_ 3:0:0:0 sdf  8:80

create: 3600a0b80001327510000009a436215ec
[size=12 GB][features="0"][hwhandler="0"]
\\_ round-robin 0
  \\_ 2:0:0:1 sdc  8:32
  \\_ 3:0:0:1 sdg  8:96

create: 3600a0b80001327d800000070436216b3
[size=12 GB][features="0"][hwhandler="0"]
\\_ round-robin 0
  \\_ 2:0:0:2 sdd  8:48
  \\_ 3:0:0:2 sdh  8:112

create: 3600a0b80001327510000009b4362163e
[size=12 GB][features="0"][hwhandler="0"]
\\_ round-robin 0
  \\_ 2:0:0:3 sde  8:64
  \\_ 3:0:0:3 sdi  8:128

blacklist되어진 장치들을 보기위한 명령은 아래와 같이  multipath -v3 -ll 명령의 결과값을 확인해 보면 알 수 있다:

[root@rh4cluster1 ~]# multipath -v3 -ll | grep blacklist
...
sda blacklisted
...

Note: On Red Hat Enterprise Linux 4, wwid values may not show up in this output list; only the blacklisted devnode values are displayed. On Red Hat Enterprise Linux 5, both wwid and devnode blacklisted devices are displayed.

출처: http://kbase.redhat.com/faq/docs/DOC-4042