하드웨어/RAID2019. 2. 28. 14:11

심심해서 어떻게 날리면 재미있을까? 라고 고민하다가

켠채로 RAID 볼륨 날리는걸로 결정 ㅋㅋㅋ


두근두근 하면서 눌렀고

초기화 되는 중에 후다닥 콘솔 열어서 명령어 쳐보니

실행이 되다가 어느정도 날아가고 나서는 실행이 되지 않게 된다.

(init이나 shutdown reboot 모두 명령어라 안 먹어서 끌수도 없다 ㅋㅋ)

# dmesg

[112092.188419] megasas:span 0 rowDataSize 2

[112092.188420] megasas:span 0 rowDataSize 2

[112092.188422] megasas:span 0 rowDataSize 2

[178173.500160] XFS (sda1): Unmounting Filesystem

[178173.500621] XFS (sda1): metadata I/O error: block 0x7de89 ("xlog_iodone") error 19 numblks 64

[178173.500627] XFS (sda1): xfs_do_force_shutdown(0x2) called from line 1180 of file fs/xfs/xfs_log.c.  Return address = 0xffffffffa036fb1e

[178173.500637] XFS (sda1): Log I/O Error Detected.  Shutting down filesystem

[178173.500639] XFS (sda1): Please umount the filesystem and rectify the problem(s)

[178173.500667] XFS (sda1): Unable to update superblock counters. Freespace may not be correct on next mount.

[178173.500675] XFS (sda1): xfs_log_force: error -5 returned. 


pwd나 cd는 bash 내장 명령어니까 메모리에 올라가 있어서 작동은 하지만

반대로 생각하면 파일 시스템의 디렉토리 테이블(inode)는 어느정도 메모리에 올려져 있다는 건가?

[root@localhost ~]# dmesg

-bash: /usr/bin/dmesg: Input/output error

[root@localhost ~]# pwd

/root

[root@localhost ~]# cd ..

[root@localhost /]# pwd

/

[root@localhost /]# ll

-bash: /usr/bin/ls: Input/output error 


초기화 되고 나서 보니 이제 모두 Ready~

'하드웨어 > RAID' 카테고리의 다른 글

RAID6 라서 오래 걸리나.. 백그라운드 초기화라 오래 걸리나?  (0) 2019.03.06
raid5 vs raid6 vs raid10  (0) 2019.03.04
PERC foreign RAID import  (0) 2019.02.26
foreign, degraded  (0) 2019.02.25
raid 복구?  (0) 2019.02.25
Posted by 구차니
하드웨어/RAID2019. 2. 26. 10:17

R630 H730 Mini 에서

R730 H730 Mini로 RAID5 구성된 볼륨을 이동해서 RAID 볼륨 올리는 것 테스트


원래 볼륨은 R630에 있는데 전원 내린 이후에(안그러면 하나 뽑을때 마다 RAID 파괴되었습니다 소리 나올테니)

R730은 켜진채로 하나씩 옮겨 꼽고 iDRAC을 통해

foreign 으로 잡힌걸 import 해주니 바로 잡혀진다.


결론 : RAID 설정 자체는 컨트롤러가 아닌 HDD에 저장되는 듯 하다


은근히 잘 안보이는 곳에 짱박혀서 찾기도 힘드네 -_-


커널 메시지야 평범 하구만

[3082118.805795] scsi 0:2:1:0: Direct-Access     DELL     PERC H730 Mini   4.25 PQ: 0 ANSI: 5

[3082118.816186] sd 0:2:1:0: [sdb] 7029129216 512-byte logical blocks: (3.59 TB/3.27 TiB)

[3082118.816247] sd 0:2:1:0: [sdb] Write Protect is off

[3082118.816252] sd 0:2:1:0: [sdb] Mode Sense: 1f 00 00 08

[3082118.816283] sd 0:2:1:0: [sdb] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA

[3082118.816855] sd 0:2:1:0: Attached scsi generic sg2 type 0

[3082118.817422] megaraid_sas 0000:03:00.0: scanning for scsi0...

[3082118.830111] sd 0:2:1:0: [sdb] Attached SCSI disk


'하드웨어 > RAID' 카테고리의 다른 글

raid5 vs raid6 vs raid10  (0) 2019.03.04
(Linux)OS 작동중에 하드를 뽑으면 어떻게 될까?  (0) 2019.02.28
foreign, degraded  (0) 2019.02.25
raid 복구?  (0) 2019.02.25
DELL PERC9 T10 PI?  (0) 2019.02.25
Posted by 구차니
하드웨어/RAID2019. 2. 25. 19:42

두개가 같은 의미인진 모르겠고..


foreign 은 상태

(다른 시스템에서 구성된 하드를 뽑아서 꽂을 때 해당 볼륨에 대한 상태로 표현함)

[링크 : https://www.intel.com/.../raid-products/SWUG_full_featured_entry_RAID.pdf]

[링크 : https://www.easeus.com/partition-manager-software/what-is-foreign-dynamic-disk-and-how-to-fix-it.html]

[링크 : https://www.dell.com/community/.../Perc-6-i-Foreign-config-on-disk-how-to-clear-a-disk/td-p/3845325]


degrade은 모드라고 표현을 하네?

(RAID 볼륨에서 하드가 고장났을때 구성된 볼륨 자체가 degrade 된다고 표현함)

[링크 : https://en.wikipedia.org/wiki/Degraded_mode]



+

2019.02.27

raid 볼륨 해제한 하드를 꽂아도 foreign으로 인식한다.

일단 쓰지 않던 하드라고 하더라도 foreign 상태로 되고

foreign에서 volume으로 포함되거나 / hot spare로 할당되거나 / non-raid로 남거나 이런식으로

상태가 전이 되는 듯하다.

그리고 volume에서 문제가 생길경우 해당 볼륨은 degrade로 바뀌는 듯?


처음 꽂은 상태


controller - import foreign configuration


완료시 ready로 상태가 바뀐다.


+

위에서 보니 Non-RAID는 컨트롤러를 RAID로 두고 개별 하드로 인식시키는 것이고

HBA로 RAID 컨트롤러 모드를 바꾸면 RAID로 사용이 불가능해지고 전부 개별 하드로 인식하는 듯?

'하드웨어 > RAID' 카테고리의 다른 글

(Linux)OS 작동중에 하드를 뽑으면 어떻게 될까?  (0) 2019.02.28
PERC foreign RAID import  (0) 2019.02.26
raid 복구?  (0) 2019.02.25
DELL PERC9 T10 PI?  (0) 2019.02.25
dell iDRAC을 이용한 런타임 RAID 설정변경  (0) 2019.02.25
Posted by 구차니
하드웨어/RAID2019. 2. 25. 19:07

raid 하드 뽑아서 다른 시스템에 넣어서 raid 볼륨 연결하는게 복구 영역이라니..

동일 컨트롤러 동일 펌웨어여야 복구 가능성인 높다고 하니 되도록이면 안하는게 상책이구나.. ㄷㄷ


[링크 : https://www.ontrack.com/blog/2013/04/22/raid-vs-drive-rebuilds-part-2/amp/]

[링크 : https://ask.adaptec.com/app/answers/detail/a_id/16881]

'하드웨어 > RAID' 카테고리의 다른 글

PERC foreign RAID import  (0) 2019.02.26
foreign, degraded  (0) 2019.02.25
DELL PERC9 T10 PI?  (0) 2019.02.25
dell iDRAC을 이용한 런타임 RAID 설정변경  (0) 2019.02.25
RAID5가 전가의 보도는 아니었구나.. 라는 실망  (2) 2019.02.24
Posted by 구차니
하드웨어/RAID2019. 2. 25. 17:46

RAID 구성하는데 PI 라는게 떠서 조사

근데 나오는게 별로 없네? ㅠㅠ


PERC9 - T10 PI(Protection Information)는 PERC9(H330, H730, H730P, H830)를 불안정하게 할 수 있습니다. 

[링크 : https://www.dell.com/support/article/kr/ko/krdhs1/qna44008/]

'하드웨어 > RAID' 카테고리의 다른 글

foreign, degraded  (0) 2019.02.25
raid 복구?  (0) 2019.02.25
dell iDRAC을 이용한 런타임 RAID 설정변경  (0) 2019.02.25
RAID5가 전가의 보도는 아니었구나.. 라는 실망  (2) 2019.02.24
raid 특성인가?  (0) 2019.02.22
Posted by 구차니
하드웨어/RAID2019. 2. 25. 17:42

말은 거창한데, BIOS 안들어가고 리눅스 켜진 상태에서

RAID 컨트롤러 조작해서 RAID를 재구성하는 방법에 대한 경험(?)이라고 적으면 될 듯?


일단 기존의 볼륨을 확인

vd1은 6개 짜리 RAID-0인데(이게 삼바로 쓰고 있단 건 안유머..) 1개가 predictable failure 경고 상태

일단 리눅스 돌고 있는 상황에서 삭제!


위에는 경고고 아래 Apply를 누르면 진짜로 삭제!


job queue에 들어가서 확인해보면 먼가 꼼지락 꼼지락


올라가라~


그리고 나서 남은 디스크를 이용해서 raid 구성하려고 하는데


역시 queue에 넣고 넘어간다.


vd1을 제거하고 나서 겠...지?(급 헷갈림)

오후 5:33 2019-02-25

[root@localhost mnt]# ll /dev/sd*

brw-rw---- 1 root disk 8, 0  2월 19 13:48 /dev/sda

brw-rw---- 1 root disk 8, 1  2월 19 13:48 /dev/sda1

brw-rw---- 1 root disk 8, 2  2월 19 13:48 /dev/sda2 


아무튼 위에 마지막 사진 이후에 조회를 해보니 아래처럼 /dev/sdb가 추가되었고

커널 메시지에서도 아래와 같이 확인되었다.

오후 5:37 2019-02-25

[root@localhost mnt]# ll /dev/sd*

brw-rw---- 1 root disk 8,  0  2월 19 13:48 /dev/sda

brw-rw---- 1 root disk 8,  1  2월 19 13:48 /dev/sda1

brw-rw---- 1 root disk 8,  2  2월 19 13:48 /dev/sda2

brw-rw---- 1 root disk 8, 16  2월 25 17:36 /dev/sdb


[root@localhost mnt]# dmesg

[532291.057087] scsi 0:2:1:0: Direct-Access     DELL     PERC H730 Mini   4.25 PQ: 0 ANSI: 5

[532291.057416] sd 0:2:1:0: [sdb] 7029129216 512-byte logical blocks: (3.59 TB/3.27 TiB)

[532291.057484] sd 0:2:1:0: [sdb] Write Protect is off

[532291.057485] sd 0:2:1:0: Attached scsi generic sg1 type 0

[532291.057491] sd 0:2:1:0: [sdb] Mode Sense: 1f 00 00 08

[532291.057534] sd 0:2:1:0: [sdb] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA

[532291.076056]  sdb: unknown partition table

[532291.076308] sd 0:2:1:0: [sdb] Attached SCSI disk 


심심하니 남는 하드 하나는 hot-spare로 설정!

아래 고장난 놈 어떻게 처치하냐...


설정하고 나니 아래와 같이 Hot spare에 Global로 뜬다!


'하드웨어 > RAID' 카테고리의 다른 글

raid 복구?  (0) 2019.02.25
DELL PERC9 T10 PI?  (0) 2019.02.25
RAID5가 전가의 보도는 아니었구나.. 라는 실망  (2) 2019.02.24
raid 특성인가?  (0) 2019.02.22
RAID 1+0 구성과 span  (0) 2019.02.19
Posted by 구차니
하드웨어/RAID2019. 2. 24. 10:49

회사에다가 RAID5를 구축했는데

SAS 1T 짜리라서 RAID5로 묶어도 1개 복구 보장에 끽해야 3테라인데 좀 아쉽고

시퀀셜 1GB/s 정도는 찍어주는데 랜덤 4k는 11~16MB/s 정도 겨우 나온다.

역시 SAS 1T 1K 하드로 RAID를 해도 SSD가 짱이다 라는 결론.. (망할)


아무튼 그 외에도 스토리지 특성에 따라 통합 스토리지를 쓸 경우

IOPS 한계나 4k 미만 파일의 엑세스가 많을 경우 전체 성능이 저하되는 느낌이고

RAID 컨트롤러 특성인지 대용량 전송시에는 Read/Write가 동시에 되지 않고

캐시에 한번 쭈욱 읽어 놓고 한번에 쭈욱 쓰는 지 의외로 느린 느낌이 든다.

(nfs로 물려서 다른 서버로 보내서 그런걸지도)


아무튼 그 외에는.. RAID5로 8개 디스크 구성해도 1개의 복구 가능성만 제공한다는데

도대체 대용량 데이터센터에서는 어떤식으로 구성하는걸까 궁금해진다.


최소  RAID 50으로 대용량 구성하는 걸려나?


아무튼 RAID5에 대한 환상이 깨진 이유는

stripe with parity라는 특성인데

stripe는 N-1 로 성능이 늘어야 하는데

parity로 인해서 N-2가 되는 정도로 그치는 것으로 보인다(하드웨어 RAID라도 그런듯?)


정리

1. RAID 5의 Write 속도 상승폭은 그리 크지 않다

2. RAID 5를 몇개 묶더라도 1개 디스크만 고장 대처를 보장한다(2개 이상 나가면 망했어요)

3. 다양한 어플리케이션을 하나에 저장해서 쓰기에는 HDD의 한계를 벗어날 수 없다.



결론

1. SOHO 에서는 무리지만 약간 규모있는 소규모 회사에는 삼바는 RAID5나 RAID51으로 구성하는게 나을듯

2. RAID와 백업은 별개다. 결국 백업 스토리지도 용량 한계로 RAID로 구성해야 한다는 딜레마..

3. 성능 문제가 있다면 8bay에서 4bay(raid 5) + 2bay (ssd raid 1) + 2bay(hhd raid 1) 식으로 구성하는게 나을지도?

4. 가상서버 io 영향도 크겠지만 서버별로 나누어져 있다가 RAID5 스토리지로 몰았더니 성능 저하가 크게 느껴진다.

'하드웨어 > RAID' 카테고리의 다른 글

DELL PERC9 T10 PI?  (0) 2019.02.25
dell iDRAC을 이용한 런타임 RAID 설정변경  (0) 2019.02.25
raid 특성인가?  (0) 2019.02.22
RAID 1+0 구성과 span  (0) 2019.02.19
R730 PERC RAID-0 vs RAID-5  (0) 2019.02.15
Posted by 구차니
하드웨어/RAID2019. 2. 22. 14:13

희한하게 죽어라 쓰면서 읽지 않아서

의문을 가지는 중.. RAID-5로

read ahead / write back 정책으로 해놔서 그런걸까..

왜 저렇게 미친듯(?)이 읽고 나서 읽기는 쉬고 미친듯이 쓰는걸까?


Posted by 구차니
하드웨어/RAID2019. 2. 19. 12:52

nested level의 RAID는 당연한 거긴 하지만..

망할(?) span 이라는 용어가 나오는데


RAID 1+0 에서

RAID0는 속도를 위해 묶이므로 안정성이 꽝이라

안정성을 보강해주기 위해 RAID0에 묶일 볼륨을 RAID1으로 미러링 해주는 구성이 된다.

그리고 안정성을 위한 span이 raid 1으로 묶이게 되고(그래서 RAID 1+0에서 1이 먼저)

용량과 속도를 위해 RAID1들을 RAID0으로 묶게 된다.


 Spanned RAID levels Spanning is a term used to describe the way in which RAID levels 10, 50, and 60 are constructed from multiple sets of basic, or simple RAID levels. For example, a RAID 10 has multiple sets of RAID 1 arrays where each RAID 1 set is considered a span. Data is then striped (RAID 0) across the RAID 1 spans to create a RAID 10 virtual disk. Similarly, RAID 50 and RAID 60 combine multiple sets of RAID 5 or RAID 6 respectively with striping.  

[링크 : http://hg.flagshiptech.com/ebay/DellManuals/rc_h310_h710_h710p_h810_ug_en-us.pdf]

[링크 : https://www.dell.com/community/PowerEdge-HDD-SCSI-RAID/RAID10-and-spans/td-p/4666979]

'하드웨어 > RAID' 카테고리의 다른 글

RAID5가 전가의 보도는 아니었구나.. 라는 실망  (2) 2019.02.24
raid 특성인가?  (0) 2019.02.22
R730 PERC RAID-0 vs RAID-5  (0) 2019.02.15
R730 RAID5 성능 테스트(?)  (0) 2019.02.13
PowerEdge RAID Controller - PERC  (0) 2019.02.12
Posted by 구차니
하드웨어/RAID2019. 2. 15. 13:44

에에에에에에엥??!?!?!


동일 시스템 아니고 동일 하드가 아니라 다르게 나올수도 있고

다른 서비스 도는게 있어서 전혀 영향이 없다라고 할 순 없는 좀 불공평한 상황이긴 하지만

SAS 10K HDD RAID-5 * 4

SAS 10K HDD RAID-0 * 4

# dd if=/dev/zero of=/home/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.968236 s, 1.1 GB/s


# dd if=/dev/zero of=/home/testfile bs=1M count=1024 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.877165 s, 1.2 GB/s

1073741824 bytes (1.1 GB) copied, 1.67205 s, 642 MB/s

1073741824 bytes (1.1 GB) copied, 1.64823 s, 651 MB/s

1073741824 bytes (1.1 GB) copied, 1.70338 s, 630 MB/s

1073741824 bytes (1.1 GB) copied, 1.67719 s, 640 MB/s


# dd if=/dev/zero of=/home/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.981585 s, 1.1 GB/s

1073741824 bytes (1.1 GB) copied, 1.86161 s, 577 MB/s

1073741824 bytes (1.1 GB) copied, 1.83748 s, 584 MB/s


# dd if=/dev/zero of=/home/testfile bs=512 count=1024 oflag=direct

524288 bytes (524 kB) copied, 0.0448593 s, 11.7 MB/s

524288 bytes (524 kB) copied, 0.0444185 s, 11.8 MB/s

524288 bytes (524 kB) copied, 0.0448892 s, 11.7 MB/s


# dd if=/dev/zero of=/home/testfile bs=512 count=102400 oflag=direct

52428800 bytes (52 MB) copied, 2.87847 s, 18.2 MB/s


# dd if=/dev/zero of=/home/testfile bs=4096 count=102400 oflag=direct

419430400 bytes (419 MB) copied, 3.62074 s, 116 MB/s

419430400 bytes (419 MB) copied, 3.60996 s, 116 MB/s


# dd if=/dev/zero of=/home/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 1.33766 s, 803 MB/s


# dd if=/dev/zero of=/home/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 1.33303 s, 805 MB/s

1073741824 bytes (1.1 GB) copied, 2.53404 s, 424 MB/s

1073741824 bytes (1.1 GB) copied, 2.69058 s, 399 MB/s

1073741824 bytes (1.1 GB) copied, 1.35569 s, 792 MB/s

1073741824 bytes (1.1 GB) copied, 2.63433 s, 408 MB/s


# dd if=/dev/zero of=/home/testfile bs=1M count=1024 oflag=direct

1073741824 bytes (1.1 GB) copied, 2.34943 s, 457 MB/s

1073741824 bytes (1.1 GB) copied, 2.39908 s, 448 MB/s

1073741824 bytes (1.1 GB) copied, 1.12215 s, 957 MB/s // 쉬었다가 실행


# dd if=/dev/zero of=/home/testfile bs=512 count=1024 oflag=direct

524288 bytes (524 kB) copied, 0.0496745 s, 10.6 MB/s

524288 bytes (524 kB) copied, 0.0369942 s, 14.2 MB/s

524288 bytes (524 kB) copied, 0.0600279 s, 8.7 MB/s


# dd if=/dev/zero of=/home/testfile bs=512 count=102400 oflag=direct

52428800 bytes (52 MB) copied, 4.08467 s, 12.8 MB/s


# dd if=/dev/zero of=/home/testfile bs=4096 count=102400 oflag=direct

419430400 bytes (419 MB) copied, 6.50347 s, 64.5 MB/s

419430400 bytes (419 MB) copied, 6.21405 s, 67.5 MB/s



내가 멀 잘못했나 해서 보는데 맞는데.. 머지?

Read/ Write 정책에 block size 모두 동일하고.. 우찌된게 RAID-5가 전반적으로 좋냐?


RAID-0


RAID-5 (크.. redundancy 1 흐믓하다)



+

다른 서버

얘는 

삼성 SATA SSD * 2 RAID-0

시게이트 SAS HDD * 6 RAID-0 로 묶인놈


요게 SSD


요건 HDD


RAID 컨트롤러 성능이 문제인가.. 아니면 stripe 사이즈가 문제인가?

예상외로 너무 성능이 안나오는데?

SATA SSD RAID-0 * 2

 SAS 10K HDD RAID-0 * 6

# dd if=/dev/zero of=/home/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 1.38812 s, 774 MB/s

1073741824 bytes (1.1 GB) copied, 0.837179 s, 1.3 GB/s // 5초 쉬었다


# dd if=/dev/zero of=/home/testfile bs=1M count=1024 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.736994 s, 1.5 GB/s

1073741824 bytes (1.1 GB) copied, 1.03865 s, 1.0 GB/s


# dd if=/dev/zero of=/home/testfile bs=512 count=1024 oflag=direct

524288 bytes (524 kB) copied, 0.0402945 s, 13.0 MB/s

524288 bytes (524 kB) copied, 0.0447082 s, 11.7 MB/s


# dd if=/dev/zero of=/home/testfile bs=512 count=102400 oflag=direct

52428800 bytes (52 MB) copied, 4.22318 s, 12.4 MB/s

52428800 bytes (52 MB) copied, 3.15094 s, 16.6 MB/s


# dd if=/dev/zero of=/home/testfile bs=4096 count=102400 oflag=direct

419430400 bytes (419 MB) copied, 5.89989 s, 71.1 MB/s

419430400 bytes (419 MB) copied, 6.28572 s, 66.7 MB/s

# dd if=/dev/zero of=/mnt/data/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 1.1833 s, 907 MB/s

1073741824 bytes (1.1 GB) copied, 0.775761 s, 1.4 GB/s


# dd if=/dev/zero of=/mnt/data/testfile bs=1M count=1024 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.52785 s, 2.0 GB/s

1073741824 bytes (1.1 GB) copied, 0.879442 s, 1.2 GB/s


# dd if=/dev/zero of=/mnt/data/testfile bs=512 count=1024 oflag=direct

524288 bytes (524 kB) copied, 0.04629 s, 11.3 MB/s

524288 bytes (524 kB) copied, 0.0437859 s, 12.0 MB/s


# dd if=/dev/zero of=/mnt/data/testfile bs=4096 count=102400 oflag=direct

419430400 bytes (419 MB) copied, 3.37354 s, 124 MB/s

419430400 bytes (419 MB) copied, 3.44868 s, 122 MB/s


# dd if=/dev/zero of=/mnt/data/testfile bs=4096 count=102400 oflag=direct

419430400 bytes (419 MB) copied, 4.17253 s, 101 MB/s

419430400 bytes (419 MB) copied, 4.63281 s, 90.5 MB/s



'하드웨어 > RAID' 카테고리의 다른 글

raid 특성인가?  (0) 2019.02.22
RAID 1+0 구성과 span  (0) 2019.02.19
R730 RAID5 성능 테스트(?)  (0) 2019.02.13
PowerEdge RAID Controller - PERC  (0) 2019.02.12
512b vs 4k sector HDD (Advanced Format - AF)  (0) 2019.02.12
Posted by 구차니