하드웨어/RAID2019. 2. 25. 17:46

RAID 구성하는데 PI 라는게 떠서 조사

근데 나오는게 별로 없네? ㅠㅠ


PERC9 - T10 PI(Protection Information)는 PERC9(H330, H730, H730P, H830)를 불안정하게 할 수 있습니다. 

[링크 : https://www.dell.com/support/article/kr/ko/krdhs1/qna44008/]

'하드웨어 > RAID' 카테고리의 다른 글

foreign, degraded  (0) 2019.02.25
raid 복구?  (0) 2019.02.25
dell iDRAC을 이용한 런타임 RAID 설정변경  (0) 2019.02.25
RAID5가 전가의 보도는 아니었구나.. 라는 실망  (2) 2019.02.24
raid 특성인가?  (0) 2019.02.22
Posted by 구차니
하드웨어/RAID2019. 2. 25. 17:42

말은 거창한데, BIOS 안들어가고 리눅스 켜진 상태에서

RAID 컨트롤러 조작해서 RAID를 재구성하는 방법에 대한 경험(?)이라고 적으면 될 듯?


일단 기존의 볼륨을 확인

vd1은 6개 짜리 RAID-0인데(이게 삼바로 쓰고 있단 건 안유머..) 1개가 predictable failure 경고 상태

일단 리눅스 돌고 있는 상황에서 삭제!


위에는 경고고 아래 Apply를 누르면 진짜로 삭제!


job queue에 들어가서 확인해보면 먼가 꼼지락 꼼지락


올라가라~


그리고 나서 남은 디스크를 이용해서 raid 구성하려고 하는데


역시 queue에 넣고 넘어간다.


vd1을 제거하고 나서 겠...지?(급 헷갈림)

오후 5:33 2019-02-25

[root@localhost mnt]# ll /dev/sd*

brw-rw---- 1 root disk 8, 0  2월 19 13:48 /dev/sda

brw-rw---- 1 root disk 8, 1  2월 19 13:48 /dev/sda1

brw-rw---- 1 root disk 8, 2  2월 19 13:48 /dev/sda2 


아무튼 위에 마지막 사진 이후에 조회를 해보니 아래처럼 /dev/sdb가 추가되었고

커널 메시지에서도 아래와 같이 확인되었다.

오후 5:37 2019-02-25

[root@localhost mnt]# ll /dev/sd*

brw-rw---- 1 root disk 8,  0  2월 19 13:48 /dev/sda

brw-rw---- 1 root disk 8,  1  2월 19 13:48 /dev/sda1

brw-rw---- 1 root disk 8,  2  2월 19 13:48 /dev/sda2

brw-rw---- 1 root disk 8, 16  2월 25 17:36 /dev/sdb


[root@localhost mnt]# dmesg

[532291.057087] scsi 0:2:1:0: Direct-Access     DELL     PERC H730 Mini   4.25 PQ: 0 ANSI: 5

[532291.057416] sd 0:2:1:0: [sdb] 7029129216 512-byte logical blocks: (3.59 TB/3.27 TiB)

[532291.057484] sd 0:2:1:0: [sdb] Write Protect is off

[532291.057485] sd 0:2:1:0: Attached scsi generic sg1 type 0

[532291.057491] sd 0:2:1:0: [sdb] Mode Sense: 1f 00 00 08

[532291.057534] sd 0:2:1:0: [sdb] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA

[532291.076056]  sdb: unknown partition table

[532291.076308] sd 0:2:1:0: [sdb] Attached SCSI disk 


심심하니 남는 하드 하나는 hot-spare로 설정!

아래 고장난 놈 어떻게 처치하냐...


설정하고 나니 아래와 같이 Hot spare에 Global로 뜬다!


'하드웨어 > RAID' 카테고리의 다른 글

raid 복구?  (0) 2019.02.25
DELL PERC9 T10 PI?  (0) 2019.02.25
RAID5가 전가의 보도는 아니었구나.. 라는 실망  (2) 2019.02.24
raid 특성인가?  (0) 2019.02.22
RAID 1+0 구성과 span  (0) 2019.02.19
Posted by 구차니
하드웨어/RAID2019. 2. 24. 10:49

회사에다가 RAID5를 구축했는데

SAS 1T 짜리라서 RAID5로 묶어도 1개 복구 보장에 끽해야 3테라인데 좀 아쉽고

시퀀셜 1GB/s 정도는 찍어주는데 랜덤 4k는 11~16MB/s 정도 겨우 나온다.

역시 SAS 1T 1K 하드로 RAID를 해도 SSD가 짱이다 라는 결론.. (망할)


아무튼 그 외에도 스토리지 특성에 따라 통합 스토리지를 쓸 경우

IOPS 한계나 4k 미만 파일의 엑세스가 많을 경우 전체 성능이 저하되는 느낌이고

RAID 컨트롤러 특성인지 대용량 전송시에는 Read/Write가 동시에 되지 않고

캐시에 한번 쭈욱 읽어 놓고 한번에 쭈욱 쓰는 지 의외로 느린 느낌이 든다.

(nfs로 물려서 다른 서버로 보내서 그런걸지도)


아무튼 그 외에는.. RAID5로 8개 디스크 구성해도 1개의 복구 가능성만 제공한다는데

도대체 대용량 데이터센터에서는 어떤식으로 구성하는걸까 궁금해진다.


최소  RAID 50으로 대용량 구성하는 걸려나?


아무튼 RAID5에 대한 환상이 깨진 이유는

stripe with parity라는 특성인데

stripe는 N-1 로 성능이 늘어야 하는데

parity로 인해서 N-2가 되는 정도로 그치는 것으로 보인다(하드웨어 RAID라도 그런듯?)


정리

1. RAID 5의 Write 속도 상승폭은 그리 크지 않다

2. RAID 5를 몇개 묶더라도 1개 디스크만 고장 대처를 보장한다(2개 이상 나가면 망했어요)

3. 다양한 어플리케이션을 하나에 저장해서 쓰기에는 HDD의 한계를 벗어날 수 없다.



결론

1. SOHO 에서는 무리지만 약간 규모있는 소규모 회사에는 삼바는 RAID5나 RAID51으로 구성하는게 나을듯

2. RAID와 백업은 별개다. 결국 백업 스토리지도 용량 한계로 RAID로 구성해야 한다는 딜레마..

3. 성능 문제가 있다면 8bay에서 4bay(raid 5) + 2bay (ssd raid 1) + 2bay(hhd raid 1) 식으로 구성하는게 나을지도?

4. 가상서버 io 영향도 크겠지만 서버별로 나누어져 있다가 RAID5 스토리지로 몰았더니 성능 저하가 크게 느껴진다.

'하드웨어 > RAID' 카테고리의 다른 글

DELL PERC9 T10 PI?  (0) 2019.02.25
dell iDRAC을 이용한 런타임 RAID 설정변경  (0) 2019.02.25
raid 특성인가?  (0) 2019.02.22
RAID 1+0 구성과 span  (0) 2019.02.19
R730 PERC RAID-0 vs RAID-5  (0) 2019.02.15
Posted by 구차니
하드웨어/RAID2019. 2. 22. 14:13

희한하게 죽어라 쓰면서 읽지 않아서

의문을 가지는 중.. RAID-5로

read ahead / write back 정책으로 해놔서 그런걸까..

왜 저렇게 미친듯(?)이 읽고 나서 읽기는 쉬고 미친듯이 쓰는걸까?


Posted by 구차니
하드웨어/RAID2019. 2. 19. 12:52

nested level의 RAID는 당연한 거긴 하지만..

망할(?) span 이라는 용어가 나오는데


RAID 1+0 에서

RAID0는 속도를 위해 묶이므로 안정성이 꽝이라

안정성을 보강해주기 위해 RAID0에 묶일 볼륨을 RAID1으로 미러링 해주는 구성이 된다.

그리고 안정성을 위한 span이 raid 1으로 묶이게 되고(그래서 RAID 1+0에서 1이 먼저)

용량과 속도를 위해 RAID1들을 RAID0으로 묶게 된다.


 Spanned RAID levels Spanning is a term used to describe the way in which RAID levels 10, 50, and 60 are constructed from multiple sets of basic, or simple RAID levels. For example, a RAID 10 has multiple sets of RAID 1 arrays where each RAID 1 set is considered a span. Data is then striped (RAID 0) across the RAID 1 spans to create a RAID 10 virtual disk. Similarly, RAID 50 and RAID 60 combine multiple sets of RAID 5 or RAID 6 respectively with striping.  

[링크 : http://hg.flagshiptech.com/ebay/DellManuals/rc_h310_h710_h710p_h810_ug_en-us.pdf]

[링크 : https://www.dell.com/community/PowerEdge-HDD-SCSI-RAID/RAID10-and-spans/td-p/4666979]

'하드웨어 > RAID' 카테고리의 다른 글

RAID5가 전가의 보도는 아니었구나.. 라는 실망  (2) 2019.02.24
raid 특성인가?  (0) 2019.02.22
R730 PERC RAID-0 vs RAID-5  (0) 2019.02.15
R730 RAID5 성능 테스트(?)  (0) 2019.02.13
PowerEdge RAID Controller - PERC  (0) 2019.02.12
Posted by 구차니
하드웨어/RAID2019. 2. 15. 13:44

에에에에에에엥??!?!?!


동일 시스템 아니고 동일 하드가 아니라 다르게 나올수도 있고

다른 서비스 도는게 있어서 전혀 영향이 없다라고 할 순 없는 좀 불공평한 상황이긴 하지만

SAS 10K HDD RAID-5 * 4

SAS 10K HDD RAID-0 * 4

# dd if=/dev/zero of=/home/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.968236 s, 1.1 GB/s


# dd if=/dev/zero of=/home/testfile bs=1M count=1024 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.877165 s, 1.2 GB/s

1073741824 bytes (1.1 GB) copied, 1.67205 s, 642 MB/s

1073741824 bytes (1.1 GB) copied, 1.64823 s, 651 MB/s

1073741824 bytes (1.1 GB) copied, 1.70338 s, 630 MB/s

1073741824 bytes (1.1 GB) copied, 1.67719 s, 640 MB/s


# dd if=/dev/zero of=/home/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.981585 s, 1.1 GB/s

1073741824 bytes (1.1 GB) copied, 1.86161 s, 577 MB/s

1073741824 bytes (1.1 GB) copied, 1.83748 s, 584 MB/s


# dd if=/dev/zero of=/home/testfile bs=512 count=1024 oflag=direct

524288 bytes (524 kB) copied, 0.0448593 s, 11.7 MB/s

524288 bytes (524 kB) copied, 0.0444185 s, 11.8 MB/s

524288 bytes (524 kB) copied, 0.0448892 s, 11.7 MB/s


# dd if=/dev/zero of=/home/testfile bs=512 count=102400 oflag=direct

52428800 bytes (52 MB) copied, 2.87847 s, 18.2 MB/s


# dd if=/dev/zero of=/home/testfile bs=4096 count=102400 oflag=direct

419430400 bytes (419 MB) copied, 3.62074 s, 116 MB/s

419430400 bytes (419 MB) copied, 3.60996 s, 116 MB/s


# dd if=/dev/zero of=/home/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 1.33766 s, 803 MB/s


# dd if=/dev/zero of=/home/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 1.33303 s, 805 MB/s

1073741824 bytes (1.1 GB) copied, 2.53404 s, 424 MB/s

1073741824 bytes (1.1 GB) copied, 2.69058 s, 399 MB/s

1073741824 bytes (1.1 GB) copied, 1.35569 s, 792 MB/s

1073741824 bytes (1.1 GB) copied, 2.63433 s, 408 MB/s


# dd if=/dev/zero of=/home/testfile bs=1M count=1024 oflag=direct

1073741824 bytes (1.1 GB) copied, 2.34943 s, 457 MB/s

1073741824 bytes (1.1 GB) copied, 2.39908 s, 448 MB/s

1073741824 bytes (1.1 GB) copied, 1.12215 s, 957 MB/s // 쉬었다가 실행


# dd if=/dev/zero of=/home/testfile bs=512 count=1024 oflag=direct

524288 bytes (524 kB) copied, 0.0496745 s, 10.6 MB/s

524288 bytes (524 kB) copied, 0.0369942 s, 14.2 MB/s

524288 bytes (524 kB) copied, 0.0600279 s, 8.7 MB/s


# dd if=/dev/zero of=/home/testfile bs=512 count=102400 oflag=direct

52428800 bytes (52 MB) copied, 4.08467 s, 12.8 MB/s


# dd if=/dev/zero of=/home/testfile bs=4096 count=102400 oflag=direct

419430400 bytes (419 MB) copied, 6.50347 s, 64.5 MB/s

419430400 bytes (419 MB) copied, 6.21405 s, 67.5 MB/s



내가 멀 잘못했나 해서 보는데 맞는데.. 머지?

Read/ Write 정책에 block size 모두 동일하고.. 우찌된게 RAID-5가 전반적으로 좋냐?


RAID-0


RAID-5 (크.. redundancy 1 흐믓하다)



+

다른 서버

얘는 

삼성 SATA SSD * 2 RAID-0

시게이트 SAS HDD * 6 RAID-0 로 묶인놈


요게 SSD


요건 HDD


RAID 컨트롤러 성능이 문제인가.. 아니면 stripe 사이즈가 문제인가?

예상외로 너무 성능이 안나오는데?

SATA SSD RAID-0 * 2

 SAS 10K HDD RAID-0 * 6

# dd if=/dev/zero of=/home/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 1.38812 s, 774 MB/s

1073741824 bytes (1.1 GB) copied, 0.837179 s, 1.3 GB/s // 5초 쉬었다


# dd if=/dev/zero of=/home/testfile bs=1M count=1024 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.736994 s, 1.5 GB/s

1073741824 bytes (1.1 GB) copied, 1.03865 s, 1.0 GB/s


# dd if=/dev/zero of=/home/testfile bs=512 count=1024 oflag=direct

524288 bytes (524 kB) copied, 0.0402945 s, 13.0 MB/s

524288 bytes (524 kB) copied, 0.0447082 s, 11.7 MB/s


# dd if=/dev/zero of=/home/testfile bs=512 count=102400 oflag=direct

52428800 bytes (52 MB) copied, 4.22318 s, 12.4 MB/s

52428800 bytes (52 MB) copied, 3.15094 s, 16.6 MB/s


# dd if=/dev/zero of=/home/testfile bs=4096 count=102400 oflag=direct

419430400 bytes (419 MB) copied, 5.89989 s, 71.1 MB/s

419430400 bytes (419 MB) copied, 6.28572 s, 66.7 MB/s

# dd if=/dev/zero of=/mnt/data/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 1.1833 s, 907 MB/s

1073741824 bytes (1.1 GB) copied, 0.775761 s, 1.4 GB/s


# dd if=/dev/zero of=/mnt/data/testfile bs=1M count=1024 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.52785 s, 2.0 GB/s

1073741824 bytes (1.1 GB) copied, 0.879442 s, 1.2 GB/s


# dd if=/dev/zero of=/mnt/data/testfile bs=512 count=1024 oflag=direct

524288 bytes (524 kB) copied, 0.04629 s, 11.3 MB/s

524288 bytes (524 kB) copied, 0.0437859 s, 12.0 MB/s


# dd if=/dev/zero of=/mnt/data/testfile bs=4096 count=102400 oflag=direct

419430400 bytes (419 MB) copied, 3.37354 s, 124 MB/s

419430400 bytes (419 MB) copied, 3.44868 s, 122 MB/s


# dd if=/dev/zero of=/mnt/data/testfile bs=4096 count=102400 oflag=direct

419430400 bytes (419 MB) copied, 4.17253 s, 101 MB/s

419430400 bytes (419 MB) copied, 4.63281 s, 90.5 MB/s



'하드웨어 > RAID' 카테고리의 다른 글

raid 특성인가?  (0) 2019.02.22
RAID 1+0 구성과 span  (0) 2019.02.19
R730 RAID5 성능 테스트(?)  (0) 2019.02.13
PowerEdge RAID Controller - PERC  (0) 2019.02.12
512b vs 4k sector HDD (Advanced Format - AF)  (0) 2019.02.12
Posted by 구차니
하드웨어/RAID2019. 2. 13. 17:00

10K SAS RAID5 구성한 녀석(PERC H730P mini 였나? + 1G cache)

의외로 성능이 잘 나온다고 해야하려나? 아무튼 몇번에 대해서는 순간 1GB/s 나오는거 보고 깜놀


[root@localhost home]# dd if=/dev/zero of=/home/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.968236 s, 1.1 GB/s


[root@localhost home]# dd if=/dev/zero of=/home/testfile bs=1M count=1024 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.877165 s, 1.2 GB/s

1073741824 bytes (1.1 GB) copied, 1.67205 s, 642 MB/s

1073741824 bytes (1.1 GB) copied, 1.64823 s, 651 MB/s

1073741824 bytes (1.1 GB) copied, 1.70338 s, 630 MB/s

1073741824 bytes (1.1 GB) copied, 1.67719 s, 640 MB/s


[root@localhost home]# dd if=/dev/zero of=/home/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.981585 s, 1.1 GB/s

1073741824 bytes (1.1 GB) copied, 1.86161 s, 577 MB/s

1073741824 bytes (1.1 GB) copied, 1.83748 s, 584 MB/s


[root@localhost home]# dd if=/dev/zero of=/home/testfile bs=512 count=1024 oflag=direct

524288 bytes (524 kB) copied, 0.0448593 s, 11.7 MB/s

524288 bytes (524 kB) copied, 0.0444185 s, 11.8 MB/s

524288 bytes (524 kB) copied, 0.0448892 s, 11.7 MB/s


[root@localhost home]# dd if=/dev/zero of=/home/testfile bs=512 count=102400 oflag=direct

5242880 bytes (5.2 MB) copied, 0.359296 s, 14.6 MB/s


[root@localhost home]# dd if=/dev/zero of=/home/testfile bs=4096 count=102400 oflag=direct

52428800 bytes (52 MB) copied, 2.87847 s, 18.2 MB/s


[root@localhost home]# dd if=/dev/zero of=/home/testfile bs=4096 count=102400 oflag=direct
419430400 bytes (419 MB) copied, 3.62074 s, 116 MB/s
419430400 bytes (419 MB) copied, 3.60996 s, 116 MB/s


[링크 : https://www.thomas-krenn.com/en/wiki/Linux_I/O_Performance_Tests_using_dd]

'하드웨어 > RAID' 카테고리의 다른 글

RAID 1+0 구성과 span  (0) 2019.02.19
R730 PERC RAID-0 vs RAID-5  (0) 2019.02.15
PowerEdge RAID Controller - PERC  (0) 2019.02.12
512b vs 4k sector HDD (Advanced Format - AF)  (0) 2019.02.12
SAS  (0) 2013.11.12
Posted by 구차니
하드웨어/RAID2019. 2. 12. 19:27

DELL의 RAID 컨트롤러 명

그래도 테크니컬 메뉴얼 보니 재미난 구성이 좀 보이네?

그나저나, 8bay를 16베이로 어떻게 올릴 수 있을려나?


[링크 : https://i.dell.com/.../Dell-PowerEdge-RAID-Controller-H730.pdf]

[링크 : https://i.dell.com/.../PowerEdge_R740_R740xd_Technical_Guide.pdf]

'하드웨어 > RAID' 카테고리의 다른 글

R730 PERC RAID-0 vs RAID-5  (0) 2019.02.15
R730 RAID5 성능 테스트(?)  (0) 2019.02.13
512b vs 4k sector HDD (Advanced Format - AF)  (0) 2019.02.12
SAS  (0) 2013.11.12
우분투 내장 3ware 드라이버  (0) 2011.12.11
Posted by 구차니
하드웨어/RAID2019. 2. 12. 19:01

기억으로는 4K로 잡았는데 512B 로 나오는거 같아서 급 헷갈리는 바람에 검색을 했는데

결론만 적자면 아이고 의미없다~ 헛다리 짚었다 쪽.. ㅠㅠ

(그런데.. 반대로(?) 512B 섹터로 된 녀석을 4K로 소프트웨어적으로 쓰는건 없으려나?

물론 SW로 된걸 쪼갈라서 하드웨어에 쓰려면 성능 저하가 더 심할듯 하니 쓸 이유가 없겠지만..)


512e는 물리적으로는 4K 섹터, 소프트웨어적으로는 512B 섹터로 운영하는 녀석

[링크 : https://ko.wikipedia.org/wiki/어드밴스트_포맷]


[링크 : https://www.dell.com/.../performance-comparison-between-4k-and-512e-hard-drives?lang=en]

[링크 : https://i.dell.com/s.../512e_4Kn_Disk_Formats_120413.pdf]

[링크 : https://www.dell.com/.../support-for-advanced-format-4k-sector-hard-disk-drives...]


[링크 : https://www.tomshardware.com/reviews/advanced-format-4k-sector-size-hard-drive,2759.html]


+

2019.02.13

출근해서 스토리지랑 설정을 보니 해결

근데 기억에는... 4K로 섹터 잡은거 같은데 언제 512B로 되었지 -ㅁ-?


일단 모델명은 ST1200MM0088


그런데.. 가상 드라이브(RAID-5는 희한하게도 512 bytes Block sie로 잡혀있다 -_-??!??!


제조사 공식 자료를 보니 512 Byte Native 모드임! 라고 되어있는 모델..

어제 고민은 왜한거냐.. ㅠㅠ

[링크 : https://www.seagate.com/.../enterprise-performance-10k-hdd-ds1785-2-1409us.pdf]

'하드웨어 > RAID' 카테고리의 다른 글

R730 RAID5 성능 테스트(?)  (0) 2019.02.13
PowerEdge RAID Controller - PERC  (0) 2019.02.12
SAS  (0) 2013.11.12
우분투 내장 3ware 드라이버  (0) 2011.12.11
3ware 9500 RAID5 구성중 하드 하나가 사라지면?  (0) 2011.12.03
Posted by 구차니
하드웨어/RAID2013. 11. 12. 09:44

SAS

Serial Attached SCSI

SAS RAID에 SATA 하드를 연결할 수는 있지만
SAS 하드를 SATA에 연결할 수는 없다.

[링크: http://blog.naver.com/skyluvtoya/100120822628]
Posted by 구차니