오늘 보면서 궁금했던 2번이 정말 그래픽 카드 파워인가 궁금했는데 맞긴 하네
16 베이 백플레인 인데.. 꽂히는건 8 베이랑 동일하다?
반대로 생각하면.. 백 플레인이 바뀌지 않으면 현재 시스템에서는 확장이 불가능 하다는 건데..
요건 8 베이 SAS 케이블 위치가 다르단걸 제외하면 2개인건 동일하다.
[링크 : https://topics-cdn.dell.com/pdf/poweredge-r730_owners-manual_en-us.pdf]
| 서버 (리던던시) 파워 (0) | 2019.05.02 |
|---|---|
| idrac 재시작 하기 (0) | 2019.03.12 |
| iDRAC 에러 메시지 제거 (0) | 2019.02.26 |
| dell cable management (0) | 2019.02.25 |
| idrac update via FTP (0) | 2019.02.14 |
심심해서 어떻게 날리면 재미있을까? 라고 고민하다가
켠채로 RAID 볼륨 날리는걸로 결정 ㅋㅋㅋ
두근두근 하면서 눌렀고
초기화 되는 중에 후다닥 콘솔 열어서 명령어 쳐보니
실행이 되다가 어느정도 날아가고 나서는 실행이 되지 않게 된다.
(init이나 shutdown reboot 모두 명령어라 안 먹어서 끌수도 없다 ㅋㅋ)
# dmesg [112092.188419] megasas:span 0 rowDataSize 2 [112092.188420] megasas:span 0 rowDataSize 2 [112092.188422] megasas:span 0 rowDataSize 2 [178173.500160] XFS (sda1): Unmounting Filesystem [178173.500621] XFS (sda1): metadata I/O error: block 0x7de89 ("xlog_iodone") error 19 numblks 64 [178173.500627] XFS (sda1): xfs_do_force_shutdown(0x2) called from line 1180 of file fs/xfs/xfs_log.c. Return address = 0xffffffffa036fb1e [178173.500637] XFS (sda1): Log I/O Error Detected. Shutting down filesystem [178173.500639] XFS (sda1): Please umount the filesystem and rectify the problem(s) [178173.500667] XFS (sda1): Unable to update superblock counters. Freespace may not be correct on next mount. [178173.500675] XFS (sda1): xfs_log_force: error -5 returned. |
pwd나 cd는 bash 내장 명령어니까 메모리에 올라가 있어서 작동은 하지만
반대로 생각하면 파일 시스템의 디렉토리 테이블(inode)는 어느정도 메모리에 올려져 있다는 건가?
[root@localhost ~]# dmesg -bash: /usr/bin/dmesg: Input/output error [root@localhost ~]# pwd /root [root@localhost ~]# cd .. [root@localhost /]# pwd / [root@localhost /]# ll -bash: /usr/bin/ls: Input/output error |
초기화 되고 나서 보니 이제 모두 Ready~
| RAID6 라서 오래 걸리나.. 백그라운드 초기화라 오래 걸리나? (0) | 2019.03.06 |
|---|---|
| raid5 vs raid6 vs raid10 (0) | 2019.03.04 |
| PERC foreign RAID import (0) | 2019.02.26 |
| foreign, degraded (0) | 2019.02.25 |
| raid 복구? (0) | 2019.02.25 |
앞에 주황색으로 LCD가 바뀌어서는 PDR1016 이라고 출력되는데
iDRAC 접속해봐도 RAID 설정관련해서는 안보이는데..
(하드에 설정이 되니 하드가 사라지면 해당 볼륨이 설정되었다는 것 조차도 컨트롤러는 까먹는 듯?)
시스템 로그에서는 드라이브가 빠진것만 나오는데..
Lifecycle Log 로 보면 에러 코드와 함께 뜬다.
근데 딱히 comment 달아준다고 해서 해결되는건 아닌거 같고..
Hardware - Front Panel 가니
에러를 숨길순 있는데 에러가 아니라고 설정하는건 좀 더 찾아 봐야 할 듯..
[링크 : https://www.dell.com/support/article/kr/ko/krdhs1/sln292269]
[링크 : https://www.dell.com/.../R420-reports-PDR1016-Drive-2-Remove/td-p/4568889]
[링크 : https://www.dell.com/.../integrated-dell-remote-access-cntrllr-7-v1.50.50/idrac7ug1.50.50-v1...s]
+
링크는 까먹었는데.. 아무튼 BIOS 에서 로그 리셋하라는 말이 있어서
찾다보니... Clear Log 발견(Log는 LifeCycle이랑 구분되는 데이터 인 듯)
아무튼.. Clear 하고 나니 Front Panel 출력에 에러가 사라지긴 했다.
찜찜한데 해결되었으니 되었다~ 해야 하나? ㅠㅠ
| idrac 재시작 하기 (0) | 2019.03.12 |
|---|---|
| R730 pci-express riser & back plane (2) | 2019.02.28 |
| dell cable management (0) | 2019.02.25 |
| idrac update via FTP (0) | 2019.02.14 |
| Dell EMC iDRAC Service Module 3.2.0.1 (For Linux) (0) | 2019.02.14 |
R630 H730 Mini 에서
R730 H730 Mini로 RAID5 구성된 볼륨을 이동해서 RAID 볼륨 올리는 것 테스트
원래 볼륨은 R630에 있는데 전원 내린 이후에(안그러면 하나 뽑을때 마다 RAID 파괴되었습니다 소리 나올테니)
R730은 켜진채로 하나씩 옮겨 꼽고 iDRAC을 통해
foreign 으로 잡힌걸 import 해주니 바로 잡혀진다.
결론 : RAID 설정 자체는 컨트롤러가 아닌 HDD에 저장되는 듯 하다
은근히 잘 안보이는 곳에 짱박혀서 찾기도 힘드네 -_-
커널 메시지야 평범 하구만
[3082118.805795] scsi 0:2:1:0: Direct-Access DELL PERC H730 Mini 4.25 PQ: 0 ANSI: 5 [3082118.816186] sd 0:2:1:0: [sdb] 7029129216 512-byte logical blocks: (3.59 TB/3.27 TiB) [3082118.816247] sd 0:2:1:0: [sdb] Write Protect is off [3082118.816252] sd 0:2:1:0: [sdb] Mode Sense: 1f 00 00 08 [3082118.816283] sd 0:2:1:0: [sdb] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA [3082118.816855] sd 0:2:1:0: Attached scsi generic sg2 type 0 [3082118.817422] megaraid_sas 0000:03:00.0: scanning for scsi0... [3082118.830111] sd 0:2:1:0: [sdb] Attached SCSI disk |
| raid5 vs raid6 vs raid10 (0) | 2019.03.04 |
|---|---|
| (Linux)OS 작동중에 하드를 뽑으면 어떻게 될까? (0) | 2019.02.28 |
| foreign, degraded (0) | 2019.02.25 |
| raid 복구? (0) | 2019.02.25 |
| DELL PERC9 T10 PI? (0) | 2019.02.25 |
델 케이블 매니지먼트 사용에 대한 동영상
메뉴얼만 봐서는 어떤식으로 선을 넣어야 할지 감이 안왔는데
역시 유튜브 시대에는 유튜브를 봐야 감이 오는 건가?!
| R730 pci-express riser & back plane (2) | 2019.02.28 |
|---|---|
| iDRAC 에러 메시지 제거 (0) | 2019.02.26 |
| idrac update via FTP (0) | 2019.02.14 |
| Dell EMC iDRAC Service Module 3.2.0.1 (For Linux) (0) | 2019.02.14 |
| 관리 페이지를 이용한 idrac update (0) | 2019.02.14 |
두개가 같은 의미인진 모르겠고..
foreign 은 상태
(다른 시스템에서 구성된 하드를 뽑아서 꽂을 때 해당 볼륨에 대한 상태로 표현함)
[링크 : https://www.intel.com/.../raid-products/SWUG_full_featured_entry_RAID.pdf]
[링크 : https://www.dell.com/community/.../Perc-6-i-Foreign-config-on-disk-how-to-clear-a-disk/td-p/3845325]
degrade은 모드라고 표현을 하네?
(RAID 볼륨에서 하드가 고장났을때 구성된 볼륨 자체가 degrade 된다고 표현함)
[링크 : https://en.wikipedia.org/wiki/Degraded_mode]
+
2019.02.27
raid 볼륨 해제한 하드를 꽂아도 foreign으로 인식한다.
일단 쓰지 않던 하드라고 하더라도 foreign 상태로 되고
foreign에서 volume으로 포함되거나 / hot spare로 할당되거나 / non-raid로 남거나 이런식으로
상태가 전이 되는 듯하다.
그리고 volume에서 문제가 생길경우 해당 볼륨은 degrade로 바뀌는 듯?
처음 꽂은 상태
controller - import foreign configuration
완료시 ready로 상태가 바뀐다.
+
위에서 보니 Non-RAID는 컨트롤러를 RAID로 두고 개별 하드로 인식시키는 것이고
HBA로 RAID 컨트롤러 모드를 바꾸면 RAID로 사용이 불가능해지고 전부 개별 하드로 인식하는 듯?
| (Linux)OS 작동중에 하드를 뽑으면 어떻게 될까? (0) | 2019.02.28 |
|---|---|
| PERC foreign RAID import (0) | 2019.02.26 |
| raid 복구? (0) | 2019.02.25 |
| DELL PERC9 T10 PI? (0) | 2019.02.25 |
| dell iDRAC을 이용한 런타임 RAID 설정변경 (0) | 2019.02.25 |
raid 하드 뽑아서 다른 시스템에 넣어서 raid 볼륨 연결하는게 복구 영역이라니..
동일 컨트롤러 동일 펌웨어여야 복구 가능성인 높다고 하니 되도록이면 안하는게 상책이구나.. ㄷㄷ
[링크 : https://www.ontrack.com/blog/2013/04/22/raid-vs-drive-rebuilds-part-2/amp/]
[링크 : https://ask.adaptec.com/app/answers/detail/a_id/16881]
| PERC foreign RAID import (0) | 2019.02.26 |
|---|---|
| foreign, degraded (0) | 2019.02.25 |
| DELL PERC9 T10 PI? (0) | 2019.02.25 |
| dell iDRAC을 이용한 런타임 RAID 설정변경 (0) | 2019.02.25 |
| RAID5가 전가의 보도는 아니었구나.. 라는 실망 (2) | 2019.02.24 |
RAID 구성하는데 PI 라는게 떠서 조사
근데 나오는게 별로 없네? ㅠㅠ
PERC9 - T10 PI(Protection Information)는 PERC9(H330, H730, H730P, H830)를 불안정하게 할 수 있습니다. |
[링크 : https://www.dell.com/support/article/kr/ko/krdhs1/qna44008/]
| foreign, degraded (0) | 2019.02.25 |
|---|---|
| raid 복구? (0) | 2019.02.25 |
| dell iDRAC을 이용한 런타임 RAID 설정변경 (0) | 2019.02.25 |
| RAID5가 전가의 보도는 아니었구나.. 라는 실망 (2) | 2019.02.24 |
| raid 특성인가? (0) | 2019.02.22 |
말은 거창한데, BIOS 안들어가고 리눅스 켜진 상태에서
RAID 컨트롤러 조작해서 RAID를 재구성하는 방법에 대한 경험(?)이라고 적으면 될 듯?
일단 기존의 볼륨을 확인
vd1은 6개 짜리 RAID-0인데(이게 삼바로 쓰고 있단 건 안유머..) 1개가 predictable failure 경고 상태
일단 리눅스 돌고 있는 상황에서 삭제!
위에는 경고고 아래 Apply를 누르면 진짜로 삭제!
job queue에 들어가서 확인해보면 먼가 꼼지락 꼼지락
올라가라~
그리고 나서 남은 디스크를 이용해서 raid 구성하려고 하는데
역시 queue에 넣고 넘어간다.
vd1을 제거하고 나서 겠...지?(급 헷갈림)
오후 5:33 2019-02-25 [root@localhost mnt]# ll /dev/sd* brw-rw---- 1 root disk 8, 0 2월 19 13:48 /dev/sda brw-rw---- 1 root disk 8, 1 2월 19 13:48 /dev/sda1 brw-rw---- 1 root disk 8, 2 2월 19 13:48 /dev/sda2 |
아무튼 위에 마지막 사진 이후에 조회를 해보니 아래처럼 /dev/sdb가 추가되었고
커널 메시지에서도 아래와 같이 확인되었다.
오후 5:37 2019-02-25 [root@localhost mnt]# ll /dev/sd* brw-rw---- 1 root disk 8, 0 2월 19 13:48 /dev/sda brw-rw---- 1 root disk 8, 1 2월 19 13:48 /dev/sda1 brw-rw---- 1 root disk 8, 2 2월 19 13:48 /dev/sda2 brw-rw---- 1 root disk 8, 16 2월 25 17:36 /dev/sdb [root@localhost mnt]# dmesg [532291.057087] scsi 0:2:1:0: Direct-Access DELL PERC H730 Mini 4.25 PQ: 0 ANSI: 5 [532291.057416] sd 0:2:1:0: [sdb] 7029129216 512-byte logical blocks: (3.59 TB/3.27 TiB) [532291.057484] sd 0:2:1:0: [sdb] Write Protect is off [532291.057485] sd 0:2:1:0: Attached scsi generic sg1 type 0 [532291.057491] sd 0:2:1:0: [sdb] Mode Sense: 1f 00 00 08 [532291.057534] sd 0:2:1:0: [sdb] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA [532291.076056] sdb: unknown partition table [532291.076308] sd 0:2:1:0: [sdb] Attached SCSI disk |
심심하니 남는 하드 하나는 hot-spare로 설정!
아래 고장난 놈 어떻게 처치하냐...
설정하고 나니 아래와 같이 Hot spare에 Global로 뜬다!
| raid 복구? (0) | 2019.02.25 |
|---|---|
| DELL PERC9 T10 PI? (0) | 2019.02.25 |
| RAID5가 전가의 보도는 아니었구나.. 라는 실망 (2) | 2019.02.24 |
| raid 특성인가? (0) | 2019.02.22 |
| RAID 1+0 구성과 span (0) | 2019.02.19 |
회사에다가 RAID5를 구축했는데
SAS 1T 짜리라서 RAID5로 묶어도 1개 복구 보장에 끽해야 3테라인데 좀 아쉽고
시퀀셜 1GB/s 정도는 찍어주는데 랜덤 4k는 11~16MB/s 정도 겨우 나온다.
역시 SAS 1T 1K 하드로 RAID를 해도 SSD가 짱이다 라는 결론.. (망할)
아무튼 그 외에도 스토리지 특성에 따라 통합 스토리지를 쓸 경우
IOPS 한계나 4k 미만 파일의 엑세스가 많을 경우 전체 성능이 저하되는 느낌이고
RAID 컨트롤러 특성인지 대용량 전송시에는 Read/Write가 동시에 되지 않고
캐시에 한번 쭈욱 읽어 놓고 한번에 쭈욱 쓰는 지 의외로 느린 느낌이 든다.
(nfs로 물려서 다른 서버로 보내서 그런걸지도)
아무튼 그 외에는.. RAID5로 8개 디스크 구성해도 1개의 복구 가능성만 제공한다는데
도대체 대용량 데이터센터에서는 어떤식으로 구성하는걸까 궁금해진다.
최소 RAID 50으로 대용량 구성하는 걸려나?
아무튼 RAID5에 대한 환상이 깨진 이유는
stripe with parity라는 특성인데
stripe는 N-1 로 성능이 늘어야 하는데
parity로 인해서 N-2가 되는 정도로 그치는 것으로 보인다(하드웨어 RAID라도 그런듯?)
정리
1. RAID 5의 Write 속도 상승폭은 그리 크지 않다
2. RAID 5를 몇개 묶더라도 1개 디스크만 고장 대처를 보장한다(2개 이상 나가면 망했어요)
3. 다양한 어플리케이션을 하나에 저장해서 쓰기에는 HDD의 한계를 벗어날 수 없다.
결론
1. SOHO 에서는 무리지만 약간 규모있는 소규모 회사에는 삼바는 RAID5나 RAID51으로 구성하는게 나을듯
2. RAID와 백업은 별개다. 결국 백업 스토리지도 용량 한계로 RAID로 구성해야 한다는 딜레마..
3. 성능 문제가 있다면 8bay에서 4bay(raid 5) + 2bay (ssd raid 1) + 2bay(hhd raid 1) 식으로 구성하는게 나을지도?
4. 가상서버 io 영향도 크겠지만 서버별로 나누어져 있다가 RAID5 스토리지로 몰았더니 성능 저하가 크게 느껴진다.
| DELL PERC9 T10 PI? (0) | 2019.02.25 |
|---|---|
| dell iDRAC을 이용한 런타임 RAID 설정변경 (0) | 2019.02.25 |
| raid 특성인가? (0) | 2019.02.22 |
| RAID 1+0 구성과 span (0) | 2019.02.19 |
| R730 PERC RAID-0 vs RAID-5 (0) | 2019.02.15 |
|
