iscsi를 통해 ethernet으로 SAN을 구성하고
mdadm으로 SCSI RAID를 구축, 스토리지 서버 팜(?)을 만드는 듯
[링크 : https://wiki.alpinelinux.org/wiki/ISCSI_Raid_and_Clustered_File_Systems]
[링크 : https://www.mylinuxplace.com/distributed-raid-over-iscsi/]
| msm - Megaraid Storage Management (0) | 2022.11.27 |
|---|---|
| smartctl을 이용하여 개별하드 상태보기 (0) | 2019.03.15 |
| LSI raid ir it mode (0) | 2019.03.11 |
| RAID6 라서 오래 걸리나.. 백그라운드 초기화라 오래 걸리나? (0) | 2019.03.06 |
| raid5 vs raid6 vs raid10 (0) | 2019.03.04 |
it mode 에 대한 용어는 자주 보이는데 IR mode는 잘 안보여서 검색
일단 LSI raid에서 나오는 용어로 보이는데
HBA 컨트롤러용 펌웨어로 IR 펌웨어를 쓰면 Raid로 작동하고
IT 펌웨어를 쓰면 HBA로 작동하는 녀석인 듯?
The two firmware types are Initiator Target (IT) and Integrated RAID (IR). IR is the typical hardware RAID firmware that the internal cards or boards ship with. The IT firmware, on the other hand, is the Initiator Target firmware which is designed to allow a SAS HBA to connect to up to 256 devices using SAS Expanders. The IT firmware is typically shipped on external cards. The IT firmware does not have any RAID capabilities and simply acts as an HBA. |
[링크 : https://www.supermicro.com/support/faqs/faq.cfm?faq=16169]
| smartctl을 이용하여 개별하드 상태보기 (0) | 2019.03.15 |
|---|---|
| iscsi mdadm (0) | 2019.03.13 |
| RAID6 라서 오래 걸리나.. 백그라운드 초기화라 오래 걸리나? (0) | 2019.03.06 |
| raid5 vs raid6 vs raid10 (0) | 2019.03.04 |
| (Linux)OS 작동중에 하드를 뽑으면 어떻게 될까? (0) | 2019.02.28 |
어제 오전 10시 부터 포맷해서 걸어놓은건데..
어제 퇴근전 30%대
오늘 아침에 확인하니 71%대
지금 확인하니 98%..
근데 로그 상으로는 오전 10시에 24시간에 걸쳐서 끝나긴 했는데
RAID 상태를 확인해보면 98%
도대체 어느게 맞는 값일까?
| iscsi mdadm (0) | 2019.03.13 |
|---|---|
| LSI raid ir it mode (0) | 2019.03.11 |
| raid5 vs raid6 vs raid10 (0) | 2019.03.04 |
| (Linux)OS 작동중에 하드를 뽑으면 어떻게 될까? (0) | 2019.02.28 |
| PERC foreign RAID import (0) | 2019.02.26 |
고민고민 하다가 아직도 결정 못함
(6 디스크)
|
용량 |
속도 |
RAID 10 |
3n |
x3 |
RAID 5 + hot spare |
4n |
x1 |
RAID 6 |
4n |
x1 |
디스크 숫자로 고민하면 RAID 5 + hot spare(1) 이나 RAID 6나 용량은 같은데 전반적으로 RAID6을 지지하네
[링크 : https://serverfault.com/questions/118181/which-is-better-raid5-1-hotspare-raid6]
[링크 : https://www.zdnet.com/article/why-raid-6-stops-working-in-2019/]
[링크 : https://superuser.com/questions/212930/should-i-use-raid-5-spare-or-raid-6]
RAID5 -> RAID6로 갈 순 있는데 끈채로 가능한지 켠채로도 되는지 모르겠고
항상 그러하듯 백업은 필수..(저장 공간이 없는데?!?!?)
[링크 : https://www.dell.com/.../dell-poweredge-how-to-change-the-raid-level-of-a-virtual-disk?lang=en]
+
하드 수명도 예측 불가능하고 나갈때가 된 거 같으니
RAID 6으로 가고 예비 디스크 남겨 두는 걸로 일단 결론을...
| LSI raid ir it mode (0) | 2019.03.11 |
|---|---|
| RAID6 라서 오래 걸리나.. 백그라운드 초기화라 오래 걸리나? (0) | 2019.03.06 |
| (Linux)OS 작동중에 하드를 뽑으면 어떻게 될까? (0) | 2019.02.28 |
| PERC foreign RAID import (0) | 2019.02.26 |
| foreign, degraded (0) | 2019.02.25 |
심심해서 어떻게 날리면 재미있을까? 라고 고민하다가
켠채로 RAID 볼륨 날리는걸로 결정 ㅋㅋㅋ
두근두근 하면서 눌렀고
초기화 되는 중에 후다닥 콘솔 열어서 명령어 쳐보니
실행이 되다가 어느정도 날아가고 나서는 실행이 되지 않게 된다.
(init이나 shutdown reboot 모두 명령어라 안 먹어서 끌수도 없다 ㅋㅋ)
# dmesg [112092.188419] megasas:span 0 rowDataSize 2 [112092.188420] megasas:span 0 rowDataSize 2 [112092.188422] megasas:span 0 rowDataSize 2 [178173.500160] XFS (sda1): Unmounting Filesystem [178173.500621] XFS (sda1): metadata I/O error: block 0x7de89 ("xlog_iodone") error 19 numblks 64 [178173.500627] XFS (sda1): xfs_do_force_shutdown(0x2) called from line 1180 of file fs/xfs/xfs_log.c. Return address = 0xffffffffa036fb1e [178173.500637] XFS (sda1): Log I/O Error Detected. Shutting down filesystem [178173.500639] XFS (sda1): Please umount the filesystem and rectify the problem(s) [178173.500667] XFS (sda1): Unable to update superblock counters. Freespace may not be correct on next mount. [178173.500675] XFS (sda1): xfs_log_force: error -5 returned. |
pwd나 cd는 bash 내장 명령어니까 메모리에 올라가 있어서 작동은 하지만
반대로 생각하면 파일 시스템의 디렉토리 테이블(inode)는 어느정도 메모리에 올려져 있다는 건가?
[root@localhost ~]# dmesg -bash: /usr/bin/dmesg: Input/output error [root@localhost ~]# pwd /root [root@localhost ~]# cd .. [root@localhost /]# pwd / [root@localhost /]# ll -bash: /usr/bin/ls: Input/output error |
초기화 되고 나서 보니 이제 모두 Ready~
| RAID6 라서 오래 걸리나.. 백그라운드 초기화라 오래 걸리나? (0) | 2019.03.06 |
|---|---|
| raid5 vs raid6 vs raid10 (0) | 2019.03.04 |
| PERC foreign RAID import (0) | 2019.02.26 |
| foreign, degraded (0) | 2019.02.25 |
| raid 복구? (0) | 2019.02.25 |
R630 H730 Mini 에서
R730 H730 Mini로 RAID5 구성된 볼륨을 이동해서 RAID 볼륨 올리는 것 테스트
원래 볼륨은 R630에 있는데 전원 내린 이후에(안그러면 하나 뽑을때 마다 RAID 파괴되었습니다 소리 나올테니)
R730은 켜진채로 하나씩 옮겨 꼽고 iDRAC을 통해
foreign 으로 잡힌걸 import 해주니 바로 잡혀진다.
결론 : RAID 설정 자체는 컨트롤러가 아닌 HDD에 저장되는 듯 하다
은근히 잘 안보이는 곳에 짱박혀서 찾기도 힘드네 -_-
커널 메시지야 평범 하구만
[3082118.805795] scsi 0:2:1:0: Direct-Access DELL PERC H730 Mini 4.25 PQ: 0 ANSI: 5 [3082118.816186] sd 0:2:1:0: [sdb] 7029129216 512-byte logical blocks: (3.59 TB/3.27 TiB) [3082118.816247] sd 0:2:1:0: [sdb] Write Protect is off [3082118.816252] sd 0:2:1:0: [sdb] Mode Sense: 1f 00 00 08 [3082118.816283] sd 0:2:1:0: [sdb] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA [3082118.816855] sd 0:2:1:0: Attached scsi generic sg2 type 0 [3082118.817422] megaraid_sas 0000:03:00.0: scanning for scsi0... [3082118.830111] sd 0:2:1:0: [sdb] Attached SCSI disk |
| raid5 vs raid6 vs raid10 (0) | 2019.03.04 |
|---|---|
| (Linux)OS 작동중에 하드를 뽑으면 어떻게 될까? (0) | 2019.02.28 |
| foreign, degraded (0) | 2019.02.25 |
| raid 복구? (0) | 2019.02.25 |
| DELL PERC9 T10 PI? (0) | 2019.02.25 |
두개가 같은 의미인진 모르겠고..
foreign 은 상태
(다른 시스템에서 구성된 하드를 뽑아서 꽂을 때 해당 볼륨에 대한 상태로 표현함)
[링크 : https://www.intel.com/.../raid-products/SWUG_full_featured_entry_RAID.pdf]
[링크 : https://www.dell.com/community/.../Perc-6-i-Foreign-config-on-disk-how-to-clear-a-disk/td-p/3845325]
degrade은 모드라고 표현을 하네?
(RAID 볼륨에서 하드가 고장났을때 구성된 볼륨 자체가 degrade 된다고 표현함)
[링크 : https://en.wikipedia.org/wiki/Degraded_mode]
+
2019.02.27
raid 볼륨 해제한 하드를 꽂아도 foreign으로 인식한다.
일단 쓰지 않던 하드라고 하더라도 foreign 상태로 되고
foreign에서 volume으로 포함되거나 / hot spare로 할당되거나 / non-raid로 남거나 이런식으로
상태가 전이 되는 듯하다.
그리고 volume에서 문제가 생길경우 해당 볼륨은 degrade로 바뀌는 듯?
처음 꽂은 상태
controller - import foreign configuration
완료시 ready로 상태가 바뀐다.
+
위에서 보니 Non-RAID는 컨트롤러를 RAID로 두고 개별 하드로 인식시키는 것이고
HBA로 RAID 컨트롤러 모드를 바꾸면 RAID로 사용이 불가능해지고 전부 개별 하드로 인식하는 듯?
| (Linux)OS 작동중에 하드를 뽑으면 어떻게 될까? (0) | 2019.02.28 |
|---|---|
| PERC foreign RAID import (0) | 2019.02.26 |
| raid 복구? (0) | 2019.02.25 |
| DELL PERC9 T10 PI? (0) | 2019.02.25 |
| dell iDRAC을 이용한 런타임 RAID 설정변경 (0) | 2019.02.25 |
raid 하드 뽑아서 다른 시스템에 넣어서 raid 볼륨 연결하는게 복구 영역이라니..
동일 컨트롤러 동일 펌웨어여야 복구 가능성인 높다고 하니 되도록이면 안하는게 상책이구나.. ㄷㄷ
[링크 : https://www.ontrack.com/blog/2013/04/22/raid-vs-drive-rebuilds-part-2/amp/]
[링크 : https://ask.adaptec.com/app/answers/detail/a_id/16881]
| PERC foreign RAID import (0) | 2019.02.26 |
|---|---|
| foreign, degraded (0) | 2019.02.25 |
| DELL PERC9 T10 PI? (0) | 2019.02.25 |
| dell iDRAC을 이용한 런타임 RAID 설정변경 (0) | 2019.02.25 |
| RAID5가 전가의 보도는 아니었구나.. 라는 실망 (2) | 2019.02.24 |
RAID 구성하는데 PI 라는게 떠서 조사
근데 나오는게 별로 없네? ㅠㅠ
PERC9 - T10 PI(Protection Information)는 PERC9(H330, H730, H730P, H830)를 불안정하게 할 수 있습니다. |
[링크 : https://www.dell.com/support/article/kr/ko/krdhs1/qna44008/]
| foreign, degraded (0) | 2019.02.25 |
|---|---|
| raid 복구? (0) | 2019.02.25 |
| dell iDRAC을 이용한 런타임 RAID 설정변경 (0) | 2019.02.25 |
| RAID5가 전가의 보도는 아니었구나.. 라는 실망 (2) | 2019.02.24 |
| raid 특성인가? (0) | 2019.02.22 |
말은 거창한데, BIOS 안들어가고 리눅스 켜진 상태에서
RAID 컨트롤러 조작해서 RAID를 재구성하는 방법에 대한 경험(?)이라고 적으면 될 듯?
일단 기존의 볼륨을 확인
vd1은 6개 짜리 RAID-0인데(이게 삼바로 쓰고 있단 건 안유머..) 1개가 predictable failure 경고 상태
일단 리눅스 돌고 있는 상황에서 삭제!
위에는 경고고 아래 Apply를 누르면 진짜로 삭제!
job queue에 들어가서 확인해보면 먼가 꼼지락 꼼지락
올라가라~
그리고 나서 남은 디스크를 이용해서 raid 구성하려고 하는데
역시 queue에 넣고 넘어간다.
vd1을 제거하고 나서 겠...지?(급 헷갈림)
오후 5:33 2019-02-25 [root@localhost mnt]# ll /dev/sd* brw-rw---- 1 root disk 8, 0 2월 19 13:48 /dev/sda brw-rw---- 1 root disk 8, 1 2월 19 13:48 /dev/sda1 brw-rw---- 1 root disk 8, 2 2월 19 13:48 /dev/sda2 |
아무튼 위에 마지막 사진 이후에 조회를 해보니 아래처럼 /dev/sdb가 추가되었고
커널 메시지에서도 아래와 같이 확인되었다.
오후 5:37 2019-02-25 [root@localhost mnt]# ll /dev/sd* brw-rw---- 1 root disk 8, 0 2월 19 13:48 /dev/sda brw-rw---- 1 root disk 8, 1 2월 19 13:48 /dev/sda1 brw-rw---- 1 root disk 8, 2 2월 19 13:48 /dev/sda2 brw-rw---- 1 root disk 8, 16 2월 25 17:36 /dev/sdb [root@localhost mnt]# dmesg [532291.057087] scsi 0:2:1:0: Direct-Access DELL PERC H730 Mini 4.25 PQ: 0 ANSI: 5 [532291.057416] sd 0:2:1:0: [sdb] 7029129216 512-byte logical blocks: (3.59 TB/3.27 TiB) [532291.057484] sd 0:2:1:0: [sdb] Write Protect is off [532291.057485] sd 0:2:1:0: Attached scsi generic sg1 type 0 [532291.057491] sd 0:2:1:0: [sdb] Mode Sense: 1f 00 00 08 [532291.057534] sd 0:2:1:0: [sdb] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA [532291.076056] sdb: unknown partition table [532291.076308] sd 0:2:1:0: [sdb] Attached SCSI disk |
심심하니 남는 하드 하나는 hot-spare로 설정!
아래 고장난 놈 어떻게 처치하냐...
설정하고 나니 아래와 같이 Hot spare에 Global로 뜬다!
| raid 복구? (0) | 2019.02.25 |
|---|---|
| DELL PERC9 T10 PI? (0) | 2019.02.25 |
| RAID5가 전가의 보도는 아니었구나.. 라는 실망 (2) | 2019.02.24 |
| raid 특성인가? (0) | 2019.02.22 |
| RAID 1+0 구성과 span (0) | 2019.02.19 |
|
