하드웨어/RAID2019. 2. 24. 10:49

RAID5가 전가의 보도는 아니었구나.. 라는 실망

회사에다가 RAID5를 구축했는데

SAS 1T 짜리라서 RAID5로 묶어도 1개 복구 보장에 끽해야 3테라인데 좀 아쉽고

시퀀셜 1GB/s 정도는 찍어주는데 랜덤 4k는 11~16MB/s 정도 겨우 나온다.

역시 SAS 1T 1K 하드로 RAID를 해도 SSD가 짱이다 라는 결론.. (망할)


아무튼 그 외에도 스토리지 특성에 따라 통합 스토리지를 쓸 경우

IOPS 한계나 4k 미만 파일의 엑세스가 많을 경우 전체 성능이 저하되는 느낌이고

RAID 컨트롤러 특성인지 대용량 전송시에는 Read/Write가 동시에 되지 않고

캐시에 한번 쭈욱 읽어 놓고 한번에 쭈욱 쓰는 지 의외로 느린 느낌이 든다.

(nfs로 물려서 다른 서버로 보내서 그런걸지도)


아무튼 그 외에는.. RAID5로 8개 디스크 구성해도 1개의 복구 가능성만 제공한다는데

도대체 대용량 데이터센터에서는 어떤식으로 구성하는걸까 궁금해진다.


최소  RAID 50으로 대용량 구성하는 걸려나?


아무튼 RAID5에 대한 환상이 깨진 이유는

stripe with parity라는 특성인데

stripe는 N-1 로 성능이 늘어야 하는데

parity로 인해서 N-2가 되는 정도로 그치는 것으로 보인다(하드웨어 RAID라도 그런듯?)


정리

1. RAID 5의 Write 속도 상승폭은 그리 크지 않다

2. RAID 5를 몇개 묶더라도 1개 디스크만 고장 대처를 보장한다(2개 이상 나가면 망했어요)

3. 다양한 어플리케이션을 하나에 저장해서 쓰기에는 HDD의 한계를 벗어날 수 없다.



결론

1. SOHO 에서는 무리지만 약간 규모있는 소규모 회사에는 삼바는 RAID5나 RAID51으로 구성하는게 나을듯

2. RAID와 백업은 별개다. 결국 백업 스토리지도 용량 한계로 RAID로 구성해야 한다는 딜레마..

3. 성능 문제가 있다면 8bay에서 4bay(raid 5) + 2bay (ssd raid 1) + 2bay(hhd raid 1) 식으로 구성하는게 나을지도?

4. 가상서버 io 영향도 크겠지만 서버별로 나누어져 있다가 RAID5 스토리지로 몰았더니 성능 저하가 크게 느껴진다.

저작자표시

'하드웨어 > RAID' 카테고리의 다른 글

DELL PERC9 T10 PI?  (0) 2019.02.25
dell iDRAC을 이용한 런타임 RAID 설정변경  (0) 2019.02.25
raid 특성인가?  (0) 2019.02.22
RAID 1+0 구성과 span  (0) 2019.02.19
R730 PERC RAID-0 vs RAID-5  (0) 2019.02.15
Posted by 구차니
개소리 왈왈/직딩의 비애2019. 2. 23. 15:20

Dell R420 / E5-2407 요 녀석을 어떻게 써먹냐..

HT 지원하지 않는 녀석인데 8코어로 떠서 보니 2CPU 시스템이었군..

[링크 : https://ark.intel.com/.../intel-xeon-processor-e5-2407-10m-cache-2-20-ghz-6-40-gt-s-intel-qpi.html]]


근데 i5-2500 대비 절반의 성능이고

[링크 : http://cpuboss.com/cpus/Intel-Xeon-E5-2407-vs-Intel-Core-i5-2500]


Q6600 보단 낫고 E8400 이랑 비슷한 성능..

[링크 : http://cpuboss.com/cpus/Intel-Xeon-E5-2407-vs-Intel-Core2-Duo-E8400]

[링크 : http://cpuboss.com/cpus/Intel-Xeon-E5-2407-vs-Intel-Core2-Quad-Q6600]]


도대체 머하는데 써먹을까.. 미묘하게 전기 아깝네?

로그보니 80~90W정도 그냥 먹으시는 중..(80W * 24 * 30 = 57.6kW/월 끄응..)



저작자표시

'개소리 왈왈 > 직딩의 비애' 카테고리의 다른 글

7호선 탈선  (0) 2019.03.14
일단은 회사 서버 phase 1 일단락  (0) 2019.03.10
시간이 훅훅 가는구만  (2) 2019.02.21
히이이이익 결국!!!!  (0) 2019.02.19
RAID0의 비밀이 풀렸다!  (0) 2019.02.12
Posted by 구차니
Linux/centos2019. 2. 23. 11:26

centos timezone 변경

의외로 간단하게 변경이 가능하다.

# timedatectl list-timezones | grep -i seoul

# timedatectl set-timezone Asia/Seoul 

[링크 : https://www.fun25.co.kr/blog/linux-centos-7-change-timezone/?category=001]

저작자표시

'Linux > centos' 카테고리의 다른 글

'abrt-cli status' timed out  (0) 2019.03.01
centos nfs client  (0) 2019.02.27
svn on centos  (0) 2019.02.22
smb on centos  (0) 2019.02.13
centos backup  (0) 2019.02.13
Posted by 구차니
프로그램 사용/ffmpeg & ffserver2019. 2. 22. 22:27

ffmpeg h264 encoding 옵션

다음 인코더 등에서 2PASS , 1PASS 설정하는게 있었는데

특별한게 아니라(?) H.264 인코더에서 제공하는 기본적인 기능이었네?


아무튼 2PASS의 경우 1PASS에서는 비트레이트를 어떻게 할지 분석하고(아마도 화면 바뀌는 순간 등을 확인하는 듯)

2PASS에서 실질적인 인코딩을 진행한다고 한다.


ffmpeg -y -i input -c:v libx264 -b:v 2600k -pass 1 -an -f mp4 /dev/null && \

ffmpeg -i input -c:v libx264 -b:v 2600k -pass 2 -c:a aac -b:a 128k output.mp4

[링크 : https://trac.ffmpeg.org/wiki/Encode/H.264]

저작자표시

'프로그램 사용 > ffmpeg & ffserver' 카테고리의 다른 글

ffmpeg build  (0) 2020.11.25
webm을 mp3로 변환하기  (0) 2020.04.01
ffmpeg으로 비디오 비트레이트 바꾸기  (0) 2019.02.22
ffmpeg 레이턴시 관련 옵션 조사  (0) 2018.12.16
ffmpeg / ffplay cli interactive interface  (0) 2018.11.30
Posted by 구차니
Linux/centos2019. 2. 22. 16:03

svn on centos

흐음.. git으로 변환해주어야 하려나? 고민중..


[링크 : https://blog.hanumoka.net/2018/04/30/centOs-20180430-centos-install-subversion/]

[링크 : https://www.lesstif.com/pages/viewpage.action?pageId=6979749]


+

저장소의 format 파일을 접근할 수 없다고 나오면 selinux를 설정해주어야 한다.

chcon -R -t svnserve_content_t /svn 

[링크 : http://jryeong.blogspot.com/2013/12/cenos-svn.html]

저작자표시

'Linux > centos' 카테고리의 다른 글

centos nfs client  (0) 2019.02.27
centos timezone 변경  (2) 2019.02.23
smb on centos  (0) 2019.02.13
centos backup  (0) 2019.02.13
centos epel 저장소 추가  (0) 2019.02.13
Posted by 구차니
하드웨어/RAID2019. 2. 22. 14:13

raid 특성인가?

희한하게 죽어라 쓰면서 읽지 않아서

의문을 가지는 중.. RAID-5로

read ahead / write back 정책으로 해놔서 그런걸까..

왜 저렇게 미친듯(?)이 읽고 나서 읽기는 쉬고 미친듯이 쓰는걸까?


저작자표시

'하드웨어 > RAID' 카테고리의 다른 글

dell iDRAC을 이용한 런타임 RAID 설정변경  (0) 2019.02.25
RAID5가 전가의 보도는 아니었구나.. 라는 실망  (2) 2019.02.24
RAID 1+0 구성과 span  (0) 2019.02.19
R730 PERC RAID-0 vs RAID-5  (0) 2019.02.15
R730 RAID5 성능 테스트(?)  (0) 2019.02.13
Posted by 구차니
Linux2019. 2. 22. 13:43

linux multi core 압축

gzip 으로 하는데 느려서 반디집 처럼 멀티코어 지원하는 압축프로그램 찾는 중 발견

p만 붙이면 되는거였나 싶은데 pigz는 이름이 독특하네 ㅋㅋㅋ

아무튼 gzip을 많이 썼으니 pigz를 외우면 될 듯

 

PXZ - Parallel XZ is a compression utility that takes advantage of running LZMA compression of different parts of an input file on multiple cores and processors simultaneously. Its primary goal is to utilize all resources to speed up compression time with minimal possible influence on compression ratio.
sudo apt-get install pxz
PLZIP - Lzip is a lossless data compressor based on the LZMA algorithm, with very safe integrity checking and a user interface similar to the one of gzip or bzip2. Lzip decompresses almost as fast as gzip and compresses better than bzip2, which makes it well suited for software distribution and data archiving.
Plzip is a massively parallel (multi-threaded) version of lzip using the lzip file format; the files produced by plzip are fully compatible with lzip.
Plzip is intended for faster compression/decompression of big files on multiprocessor machines, which makes it specially well suited for distribution of big software files and large scale data archiving. On files big enough, plzip can use hundreds of processors.
sudo apt-get install plzip
PIGZ - pigz, which stands for Parallel Implementation of GZip, is a fully functional replacement for gzip that takes advantage of multiple processors and multiple cores when compressing data.
sudo apt-get install pigz
PBZIP2 - pbzip2 is a parallel implementation of the bzip2 block-sorting file compressor that uses pthreads and achieves near-linear speedup on SMP machines. The output of this version is fully compatible with bzip2 v1.0.2 (ie: anything compressed with pbzip2 can be decompressed with bzip2).
sudo apt-get install pbzip2
LRZIP - A multithreaded compression program that can achieve very high compression ratios and speed when used with large files. It uses the combined compression algorithms of zpaq and lzma for maximum compression, lzo for maximum speed, and the long range redundancy reduction of rzip. It is designed to scale with increases with RAM size, improving compression further. A choice of either size or speed optimizations allows for either better compression than even lzma can provide, or better speed than gzip, but with bzip2 sized compression levels.
sudo apt-get install lrzip 

[링크 : https://askubuntu.com/questions/258202/multi-core-compression-tools]

 

--use-compress-program 을 통해서 압축 프로그램을 지정가능한 듯?

tar -c --use-compress-program=pigz -f tar.file dir_to_zip  

 

[링크 : https://stackoverflow.com/.../utilizing-multi-core-for-targzip-bzip-compression-decompression]

 

+ 21.12.03

use-compress-program="xz -t4" 식으로 주면 되려나?

$ tar cvf archive.tar.xz --use-compress-program='xz -1' *.csv

[링크 : https://unix.stackexchange.com/.../how-to-use-multi-threading-for-creating-and-extracting-tar-xz]

[링크 : https://www.baeldung.com/linux/xz-compression]

저작자표시

'Linux' 카테고리의 다른 글

sparse file 확인하기  (0) 2019.02.25
cron 실행 및 시간 관련 문제  (0) 2019.02.24
bash history 번호 옆 *  (0) 2019.02.16
네트워크 속도 모니터링  (0) 2019.02.03
ls에서 전체년도 보기  (0) 2019.02.03
Posted by 구차니
프로그램 사용/ffmpeg & ffserver2019. 2. 22. 11:16

ffmpeg으로 비디오 비트레이트 바꾸기

-c:a copy를 통해 오디오는 손대지 않고(AAC 같은건 못 건드리네.)

비디오만 비트레이트 변경할 수 있다.


$ ffmpeg -i viedeo.mp4 -b:v 2M -maxrate 2M -bufsize 1M  -c:a copy video_low.mp4 

[링크 : https://trac.ffmpeg.org/wiki/Limiting%20the%20output%20bitrate]

[링크 : https://opensource.com/article/17/6/ffmpeg-convert-media-file-formats]

저작자표시

'프로그램 사용 > ffmpeg & ffserver' 카테고리의 다른 글

webm을 mp3로 변환하기  (0) 2020.04.01
ffmpeg h264 encoding 옵션  (0) 2019.02.22
ffmpeg 레이턴시 관련 옵션 조사  (0) 2018.12.16
ffmpeg / ffplay cli interactive interface  (0) 2018.11.30
ffmpeg concat  (0) 2018.11.05
Posted by 구차니
Programming/node.js2019. 2. 22. 10:51

node.js 파비콘 설정하기

찾아보니 이상한(?) 모듈들 쓰는데

걍 귀찮아서 express 템플릿으로 만들었을 경우

/public/favicon.ico 넣어주면 끝

(크롬이나 edge 브라우저에서 테스트 완료)


[링크 : https://zinlee.tistory.com/entry/nodejs에서-파비콘favicon-설정-방법]

저작자표시

'Programming > node.js' 카테고리의 다른 글

floala 에디터 + node.js  (0) 2019.03.08
wysiwyg editor / node.js  (0) 2019.02.26
node.js apache 스타일 로그  (0) 2019.02.22
express ejs  (0) 2019.02.20
pug include / ejs include  (0) 2019.02.20
Posted by 구차니
Programming/node.js2019. 2. 22. 10:47

node.js apache 스타일 로그

이것저것 찾다가 그냥 express 엔진에서 제공하는거 있길래

그걸 변형해서 사용함

github에서는 morgan 이라는 이름으로 쓰는데

express --ejs로 생성한 템플릿에 적용하려니 logger라는 이름으로 있어서 그걸 사용하여 추가함

(당연히?) 해당 프로젝트의 /log 디렉토리를 생성하여 주어야 한다.

(파일은 자동 생성됨)


var logger = require('morgan');
var fs = require('fs')
var path = require('path')

var app = express();

// view engine setup
app.set('views', path.join(__dirname, 'views'));
app.set('view engine', 'ejs');

var accessLogStream = fs.createWriteStream(path.join(__dirname, 'log/access.log'), { flags: 'a' })
app.use(logger('dev'));
app.use(logger('combined', { stream: accessLogStream }))

[링크 : https://github.com/expressjs/morgan]


+

[링크 : https://www.npmjs.com/package/access-log]

[링크 : https://www.npmjs.com/package/apache-log2]


+

2019.02.23


일단은 webalizer를 통해서 정상적으로 로그 수집이 되는 것을 확인했음

저작자표시

'Programming > node.js' 카테고리의 다른 글

wysiwyg editor / node.js  (0) 2019.02.26
node.js 파비콘 설정하기  (0) 2019.02.22
express ejs  (0) 2019.02.20
pug include / ejs include  (0) 2019.02.20
node_modules include  (0) 2019.01.29
Posted by 구차니

티스토리툴바