'이론 관련/컴퓨터 관련'에 해당되는 글 60건

  1. 2020.09.25 NUMA, SMP
  2. 2020.09.18 qsub? torque?
  3. 2020.09.18 파일 스토리지, 블록 스토리지, 오브젝트 스토리지
  4. 2020.09.18 lustre file system
  5. 2020.09.08 smmu?
  6. 2020.09.07 zmmu gen-z
  7. 2020.01.20 async와 non block
  8. 2019.12.15 EAV - Entitiy Attribute Value
  9. 2019.12.11 ETL - Extract Transform Load
  10. 2019.11.02 SAS expander

numatool 이라는걸 알아가게 되네..

NUMA는 복수개의 CPU를 사용할 때 버스를 통해서 메모리를 공유하고

SMP는 개별 CPU에 메모리를 달아 다른 CPU를 통해 메모리를 접근하는 방식으로 보임

(그러고 보니 펜3 시절에 SMP 라고 들은거 같은데 그때랑 지금의 2cpu 는 방식이 다른가?)

 

[링크 : https://12bme.tistory.com/537]

[링크 : https://rockball.tistory.com/entry/Numa의-이해]

[링크 : https://zetastring.tistory.com/85]

'이론 관련 > 컴퓨터 관련' 카테고리의 다른 글

NUMA, SMP  (0) 2020.09.25
qsub? torque?  (0) 2020.09.18
파일 스토리지, 블록 스토리지, 오브젝트 스토리지  (0) 2020.09.18
lustre file system  (0) 2020.09.18
smmu?  (0) 2020.09.08
zmmu gen-z  (0) 2020.09.07
Posted by 구차니

댓글을 달아 주세요

qsub란 명령어가 있는데 torque에 속해있는듯?

 

Command 'qsub' not found, but can be installed with:

sudo apt install gridengine-client
sudo apt install slurm-wlm-torque 

[링크 : https://linux.die.net/man/1/qsub-torque]

 

+

SGE (SUN Grid Engine -> Oracle Grid Engine)

$ sudo apt-get install gridengine-client
패키지 목록을 읽는 중입니다... 완료
의존성 트리를 만드는 중입니다       
상태 정보를 읽는 중입니다... 완료
다음의 추가 패키지가 설치될 것입니다 :
  bsd-mailx gridengine-common libjemalloc1 liblockfile-bin liblockfile1
  libmunge2 postfix tcsh
제안하는 패키지:
  gridengine-qmon tclsh procmail postfix-mysql postfix-pgsql postfix-ldap
  postfix-pcre postfix-lmdb postfix-sqlite sasl2-bin dovecot-common resolvconf
  postfix-cdb postfix-doc
다음 새 패키지를 설치할 것입니다:
  bsd-mailx gridengine-client gridengine-common libjemalloc1 liblockfile-bin
  liblockfile1 libmunge2 postfix tcsh
0개 업그레이드, 9개 새로 설치, 0개 제거 및 4개 업그레이드 안 함.
9,811 k바이트 아카이브를 받아야 합니다.
이 작업 후 52.4 M바이트의 디스크 공간을 더 사용하게 됩니다.
계속 하시겠습니까? [Y/n] 

 

qsub 누르니 에러가 나네...

$ qsub

Unable to initialize environment because of error: unable to read qmaster name: qmaster hostname in "/var/lib/gridengine/default/common/act_qmaster" ha
Exiting.

 

+

찾던게 얜가보다? 그나저나 ipmi는 왜 나오지?

$ sudo apt-get install slurm-wlm-torque 
패키지 목록을 읽는 중입니다... 완료
의존성 트리를 만드는 중입니다       
상태 정보를 읽는 중입니다... 완료
다음의 추가 패키지가 설치될 것입니다 :
  freeipmi-common libaec0 libdbi1 libfreeipmi16 libhdf5-100
  libipmimonitoring5a liblua5.1-0 libmunge2 librrd8 libslurm-perl libslurm32
  libslurmdb-perl libslurmdb32 libswitch-perl libsz2 munge slurm-client
  slurm-wlm-basic-plugins
제안하는 패키지:
  freeipmi-tools
다음 새 패키지를 설치할 것입니다:
  freeipmi-common libaec0 libdbi1 libfreeipmi16 libhdf5-100
  libipmimonitoring5a liblua5.1-0 libmunge2 librrd8 libslurm-perl libslurm32
  libslurmdb-perl libslurmdb32 libswitch-perl libsz2 munge slurm-client
  slurm-wlm-basic-plugins slurm-wlm-torque
0개 업그레이드, 19개 새로 설치, 0개 제거 및 4개 업그레이드 안 함.
6,218 k바이트/6,237 k바이트 아카이브를 받아야 합니다.
이 작업 후 22.2 M바이트의 디스크 공간을 더 사용하게 됩니다.
계속 하시겠습니까? [Y/n] 
$ qsub
Usage:
    qsub [-a start_time] [-A account] [-b y|n] [-e err_path] [-I] [-l
    resource_list] [-m mail_options] [-M user_list] [-N job_name] [-o
    out_path] [-p priority] [-pe shm task_cnt] [-P wckey] [-q destination]
    [-r y|n] [-v variable_list] [-V] [-wd workdir] [-W
    additional_attributes] [-h] [script]

 

+

2020.09.21

[링크 : http://docs.adaptivecomputing.com/torque/3-0-5/index.php]

[링크 : http://docs.adaptivecomputing.com/torque/3-0-5/a.ltorquequickstart.php]

'이론 관련 > 컴퓨터 관련' 카테고리의 다른 글

NUMA, SMP  (0) 2020.09.25
qsub? torque?  (0) 2020.09.18
파일 스토리지, 블록 스토리지, 오브젝트 스토리지  (0) 2020.09.18
lustre file system  (0) 2020.09.18
smmu?  (0) 2020.09.08
zmmu gen-z  (0) 2020.09.07
Posted by 구차니

댓글을 달아 주세요

파일 스토리지 - 디렉토리 기반 관리

블록 스토리지 - 데이터를 조각으로 분리해서 저장. 멀티 플랫폼 상에서 분산 저장

오브젝트 스토리지 -  key/value 평면구조로 저장, 수정 불가

 

[링크 : https://www.redhat.com/ko/topics/data-storage/file-block-object-storage]

[링크 : https://medium.com/harrythegreat/클라우드상-오브젝트-스토리지-object-storage-란-9d9c2da57649]

[링크 : https://www.delltechnologies.com/ko-kr/glossary/object-storage.htm]

[링크 : https://www.ibm.com/kr-ko/cloud/learn/what-is-object-storage]

'이론 관련 > 컴퓨터 관련' 카테고리의 다른 글

NUMA, SMP  (0) 2020.09.25
qsub? torque?  (0) 2020.09.18
파일 스토리지, 블록 스토리지, 오브젝트 스토리지  (0) 2020.09.18
lustre file system  (0) 2020.09.18
smmu?  (0) 2020.09.08
zmmu gen-z  (0) 2020.09.07
Posted by 구차니

댓글을 달아 주세요

 

 

[링크 : https://lustre.org/]

[링크 : https://opensfs.org/lustre/]

[링크 : https://en.wikipedia.org/wiki/Lustre_(file_system)] 병렬 분산 파일 시스템

 

Linux cLUSTRE ..? 리눅스 클러스터 약자라는데 CENTRE/CENTRE 적는게 생각나네?

MGS ManaGement Server

MGT  ManaGement Targets

MDS Meta Data Servers

MDT Meta Data Targets

OSS Object Storage Server

OST Object Storage Target

[링크 : https://jaynamm.tistory.com/entry/Lustre-File-System]

'이론 관련 > 컴퓨터 관련' 카테고리의 다른 글

qsub? torque?  (0) 2020.09.18
파일 스토리지, 블록 스토리지, 오브젝트 스토리지  (0) 2020.09.18
lustre file system  (0) 2020.09.18
smmu?  (0) 2020.09.08
zmmu gen-z  (0) 2020.09.07
async와 non block  (0) 2020.01.20
Posted by 구차니

댓글을 달아 주세요

arm에서 가상화 관련해 만든 MMU인듯

[링크 : http://jake.dothome.co.kr/iommu/]

[링크 : https://developer.arm.com/ip-products/system-ip/system-controllers/system-memory-management-unit]

[링크 : https://en.wikipedia.org/wiki/Input%E2%80%93output_memory_management_unit]

 

System Memory Management Unit (SMMU)

[링크 : https://developer.arm.com/.../Arm%20Enterprise%20Virtualization%20whitepaper.pdf?...]

'이론 관련 > 컴퓨터 관련' 카테고리의 다른 글

파일 스토리지, 블록 스토리지, 오브젝트 스토리지  (0) 2020.09.18
lustre file system  (0) 2020.09.18
smmu?  (0) 2020.09.08
zmmu gen-z  (0) 2020.09.07
async와 non block  (0) 2020.01.20
EAV - Entitiy Attribute Value  (0) 2019.12.15
Posted by 구차니

댓글을 달아 주세요

risc-v 에서도 차용한 것일 뿐인가 좀 헷갈리네..

아무튼 메이저 서버 업체가 합쳐서 메모리 - cpu - 가속기 등을 통합해서 사용할 수 있는

고성능 메모리 버스를 만드는걸 목표로 하는 듯(로열티 없는 걸로)

 

[링크 : https://riscv.org//wp-content/uploads/2018/07/1430-19.07.18-Mohan-Pathasarathy-HPE.pdf]

[링크 : https://en.wikipedia.org/wiki/Gen-Z]

'이론 관련 > 컴퓨터 관련' 카테고리의 다른 글

lustre file system  (0) 2020.09.18
smmu?  (0) 2020.09.08
zmmu gen-z  (0) 2020.09.07
async와 non block  (0) 2020.01.20
EAV - Entitiy Attribute Value  (0) 2019.12.15
ETL - Extract Transform Load  (0) 2019.12.11
Posted by 구차니

댓글을 달아 주세요

non block은 async한 동작을 하는 방법중에 하나지만

non block이라고 해서 반드시 async 하다고 할 순 없다라...

 

Thread 등으로 blocking 작업을 분리해서 async하게 할 수도 있기에

 

asynchronous와 non-blocking이 동일한거라고 볼 순 없다고 하는데

이해할듯 하면서 더 어려운 말이네...

 

[링크 : https://tech.peoplefund.co.kr/2017/08/02/non-blocking-asynchronous-concurrency.html]

'이론 관련 > 컴퓨터 관련' 카테고리의 다른 글

smmu?  (0) 2020.09.08
zmmu gen-z  (0) 2020.09.07
async와 non block  (0) 2020.01.20
EAV - Entitiy Attribute Value  (0) 2019.12.15
ETL - Extract Transform Load  (0) 2019.12.11
SAS expander  (0) 2019.11.02
Posted by 구차니

댓글을 달아 주세요

ER  이런것 처럼 data model중 하나로

EAV 는 일종의.. 비정형 데이터 그러니까 로그 스타일? 머 이런 느낌인듯

 

영문위키를 번역해서 보는데 의료정보 쪽에서 촉발(?)된 비정형 데이터 처리에 대한 방법으로 보이기도 한다.

[링크 : https://en.wikipedia.org/wiki/Entity%E2%80%93attribute%E2%80%93value_model]

[링크 : https://en.wikipedia.org/wiki/Data_model]

 

[링크 : https://wsjoung.tistory.com/91]

[링크 : https://snowple.tistory.com/359]

[링크 : https://gojjc.tistory.com/entry/Entity%E2%80%93attribute%E2%80%93value-model]

[링크 : http://wiki.gurubee.net/pages/viewpage.action?pageId=15630354]

'이론 관련 > 컴퓨터 관련' 카테고리의 다른 글

zmmu gen-z  (0) 2020.09.07
async와 non block  (0) 2020.01.20
EAV - Entitiy Attribute Value  (0) 2019.12.15
ETL - Extract Transform Load  (0) 2019.12.11
SAS expander  (0) 2019.11.02
data at rest (저장데이터)  (0) 2019.10.28
Posted by 구차니

댓글을 달아 주세요

ETL은 어떤 특정 분야의 단어인건가?

단순하게 생각하면.. 추출해서 변형하고 다시 적재하는거..

어떠한 복잡한 행위보다는 형상의 변화에만 맞춰진것 같긴한데

데이터가 데이터인지라 그걸 손실없이 변형하는게 쉽지 않다는게 문제..

 

연관검색어는 CDM ETL 인가

 

[링크 : https://ko.wikipedia.org/wiki/추출,_변환,_적재]

[링크 : https://itholic.github.io/etl/]

[링크 : https://brownbears.tistory.com/410]

 

+

아래는 기사. .한번 읽어 볼만한 듯

[링크 : http://www.itworld.co.kr/news/106925] ETL 시대의 종말

'이론 관련 > 컴퓨터 관련' 카테고리의 다른 글

async와 non block  (0) 2020.01.20
EAV - Entitiy Attribute Value  (0) 2019.12.15
ETL - Extract Transform Load  (0) 2019.12.11
SAS expander  (0) 2019.11.02
data at rest (저장데이터)  (0) 2019.10.28
SPICE  (0) 2019.08.23
Posted by 구차니

댓글을 달아 주세요

USB 허브 같은 느낌으로 SAS 포트를 늘리는거라는데

내부적으로는 대역폭을 더 늘려놓고 그걸로 나누는거라

실 성능에는 저하가 없다고 한다. (근데 그게 어떻게 가능하지?)

 

[링크 : http://support.andico.co.kr/bbs/view.php?id=faq3&page=1&sn1=&divpage=1&sn=off&ss=on&sc=on&select_arrange=hit&desc=asc&no=4]

'이론 관련 > 컴퓨터 관련' 카테고리의 다른 글

EAV - Entitiy Attribute Value  (0) 2019.12.15
ETL - Extract Transform Load  (0) 2019.12.11
SAS expander  (0) 2019.11.02
data at rest (저장데이터)  (0) 2019.10.28
SPICE  (0) 2019.08.23
overlay FS  (0) 2019.07.18
Posted by 구차니

댓글을 달아 주세요