'프로그램 사용/openHPC'에 해당되는 글 47건

  1. 2020.12.02 openHPC 설치 part 1? 2
  2. 2020.12.02 ipmi simulator
  3. 2020.12.02 IPoIB - IP over InfiniBand , OFED, PSM
  4. 2020.12.02 openHPC warewulf + slurm
  5. 2020.11.26 warewulf
  6. 2020.11.25 openHPC
  7. 2020.11.25 beowulf 프로그램은 없다
  8. 2020.11.25 클러스터 관리프로그램
  9. 2020.11.25 slurm 이기종
  10. 2020.11.24 slurm + munge
프로그램 사용/openHPC2020. 12. 2. 16:01

제약어가 많아져서 무지 귀찮네 -_-

 

 

1. Centos 8.2 설치
2. 환경설정
[sms]# systemctl disable firewalld
[sms]# systemctl stop firewalld

3. 타임서버 관련 설정
[sms]# yum install chrony
[sms]# systemctl enable chronyd.service
[sms]# echo "server ${ntp_server}" >> /etc/chrony.conf
[sms]# echo "allow all" >> /etc/chrony.conf
[sms]# systemctl restart chronyd

3. 프로비저닝 패키지 설치
[sms]# yum install http://repos.openhpc.community/OpenHPC/2/CentOS_8/x86_64/ohpc-release-2-1.el8.x86_64.rpm
[sms]# yum install dnf-plugins-core
[sms]# yum config-manager --set-enabled PowerTools
[sms]# yum -y install ohpc-base
[sms]# yum -y install ohpc-warewulf

4. 리소스 매니저 설치
[sms]# yum -y install ohpc-slurm-server
[sms]# cp /etc/slurm/slurm.conf.ohpc /etc/slurm/slurm.conf
[sms]# vi /etc/slurm/slurm.conf
ControlMachine=linux0
[sms]# perl -pi -e "s/device = eth1/device = ${sms_eth_internal}/" /etc/warewulf/provision.conf
[sms]# ip link set dev ${sms_eth_internal} up
[sms]# ip address add ${sms_ip}/${internal_netmask} broadcast + dev ${sms_eth_internal}
[sms]# systemctl enable httpd.service
[sms]# systemctl restart httpd
[sms]# systemctl enable dhcpd.service
[sms]# systemctl enable tftp
[sms]# systemctl restart tftp

5. 프로비저닝 이미지 제작(compute node를 위한 slurm client 설치)
[sms]# export CHROOT=/opt/ohpc/admin/images/centos8.2
[sms]# wwmkchroot -v centos-8 $CHROOT
[sms]# dnf -y --installroot $CHROOT install epel-release
[sms]# cp -p /etc/yum.repos.d/OpenHPC*.repo $CHROOT/etc/yum.repos.d

[sms]# yum -y --installroot=$CHROOT install ohpc-base-compute
[sms]# cp -p /etc/resolv.conf $CHROOT/etc/resolv.conf

[sms]# cp /etc/passwd /etc/group $CHROOT/etc
[sms]# yum -y --installroot=$CHROOT install ohpc-slurm-client
[sms]# chroot $CHROOT systemctl enable munge
+
[sms]# chroot $CHROOT systemctl enable slurmd

[sms]# echo SLURMD_OPTIONS="--conf-server ${sms_ip}" > $CHROOT/etc/sysconfig/slurmd
[sms]# yum -y --installroot=$CHROOT install chrony
[sms]# echo "server ${sms_ip}" >> $CHROOT/etc/chrony.conf
[sms]# yum -y --installroot=$CHROOT install kernel-`uname -r`
[sms]# yum -y --installroot=$CHROOT install lmod-ohpc

6. customize system configuration
[sms]# wwinit database
[sms]# wwinit ssh_keys

[sms]# echo "/home *(rw,no_subtree_check,fsid=10,no_root_squash)" >> /etc/exports
[sms]# echo "/opt/ohpc/pub *(ro,no_subtree_check,fsid=11)" >> /etc/exports
[sms]# exportfs -a
[sms]# systemctl restart nfs-server
[sms]# systemctl enable nfs-server

[sms]# echo "${sms_ip}:/home /home nfs nfsvers=3,nodev,nosuid 0 0" >> $CHROOT/etc/fstab
[sms]# echo "${sms_ip}:/opt/ohpc/pub /opt/ohpc/pub nfs nfsvers=3,nodev 0 0" >> $CHROOT/etc/fstab

[sms]# perl -pi -e 's/# End of file/\* soft memlock unlimited\n$&/s' /etc/security/limits.conf
[sms]# perl -pi -e 's/# End of file/\* hard memlock unlimited\n$&/s' /etc/security/limits.conf
[sms]# perl -pi -e 's/# End of file/\* hard memlock unlimited\n$&/s' $CHROOT/etc/security/limits.conf
[sms]# perl -pi -e 's/# End of file/\* soft memlock unlimited\n$&/s' $CHROOT/etc/security/limits.conf
[sms]# echo "account required pam_slurm.so" >> $CHROOT/etc/pam.d/sshd

7. warewulf 설정 (import files)
[sms]# wwsh file import /etc/passwd
[sms]# wwsh file import /etc/group
[sms]# wwsh file import /etc/shadow
[sms]# wwsh file import /etc/munge/munge.key

8. finalizing provisioing configuration
[sms]# wwbootstrap `uname -r`

9. Assemble VNFS(Virtual Node File System) image
[sms]# wwvnfs --chroot $CHROOT

'프로그램 사용 > openHPC' 카테고리의 다른 글

warewulf 유틸리티  (0) 2020.12.02
wwsh (warewulf shell)  (0) 2020.12.02
ipmi simulator  (0) 2020.12.02
IPoIB - IP over InfiniBand , OFED, PSM  (0) 2020.12.02
openHPC warewulf + slurm  (0) 2020.12.02
Posted by 구차니
프로그램 사용/openHPC2020. 12. 2. 15:46

openHPC에서 ipmi가 필수인진 모르겠지만

혹시나 모르니 검색중..

 

[링크 : https://stackoverflow.com/questions/30502528/is-there-any-ipmi-simulator]

[링크 : https://github.com/rmxymh/infra-ecosphere]

[링크 : http://openipmi.sourceforge.net/]

'프로그램 사용 > openHPC' 카테고리의 다른 글

wwsh (warewulf shell)  (0) 2020.12.02
openHPC 설치 part 1?  (2) 2020.12.02
IPoIB - IP over InfiniBand , OFED, PSM  (0) 2020.12.02
openHPC warewulf + slurm  (0) 2020.12.02
warewulf  (0) 2020.11.26
Posted by 구차니
프로그램 사용/openHPC2020. 12. 2. 14:34

openHPC 내용을 보다보니 못보는 용어가 나와서 검색!

 

[링크 : https://www.kernel.org/doc/html/latest/infiniband/ipoib.html]

[링크 : https://docs.mellanox.com/pages/viewpage.action?pageId=19798180]

 

 

Mellanox OFED is a single Virtual Protocol Internconnect (VPI) software stack based on the OpenFabrics (OFED) Linux stack, and operates across all Mellanox network adapter solutions supporting 10, 20, 40 and 56 Gb/s InfiniBand (IB); 10Gb/s and 40Gb/s Ethernet; and 2.5 or 5.0 GT/s PCI Express 2.0 and 8 GT/s PCI Express 3.0 uplinks to servers.

[링크 : https://www.mellanox.com/related-docs/prod_software/Mellanox OFED Linux User Manual 1_5_3-3_0_0.pdf]

 

OpenFabrics Enterprise Distribution (OFED*)

Performance Scaled Messaging (PSM) which is included in OFED brings a purpose-designed, lightweight, connectionless architecture that was specifically created to optimize HPC communications.

[링크 : https://www.intel.com/.../high-performance-computing-fabrics/true-scale-infiniband-software-and-tools.html]

'프로그램 사용 > openHPC' 카테고리의 다른 글

openHPC 설치 part 1?  (2) 2020.12.02
ipmi simulator  (0) 2020.12.02
openHPC warewulf + slurm  (0) 2020.12.02
warewulf  (0) 2020.11.26
openHPC  (0) 2020.11.25
Posted by 구차니
프로그램 사용/openHPC2020. 12. 2. 12:19

설치 문서를 보고 있는데 역시 개인이 가볍게(?) 설치할 만한 규모가 아니다.

 

문서에서는 최소 5대를 가지고 설치해야 하는데

그나마도 lustre같은 파일 시스템이 아닌 nfs로 구성하는 것이고

lustre나 BeeGFS 분산파일 시스템 추가되면 최소 2대 이상이 더 필요해진다.

 

마스터 노드와 컴퓨트 노드 총 5대로 구성을 하고

마스터 노드는 SMS(System Management Server)와 프로비저닝(warewulf)을 제공한다.

1.2 Requirements/Assumptions
This installation recipe assumes the availability of a single head node master, and four compute nodes.The master node serves as the overall system management server (SMS) and is provisioned with CentOS 8.2 and is subsequently configured to provision the remaining compute nodes with Warewulf in a stateless configuration. The terms master and SMS are used interchangeably in this guide. For power management, we assume that the compute node baseboard management controllers (BMCs) are available via IPMI from the chosen master host. For file systems, we assume that the chosen master server will host an NFS file system that is made available to the compute nodes. Installation information is also discussed to optionally mount a parallel file system and in this case, the parallel file system is assumed to exist previously

 

HPC systems rely on synchronized clocks throughout the system and the NTP protocol can be used to facilitate this synchronization

 

[링크 : https://github.com/openhpc/ohpc/releases/download/v2.0.GA/Install_guide-CentOS8-Warewulf-SLURM-2.0-x86_64.pdf]

 

 

[링크 : https://www.admin-magazine.com/HPC/Articles/warewulf_cluster_manager_completing_the_environment]

'프로그램 사용 > openHPC' 카테고리의 다른 글

ipmi simulator  (0) 2020.12.02
IPoIB - IP over InfiniBand , OFED, PSM  (0) 2020.12.02
warewulf  (0) 2020.11.26
openHPC  (0) 2020.11.25
beowulf 프로그램은 없다  (0) 2020.11.25
Posted by 구차니
프로그램 사용/openHPC2020. 11. 26. 12:33

warewulf는 단순하게 구성된 provisioning 툴이라고 한다.

프로비저닝은 OS를 구성하고 네트워크 부트를 지원해야 하는데

warewulf 종속성으로 dhcpd나 tftp 등도 다 설치하게 되려나?

 

[링크 : https://www.admin-magazine.com/HPC/Articles/Warewulf-Cluster-Manager-Master-and-Compute-Nodes]

[링크 : http://sense.net/~egan/xcat/doc/warewulf-HOWTO.html]

[링크 : https://groups.google.com/a/lbl.gov/g/warewulf/c/AWkn-hTz3D8/m/ja0AzFLPrO4J?pli=1]

'프로그램 사용 > openHPC' 카테고리의 다른 글

IPoIB - IP over InfiniBand , OFED, PSM  (0) 2020.12.02
openHPC warewulf + slurm  (0) 2020.12.02
openHPC  (0) 2020.11.25
beowulf 프로그램은 없다  (0) 2020.11.25
클러스터 관리프로그램  (0) 2020.11.25
Posted by 구차니
프로그램 사용/openHPC2020. 11. 25. 17:37

OpenHPC는 Provisioning / Resource Manager / MPI 등의

여러가지 패키지를 포함하는 HPC 구성용 배포판 이라고 해야하나? (OpenSUSE, CENTOS 기반)

 

OpenHPC software packages
OpenHPC divides its software packages into different functional areas, and each includes multiple components:

Provisioning: Warewulf, xCAT
Resource management: Slurm, Munge, PBS Professional
Runtimes: OpenMP, OCR, Singularity
Numerical/scientific libraries: GSL, FFTW, Metis, PETSc, Trilinos, Hypre, SuperLU, Mumps, OpenBLAS, Scalapack
I/O libraries: HDF5, NETCDF, Adios
Compilers: GCC, LLVM
MPI families: MVAPICH2, Open MPI, MPICH
Performance tools: PAPI, IMB, mpiP, pdtoolkit, TAU, Scalasca, ScoreP, SIONLib

[링크 : https://opensource.com/article/17/11/openhpc]

'프로그램 사용 > openHPC' 카테고리의 다른 글

openHPC warewulf + slurm  (0) 2020.12.02
warewulf  (0) 2020.11.26
beowulf 프로그램은 없다  (0) 2020.11.25
클러스터 관리프로그램  (0) 2020.11.25
slurm 이기종  (0) 2020.11.25
Posted by 구차니
프로그램 사용/openHPC2020. 11. 25. 17:34

좀 놀라운 사실이네.. 그나저나 MPICH를 검색하니 vs openmpi가 나오고 그러네..

 

아무튼 beowulf cluster를 만드는데 여러가지 것들이 들어갔지만 공식적으로

beowulf라는 프로그램이 없다는건 좀 신선하네..

MPICH와 같은 Message Passing Interface 기반의 분산 병렬 처리가 핵심이고

3. Where can I get the Beowulf software?
There isn't a software package called "Beowulf". There are, however,several pieces of software many people have found useful for building Beowulfs. None of them are essential. They include MPICH, LAM, PVM, the Linux kernel, the channel-bonding patch to the Linux kernel (which lets you 'bond' multiple Ethernet interfaces into a faster 'virtual' Ethernet interface) and the global pid space patch for the Linux kernel (whichlets you see all the processes on your Beowulf with ps, and eliminate them), DIPC (which lets you use sysv shared memory and semaphores and message queues transparently across a cluster).

[링크 : https://beowulf.org/overview/faq.html]

 

MPI까진 있는데 MPICH는 모르겠네...

[링크 : https://www.mpich.org/]

 

Message-Passing Interface Chameleon

[링크 : https://acronyms.thefreedictionary.com/MPICH]

 

PVM(Parallel Virtual Machine)

LAM-MPI ?

[링크 : https://wiki.kldp.org/KoreanDoc/html/HPC-KLDP/x162.html]

 

LAM (Local Area Multiprocessor) 

[링크 : https://www.jstor.org/stable/2678516?seq=1]

'프로그램 사용 > openHPC' 카테고리의 다른 글

warewulf  (0) 2020.11.26
openHPC  (0) 2020.11.25
클러스터 관리프로그램  (0) 2020.11.25
slurm 이기종  (0) 2020.11.25
slurm + munge  (0) 2020.11.24
Posted by 구차니
프로그램 사용/openHPC2020. 11. 25. 15:22

OpenHPC는 all in one

Slurm 이나 PBS Pro 는 Job Scheduler로 구분된다.

[링크 : https://en.wikipedia.org/wiki/Comparison_of_cluster_software]

 

OpenHPC, xCAT, Warewulf 가 클러스터 관리 프로그램으로 분류된다.

[링크 : https://en.wikipedia.org/wiki/List_of_cluster_management_software]

 

Warewulf is a scalable systems management suite

[링크 : https://warewulf.lbl.gov/]

 

슬레이브 노드 관리 문제를 해결하기 위한 도구.

[링크 : https://en.wikipedia.org/wiki/Warewulf]

[링크 : https://en.wikipedia.org/wiki/XCAT] Extreme Cloud Administration Toolkit

 

warewulf for provisioning.

인프라 구축을 위한 diskless node 구성을 위한 툴이라고 보면되려나?

[링크 : https://www.isip.piconepress.com/projects/neuronix/html/neuronix_overview.shtml]

 

초기 클러스터 프로젝트 명...?

beowulf와 warewulf의 연관이나 차이점은 검색이 쉽지 않네..

[링크 : https://en.wikipedia.org/wiki/Beowulf_cluster]

 

OpenHPC도 내부적으로는 Warewulf + OpenPBS / Slurm 으로 구성되는 듯(설치문서)

[링크 : https://en.wikipedia.org/wiki/OpenHPC]

[링크 : https://en.wikipedia.org/wiki/Slurm_Workload_Manager]

 

OpenPBS / TORQUE / PBS Pro는 PBS의 다양한 버전(그러니까 같은 근간을 지닌 프로그램들)

[링크 : https://en.wikipedia.org/wiki/Portable_Batch_System]

[링크 : https://en.wikipedia.org/wiki/TORQUE] PBS 기반, 오픈소스는 아님

[링크 : https://www.openpbs.org/]

'프로그램 사용 > openHPC' 카테고리의 다른 글

openHPC  (0) 2020.11.25
beowulf 프로그램은 없다  (0) 2020.11.25
slurm 이기종  (0) 2020.11.25
slurm + munge  (0) 2020.11.24
slurm 사용법  (0) 2020.11.16
Posted by 구차니
프로그램 사용/openHPC2020. 11. 25. 11:34

slurm에서 이기종 간의 연산을 지원한다고 하는데

그 이기종이 AMD의 HSA나 GPGPU 등을 의미하는건지

아니면 클러스터 레벨에서 ARM / x86이 혼합되는건진 모르겠다.

 

[링크 : https://slurm.schedmd.com/heterogeneous_jobs.html#het_steps]

[링크 : https://www.python2.net/questions-1022028.htm]

[링크 : https://lists.schedmd.com/pipermail/slurm-users/2018-January/000352.html]

'프로그램 사용 > openHPC' 카테고리의 다른 글

beowulf 프로그램은 없다  (0) 2020.11.25
클러스터 관리프로그램  (0) 2020.11.25
slurm + munge  (0) 2020.11.24
slurm 사용법  (0) 2020.11.16
slurm gpu  (0) 2020.11.16
Posted by 구차니
프로그램 사용/openHPC2020. 11. 24. 11:01

저번에 찾을때는 munge를 못본것 같은데 갑자기 나오네..

사용자 인증 서비스 라고 해야하나?

 

[링크 : https://wonwooddo.tistory.com/35]

[링크 : https://repository.kisti.re.kr/bitstream/10580/6542/1/2014-147%20Slurm%20관리자%20이용자%20가이드.pdf]

[링크 : https://linux.die.net/man/7/munge]

 

+

설치문서 보다 보니 slurm이 mysql과 연동하고

slurm이 munge를 통해서 사용자 인증을 받는 듯?

'프로그램 사용 > openHPC' 카테고리의 다른 글

클러스터 관리프로그램  (0) 2020.11.25
slurm 이기종  (0) 2020.11.25
slurm 사용법  (0) 2020.11.16
slurm gpu  (0) 2020.11.16
openBMC  (0) 2020.11.02
Posted by 구차니