구차니의 잡동사니 모음

4.3 에서 module 명령이 안되기 시작하면서

4.4~4.6이 정상적으로 설치되지 않는다.

4.1 Development Tools
4.2 Compilers

yum -y install ohpc-autotools
yum -y install EasyBuild-ohpc
yum -y install hwloc-ohpc
yum -y install spack-ohpc
yum -y install valgrind-ohpc
yum -y install gnu9-compilers-ohpc

4.3 MPI Stacks
yum -y install mpich-ucx-gnu9-ohpc
module avail mpich

4.4 Performance Tools
yum -y install ohpc-gnu9-perf-tools

4.5 Setup default development environment
yum -y install lmod-defaults-gnu9-openmpi4-ohpc

4.6 3rd Party Libraries and Tools
yum -y install ohpc-gnu9-mpich-parallel-libs
yum -y install ohpc-gnu9-openmpi4-parallel-libs

4.7 Optional Development Tool Builds
yum -y install intel-compilers-devel-ohpc
yum -y install intel-mpi-devel-ohpc

5 Resource Manager Startup
systemctl enable munge
systemctl enable slurmctld
systemctl start munge
systemctl start slurmctld

+
yum -y install yum install pdsh-ohpc

pdsh -w $compute_prefix[1-2] systemctl start munge
pdsh -w $compute_prefix[1-2] systemctl start slurmd
scontrol update nodename=c[1-4] state=idle

7 Run a Test Job
useradd -m test
wwsh file resync passwd shadow group
pdsh -w $compute_prefix[1-2] /warewulf/bin/wwgetfiles

7.1 Interactive execution
su - test
 mpicc -O3 /opt/ohpc/pub/examples/mpi/hello.c
 srun -n 8 -N 2 --pty /bin/bash[test@c1 ~]$ prun ./a.out

7.2 Batch execution
 cp /opt/ohpc/pub/examples/slurm/job.mpi .
 cat job.mpi
 #!/bin/bash
 #SBATCH -J test # Job name
 #SBATCH -o job.%j.out # Name of stdout output file (%j expands to %jobId)
 #SBATCH -N 2 # Total number of nodes requested
 #SBATCH -n 16 # Total number of mpi tasks #requested
 #SBATCH -t 01:30:00 # Run time (hh:mm:ss) - 1.5 hours
 # Launch MPI-based executable
 prun ./a.out

 sbatch job.mpi

# yum install ohpc-gnu9-perf-tools
마지막 메타 데이터 만료 확인 : 0:00:55 전에 2020년 12월 14일 (월) 오후 09시 28분 27초.
오류:
 문제: package ohpc-gnu9-perf-tools-2.0-47.1.ohpc.2.0.x86_64 requires scalasca-gnu9-mpich-ohpc, but none of the providers can be installed
  - package scalasca-gnu9-mpich-ohpc-2.5-2.3.ohpc.2.0.x86_64 requires lmod-ohpc >= 7.6.1, but none of the providers can be installed
  - cannot install the best candidate for the job
  - nothing provides lua-filesystem needed by lmod-ohpc-8.2.10-15.1.ohpc.2.0.x86_64
  - nothing provides lua-posix needed by lmod-ohpc-8.2.10-15.1.ohpc.2.0.x86_64
(설치할 수 없는 패키지를 건너 뛰려면 '--skip-broken'을 (를) 추가하십시오. 또는 '--nobest'은/는 최상의 선택된 패키지만 사용합니다)
# yum -y install gnu9-compilers-ohpc
마지막 메타 데이터 만료 확인 : 0:01:36 전에 2020년 12월 14일 (월) 오후 09시 28분 27초.
패키지 gnu9-compilers-ohpc-9.3.0-15.1.ohpc.2.0.x86_64이/가 이미 설치되어 있습니다.
종속성이 해결되었습니다.
할 것이 없음.
완료되었습니다!
#  yum -y install mpich-ucx-gnu9-ohpc
마지막 메타 데이터 만료 확인 : 0:01:46 전에 2020년 12월 14일 (월) 오후 09시 28분 27초.
패키지 mpich-ucx-gnu9-ohpc-3.3.2-13.1.ohpc.2.0.x86_64이/가 이미 설치되어 있습니다.
종속성이 해결되었습니다.
할 것이 없음.
완료되었습니다!
# yum -y install ohpc-gnu9-perf-tools
마지막 메타 데이터 만료 확인 : 0:02:45 전에 2020년 12월 14일 (월) 오후 09시 28분 27초.
오류:
 문제: package ohpc-gnu9-perf-tools-2.0-47.1.ohpc.2.0.x86_64 requires scalasca-gnu9-mpich-ohpc, but none of the providers can be installed
  - package scalasca-gnu9-mpich-ohpc-2.5-2.3.ohpc.2.0.x86_64 requires lmod-ohpc >= 7.6.1, but none of the providers can be installed
  - cannot install the best candidate for the job
  - nothing provides lua-filesystem needed by lmod-ohpc-8.2.10-15.1.ohpc.2.0.x86_64
  - nothing provides lua-posix needed by lmod-ohpc-8.2.10-15.1.ohpc.2.0.x86_64
(설치할 수 없는 패키지를 건너 뛰려면 '--skip-broken'을 (를) 추가하십시오. 또는 '--nobest'은/는 최상의 선택된 패키지만 사용합니다)
# yum install lmod-ohpc
마지막 메타 데이터 만료 확인 : 0:03:12 전에 2020년 12월 14일 (월) 오후 09시 28분 27초.
오류:
 문제: cannot install the best candidate for the job
  - nothing provides lua-filesystem needed by lmod-ohpc-8.2.10-15.1.ohpc.2.0.x86_64
  - nothing provides lua-posix needed by lmod-ohpc-8.2.10-15.1.ohpc.2.0.x86_64
(설치할 수 없는 패키지를 건너 뛰려면 '--skip-broken'을 (를) 추가하십시오. 또는 '--nobest'은/는 최상의 선택된 패키지만 사용합니다)
#  yum -y install lmod-defaults-gnu9-openmpi4-ohpc
마지막 메타 데이터 만료 확인 : 0:03:47 전에 2020년 12월 14일 (월) 오후 09시 28분 27초.
오류:
 문제: package lmod-defaults-gnu9-openmpi4-ohpc-2.0-4.1.ohpc.2.0.noarch requires lmod-ohpc, but none of the providers can be installed
  - conflicting requests
  - nothing provides lua-filesystem needed by lmod-ohpc-8.2.10-15.1.ohpc.2.0.x86_64
  - nothing provides lua-posix needed by lmod-ohpc-8.2.10-15.1.ohpc.2.0.x86_64
(설치할 수 없는 패키지를 건너 뛰려면 '--skip-broken'을 (를) 추가하십시오. 또는 '--nobest'은/는 최상의 선택된 패키지만 사용합니다)

RTL-SDR 용으로 구매했던 녀석(RTL2832U + FC0012)를 아버지께서 안쓰신대서 돌려받아왔는데

kodi에 PVR client로 ARM(RPi)가 Yes로 되어있는 NextPVR을 설치했지만 안된다.

[링크 : https://kodi.wiki/view/PVR/Backends]

아무튼 FM이라도 나오면 좋으련만.. 라즈베리 파이로 CPU 성능이 될지 모르겠네

[링크 : https://www.rtl-sdr.com/tag/kodi/]

[링크 : http://esmasol.de/open-source/kodi-add-on-s/fm-radio-receiver/]

[링크 : https://kodi.wiki/view/Add-on:RTL-SDR_FM_Radio_Client]

의외로 많이 느리다고 해야하나?

대충 30MB/s 정도 겨우 나오는 듯..

그나저나 저 CPU 점유율 보소... ㄷㄷ

NAT로 구성되서 저렇게 많이 먹고 속도도 안나는 건가?

MPICH2 ofi, ucx

[링크 : https://www.mpich.org/about/news/]

OpenFabrics Interfaces

[링크 : https://ofiwg.github.io/libfabric/]

Unified Communication X

[링크 : https://www.openucx.org/

MVAPICH: MPI over InfiniBand, Omni-Path, Ethernet/iWARP, and RoCE

[링크 : https://mvapich.cse.ohio-state.edu/]

기본적으로 infiniband, ommipath, RDMA(xeon) 등에서 작동되는 녀석이지

일반적인 기가비트 이더넷 등에서 작동할 녀석은 아닌듯?

[링크 : https://en.wikipedia.org/wiki/MVAPICH]

특이하게도 가상화쪽에서 SR-IOV가 나오는것도 존재한다.

NAS에 guest를 사용불가로 해놔서 접근이 불가능 하다 보니 에러가 발생을 하는데

왜 operation not permit인가...

아무튼 계정 정보를 넣어주면 문제없이 잘 된다.

smb://username:password@hostname/path

[링크 : https://forum.kodi.tv/showthread.php?tid=191619&page=2]

[링크 : https://unix.stackexchange.com/questions/365225/how-to-get-the-ipv4-address-for-an-interface-from-proc]

# yum update kernel
Last metadata expiration check: 20:00:35 ago on Mon 07 Dec 2020 01:42:34 AM EST.
Dependencies resolved.
Nothing to do.
Complete!

# grub2-editenv list
saved_entry=c324aa0738b34f58b1304edca552d426-4.18.0-193.28.1.el8_2.x86_64
kernelopts=root=/dev/mapper/cl-root ro crashkernel=auto resume=/dev/mapper/cl-swap rd.lvm.lv=cl/root rd.lvm.lv=cl/swap
boot_success=0

# grub2-set-default 0

[링크 : https://jeongyd.tistory.com/56]

+

위의 방식으로 되지 않아서 다른 방법 찾는중

그런데 yum clean all 은 웬지 설치된 패키지 전부 지우는 느낌인데..

[링크 : https://phoenixnap.com/kb/how-to-update-upgrade-centos]

저번주 까지만 해도 멀쩡히 잘 되었던 녀석이 갑자기 안된다.

그래서 찾아보는데.. 아무래도 구버전이 되어서 live에서 내려가 버린듯..

아무튼 설치는 했는데 다시 하려니 매치되는게 없다고 그런다...

[링크 : https://forums.centos.org/viewtopic.php?t=76325&p=320884]

[링크 : http://mirror.centos.org/centos/8/BaseOS/x86_64/os/Packages/?C=M;O=D]

[링크 : https://vault.centos.org/8.2.2004/BaseOS/x86_64/os/Packages/]

[링크 : http://rpmfind.net/linux/RPM/centos/8.2.2004/baseos/x86_64/Packages/kernel-4.18.0-193.el8.x86_64.html]

warewulf 유틸리티인데 스크립트였네?

# cat /usr/bin/wwmkchroot
#!/bin/bash
#
#
# Copyright (c) 2001-2003 Gregory M. Kurtzer
#
# Copyright (c) 2003-2011, The Regents of the University of California,
# through Lawrence Berkeley National Laboratory (subject to receipt of any
# required approvals from the U.S. Dept. of Energy).  All rights reserved.
#
# $Id: wwmkchroot 913 2012-04-19 00:33:31Z gmk $

prefix="/usr"
exec_prefix="/usr"
libexecdir="/usr/libexec"


usage() {
    echo "$0 [options] TEMPLATE_NAME PATH"
    echo
    echo "OPTIONS:"
    echo "    -d        Debug output"
    echo "    -g        Disable install GPG checks"
    echo "    -v        Verbose output"
    echo "    -h        Show usage"
    echo
    echo "TEMPLATE_NAME (select one of the following):"
    for i in $libexecdir/warewulf/wwmkchroot/*.tmpl; do
        NAME=`basename $i | sed -e 's/\.tmpl$//'`
        DESC=`grep '^#DESC: ' $i | sed -e 's/#DESC: //'`
        printf "   * %-20s %s\n" "$NAME" "$DESC"
    done
    echo
    echo "PATH:"
    echo "   This is the location where the VNFS will be created"
    echo
    echo "EXAMPLES:"
    echo
    echo " # wwmkchroot rhel-generic /var/chroots/rhel"
    echo " # wwmkchroot debian8-64 /var/chroots/deb8"
    echo
}

unset VERBOSE
unset DEBUG
unset NOGPGCHECK
DEVNULL="/dev/null"

### Argument processing
while getopts ":dhvg" opt; do
    case $opt in
        d)
            VERBOSE=1
            DEBUG=1
            DEVNULL="/dev/stdout"
            set -x
        ;;
        v)
            VERBOSE=1
        ;;
       \?)
            printf "ERROR: $OPTARG not recognized.\n\n" 1>&2
            usage
            exit 1
        ;;
        h)
            usage
            exit 0
        ;;
        g)
            NOGPGCHECK=1
        ;;
    esac
done

shift $((OPTIND-1))

export VNFSTEMPLATE=$1
shift
export CHROOTDIR=$1
shift

if [ -z "$VNFSTEMPLATE" ]; then
    printf "ERROR: Missing VNFS template name\n\n"
    usage
    exit 1
fi

#### Check for template directory
if ! [ -d "$libexecdir/warewulf/wwmkchroot" ]; then
    echo "ERROR: Template directory ($libexecdir/warewulf/wwmkchroot) does not exist!"
    exit 1
fi

pushd $libexecdir/warewulf/wwmkchroot >$DEVNULL

#### Load functions
test -n "$VERBOSE" && printf "\n==== Loading general template functions\n"
if [ -f "./functions" ]; then
    . "./functions"
else
    echo "ERROR: Can not find $libexecdir/warewulf/wwmkchroot/functions"
    exit 1
fi

#### Load OS templates
test -n "$VERBOSE" && printf "\n==== Loading template\n"
if [ -f "$VNFSTEMPLATE.tmpl" ]; then
    test -n "$VERBOSE" && echo "Using $libexecdir/warewulf/wwmkchroot/$VNFSTEMPLATE.tmpl"
    . "$VNFSTEMPLATE.tmpl"
else
    echo "ERROR: Can not find $libexecdir/warewulf/wwmkchroot/$VNFSTEMPLATE.tmpl"
    exit 1
fi

popd >$DEVNULL

if [ -z "$CHROOTDIR" ]; then
    echo "ERROR: You must define the directory to build the chroot"
    usage
    exit 1
fi

#### Running template functions
test -n "$VERBOSE" && printf "\n==== Starting chroot build\n"
for function in $FUNCTIONS; do
    test -n "$VERBOSE" && echo "== Running: $function"
    $function || exit 1
done

실행하다 보면 /usr/libexec/warewulf/wwmkchroot/*.tmpl을 건드리는데

# cat centos-8.tmpl
#DESC: Red Hat Enterprise Linux 8

# The general RHEL include has all of the necessary functions, but requires
# some basic variables specific to each chroot type to be defined.

# Use DNF as the package manager
PKG_MGR=dnf
EXTRA_ARGS="--releasever=8"
PLATFORMID="platform:el8"

# Uncomment to disable GPG checks on added repos
# REPO_NOGPGCHECK=1

. include-rhel

# Define the location of the YUM repository
if [ -z "$YUM_MIRROR" ]; then
    if [ -z "$YUM_MIRROR_BASE" ]; then
        YUM_MIRROR_BASE="http://mirror.centos.org/centos-8"
    fi
    YUM_MIRROR="${YUM_MIRROR_BASE}/8/BaseOS/\$basearch/os","${YUM_MIRROR_BASE}/8/AppStream/\$basearch/os","${YUM_MIRROR_BASE}/8/PowerTools/\$basearch/os"
fi

# Install only what is necessary/specific for this distribution
PKGLIST="basesystem bash chkconfig coreutils e2fsprogs ethtool
    filesystem findutils gawk grep initscripts iproute iputils
    net-tools nfs-utils pam psmisc rsync sed setup
    shadow-utils rsyslog tzdata util-linux words
    zlib tar less gzip which util-linux openssh-clients
    openssh-server dhclient pciutils vim-minimal shadow-utils
    strace cronie crontabs cpio wget redhat-release hostname grub2-common glibc-langpack-en"

그 경로를 하나씩 내려가다 보니 아래와 같이 BaseOS 다음에 platform architecutre 구분이 들어가게 된다.

mirror.centos.org/centos-8/8/BaseOS/

mirror.centos.org/centos-8/8/BaseOS/aarch64/

mirror.centos.org/centos-8/8/BaseOS/x86_64/

해당 부분에 대해서는

$basearch 변수를 사용하는데 그걸 바꾸어서 적용하면 임의로 크로스 플랫폼(?)으로 적용이 가능할 지도 모르겠다.

And also need to change $YUM_MIRROR to the local repository.

Corresponds to wwmkchroot written in "3.6 Define compute image for provisioning" of each Usage.

[root@aarch64 /]# export YUM_MIRROR=""/repos/centos-<version>.<release>/BaseOS", "/repos/centos-<version>.<release>/AppStream", "/repos/centos-<version>.<release>-aarch64/PowerTools""
[root@aarch64 /]# wwmkchroot -d centos-<version> $CHROOT

[링크 : https://github.com/NaohiroTamura/cross-sms-aarch64.sh/blob/master/README.md]