프로그램 사용/docker2019. 5. 15. 15:02

단순하게(?) 전체 힙 사이즈와, 새로운 힙 사이즈에 대한 설정만 있는 것으로 보이는데

아래가 기본값인듯 하고.. docker를 통해 실행한 카산드라는 기본 4G의 메모리를 먹을 것으로 보인다.

 

 

일단 찾을건.. 최대 메모리 설정을 줄이는 것과

GC를 가동할 시간을 좀 짧게 가져가는 것

그리고 spring에서 카산드라 DB의 메모리를 GC 시키는 것 정도일려나?

 

#MAX_HEAP_SIZE=”4G”
#HEAP_NEWSIZE=”800M”

[링크 : http://theeye.pe.kr/archives/1375]

[링크 : https://knight76.tistory.com/entry/cassandra-compaction-관련]

 

+

2019.05.16

 

[링크 : https://stackoverflow.com/questions/34745419/how-to-set-cassandra-2-0-jvm-heap-size-of-8gb]

[링크 : https://tobert.github.io/pages/als-cassandra-21-tuning-guide.html]

 

datastax

[링크 : https://docs.datastax.com/en/cassandra/3.0/cassandra/operations/opsTuneJVM.html]

'프로그램 사용 > docker' 카테고리의 다른 글

docker image tar  (0) 2019.05.16
docker offline image  (0) 2019.05.16
docker cassandra  (0) 2019.04.22
docker-compose up/down 주의사항  (0) 2019.03.24
docker 컨테이너 자동시작  (0) 2019.03.21
Posted by 구차니

데이터분석용인데 몇개 검색해보니 로그 분석용으로 더 쓰이는 느낌

ElasticSearch, LogStash, Kibana

 

[링크 : https://sanghaklee.tistory.com/51]

[링크 : https://heowc.tistory.com/49]

[링크 : http:// https://www.inflearn.com/course/elk-스택-데이터-분석/#]

'프로그램 사용 > 서버 모니터링' 카테고리의 다른 글

prometheus lustre expoter  (0) 2020.11.16
kibana  (0) 2020.10.14
grafana  (0) 2020.10.14
zabbix  (0) 2020.10.14
prometheus  (0) 2020.10.14
Posted by 구차니

예전에 찾아 놓은 Web GUI 로 된 kvm 관리자를 해보는데

[링크 : https://github.com/retspen/webvirtmgr/wiki/Install-WebVirtMgr]

 

 

libvirtd를 구동하면 에러가 나는데 기본이 TLS 인증이라 그런듯.

아무튼 libvirtd에 설정을 바꾸어주면 되긴하는데.. 인증이 안되네..

$ sudo vim /etc/libvirt/libvirtd.conf

#
# For further information consult https://libvirt.org/format.html
#
# NOTE: the tests/daemon-conf regression test script requires
# that each "PARAMETER = VALUE" line in this file have the parameter
# name just after a leading "#".

#################################################################
#
# Network connectivity controls
#

# Flag listening for secure TLS connections on the public TCP/IP port.
# NB, must pass the --listen flag to the libvirtd process for this to
# have any effect.
#
# It is necessary to setup a CA and issue server certificates before
# using this capability.
#
# This is enabled by default, uncomment this to disable it
listen_tls = 0

# Listen for unencrypted TCP connections on the public TCP/IP port.
# NB, must pass the --listen flag to the libvirtd process for this to
# have any effect.
#
# Using the TCP socket requires SASL authentication by default. Only
# SASL mechanisms which support data encryption are allowed. This is
# DIGEST_MD5 and GSSAPI (Kerberos5)
#
# This is disabled by default, uncomment this to enable it.
listen_tcp = 1



# Override the port for accepting secure TLS connections
# This can be a port number, or service name
#
#tls_port = "16514"

# Override the port for accepting insecure TCP connections
# This can be a port number, or service name
#
tcp_port = "16509"

[링크 : https://libvirt.org/remote.html]

 

위에처럼 하면 접속은 되는데 인증이 안된다.

일단은 과감하게(?) 보안무시하고 실행을 위주로 ㄱㄱ!

$ sudo vim /etc/libvirt/libvirtd.conf

# Change the authentication scheme for TCP sockets.
#
# If you don't enable SASL, then all TCP traffic is cleartext.
# Don't do this outside of a dev/test scenario. For real world
# use, always enable SASL and use the GSSAPI or DIGEST-MD5
# mechanism in /etc/sasl2/libvirt.conf
#auth_tcp = "sasl"
auth_tcp = "none"

[링크 : https://libvirt.org/auth.html]

[링크 : https://computingforgeeks.com/use-virt-manager-as-non-root-user/]

 

일단은 이미지 업로드가 안되서(해당 UI가 깨진건지..) 일단은 사용은 실패

'프로그램 사용 > kvm(virt-manager)' 카테고리의 다른 글

vmdk를 qcow2로 변경하기  (2) 2019.07.09
kvm virsh console 사용하기  (0) 2019.05.16
리눅스 콘솔창 해상도 변경하기  (0) 2019.04.26
VDI GPU passthrough  (0) 2019.04.24
kvm live add cpu  (0) 2019.04.16
Posted by 구차니

KVM을 통해서 하는데 노트북이 1280x1024 밖에 안되다 보니

SPICE를 통해 보면 잘려서 어떻게 해야 하려나?

 

[링크 : https://www.linux-kvm.org/page/SPICE]

 

[링크 : https://patchwork.ozlabs.org/patch/484821/]

 

[링크 : https://www.linux-kvm.org/images/b/b2/01x10b-QEMUGfraphics.pdf]

 

 

 

'프로그램 사용 > kvm(virt-manager)' 카테고리의 다른 글

kvm virsh console 사용하기  (0) 2019.05.16
libvirtd와 webvirtmgr  (0) 2019.04.30
VDI GPU passthrough  (0) 2019.04.24
kvm live add cpu  (0) 2019.04.16
kvm과 HT 그리고 affinity  (0) 2019.04.16
Posted by 구차니

예전에 본.. VT-d 활성화 해주어야 하는건가..

대충 설정들을 보니.. 가상 머신에다가 물리 장치를 물리는걸 패스쓰루라고 하는데

guest가 Windows면은 그래픽 카드를 iommu를 통해 혹은 vt-d를 통해서

직접 가상 머신에 물려주는걸 의미하는 듯?

 

[링크 : https://heiko-sieger.info/running-windows-10-on-linux-using-kvm-with-vga-passthrough/]

[링크 : https://davidyat.es/2016/09/08/gpu-passthrough/]

[링크 : https://blog.zerosector.io/2018/07/28/kvm-qemu-windows-10-gpu-passthrough/]

 

vt-d는 인텔

iommu는 amd 계열 기술이름인듯

[링크 : http://jowon.blogspot.com/2010/01/linux-pci-passthrough.html]

 

+

vt-d/iommu는 카드를 공유하거나 일부만 잘라서 쓰지는 못하는 듯.

(즉, 하나의 게스트에 할당하면 다른 게스트는 해당 gpu를 쓰지 못한다거나?)

[링크 : https://www.whitehatvirtual.com/vgpu-101-passthrough-vs-vgpu-why-it-matters/]

 

Nvidia GRID 제품군으로는 위의 방법이 가능한것으로 보임

(위에 글들은 과거 내용이니 좀 달라진건가?)

[링크 : https://kr.nvidia.com/object/tesla-m60-kr.html]

[링크 : https://docs.nvidia.com/grid/latest/grid-vgpu-release-notes-generic-linux-kvm/index.html]

Posted by 구차니
프로그램 사용/docker2019. 4. 22. 11:04

docker 기반의 카산드라에 sql 클라이언트 실행하기

$ docker exec -it container_id cqlsh

[링크 : https://medium.com/@michaeljpr/five-minute-guide-getting-started-with-cassandra-on-docker]

 

키스페이스 = table? 이런 개념인진 모르겠지만

테이블에 앞서 키스페이스를 확인하라고 하는걸 보니.. 

Sinse v 6.0 Docs 
Get keyspaces info 
SELECT * FROM system_schema.keyspaces 

Get tables info 
SELECT * FROM system_schema.tables WHERE keyspace_name = 'keyspace name'; 

Get table info 
SELECT * FROM system_schema.columns  
WHERE keyspace_name = 'keyspace_name' AND table_name = 'table_name'; 

 

추천수가 낮은 답변인데 이걸로 하면 일반적인 db에서 말하는 database를 확인가능하고

. 누르고 탭을 누르면 자동완성되니 나름 편하게 확인가능 할 듯

desc keyspaces;

[링크 : https://stackoverflow.com/questions/38696316/how-to-list-all-cassandra-tables]


'프로그램 사용 > docker' 카테고리의 다른 글

docker offline image  (0) 2019.05.16
cassandra 메모리 관리  (0) 2019.05.15
docker-compose up/down 주의사항  (0) 2019.03.24
docker 컨테이너 자동시작  (0) 2019.03.21
docker cassandra selinux  (0) 2019.03.20
Posted by 구차니

Incremental 옵션이 영향을 주는것 같아서 해보는데 일단 귀찮아서...

Incremental no 옵션을 설정한 다음 전체 로그를 붙여서(과거 - 현재 순서로)

붙이니 일단 되는 듯.. -p 옵션을 통해서 여러개로 나누어진 녀석을 처리가능하다는데

해보진 않아서 모르겠네.. 해볼까? (멀 잘못했나.. -p 로그파일 해도 안되네..)

 

6. My logs are HUGE! Can I run The Webalizer on partial logs?Yes!
        . The Webalizer fully supports incremental processing. This allows you to rotate your logs as often as needed without the loss of statistical detail between runs. Use the "Incremental" keyword in your configuration file, or the "-p" command line switch to enable incremental processing. See the
 README file for additional information and precautions on using incremental processing.

[링크 : http://www.webalizer.org/faq.html]

 

The Webalizer is a command line application and is launched from the operating system shell prompt. A typical command is shown below.webalizer -p -F clf -n en.wikipedia.org -o reports logfiles/access_log

This command instructs The Webalizer to analyze the log file access_log, run in the incremental mode (-p), interpret the log as a CLF log file (-F), use the domain name en.wikipedia.org for report links (-n) and produce the output subdirectory of the current directory. Use the -h option to see the complete list of command line options.

[링크 : https://en.wikipedia.org/wiki/Webalizer#Command_line]

 

for obj in $(ls access*); do webalizer -p -F apache -n example.hostname.com -o /path/to/webalizer/ $obj; done

[링크 : https://coderwall.com/p/0eh7iw/run-old-access-logs-through-webalizer]

Posted by 구차니

특정 디렉토리를 제외하려면 그냥 적고

그 안에 특정 파일은 버전관리 하려면

!/path/filename

으로 적어주면 된다.

[링크 : https://stackoverflow.com/questions/987142/make-gitignore-ignore-everything-except-a-few-files]

Posted by 구차니

kvm 에서 작동중에 cpu를 추가하는 방법

반대로 빼는건 좀 복잡한 듯

 

추가하기

# virsh setvcpus UAKVM2 2
# virsh dominfo UAKVM2

 

제거하기

# virsh setvcpus --live --guest UAKVM2 1

 

설정 저장하기
# virsh setvcpus --config UAKVM2 1

[링크 : https://www.unixarena.com/2015/12/linux-kvm-how-to-add-remove-vcpu-to-guest-on-fly.html/]

 

+

2019.04.20

현재 2개인데

줄이는 것 일단 안되는데 착각해서 해보고..

# virsh setvcpus testvm 1
오류:지원되지 않는 설정: failed to find appropriate hotpluggable vcpus to reach the desired target vcpu count

 

늘리는 건 최대 값 설정된게 있는데 그걸 넘어서 안된다고 하네..

# virsh setvcpus testvm 4
오류:잘못된 인수: requested vcpus is greater than max allowable vcpus for the live domain: 4 > 2

 

이것저것 해보는데.. maximum live는 어떻게 올리지? ㅠㅠ

# virsh vcpucount testvm
maximum      config         2
maximum      live           2
current      config         2
current      live           2

# virsh setvcpus testvm 4 --maximum
오류:Option --config is required by option --maximum

# virsh setvcpus testvm 4 --maximum --config

# virsh vcpucount testvm
maximum      config         4
maximum      live           2
current      config         2
current      live           2

 

# virsh setvcpus testvm 4 --live
오류:잘못된 인수: requested vcpus is greater than max allowable vcpus for the live domain: 4 > 2

 

# virsh setvcpus testvm 4 --live --maximum --config
오류:Operation not supported: maximum vcpu count of a live domain can't be modified

 

아래 명령으로 2를 4로 바꾸었는데

# virsh edit testvm

 <vcpu placement='static'>4</vcpu>

 

maximum live는 안올라가네.. 그래서 여전히 설정이 안된다.. ㅠㅠ

# virsh vcpucount testvm 
maximum      config         4
maximum      live           2
current      config         4
current      live           2

 

chcpu로 코어를 끄고 켤 수 있는 듯?

# chcpu

Usage:
 chcpu [options]

Options:
  -h, --help                    print this help
  -e, --enable        enable cpus
  -d, --disable       disable cpus
  -c, --configure     configure cpus
  -g, --deconfigure   deconfigure cpus
  -p, --dispatch          set dispatching mode
  -r, --rescan                  trigger rescan of cpus
  -V, --version                 output version information and exit

[링크 : https://www.ibm.com/.../ldva_t_modifyingCPUNumber.html]

Posted by 구차니

cpu를 가상화해서 특정 프로세스에서 돌아가게 해주는거니

affinity를 통해서 특정 VM에 특정 vcpu를 할당하는게 가능은 하겠다 싶은데

그 이유중에 하나가 HT 코어는 실 코어보다 성능이 떨어지기 때문.

(반대로 서버에서 HT를 쓰지 않거나, 반대로 특정 코어를 지정안하는게 낫지 않나 싶지만

코어 갯수로 라이센스 먹이는 사악한 놈들이 있다고도 하니..)

 

[링크 : https://forums.unraid.net/...-performance-improvements-in-vms-by-adjusting-cpu-pinning-and-assignment/]

'프로그램 사용 > kvm(virt-manager)' 카테고리의 다른 글

VDI GPU passthrough  (0) 2019.04.24
kvm live add cpu  (0) 2019.04.16
virsh domstats 로 가상머신의 cpu 사용율 확인하기  (0) 2019.03.29
kvm snapshot  (0) 2019.03.17
tar 로 압축된 sparse file 풀기  (0) 2019.02.16
Posted by 구차니