'프로그램 사용' 카테고리의 글 목록 (2 Page)

'프로그램 사용'에 해당되는 글 2526건

2026.05.13 wan2.2
2026.05.13 openwebui 설치 시도
2026.05.13 LLM 소비전력 단상 2
2026.05.12 rag 관련 라이브러리, 방법 조사중
2026.05.12 stable diffusion 모델 변경(SD -> SDXL)
2026.05.11 리버스 ssh + autossh
2026.05.11 텔레그램 봇 업데이트 / 그림 그리기 4
2026.05.10 litert-lm 와 gemma4-e2b mtp 일단 실패
2026.05.10 vLLM
2026.05.10 Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice 시도 실패

RAG 시도 - postgresql(14) + pgvector (1)	2026.05.15
gpt님 만세! - pip torch 버전 낮추기 (0)	2026.05.15
openwebui 설치 시도 (0)	2026.05.13
LLM 소비전력 단상 (2)	2026.05.13
rag 관련 라이브러리, 방법 조사중 (0)	2026.05.12

openwebui 설치 시도

음.. 장렬히 실패 ㅋㅋ

응 안 돼 돌아가~ 구글 ai 답변으로는 파이썬 3.11이 필요하다고

$ pip3 install open-webui
Defaulting to user installation because normal site-packages is not writeable
ERROR: Could not find a version that satisfies the requirement open-webui (from versions: none)
ERROR: No matching distribution found for open-webui

$ python3 --version
Python 3.10.12

[링크 : https://docs.openwebui.com/getting-started/quick-start/]

[링크 : https://docs.openwebui.com/getting-started/]

귀찮으니 docker로 하는데 실행된다고 바로 접속되는게 아니라 좀 기다려야 하네

좌측 하단에 계정 눌러서 Settings 들어가고

좌측 하단에 작게 Admin Settings.. 어우 -_-

아무튼 Admin 설정으로 가야지 api 연결할 수 있다.

관리자 메뉴에서 connections 가면 이제 api 들이 보이는데

http://localhost:8080/v1 해도 되고. 아무튼 로컬에서는 llama-swap 으로 돌리는 중

api.openai.com은 일단 끄고 save

그러니까 llama-swap에서 설정된 모델들이 쭈욱 끌려나온다.

Areana model 하면 여러개 모델 싸워보게 하나본데 메모리 부족하니 일단 패스

위에서 인텔의 역사 인터넷 검색하라는데 그건 안된다고 하고

자기가 가진 정보로 답변하고 나서 다른거 하다가 뒤늦게(!) follow up 이라는게 뜬다. 왜 gpu가 계속 먹고 있나 했네..

클릭하면 바로 질문으로 넘어간다.

google PSE(programmable Search Engine)을 사용하면 인터넷 검색이 가능하다고 한다. 기본값으로는 안되겠군.

[링크 : https://wikidocs.net/307842]

+

대화창에 직접 url을 때려 넣으면 되는것 같기도 한데

주소를 직접 넣어주고

먼가 끌어오길 기다리면

저렇게 text로 들어간다. 음.. 이걸 웹 검색이라고 해줘야 하나 말아야 하나..

31 초 보다는 한참 더 오래 걸린거 같은디..

그 와중에 아까 했던 다음 검색 링크는 왜 들어가이는거냐 -_-

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

gpt님 만세! - pip torch 버전 낮추기 (0)	2026.05.15
wan2.2 (0)	2026.05.13
LLM 소비전력 단상 (2)	2026.05.13
rag 관련 라이브러리, 방법 조사중 (0)	2026.05.12
stable diffusion 모델 변경(SD -> SDXL) (0)	2026.05.12

Posted by 구차니

LLM 소비전력 단상

음.. 메모리 사용량과 최대 소비전력을 곱하니 지금 드시는 소비전력이랑 얼추 비슷하게 나오는 느낌.

Stable Diffusion은 먹는 메모리 대비로는 많이 GPU를 굴릴수 있는데 (250W 를 가끔 초과하거나 근접하게 돌림)

사용중인 모델은 gemma4-e4b 이긴 한데 어떻게 저렇게 우연이라도 얼추 맞게 나오지?

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

wan2.2 (0)	2026.05.13
openwebui 설치 시도 (0)	2026.05.13
rag 관련 라이브러리, 방법 조사중 (0)	2026.05.12
stable diffusion 모델 변경(SD -> SDXL) (0)	2026.05.12
텔레그램 봇 업데이트 / 그림 그리기 (4)	2026.05.11

Posted by 구차니

rag 관련 라이브러리, 방법 조사중

DB : postgres, VectorDB : pgvector

embedding

[링크 : https://github.com/gulcin/pgvector-rag-app]

[링크 : https://edbkorea.com/blog/postgres-및-pgvector가-포함된-rag-앱/]

import PyPDF2
import torch
from transformers import pipeline

def generate_embeddings(tokenizer, model, device, text):
    inputs = tokenizer(
        text, return_tensors="pt", truncation=True, max_length=512
    ).to(device)
    with torch.no_grad():
        outputs = model(**inputs, output_hidden_states=True)
    return text, outputs.hidden_states[-1].mean(dim=1).tolist()

def read_pdf_file(pdf_path):
    pdf_document = PyPDF2.PdfReader(pdf_path)

    lines = []
    for page_number in  range(len(pdf_document.pages)):
        page = pdf_document.pages[page_number]

        text = page.extract_text()

        lines.extend(text.splitlines())

    return lines

[링크 : https://github.com/gulcin/pgvector-rag-app/blob/master/embedding.py]

[링크 : https://github.com/gulcin/pgvector-rag-app/blob/master/commands/import_data.py]

langchain, kure(임베딩 벡터 생성)

fast api, streamlit

[링크 : https://lsjsj92.tistory.com/686]

[링크 : https://huggingface.co/nlpai-lab/KURE-v1]

ChromaDB, langchain

DB : postgres, VectorDB : pgvector

[링크 : https://velog.io/@judy_choi/PGVector-와-프롬프트를-이용한-RAG-고도화]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

openwebui 설치 시도 (0)	2026.05.13
LLM 소비전력 단상 (2)	2026.05.13
stable diffusion 모델 변경(SD -> SDXL) (0)	2026.05.12
텔레그램 봇 업데이트 / 그림 그리기 (4)	2026.05.11
litert-lm 와 gemma4-e2b mtp 일단 실패 (0)	2026.05.10

Posted by 구차니

stable diffusion 모델 변경(SD -> SDXL)

antigravity 가라사대~

512x 512에서 1024x1024로 바꾸란다.

왜 되지?!?!

1. 해상도 (Resolution) 변경 🌟 (가장 중요)
SD 1.5는 기본적으로 512x512 해상도로 학습되었습니다.
SDXL은 1024x1024 기반으로 학습되었습니다. SDXL에서 512x512로 생성하면 이미지가 깨지거나 노이즈 덩어리처럼 나오게 됩니다.
변경: width와 height를 1024로 변경하거나, 원하는 비율에 맞춰 SDXL 권장 해상도(예: 832x1216, 1152x896 등)로 변경해야 합니다.
2. CFG Scale (분류기 자유도) 하향
현재 코드에 설정된 cfg_scale: 15 (img2img는 30)는 SD 1.5에서도 꽤 높은 편이지만, SDXL에서는 너무 높은 수치입니다. CFG가 너무 높으면 색감이 타고 이미지가 일그러집니다.
변경: SDXL은 프롬프트 이해력이 뛰어나므로 cfg_scale을 5.0 ~ 7.0 사이로 낮추는 것이 좋습니다.
3. 네거티브 프롬프트 (선택 사항)
SDXL (특히 파생 모델들)은 SD 1.5만큼 복잡하고 긴 네거티브 프롬프트나 Embedding(EasyNegative 등)에 크게 의존하지 않습니다. 오히려 너무 무거운 네거티브 프롬프트는 생성을 방해할 수 있습니다.
현재 코드에 있는 base_neg 정도면 나쁘지 않으나, 필요하다면 줄일 수 있습니다. (우선은 그대로 두셔도 무방합니다.)

512x512 생성 실패, VAE automatic 설정

1024x1024 생성 성공, VAE automatic 설정

----

API • GitHub • Gradio • Startup profile • Reload UI
version: v1.10.1-96-g1937682a • python: 3.10.12 • torch: 2.1.2+cu121 • xformers: N/A • gradio: 3.41.2 • checkpoint: 6ce0161689

[링크 : https://civitai.com/models/795765/illustrious-xl]

[링크 : https://huggingface.co/OnomaAIResearch/Illustrious-xl-early-release-v0/tree/main]

illustriousXL 모델로 하면 이상하게 나오는데

처음에 해봤던 V1.5 emanoly는 정상적으로 잘 나온다.(물론 이상한 비행기 형태인건 여전하지만)

SweetGale

2년 전

There's not much to it. The SDXL models work similar to other models. They are just more resource intensive.
Update your A1111 installation. I find it easiest to just run "git pull" from a command line.
Then download an SDXL model and VAE and put them with your other SD models. (The official SDXL release consists of a base model and a refiner but most people don't seem to bother with refiners.)
If your graphics card has less than 12 GB VRAM, then add the "--medvram-sdxl" argument.
Don't expect your 1.5 prompts to perform well with SDXL. You'll need to relearn how to write good prompts. Go to Civitai, grab a model that you like, look at the example images and study their prompts and settings. SDXL works best at around 1024×1024 pixels.

[링크 : https://www.reddit.com/r/StableDiffusion/comments/1bwidjg/updated_guide_on_how_to_run_sdxl_on_a1111/]

[링크 : https://huggingface.co/stabilityai/sdxl-vae]

/mnt/Downloads/stable-diffusion-webui/models$ ls -alR VAE*
VAE:
total 8
drwxrwxr-x  2 falinux falinux 4096  5월  4 21:38  .
drwxrwxr-x 11 falinux falinux 4096  5월  4 21:51  ..
-rw-rw-r--  1 falinux falinux    0  5월  4 21:38 'Put VAE here.txt'

VAE-approx:
total 432
drwxrwxr-x  2 falinux falinux   4096  5월  6 21:57 .
drwxrwxr-x 11 falinux falinux   4096  5월  4 21:51 ..
-rw-rw-r--  1 falinux falinux 213777  5월  4 21:38 model.pt
-rw-rw-r--  1 falinux falinux 213777  5월  6 21:57 vaeapprox-sdxl.pt

$ cat /mnt/Downloads/stable-diffusion-webui/repositories/generative-models/configs/inference/sd_xl_base.yamlml
model:
  target: sgm.models.diffusion.DiffusionEngine
  params:
    scale_factor: 0.13025
    disable_first_stage_autocast: True

    denoiser_config:
      target: sgm.modules.diffusionmodules.denoiser.DiscreteDenoiser
      params:
        num_idx: 1000

        weighting_config:
          target: sgm.modules.diffusionmodules.denoiser_weighting.EpsWeighting
        scaling_config:
          target: sgm.modules.diffusionmodules.denoiser_scaling.EpsScaling
        discretization_config:
          target: sgm.modules.diffusionmodules.discretizer.LegacyDDPMDiscretization

    network_config:
      target: sgm.modules.diffusionmodules.openaimodel.UNetModel
      params:
        adm_in_channels: 2816
        num_classes: sequential
        use_checkpoint: True
        in_channels: 4
        out_channels: 4
        model_channels: 320
        attention_resolutions: [4, 2]
        num_res_blocks: 2
        channel_mult: [1, 2, 4]
        num_head_channels: 64
        use_spatial_transformer: True
        use_linear_in_transformer: True
        transformer_depth: [1, 2, 10]  # note: the first is unused (due to attn_res starting at 2) 32, 16, 8 --> 64, 32, 16
        context_dim: 2048
        spatial_transformer_attn_type: softmax-xformers
        legacy: False

    conditioner_config:
      target: sgm.modules.GeneralConditioner
      params:
        emb_models:
          # crossattn cond
          - is_trainable: False
            input_key: txt
            target: sgm.modules.encoders.modules.FrozenCLIPEmbedder
            params:
              layer: hidden
              layer_idx: 11
          # crossattn and vector cond
          - is_trainable: False
            input_key: txt
            target: sgm.modules.encoders.modules.FrozenOpenCLIPEmbedder2
            params:
              arch: ViT-bigG-14
              version: laion2b_s39b_b160k
              freeze: True
              layer: penultimate
              always_return_pooled: True
              legacy: False
          # vector cond
          - is_trainable: False
            input_key: original_size_as_tuple
            target: sgm.modules.encoders.modules.ConcatTimestepEmbedderND
            params:
              outdim: 256  # multiplied by two
          # vector cond
          - is_trainable: False
            input_key: crop_coords_top_left
            target: sgm.modules.encoders.modules.ConcatTimestepEmbedderND
            params:
              outdim: 256  # multiplied by two
          # vector cond
          - is_trainable: False
            input_key: target_size_as_tuple
            target: sgm.modules.encoders.modules.ConcatTimestepEmbedderND
            params:
              outdim: 256  # multiplied by two

    first_stage_config:
      target: sgm.models.autoencoder.AutoencoderKLInferenceWrapper
      params:
        embed_dim: 4
        monitor: val/rec_loss
        ddconfig:
          attn_type: vanilla-xformers
          double_z: true
          z_channels: 4
          resolution: 256
          in_channels: 3
          out_ch: 3
          ch: 128
          ch_mult: [1, 2, 4, 4]
          num_res_blocks: 2
          attn_resolutions: []
          dropout: 0.0
        lossconfig:
          target: torch.nn.Identity

SD VAE 에서 refresh 하고

sdxl_vae.safetensors 를 선택하고 apply settings 해준 후

그리기 시도하니 얼추 비슷... 한건가?

원래는 이런 이미지

Hatsune Miku,limited palette,black background,colorful,vibrant,glowing outline,neon,blacklight,looking at viewer, masterpiece, very aesthetic Negative prompt: worst quality,bad quality,bad hands,very displeasing,extra digit,fewer digits,jpeg artifacts,signature,username,reference,mutated,lineup,manga,comic,disembodied,futanari,yaoi,dickgirl,turnaround,2koma,4koma,monster,cropped,amputee,text,bad foreshortening,what,guro,logo,bad anatomy,bad perspective,bad proportions,artistic error,anatomical nonsense,amateur,out of frame,multiple views, Steps: 28, CFG scale: 7.5, Sampler: Euler a, Seed: 3625896228, Size: 832x1216, Model: Illustrious-XL-v0.1, Version: f1.0.2-v1.10.1RC-latest-691-g37223711, Model hash: 3e15ba0038, Schedule type: Automatic, Discard penultimate sigma: True

--lowvram

[링크 : https://huggingface.co/stabilityai/models?search=sdxl]

[링크 : https://huggingface.co/stabilityai/sdxl-turbo/tree/main]

[링크 : https://huggingface.co/stabilityai/sdxl-vae/tree/main]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

LLM 소비전력 단상 (2)	2026.05.13
rag 관련 라이브러리, 방법 조사중 (0)	2026.05.12
텔레그램 봇 업데이트 / 그림 그리기 (4)	2026.05.11
litert-lm 와 gemma4-e2b mtp 일단 실패 (0)	2026.05.10
vLLM (0)	2026.05.10

Posted by 구차니

리버스 ssh + autossh

아따 많이도 찾아봤었네 -_-

집에는 라즈베리 하나 켜놓고 회사에 켠 녀석을 집으로 SSH 접속하게 하고

집에서는 내부 아이피로 역으로 접속할수 있는 시스템을 만들려고 하는 중

[링크 : https://manpages.ubuntu.com/manpages/jammy/man1/autossh.1.html]

[링크 : https://lstm.tistory.com/10]

[링크 : https://m.clien.net/service/board/cm_linux/4344761]

[링크 : https://sangwonyoon.tistory.com/m/entry/Autossh로-SSH-연결-유지하기]

2018.05.14 - [프로그램 사용/ssh scp sftp] - reverse SSH

2021.01.03 - [프로그램 사용/ssh scp sftp] - reverse ssh

-------------------

2026.05.13

아래 링크의 옵션 참조했음

[링크 : https://donotlimityourself.tistory.com/33[

private(회사)

원격지에 2222 포트로 현재 pc의 22번 포트를 돌린다~ 라는 의미 인듯한데

그래서 listen에 추가로 포트가 열리지도 않았고, 정상적으로 실행이 되는 건가 보다.

$ ssh minimonk@집SSH도메인 -p 8022 -f -N -T -R 2222:localhost:22
minimonk@집SSH도메인's password:
$ ps -ef | grep ssh
root         900       1  0  5월12 ?      00:00:00 sshd: /usr/sbin/sshd -D [listener] 0 of 10-100 startups
root        2298     900  0  5월12 ?      00:00:00 sshd: minimonk [priv]
minimonk    2385    2298  0  5월12 ?      00:05:27 sshd: minimonk@pts/0
root        5656     900  0  5월12 ?      00:00:00 sshd: minimonk [priv]
minimonk    5735    5656  0  5월12 ?      00:00:00 sshd: minimonk@pts/7
minimonk   10717       1  0 09:58 ?        00:00:00 ssh minimonk@집SSH도메인 -p 8022 -f -N -T -R 2222:localhost:22
minimonk   10719    5736  0 09:58 pts/7    00:00:00 grep --color=auto ssh

$ netstat -tnlp
(Not all processes could be identified, non-owned process info
will not be shown, you would have to be root to see it all.)
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 127.0.0.1:39557         0.0.0.0:*               LISTEN      3128/language_serve
tcp        0      0 127.0.0.1:5803          0.0.0.0:*               LISTEN      5350/llama-server
tcp        0      0 127.0.0.1:38605         0.0.0.0:*               LISTEN      3128/language_serve
tcp        0      0 127.0.0.1:6010          0.0.0.0:*               LISTEN      -
tcp        0      0 127.0.0.1:6012          0.0.0.0:*               LISTEN      -
tcp        0      0 127.0.0.1:45837         0.0.0.0:*               LISTEN      6184/language_serve
tcp        0      0 0.0.0.0:7860            0.0.0.0:*               LISTEN      5584/venv/bin/pytho
tcp        0      0 127.0.0.1:36141         0.0.0.0:*               LISTEN      6184/language_serve
tcp        0      0 127.0.0.1:36197         0.0.0.0:*               LISTEN      6184/language_serve
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      -
tcp        0      0 127.0.0.1:44747         0.0.0.0:*               LISTEN      3016/antigravity
tcp        0      0 127.0.0.1:35159         0.0.0.0:*               LISTEN      6061/exe
tcp        0      0 127.0.0.1:34279         0.0.0.0:*               LISTEN      3016/antigravity
tcp        0      0 127.0.0.53:53           0.0.0.0:*               LISTEN      -
tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN      -
tcp6       0      0 :::5900                 :::*                    LISTEN      1502/gnome-remote-d
tcp6       0      0 ::1:631                 :::*                    LISTEN      -
tcp6       0      0 :::8080                 :::*                    LISTEN      5256/./llama-swap
tcp6       0      0 :::22                   :::*                    LISTEN      -
tcp6       0      0 ::1:6010                :::*                    LISTEN      -
tcp6       0      0 ::1:6012                :::*                    LISTEN      -
tcp6       0      0 :::3389                 :::*                    LISTEN      1502/gnome-remote-d

public(내 집)

접속전
$ netstat -tnlp
(Not all processes could be identified, non-owned process info
will not be shown, you would have to be root to see it all.)
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      -
tcp6       0      0 :::22                   :::*                    LISTEN      -

접속후
$ netstat -tnlp
(Not all processes could be identified, non-owned process info
will not be shown, you would have to be root to see it all.)
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      -
tcp        0      0 127.0.0.1:2222          0.0.0.0:*               LISTEN      -
tcp6       0      0 :::22                   :::*                    LISTEN      -
tcp6       0      0 ::1:2222                :::*                    LISTEN      -

SSH 옵션을 보면 -fNTR 에서 -f이 백그라운드로 뜨게 하느것이고

NT는 터미널 관련, 명령 실행 관련

R은 원격지 포트에 내껄 붙인다는 의미

역시 NTR은 좋은것이여... (응?)

     -f      Requests ssh to go to background just before command execution.
             This is useful if ssh is going to ask for passwords or
             passphrases, but the user wants it in the background.  This im‐
             plies -n.  The recommended way to start X11 programs at a remote
             site is with something like ssh -f host xterm.

             If the ExitOnForwardFailure configuration option is set to “yes”,
             then a client started with -f will wait for all remote port for‐
             wards to be successfully established before placing itself in the
             background.  Refer to the description of ForkAfterAuthentication
             in ssh_config(5) for details.

     -N      Do not execute a remote command.  This is useful for just for‐
             warding ports.  Refer to the description of SessionType in
             ssh_config(5) for details.

     -T      Disable pseudo-terminal allocation.

     -R [bind_address:]port:host:hostport
     -R [bind_address:]port:local_socket
     -R remote_socket:host:hostport
     -R remote_socket:local_socket
     -R [bind_address:]port
             Specifies that connections to the given TCP port or Unix socket
             on the remote (server) host are to be forwarded to the local
             side.

이제 autossh를 설치하고

$ sudo apt-get install autossh
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
The following NEW packages will be installed:
autossh
0 upgraded, 1 newly installed, 0 to remove and 47 not upgraded.
Need to get 29.2 kB of archives.
After this operation, 89.1 kB of additional disk space will be used.
Get:1 http://kr.archive.ubuntu.com/ubuntu jammy/universe amd64 autossh amd64 1.4g-1 [29.2 kB]
Fetched 29.2 kB in 0s (217 kB/s)
Selecting previously unselected package autossh.
(Reading database ... 322586 files and directories currently installed.)
Preparing to unpack .../autossh_1.4g-1_amd64.deb ...
Unpacking autossh (1.4g-1) ...
Setting up autossh (1.4g-1) ...
Processing triggers for man-db (2.10.2-1) ...

public 쪽에 로그인이 되도록 키를 복사하려는데 안되네 -_-???

아무튼 키를 생성하고 해주면 끝

$ ssh-copy-id -p 8022 minimonk@집SSH도메인
/usr/bin/ssh-copy-id: ERROR: No identities found

$ ssh-keygen

-f 를 넣으면 키를 넣어줘도 로그인이 안되서 일단 빼고 하니 되긴한데..

$ autossh -M -0 -o "ServerAliveinterval 30" -o "ServerAliveCountMax 3" -T -R 2222:localhost:22 minimonk@집SSH도메인 -p 2022

[링크 : https://sangwonyoon.tistory.com/entry/Autossh로-SSH-연결-유지하기]

autossh가 죽으면 어쩌지 싶어서 데몬으로 된 거 없나 찾아 봐야 할 듯.

[링크 : https://tecadmin.net/autossh-persistent-ssh-connections/]

+

여러 번의 인자를 사용하면 복수의 포트를 포워딩 할 수 있다.

ssh remote-host -L 8822:REMOTE_IP_1:22 -L 9922:REMOTE_IP_2:22

[링크 : https://stackoverflow.com/questions/29936948/ssh-l-forward-multiple-ports]

+

아래를 public 쪽 sshd_config 에 설정해주고 sshd를 재기동하고

$ cat /etc/ssh/sshd_config
# GatewayPorts no
GatewayPorts yes
$ sudo systemctl restart sshd

2222 대신 0.0.0.0:2222 라고 입력하고 실행하면

$ ssh minimonk@집SSH도메인 -p 8022 -f -N -T -R 0.0.0.0:2222:localhost:22

localhost로 되어있던걸

$ netstat -tnlp
(Not all processes could be identified, non-owned process info
will not be shown, you would have to be root to see it all.)
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      -
tcp        0      0 127.0.0.1:2222          0.0.0.0:*               LISTEN      -
tcp        0      0 127.0.0.1:6010          0.0.0.0:*               LISTEN      -
tcp6       0      0 :::22                   :::*                    LISTEN      -
tcp6       0      0 ::1:2222                :::*                    LISTEN      -
tcp6       0      0 ::1:6010                :::*                    LISTEN      -

0.0.0.0 으로 바꾸어서 public 서버의 서비스 인것 처럼 붙일수도 있다.

$ netstat -tnlp
(Not all processes could be identified, non-owned process info
will not be shown, you would have to be root to see it all.)
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      -
tcp        0      0 0.0.0.0:2222            0.0.0.0:*               LISTEN      -
tcp        0      0 127.0.0.1:6010          0.0.0.0:*               LISTEN      -
tcp6       0      0 :::22                   :::*                    LISTEN      -
tcp6       0      0 :::2222                 :::*                    LISTEN      -
tcp6       0      0 ::1:6010                :::*                    LISTEN      -

저작자표시 (새창열림)

'프로그램 사용 > ssh scp sftp' 카테고리의 다른 글

ssh -t (0)	2025.09.08
ssh-copy-id (0)	2025.04.18
ssh socks proxy (0)	2024.07.22
ssh ecdsa 미지원(ubuntu 22.04) (0)	2023.05.30
ubuntu ssh x11 forwarding시 gnome 화면 끌어오기 (0)	2022.07.11

Posted by 구차니

텔레그램 봇 업데이트 / 그림 그리기

음성인식 - 그림 들어가면 그리기

그림 넣고 캡션에 그림 있으면 img2img로 작동시키기

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

rag 관련 라이브러리, 방법 조사중 (0)	2026.05.12
stable diffusion 모델 변경(SD -> SDXL) (0)	2026.05.12
litert-lm 와 gemma4-e2b mtp 일단 실패 (0)	2026.05.10
vLLM (0)	2026.05.10
Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice 시도 실패 (0)	2026.05.10

Posted by 구차니

litert-lm 와 gemma4-e2b mtp 일단 실패

흐음.. 신기한걸 알았는데.. 또 파이썬이네.

핸드폰에서 돌려놓기도 하는거 보면 제법 가볍긴 한다 보다.

D:\study\llm>pip install litert-lm
D:\study\llm>litert-lm
CLI tool for LiteRT-LM models.

Usage: litert-lm [OPTIONS] COMMAND [ARGS]...

Commands:
  benchmark  Benchmarks a LiteRT-LM model.
  delete     Deletes a model from the local storage.
  import     Imports a model from a local path or HuggingFace hub.
  list       Lists all imported LiteRT-LM models.
  rename     Renames a model.
  run        Runs a LiteRT-LM model interactively or with a single prompt.
  serve      Start a server with a Gemini or OpenAI compatible API (alpha feature)

Global options:
  --version   Show the version and exit.
  -h, --help  Show this message and exit.

D:\study\llm>litert-lm run --from-huggingface-repo=litert-community/gemma-4-E4B-it-litert-lm gemma-4-E4B-it.litertlm --backend=gpu  --enable-speculative-decoding=true --prompt="What is the capital of France?"
Downloading gemma-4-E4B-it.litertlm from litert-community/gemma-4-E4B-it-litert-lm...
gemma-4-E4B-it.litertlm:   0%|                                                 | 92.3k/3.66G [00:01<16:44:38, 60.7kB/s]
gemma-4-E4B-it.litertlm: 100%|████████████████████████████████████████████████████| 3.66G/3.66G [05:00<00:00, 12.2MB/s]
C:\Users\minimonk\AppData\Local\Programs\Python\Python310\lib\site-packages\huggingface_hub\file_download.py:143: UserWarning: `huggingface_hub` cache-system uses symlinks by default to efficiently store duplicated files but your machine does not support them in C:\Users\minimonk\.cache\huggingface\hub\models--litert-community--gemma-4-E4B-it-litert-lm. Caching files will still work but in a degraded version that might require more space on your disk. This warning can be disabled by setting the `HF_HUB_DISABLE_SYMLINKS_WARNING` environment variable. For more details, see https://huggingface.co/docs/huggingface_hub/how-to-cache#limitations.
To support symlinks on Windows, you either need to activate Developer Mode or to run Python as an administrator. In order to activate developer mode, see this article: https://docs.microsoft.com/en-us/windows/apps/get-started/enable-your-device-for-development
  warnings.warn(message)
The capital of France is **Paris**.

찾아보니 저장소의 파일명이 그런거였군.

[링크 : https://huggingface.co/litert-community/gemma-4-E4B-it-litert-lm/tree/main]

[링크 : https://huggingface.co/metricspace/gemma4-E2B-it-litert-128k-mtp/tree/main]

mtp 들어가면서 안되나?

D:\study\llm>litert-lm run --from-huggingface-repo=metricspace/gemma4-E2B-it-litert-128k-mtp model.litertlm --backend=gpu  --enable-speculative-decoding=true --prompt="What is the capital of France?"
Downloading model.litertlm from metricspace/gemma4-E2B-it-litert-128k-mtp...
E0000 00:00:1778407860.973266    8280 delegate_webgpu.cc:373] Failed to create litert::ml_drift::DelegateKernelLiteRt: RESOURCE_EXHAUSTED: Requested allocation size - 4294967296 bytes. Max allocation size for this GPU - 2147483648 bytes. Shape - {bhwdc, {1, 1, 8192, 1, 131072}}, data type - float32.
=== Source Location Trace: ===
third_party/ml_drift/common/task/tensor_desc.cc:1846
third_party/ml_drift/common/gpu_model_util.cc:232
third_party/ml_drift/common/gpu_model_util.cc:269
third_party/ml_drift/common/gpu_model_util.cc:432
third_party/odml/litert/ml_drift/delegate/delegate_kernel.cc:765
third_party/odml/litert/ml_drift/delegate/delegate_kernel.cc:695
third_party/odml/litert/ml_drift/delegate/delegate_kernel.cc:787
third_party/odml/litert/ml_drift/delegate/delegate_kernel.cc:284
third_party/odml/litert/ml_drift/delegate/delegate_kernel_litert.cc:167
ERROR: Failed to initialize kernel.
ERROR: Node number 223 (STABLEHLO_COMPOSITE) failed to prepare.
E0000 00:00:1778407862.768911    8280 engine.cc:491] Failed to create engine: INTERNAL: ERROR: [third_party/odml/litert_lm/runtime/executor/llm_litert_compiled_model_executor.cc:1928]
??ERROR: [./third_party/odml/litert/litert/cc/litert_compiled_model.h:1780]
=== Source Location Trace: ===
./third_party/odml/litert/litert/cc/litert_macros.h:538
third_party/odml/litert_lm/runtime/executor/llm_litert_compiled_model_executor_factory.cc:144
third_party/odml/litert_lm/runtime/core/engine_impl.cc:384
An error occurred
Traceback (most recent call last):
  File "C:\Users\minimonk\AppData\Local\Programs\Python\Python310\lib\site-packages\litert_lm_cli\model.py", line 255, in run_interactive
    engine_cm = litert_lm.Engine(
  File "C:\Users\ minimonk \AppData\Local\Programs\Python\Python310\lib\site-packages\litert_lm\engine.py", line 82, in __init__
    raise RuntimeError(
RuntimeError: Failed to create LiteRT-LM engine for C:\Users\ minimonk \.cache\huggingface\hub\models--metricspace--gemma4-E2B-it-litert-128k-mtp\snapshots\4dae3505f550397923c206eaa63be84f17ee43cb\model.litertlm

[링크 : https://github.com/google-ai-edge/LiteRT-LM]

[링크 : https://huggingface.co/metricspace/gemma4-E2B-it-litert-128k-mtp]

[링크 : https://pypi.org/project/litert-lm/]

[링크 : https://www.reddit.com/r/LocalLLaMA/comments/1somixt/practical_local_llm_on_android_gemma_4_via/?tl=ko]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

stable diffusion 모델 변경(SD -> SDXL) (0)	2026.05.12
텔레그램 봇 업데이트 / 그림 그리기 (4)	2026.05.11
vLLM (0)	2026.05.10
Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice 시도 실패 (0)	2026.05.10
supertone/supertonic3 시도 (0)	2026.05.10

Posted by 구차니

vLLM

python 에서 돌아가는 녀석인 듯.

[링크 : https://vllm.ai/]

[링크 : https://github.com/vllm-project/vllm/releases]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

텔레그램 봇 업데이트 / 그림 그리기 (4)	2026.05.11
litert-lm 와 gemma4-e2b mtp 일단 실패 (0)	2026.05.10
Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice 시도 실패 (0)	2026.05.10
supertone/supertonic3 시도 (0)	2026.05.10
outetts 시도 (0)	2026.05.10

Posted by 구차니

Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice 시도 실패

qwen 형님으로 모셔야 하나 ㅋㅋㅋ

D:\study\llm>pip install soundfile torch qwen_tts
D:\study\llm>python
Python 3.10.6 (tags/v3.10.6:9c7b4bd, Aug  1 2022, 21:53:49) [MSC v.1932 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import torch
>>> import soundfile as sf
>>> from qwen_tts import Qwen3TTSModel

********
Warning: flash-attn is not installed. Will only run the manual PyTorch version. Please install flash-attn for faster inference.
********

'sox' is not recognized as an internal or external command,
operable program or batch file.
SoX could not be found!

    If you do not have SoX, proceed here:
     - - - http://sox.sourceforge.net/ - - -

    If you do (or think that you should) have SoX, double-check your
    path variables.

>>>
>>> model = Qwen3TTSModel.from_pretrained(
...     "Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice",
...     device_map="cuda:0",
...     dtype=torch.bfloat16,
...     attn_implementation="flash_attention_2",
... )
config.json: 4.91kB [00:00, 4.70MB/s]
C:\Users\minimonk\AppData\Local\Programs\Python\Python310\lib\site-packages\huggingface_hub\file_download.py:143: UserWarning: `huggingface_hub` cache-system uses symlinks by default to efficiently store duplicated files but your machine does not support them in C:\Users\minimonk\.cache\huggingface\hub\models--Qwen--Qwen3-TTS-12Hz-1.7B-CustomVoice. Caching files will still work but in a degraded version that might require more space on your disk. This warning can be disabled by setting the `HF_HUB_DISABLE_SYMLINKS_WARNING` environment variable. For more details, see https://huggingface.co/docs/huggingface_hub/how-to-cache#limitations.
To support symlinks on Windows, you either need to activate Developer Mode or to run Python as an administrator. In order to activate developer mode, see this article: https://docs.microsoft.com/en-us/windows/apps/get-started/enable-your-device-for-development
  warnings.warn(message)
model.safetensors:   0%|                                                                   | 0.00/3.83G [00:00<?, ?B/s]

model.safetensors: 100%|██████████████████████████████████████████████████████████| 3.83G/3.83G [04:45<00:00, 13.4MB/s]
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Users\minimonk\AppData\Local\Programs\Python\Python310\lib\site-packages\qwen_tts\inference\qwen3_tts_model.py", line 112, in from_pretrained
    model = AutoModel.from_pretrained(pretrained_model_name_or_path, **kwargs)
  File "C:\ Users\minimonk\AppData \Local\Programs\Python\Python310\lib\site-packages\transformers\models\auto\auto_factory.py", line 604, in from_pretrained
    return model_class.from_pretrained(
  File "C:\ Users\minimonk\AppData \Local\Programs\Python\Python310\lib\site-packages\qwen_tts\core\models\modeling_qwen3_tts.py", line 1876, in from_pretrained
    model = super().from_pretrained(
  File "C:\ Users\minimonk\AppData \Local\Programs\Python\Python310\lib\site-packages\transformers\modeling_utils.py", line 277, in _wrapper
    return func(*args, **kwargs)
  File "C:\ Users\minimonk\AppData \Local\Programs\Python\Python310\lib\site-packages\transformers\modeling_utils.py", line 4971, in from_pretrained
    model = cls(config, *model_args, **model_kwargs)
  File "C:\ Users\minimonk\AppData \Local\Programs\Python\Python310\lib\site-packages\qwen_tts\core\models\modeling_qwen3_tts.py", line 1817, in __init__
    super().__init__(config)
  File "C:\ Users\minimonk\AppData \Local\Programs\Python\Python310\lib\site-packages\transformers\modeling_utils.py", line 2076, in __init__
    self.config._attn_implementation_internal = self._check_and_adjust_attn_implementation(
  File "C:\ Users\minimonk\AppData \Local\Programs\Python\Python310\lib\site-packages\transformers\modeling_utils.py", line 2686, in _check_and_adjust_attn_implementation
    applicable_attn_implementation = self.get_correct_attn_implementation(
  File "C:\ Users\minimonk\AppData \Local\Programs\Python\Python310\lib\site-packages\transformers\modeling_utils.py", line 2714, in get_correct_attn_implementation
    self._flash_attn_2_can_dispatch(is_init_check)
  File "C:\ Users\minimonk\AppData \Local\Programs\Python\Python310\lib\site-packages\transformers\modeling_utils.py", line 2422, in _flash_attn_2_can_dispatch
    raise ImportError(f"{preface} the package flash_attn seems to be not installed. {install_message}")
ImportError: FlashAttention2 has been toggled on, but it cannot be used due to the following error: the package flash_attn seems to be not installed. Please refer to the documentation of https://huggingface.co/docs/transformers/perf_infer_gpu_one#flashattention-2 to install Flash Attention 2.

에라이, 역시 리눅스 환경 기준으로 해야하나?

D:\study\llm>pip install flash_attn
Collecting flash_attn
Using cached flash_attn-2.8.3.tar.gz (8.4 MB)
ERROR: Could not install packages due to an OSError: [Errno 2] No such file or directory: 'C:\\Users\\minimonk\\AppData\\Local\\Temp\\pip-install-gkk0v5su\\flash-attn_bdc9b907b4714d19aa80016a5ecbd8e6\\csrc/composable_kernel/library/src/tensor_operation_instance/gpu/batched_gemm_add_relu_gemm_add/device_batched_gemm_add_relu_gemm_add_xdl_cshuffle_f16_f16_f16_f16_gmk_gnk_gno_gmo_instance.cpp'
HINT: This error might have occurred since this system does not have Windows Long Path support enabled. You can find information on how to enable this at https://pip.pypa.io/warnings/enable-long-paths

화자와 언어가 달라도 될까 궁금하네

[링크 : https://huggingface.co/Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

litert-lm 와 gemma4-e2b mtp 일단 실패 (0)	2026.05.10
vLLM (0)	2026.05.10
supertone/supertonic3 시도 (0)	2026.05.10
outetts 시도 (0)	2026.05.10
huggingface 에서 다운로드 받기(python) (0)	2026.05.10

Posted by 구차니

구차니의 잡동사니 모음

'프로그램 사용'에 해당되는 글 2526건

wan2.2

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

openwebui 설치 시도

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

LLM 소비전력 단상

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

rag 관련 라이브러리, 방법 조사중

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

stable diffusion 모델 변경(SD -> SDXL)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

리버스 ssh + autossh

'프로그램 사용 > ssh scp sftp' 카테고리의 다른 글

텔레그램 봇 업데이트 / 그림 그리기

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

litert-lm 와 gemma4-e2b mtp 일단 실패

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

vLLM

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice 시도 실패

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

카테고리

공지사항

태그목록

최근에 올라온 글

최근에 달린 댓글

티스토리툴바