프로그램 사용/ai 프로그램2026. 6. 12. 16:16

LLM temperature = 0.1 무한 반복

ai로 코딩해서 아무생각이 없었는데

반복해도 오타를 수정안해주고

모델 바꾸어서 하니 메모리 부족한가? 왜 자꾸 하던말 계속 반복해?! 했는데

코드를 뒤져보니 temperature가 0.1로 되어있는 것을 발견

 

웹 뒤져보고 ai 질문 해보니

temperature가 낮으면 할 말 없음 반복한다고.

일정시간이상 계속 생성하면 잘라야하나?

 

[링크 : https://kr.linkedin.com/pulse/2편-llm-출력-결과를-바꾸는-핵심-설정값-temperature-top-k-top-p-output-seowoo-han-lzrrc]

[링크 : https://www.reddit.com/r/LocalLLaMA/comments/1ap8mxh/what_causes_llms_to_fall_into_repetitions_while/?tl=ko]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

safetensors to gguf .. 2번째 시도 성공  (0) 2026.06.12
openai reasoning 옵션  (0) 2026.06.12
stable diffusion 학습.. part 2?  (1) 2026.06.12
stable diffussion train 시도  (0) 2026.06.10
curl로 llama-swap 에게 api로 요청하기  (0) 2026.06.10
Posted by 구차니
프로그램 사용/ai 프로그램2026. 6. 12. 15:15

stable diffusion 학습.. part 2?

stable diffusion 에서 내가 원하는 그림체라던가, 새로운 캐릭터를 그리게 하고 싶어서 학습법 찾는 중

이전에는 texual inversion 만 되서 ckpt로 나오는건 아니었는데 어떻게 해야려나..

 

일단 kohya-ss/ss-scripts는 gui 없이 콘솔로 학습하는 것 같고

bmaltais/kohya_ss는 내 시스템에서 정상적으로 설치가 안된다. 에라이

 

dreambooth 해보려니까 플러그인 깔다가 망함 ㅋㅋ

그래픽 카드를 30대로 올리던가 해야지 에라이 ㅋㅋ

---

[링크 : https://github.com/bmaltais/kohya_ss.git] << GUI

[링크 : https://github.com/kohya-ss/sd-scripts]

   [링크 : https://ongamedev.tistory.com/526]

    [링크 : https://infoengineer.tistory.com/134]

    [링크 : https://www.reddit.com/r/StableDiffusion/comments/185d090/sdxl_kohya_lora_training_for_a_person_what/?tl=ko]

 

available 에서 설치가 가능하다니까 한번 클릭

오.. stars가 제법 높네

 

*** Error completing request
*** Arguments: ('https://github.com/d8ahazard/sd_dreambooth_extension.git', ['ads', 'localization', 'installed'], 'hide', 'or', 0, '') {}
    Traceback (most recent call last):
      File "/mnt/Downloads/stable-diffusion-webui/modules/call_queue.py", line 74, in f
        res = list(func(*args, **kwargs))
      File "/mnt/Downloads/stable-diffusion-webui/modules/ui_extensions.py", line 407, in install_extension_from_index
        ext_table, message = install_extension_from_url(None, url)
      File "/mnt/Downloads/stable-diffusion-webui/modules/ui_extensions.py", line 352, in install_extension_from_url
        check_access()
      File "/mnt/Downloads/stable-diffusion-webui/modules/ui_extensions.py", line 24, in check_access
        assert not shared.cmd_opts.disable_extension_access, "extension access disabled because of command line flags"
    AssertionError: extension access disabled because of command line flags

 

--server-name=0.0.0.0. 주고 하고 있었는데 이걸 빼고 하니 에러없이 진행된다.

플러그인은 외부사용시에는 설치 못하게 막아둔듯.

Initializing Dreambooth
Dreambooth revision: 4244f6b2cf810a0a4dd83a3534b27d92b82e4c21
Checking xformers...
Checking bitsandbytes...
Checking bitsandbytes (ALL!)
Installing bitsandbytes
Successfully installed bitsandbytes-0.49.2 cuda-bindings-13.3.1 cuda-pathfinder-1.5.5 cuda-toolkit-13.0.2 nvidia-cublas-13.1.1.3 nvidia-cuda-cupti-13.0.85 nvidia-cuda-nvrtc-13.0.88 nvidia-cuda-runtime-13.0.96 nvidia-cudnn-cu13-9.20.0.48 nvidia-cufft-12.0.0.61 nvidia-cufile-1.15.1.6 nvidia-curand-10.4.0.35 nvidia-cusolver-12.0.4.66 nvidia-cusparse-12.6.3.3 nvidia-cusparselt-cu13-0.8.1 nvidia-nccl-cu13-2.29.7 nvidia-nvjitlink-13.0.88 nvidia-nvshmem-cu13-3.4.5 nvidia-nvtx-13.0.85 torch-2.12.0 triton-3.7.0
Checking Dreambooth requirements...
[Installed version of accelerate: 0.21.0
[Dreambooth] accelerate v0.21.0 is already installed.
[Installed version of bitsandbytes: 0.49.2
[Dreambooth] bitsandbytes v0.45.2 is already installed.
[Dreambooth] dadaptation v3.2 is not installed.
Successfully installed dadaptation-3.2
[Dreambooth] diffusers v0.32.2 is not installed.
Successfully installed diffusers-0.38.0 importlib_metadata-9.0.0 safetensors-0.8.0 zipp-4.1.0
[Dreambooth] discord-webhook v1.3.1 is not installed.
Successfully installed discord-webhook-1.4.1
[Installed version of fastapi: 0.94.0
[Dreambooth] fastapi v0.94.0 is already installed.
[Installed version of gitpython: 3.1.32
[Dreambooth] gitpython v3.1.32 is already installed.
[Installed version of pillow: 9.5.0
[Dreambooth] pillow v11.3.0 is not installed.
Successfully installed pillow-12.2.0
[Dreambooth] pytorch_optimizer v3.4.0 is not installed.
Successfully installed pytorch_optimizer-3.10.1
[Installed version of tomesd: 0.1.3
[Dreambooth] tomesd v0.1.3 is already installed.
[Installed version of tqdm: 4.67.3
[Dreambooth] tqdm v4.67.1 is already installed.
[Installed version of transformers: 4.30.2
[Dreambooth] transformers v4.49.0 is not installed.
Successfully installed click-8.4.1 hf-xet-1.5.1 huggingface-hub-1.19.0 tokenizers-0.22.2 transformers-5.11.0
[Dreambooth] xformers v0.0.27.post2 is not installed.
Successfully installed xformers-0.0.35
[Dreambooth] tensorboard v2.18.0 is not installed.
Successfully installed absl-py-2.4.0 grpcio-1.81.1 markdown-3.10.2 tensorboard-2.20.0 tensorboard-data-server-0.7.2 werkzeug-3.1.8
[+] accelerate version 0.21.0 installed.
[+] diffusers version 0.38.0 installed.
[+] transformers version 5.11.0 installed.
[+] bitsandbytes version 0.49.2 installed.
[+] xformers version 0.0.35 installed.

 

 

그냥 extensions 아래에 포함되는구나.

/mnt/Downloads/stable-diffusion-webui$ tree -d extensions
extensions
└── sd_dreambooth_extension
    ├── configs
    ├── css
    ├── dreambooth
    │   ├── dataclasses
    │   │   └── __pycache__
    │   ├── dataset
    │   ├── __pycache__
    │   └── utils
    │       └── __pycache__
    ├── helpers
    │   └── __pycache__
    ├── io
    ├── javascript
    ├── js
    ├── lora_diffusion
    ├── module_src
    ├── preprocess
    ├── __pycache__
    ├── scripts
    │   └── __pycache__
    └── templates
        ├── config
        ├── defaults
        └── locales

25 directories

 

[링크 : https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/4215]

[링크 : https://www.reddit.com/r/StableDiffusion/comments/124b4xq/how_to_fix_extension_access_disabled_because_of/]

 

[링크 : https://github.com/d8ahazard/sd_dreambooth_extension]

[링크 : https://github.com/XavierXiao/Dreambooth-Stable-Diffusion]

[링크 : https://github.com/google/dreambooth]

[링크 : https://huggingface.co/docs/diffusers/ko/training/dreambooth]

 

[링크 : https://www.reddit.com/r/StableDiffusion/comments/1dzsojp/how_do_i_train_my_own_checkpoint/]

 

textual inversion은 할 수 있는게 많지 않다는데, 그럴싸하게 나온것 같았는데 아닌가?!

LoRA(Low-Rank Adaptation, 저 랭크 적응?)은 Stable Diffusion 모델을 세부 조정하기 위한 학습 기법입니다. Stable Diffusion에는 Dreambooth와 textual inversion과 같은 학습기법도 있는데, LoRA 는 뭐가 다를까요? LoLA는 파일 크기와 학습 능력간에 적절한 균형을 이루고 있습니다. Dreambooth는 강력하지만, 모델 파일의 크기가 매우 큽니다(2~7GB). 텍스 인버전(textual inversion)은 파일이 아주 작지만(100KB 정도), 할 수 있는 게 많지 않습니다. LoRA는 이 두가지의 중간쯤이라고 보시면 됩니다. 파일 크기는 2~200MB 정도로 부담스럽지 않으며, 학습능력도 괜찮은 편입니다

[링크 : https://www.internetmap.kr/entry/How-to-LoRA-Model]

 

 

[링크 : https://www.reddit.com/r/StableDiffusion/comments/196ikpo/what_is_a_lora_and_how_do_i_use_it/?tl=ko]

 

[링크 : https://github.com/huggingface/diffusers/blob/main/examples/text_to_image/train_text_to_image_lora.py]

  [링크 : https://wikidocs.net/279789]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

openai reasoning 옵션  (0) 2026.06.12
LLM temperature = 0.1 무한 반복  (0) 2026.06.12
stable diffussion train 시도  (0) 2026.06.10
curl로 llama-swap 에게 api로 요청하기  (0) 2026.06.10
llama.cpp prompt 옵션  (0) 2026.06.10
Posted by 구차니
프로그램 사용/ai 프로그램2026. 6. 10. 23:34

stable diffussion train 시도

SD 모델에서 portrait ot usada pekora 라고 긍정 프롬프트 에서 생성하니 이상한 아저씨가 나온다.

 

몇번의 삽질하다 안되서 역시 gpt님의 도움으로(!) 어찌어찌 한걸음?

일단 checkpoint는 SDXL이 아닌 SD로 해주어야 한다.

그러니 만만(?)한 오리지널 파일로 선택

 

그리고는 embedding과

 

hyper network를 일단 생성해 본다.

 

Train 으로 가서 embedding 과 hypernetwork를 일단 선택해주고

 

파일을 받아서

 

imagemagick을 설치하고 아래의 명령으로 대 충~ 변환해준다.

mkdir -p dataset

mogrify \
    -path dataset \
    -format jpg \
    -resize 512x512^ \
    -gravity center \
    -crop 512x512+0+0 \
    +repage \
    -quality 95 \
    *.png *.bmp *.webp *.tif

 

그리고는 Dataset directory에 붙여넣고

 

일단 먼지 모르겠으니 Train Embedding을 누르니

무시무시한 시간이 뜨면서 먼가 진행이 된다.



아래의 메시지 처럼 loss와 step이 증가되는데

잘 보니까 아까 변환했던 파일명이 포함되서 나오는 듯?

Loss: 0.1782198
Step: 394
Last prompt: a dirty painting of i1683731685, art by portrait of usada pekora
Last saved embedding: <none>
Last saved image: <none>


Loss: 0.0547138
Step: 395
Last prompt: a painting of _1_1756696475_w360, art by portrait of usada pekora
Last saved embedding: <none>
Last saved image: <none>


Loss: 0.0913988
Step: 397
Last prompt: a dark painting of hPSbz8dGC0Kzj_e0C25DrQ1IkVSk1fKm3shxQYY_pNi-qD6BnEUCNIuEtYe1a1ri6IHTBFJ7gRuuSrE34KdmxQ, art by portrait of usada pekora
Last saved embedding: <none>
Last saved image: <none>


Loss: 0.0651186
Step: 398
Last prompt: a rendering of ZpuilhK8qsxjuj_Z3nPoINJNXYOYKZv72wVg-943xSclKQ_xs_qC1bJJM32gGWUuJBNEBaMaAQJQzxaJ7txuHg, art by portrait of usada pekora
Last saved embedding: <none>
Last saved image: <none>


Loss: 0.0029331
Step: 499
Last prompt: a nice painting of DhB_-h44CoXqInpAmvHWVzqKGNprsXK6bjNO0nCG0waQX72PREOmRxL9tBvqKFcuxnZULq3L3vFskLcRSeNQvA, art by portrait of usada pekora
Last saved embedding: <none>
Last saved image: <none>

 

 

콘솔창 열어보면 먼가 되는거 같긴한데..

 

gpu도 열심히 갈려 나가는 중. 으어어 온도 괜찮을까?

처음으로 gpu fan 60% 돌파!

 

cpu가 아주 노는건 아니고, 파일 퍼준다고 조금 사용되는 것 같다.

 

좀 돌다 보니 이런게 막 나온다.

일종의 evaluation 단계에서 하나 빼보는건가?

아마 학습 단계에서 500개마다 save an image  되어있는 부분이, 이렇게 이미지로 나오는 듯

 

 

학습 돌리고 나서 usada가 들어간걸 찾아보는데

safetensors는 없고 embeddings와 model/hypernetworks 에 pt 확장자로 존재한다.

/mnt/Downloads/stable-diffusion-webui$ find ./ -name *usada*
./embeddings/portrait of usada pekora.pt
./textual_inversion/2026-06-10/portrait of usada pekora
./textual_inversion/2026-06-10/portrait of usada pekora/images/portrait of usada pekora-1500.png
./textual_inversion/2026-06-10/portrait of usada pekora/images/portrait of usada pekora-3500.png
./textual_inversion/2026-06-10/portrait of usada pekora/images/portrait of usada pekora-500.png
./textual_inversion/2026-06-10/portrait of usada pekora/images/portrait of usada pekora-3000.png
./textual_inversion/2026-06-10/portrait of usada pekora/images/portrait of usada pekora-2500.png
./textual_inversion/2026-06-10/portrait of usada pekora/images/portrait of usada pekora-2000.png
./textual_inversion/2026-06-10/portrait of usada pekora/images/portrait of usada pekora-1000.png
./textual_inversion/2026-06-10/portrait of usada pekora/images/portrait of usada pekora-4000.png
./textual_inversion/2026-06-10/portrait of usada pekora/embeddings/portrait of usada pekora-500.pt
./textual_inversion/2026-06-10/portrait of usada pekora/embeddings/portrait of usada pekora-3500.pt
./textual_inversion/2026-06-10/portrait of usada pekora/embeddings/portrait of usada pekora-4000.pt
./textual_inversion/2026-06-10/portrait of usada pekora/embeddings/portrait of usada pekora-3000.pt
./textual_inversion/2026-06-10/portrait of usada pekora/embeddings/portrait of usada pekora-1000.pt
./textual_inversion/2026-06-10/portrait of usada pekora/embeddings/portrait of usada pekora-2500.pt
./textual_inversion/2026-06-10/portrait of usada pekora/embeddings/portrait of usada pekora-2000.pt
./textual_inversion/2026-06-10/portrait of usada pekora/embeddings/portrait of usada pekora-1500.pt
./textual_inversion/2026-06-10/portrait of usada pekora/image_embeddings/portrait of usada pekora-1500.png
./textual_inversion/2026-06-10/portrait of usada pekora/image_embeddings/portrait of usada pekora-3500.png
./textual_inversion/2026-06-10/portrait of usada pekora/image_embeddings/portrait of usada pekora-500.png
./textual_inversion/2026-06-10/portrait of usada pekora/image_embeddings/portrait of usada pekora-3000.png
./textual_inversion/2026-06-10/portrait of usada pekora/image_embeddings/portrait of usada pekora-2500.png
./textual_inversion/2026-06-10/portrait of usada pekora/image_embeddings/portrait of usada pekora-2000.png
./textual_inversion/2026-06-10/portrait of usada pekora/image_embeddings/portrait of usada pekora-1000.png
./textual_inversion/2026-06-10/portrait of usada pekora/image_embeddings/portrait of usada pekora-4000.png
./models/hypernetworks/portrait of usada pekora.pt

 

 26K  6월 11 00:24 'portrait of usada pekora.pt'
 84M  6월 10 23:12 'portrait of usada pekora.pt'

 26K  6월 10 23:38 'portrait of usada pekora-1000.pt'
 26K  6월 10 23:45 'portrait of usada pekora-1500.pt'
 26K  6월 10 23:53 'portrait of usada pekora-2000.pt'
 26K  6월 11 00:01 'portrait of usada pekora-2500.pt'
 26K  6월 11 00:08 'portrait of usada pekora-3000.pt'
 26K  6월 11 00:16 'portrait of usada pekora-3500.pt'
 26K  6월 11 00:24 'portrait of usada pekora-4000.pt'
 26K  6월 10 23:30 'portrait of usada pekora-500.pt'

 

txt2img 에서 refresh 해보니 아래와 같이 뜬다.

 

그냥 자동으로 추가되고, generate 누르니 아래와 같이 생성된다.

그나저나 저 이미지는 "portrait of usada pekora"  가 아니면 비슷하게라도 그려지지 않는거 보면

전체 키워드가 들어가야 하는건가?

[링크 : https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Textual-Inversion]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

LLM temperature = 0.1 무한 반복  (0) 2026.06.12
stable diffusion 학습.. part 2?  (1) 2026.06.12
curl로 llama-swap 에게 api로 요청하기  (0) 2026.06.10
llama.cpp prompt 옵션  (0) 2026.06.10
exllama  (0) 2026.06.10
Posted by 구차니
프로그램 사용/ai 프로그램2026. 6. 10. 14:03

curl로 llama-swap 에게 api로 요청하기

url만 요청하면 404 나오고(웹브라우저에서도 404 뜸)

$ curl http://192.168.40.238:8080/v1/chat/completions -i
HTTP/1.1 404 Not Found
Date: Wed, 10 Jun 2026 04:59:30 GMT
Content-Length: 0

 

잘못된 모델로 요청해도 배째고(최소한 응답은 있네!)

$ curl http://192.168.40.238:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer my-api-key" \
  -d '{
    "model": "qwen-coder",
    "messages": [
      {
        "role": "user",
        "content": "Python으로 HTTP 서버 예제를 작성해줘."
      }
    ]
  }'
could not find suitable inference handler for qwen-coder

 

제대로 된 요청으로 돌어와야 응답을 해주는 깐깐한 녀석

$ curl http://192.168.40.238:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer my-api-key" \
  -d '{
    "model": "gemma4-e4b",
    "messages": [
      {
        "role": "user",
        "content": "Python으로 HTTP 서버 예제를 작성해줘."
      }
    ]
  }'

{"choices":[{"finish_reason":"stop","index":0,"message":{"role":"assistant","content":"Python은 표준 라이브러리만으로도 매우 빠르고 간단하게 HTTP 서버를 만들 수 있게 해줍니다.\n\n요구 사항에 따라 두 가지 예제를 제공해 드립니다.\n\n1. **가장 간단한 예제 (파일 서빙):** Python의 내장 `http.server` 모듈을 사용하는 방법. (가장 빠르게 서버를 띄우는 방법)\n2. **커스터마이징 예제 (맞춤 응답):** `BaseHTTPRequestHandler`를 상속받아 GET 요청 등에 대해 직접 응답 내용을 정의하는 방법. (실제 웹 개발의 기본 원리 학습)\n\n---\n\n## 💡 예제 1: 가장 간단한 HTTP 서버 (파일 서빙)\n\n이 방법은 실제 웹 프레임워크를 사용하지 않고, 현재 디렉터리에 있는 파일들을 웹에서 불러올 때(서빙할 때) 사용됩니다. 서버를 띄우는 코드를 작성할 필요 없이, 명령어 한 줄로 가능합니다.\n\n### 💻 코드 (실행 명령어)\n\n```bash\n# Python 3 환경에서 실행\npython3 -m http.server 8000\n```\n\n### 🚀 실행 방법\n\n1. 서버로 사용할 파일들(HTML, 이미지 등)이 있는 디렉터리로 이동합니다.\n2. 위의 명령어를 실행합니다.\n3. 브라우저를 열고 `http://localhost:8000` 에 접속하면 해당 디렉터리의 파일 목록이 보입니다.\n\n**✅ 장점:** 코드가 거의 필요 없고, 즉시 작동합니다.\n**❌ 단점:** 특정 URL 요청에 대해 복잡한 비즈니스 로직을 처리할 수 없습니다.\n\n---\n\n## 🛠️ 예제 2: 맞춤 응답을 처리하는 HTTP 서버 (BaseHTTPRequestHandler 사용)\n\n만약 특정 URL(`http://localhost:8000/hello`)에 접속했을 때, **사용자 정의 메시지**를 반환하고 싶다면 이 방식을 사용해야 합니다.\n\n이 코드는 `http.server` 모듈의 기본 핸들러 클래스를 상속받아, `do_GET` 메소드를 오버라이드(재정의)하여 우리가 원하는 응답을 직접 구성합니다.\n\n### 💻 코드 (`custom_server.py`)\n\n```python\nimport http.server\nimport socketserver\n\n# 사용할 포트 지정\nPORT = 8000\n\nclass CustomHTTPRequestHandler(http.server.BaseHTTPRequestHandler):\n    \"\"\"\n    HTTP 요청(GET, POST 등)을 처리하는 사용자 정의 핸들러 클래스입니다.\n    \"\"\"\n    \n    def do_GET(self):\n        \"\"\"\n        GET 요청이 들어왔을 때 실행되는 메서드입니다.\n        \"\"\"\n        print(f\"--- GET 요청 수신: {self.path} ---\")\n        \n        # 1. 특정 경로에 대한 응답 처리\n        if self.path == '/hello':\n            # 응답할 콘텐츠\n            response_content = \"안녕하세요! 이것은 커스텀 서버가 보낸 응답입니다.\"\n            \n            # HTTP 응답 헤더 설정 (상태 코드: 200 OK, Content-Type: text/plain)\n            self.send_response(200)\n            self.send_header(\"Content-type\", \"text/plain\")\n            self.send_header(\"Content-Length\", str(len(response_content)))\n            self.end_headers()\n            \n            # 응답 본문(Body) 전송\n            self.wfile.write(bytes(response_content, \"utf-8\"))\n            \n        # 2. 기본 경로 (/)에 대한 응답 처리\n        elif self.path == '/':\n            response_content = \"환영합니다! /hello 경로로 접속해 보세요.\"\n            self.send_response(200)\n            self.send_header(\"Content-type\", \"text/html\")\n            self.end_headers()\n            self.wfile.write(bytes(response_content, \"utf-8\"))\n            \n        # 3. 정의되지 않은 경로에 대한 응답 (404 Not Found)\n        else:\n            self.send_response(404)\n            self.send_header(\"Content-type\", \"text/plain\")\n            self.end_headers()\n            self.wfile.write(bytes(\"404 Not Found\", \"utf-8\"))\n\n\n# 서버를 띄우는 설정\nHandler = CustomHTTPRequestHandler\n\nwith socketserver.TCPServer((\"\", PORT), Handler) as httpd:\n    print(f\"*** 서버가 http://localhost:{PORT} 에서 실행 중입니다. ***\")\n    print(\"테스트 경로: http://localhost:8000/hello\")\n    print(\"---------------------------------------------------\")\n    try:\n        httpd.serve_forever()\n    except KeyboardInterrupt:\n        print(\"\\n서버를 종료합니다.\")\n        httpd.server_close()\n```\n\n### 🚀 실행 방법\n\n1. 위 코드를 `custom_server.py` 파일로 저장합니다.\n2. 터미널에서 다음 명령어를 실행합니다.\n   ```bash\n   python3 custom_server.py\n   ```\n3. **테스트:**\n   * `http://localhost:8000/` 에 접속하면 \"환영합니다!\"가 보입니다.\n   * `http://localhost:8000/hello` 에 접속하면 \"안녕하세요! 이것은 커스텀 서버가 보낸 응답입니다.\"가 보입니다.\n\n### ✨ 동작 원리 해설\n\n* **`socketserver`**: 네트워크 소켓을 관리하고 클라이언트 연결을 받아주는 역할을 합니다.\n* **`BaseHTTPRequestHandler`**: HTTP 요청을 파싱하고 응답을 보낼 수 있는 기본 템플릿을 제공합니다.\n* **`do_GET(self)`**: 클라이언트가 `GET` 요청을 보냈을 때 이 함수가 실행됩니다.\n* **`self.send_response(200)`**: 클라이언트에게 응답 상태 코드(200=성공, 404=찾을 수 없음 등)를 보냅니다.\n* **`self.send_header(...)`**: 응답의 종류(Content-type)와 크기(Content-Length) 등의 메타데이터를 보냅니다.\n* **`self.wfile.write(...)`**: 실제 웹 브라우저가 읽을 수 있는 응답 내용(HTML, 텍스트 등)을 전송합니다.\n\n---\n\n## 📚 요약 및 추천\n\n| 구분 | 예제 1: `http.server` | 예제 2: `BaseHTTPRequestHandler` |\n| :--- | :--- | :--- |\n| **용도** | 정적 파일(Static File) 서빙 | 특정 URL에 대한 동적 응답 처리 |\n| **난이도** | ⭐ (매우 쉬움) | ⭐⭐ (중간) |\n| **특징** | 코드 없이 명령어 실행 | HTTP 프로토콜을 직접 제어 |\n| **추천 상황** | 간단한 테스트 서버, 파일 배포 | **웹 개발의 기초 원리 학습** |\n| **실무 사용** | 파일 공유 시 | **Flask/Django 같은 프레임워크 학습의 출발점** |\n\n**👉 만약 실제 서비스를 만들고 싶다면:** 예제 2로 기초 원리를 이해하신 후, **Flask**나 **FastAPI** 같은 경량 프레임워크를 사용하시는 것을 강력히 추천드립니다. 이 프레임워크들이 위의 복잡한 `do_GET` 코드를 훨씬 간결하게 처리해 줍니다.","reasoning_content":"Here's a thinking process that leads to the suggested response:\n\n1.  **Analyze the Request:** The user wants an example of an HTTP server written in Python.\n\n2.  **Determine the Scope/Level of the Example:**\n    *   *Option 1: Simple, built-in module (`http.server`).* This is the easiest and fastest way to fulfill the request for a *basic* example. It demonstrates functionality without complex code.\n    *   *Option 2: Using the `socket` module.* This is much harder, requires handling HTTP protocols manually, and is overkill for a standard \"example.\"\n    *   *Option 3: Using a framework (Flask/Django).* While common in production, this isn't a *pure* Python HTTP server example using standard libraries, and it might confuse the user if they just want to see how the basic protocol works.\n\n3.  **Select the Best Approach (Option 1: `http.server` and Customization):**\n    *   The best approach is to first provide the simplest, runnable solution using `http.server`.\n    *   Then, provide a slightly more advanced example (inheriting from `BaseHTTPRequestHandler`) to show how one would customize the handling of different HTTP methods (GET, POST, etc.).\n\n4.  **Draft the Code (Simple Server):**\n    *   Need to import `http.server` and `socketserver`.\n    *   Need to define the port (e.g., 8000).\n    *   Need to run the server. (This is the quickest way to run a basic server.)\n\n5.  **Draft the Code (Customized Server - The \"Educational\" Example):**\n    *   Need to import `http.server` and `BaseHTTPRequestHandler`.\n    *   Define a class (e.g., `SimpleHTTPRequestHandler`).\n    *   Override the `do_GET` method.\n    *   In `do_GET`, write the HTTP response structure (Status Line, Headers, Body).\n    *   Handle the server startup using `http.server.HTTPServer`.\n\n6.  **Review and Refine the Explanation (Crucial Step):**\n    *   The explanation must be clear, easy to follow, and explain *why* the code works.\n    *   *Add Instructions:* How to save, how to run, and how to test (using a browser or `curl`).\n    *   *Structure:* Present the simple example first, followed by the advanced/customizable example.\n\n7.  **Final Polish (Self-Correction during drafting):** Make sure the custom server example *properly* sends the Content-Type and Content-Length so the browser displays it correctly. (The provided code handles this.)\n\n**(The resulting output matches the structured response provided below.)**"}}],"created":1781067647,"model":"gemma-4-E4B-it-Q4_K_M.gguf","system_fingerprint":"b9553-9e3b928fd","object":"chat.completion","usage":{"completion_tokens":2288,"prompt_tokens":26,"total_tokens":2314,"prompt_tokens_details":{"cached_tokens":6}},"id":"chatcmpl-Mbe6PZU7iilj6DVEI59YH4eoDksRPZXj","timings":{"cache_n":6,"prompt_n":20,"prompt_ms":328.529,"prompt_per_token_ms":16.42645,"prompt_per_second":60.8774263459238,"predicted_n":2288,"predicted_ms":40048.23,"predicted_per_token_ms":17.50359702797203,"predicted_per_second":57.13111415910266}}
저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

stable diffusion 학습.. part 2?  (1) 2026.06.12
stable diffussion train 시도  (0) 2026.06.10
llama.cpp prompt 옵션  (0) 2026.06.10
exllama  (0) 2026.06.10
stable diffusion train  (0) 2026.06.10
Posted by 구차니
프로그램 사용/ai 프로그램2026. 6. 10. 12:12

llama.cpp prompt 옵션

시스템 프롬프트를 (role:system) 웹으로는 해봤는데 cli 에서도 가능한지 찾아보는 중

파일에도 넣을수 있고, 미리 넣을수도 있지만 런타임 중에 변경은 불가능 한건가?

llama-b9553$ ./llama-cli --help | grep -i sys
-p,    --prompt PROMPT                  prompt to start generation with; for system message, use -sys
--mlock                                 force system to keep model in RAM rather than swapping or compressing
--numa TYPE                             attempt optimizations that help on some NUMA systems
                                        if run without this previously, it is recommended to drop the system
-sys,  --system-prompt PROMPT           system prompt to use with model (if applicable, depending on chat
-sysf, --system-prompt-file FNAME       a file containing the system prompt (default: none)
                                        hunyuan-vl, kimi-k2, llama2, llama2-sys, llama2-sys-bos,
                                        llama2-sys-strip, llama3, llama4, megrez, minicpm, mistral-v1,
                                        hunyuan-vl, kimi-k2, llama2, llama2-sys, llama2-sys-bos,
                                        llama2-sys-strip, llama3, llama4, megrez, minicpm, mistral-v1,

 

llama-b9553$ ./llama-cli --help | grep -i prom
-tb,   --threads-batch N                number of threads to use during batch and prompt processing (default:
-c,    --ctx-size N                     size of the prompt context (default: 0, 0 = loaded from model)
--keep N                                number of tokens to keep from the initial prompt (default: 0, -1 =
-p,    --prompt PROMPT                  prompt to start generation with; for system message, use -sys
-f,    --file FNAME                     a file containing the prompt (default: none)
-bf,   --binary-file FNAME              binary file containing the prompt (default: none)
                                        number of threads to use during batch and prompt processing (default:
--verbose-prompt                        print a verbose prompt before generation (default: false)
--display-prompt, --no-display-prompt   whether to print prompt at generation (default: true)
-co,   --color [on|off|auto]            Colorize output to distinguish prompt and user input from generations
-sys,  --system-prompt PROMPT           system prompt to use with model (if applicable, depending on chat
-sysf, --system-prompt-file FNAME       a file containing the system prompt (default: none)
-r,    --reverse-prompt PROMPT          halt generation at PROMPT, return control in interactive mode
                                        will not be interactive if first turn is predefined with --prompt

 

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

stable diffussion train 시도  (0) 2026.06.10
curl로 llama-swap 에게 api로 요청하기  (0) 2026.06.10
exllama  (0) 2026.06.10
stable diffusion train  (0) 2026.06.10
gemma4-e4b it qat / gemma4-12b mtp on 1080 ti 11GB  (0) 2026.06.08
Posted by 구차니
프로그램 사용/ai 프로그램2026. 6. 10. 11:08

exllama

vLLM 처럼 먼가 복수의 gpu를 복수의 사용자에게 서빙하는 걸 찾는 중인데..

이거 맞...나?

 

[링크 : https://github.com/turboderp-org/exllamav2]

[링크 : https://github.com/turboderp-org/exllamav3]

[링크 : https://github.com/theroyallab/tabbyAPI/]  exllama의 백엔드

   [링크 : https://www.reddit.com/r/LocalLLaMA/comments/1ijw4l5/stop_wasting_your_multigpu_setup_with_llamacpp/]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

curl로 llama-swap 에게 api로 요청하기  (0) 2026.06.10
llama.cpp prompt 옵션  (0) 2026.06.10
stable diffusion train  (0) 2026.06.10
gemma4-e4b it qat / gemma4-12b mtp on 1080 ti 11GB  (0) 2026.06.08
nvidia 3070 8GB 테스트 gemma4-e4b  (0) 2026.06.08
Posted by 구차니
프로그램 사용/ai 프로그램2026. 6. 10. 11:01

stable diffusion train

음.. 내 gpu가 버틸수 있을까? ㅋㅋ

 

그런데 내용 자체가 쉽진 않아 보여서 어떻게 해야하나 see wiki를 눌러서 내용 보는 중

[링크 : https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Textual-Inversion]

 

+

[링크 : https://joonojoono.tistory.com/19]

[링크 : https://www.internetmap.kr/entry/Automatic1111-GUI-Beginners-Guide] 학습을 제외한 내용이 알참 -_ㅠ

 

일반적인 학습(?) 방법으로 길게 학습하고 중간중간 체크포인트 백업.. 용량 어쩔 ㅠㅠ

[링크 : https://www.reddit.com/r/StableDiffusion/comments/zw7qzo/automatic1111_dreambooth_how_to_continue_training/?tl=ko]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

llama.cpp prompt 옵션  (0) 2026.06.10
exllama  (0) 2026.06.10
gemma4-e4b it qat / gemma4-12b mtp on 1080 ti 11GB  (0) 2026.06.08
nvidia 3070 8GB 테스트 gemma4-e4b  (0) 2026.06.08
sigLIP, CLIP  (0) 2026.06.05
Posted by 구차니
프로그램 사용/ai 프로그램2026. 6. 8. 14:38

gemma4-e4b it qat / gemma4-12b mtp on 1080 ti 11GB

요약

QAT는 생성속도 차이는 크게 없어 보임. 사용해봐야 결과 품질을 알 수 있을 듯 함.

MTP는 50% 정도 성능 향상이 되는 듯?

---

QAT

오오 3~4일 전 따끈한 모델!

용량이 3~4GB 정도라 정말 어떨지 궁금하다.

[링크 : https://huggingface.co/unsloth/gemma-4-E4B-it-qat-GGUF]

 

기존에 테스트 하던건 Q4_K_M 이라 비슷할진 모르겠다.

$ ../../llama-b9553/llama-cli -m gemma-4-E4B-it-qat-UD-Q2_K_XL.gguf -sm none
[ Prompt: 16.8 t/s | Generation: 38.6 t/s ]
[ Prompt: 97.9 t/s | Generation: 41.1 t/s ]
[ Prompt: 196.1 t/s | Generation: 39.9 t/s ]

 

$ ../../llama-b9553/llama-cli -m gemma-4-E4B-it-qat-UD-Q4_K_XL.gguf -sm none
[ Prompt: 737.0 t/s | Generation: 62.5 t/s ]
[ Prompt: 238.5 t/s | Generation: 61.4 t/s ]
[ Prompt: 292.3 t/s | Generation: 58.0 t/s ]

 

 

MTP

MTP는 multimodal 처럼 2개의 모델 파일이 필요하구나..

일단은 cuda enable 하고 빌드하려면.. sdk가 문제 없으려나.. 쩝

./build/bin/llama-server \
  -m gemma-4-12b-it-Q4_K_M.gguf \
  --model-draft MTP/gemma-4-12B-it-MTP-Q8_0.gguf \
  --spec-type draft-mtp --spec-draft-n-max 4 \
  -ngl 999 -fa on
Multi GPU: add --spec-draft-device CUDA0 -sm layer.

[링크 : https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/blob/main/MTP/README.md]

 

+

음.. 장렬히 빌드 시도 폭★파 ㅋㅋㅋ

$ cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=61
CMAKE_BUILD_TYPE=Release
-- Warning: ccache not found - consider installing it for faster compilation or disable this warning with GGML_CCACHE=OFF
-- CMAKE_SYSTEM_PROCESSOR: x86_64
-- GGML_SYSTEM_ARCH: x86
-- Including CPU backend
-- x86 detected
-- Adding CPU backend variant ggml-cpu: -march=native 
-- Unable to find cublas_v2.h in either "/usr/local/cuda/include" or "/usr/math_libs/include"
-- CUDA Toolkit found
CMake Error at /usr/share/cmake-3.22/Modules/CMakeDetermineCompilerId.cmake:726 (message):
  Compiling the CUDA compiler identification source file
  "CMakeCUDACompilerId.cu" failed.

  Compiler: /usr/local/cuda/bin/nvcc

  Build flags:

  Id flags: --keep;--keep-dir;tmp;-gencode=arch=compute_61,code=sm_61 -v

  

  The output was:

  1

  nvcc fatal : Unsupported gpu architecture 'compute_61'

  

  

Call Stack (most recent call first):
  /usr/share/cmake-3.22/Modules/CMakeDetermineCompilerId.cmake:6 (CMAKE_DETERMINE_COMPILER_ID_BUILD)
  /usr/share/cmake-3.22/Modules/CMakeDetermineCompilerId.cmake:48 (__determine_compiler_id_test)
  /usr/share/cmake-3.22/Modules/CMakeDetermineCUDACompiler.cmake:298 (CMAKE_DETERMINE_COMPILER_ID)
  ggml/src/ggml-cuda/CMakeLists.txt:59 (enable_language)


-- Configuring incomplete, errors occurred!
See also "/home/falinux/src/llama.cpp/build/CMakeFiles/CMakeOutput.log".
See also "/home/falinux/src/llama.cpp/build/CMakeFiles/CMakeError.log".

 

+

b9500 으로는 무리인가.. 아니면 vulkan 모델이라 안되는걸까?

$ ../../llama-b9500/llama-cli -m gemma-4-12b-it-Q4_0.gguf --model-draft gemma-4-12B-it-MTP-Q8_0.gguf --spec-type draft-mtp --spec-draft-n-max 4 -ngl 999 -fa on --verbose

 

0.19.888.319 E llama_model_load: error loading model: unknown model architecture: 'gemma4-assistant'
0.19.888.322 E llama_model_load_from_file_impl: failed to load model
0.19.888.324 E srv    load_model: failed to load draft model, 'gemma-4-12B-it-MTP-Q8_0.gguf'

 

b9953 으로 하니 돌아간다.

1080 ti 11GB / -sm none

$ ../../llama-b9553/llama-cli -m gemma-4-12b-it-Q4_0.gguf --model-draft gemma-4-12B-it-MTP-Q8_0.gguf --spec-type draft-mtp --spec-draft-n-max 4   -ngl 999 -fa on -sm none

 

Q4_0
[ Prompt: 48.6 t/s | Generation: 42.6 t/s ]
[ Prompt: 231.5 t/s | Generation: 36.6 t/s ]
[ Prompt: 241.1 t/s | Generation: 34.0 t/s ]

UD_Q2_K_XL
[ Prompt: 5.0 t/s | Generation: 21.1 t/s ]
[ Prompt: 80.7 t/s | Generation: 29.2 t/s ]
[ Prompt: 45.0 t/s | Generation: 24.4 t/s ]

 

1080 ti 11GB / -sm layer

$ ../../llama-b9553/llama-cli -m gemma-4-12b-it-Q4_0.gguf --model-draft gemma-4-12B-it-MTP-Q8_0.gguf --spec-type draft-mtp --spec-draft-n-max 4   -ngl 999 -fa on 

 

Q4_0
[ Prompt: 66.8 t/s | Generation: 28.5 t/s ]
[ Prompt: 126.1 t/s | Generation: 19.3 t/s ]
[ Prompt: 88.2 t/s | Generation: 16.3 t/s ]

UD_Q2_K_XL
[ Prompt: 36.5 t/s | Generation: 24.6 t/s ]
[ Prompt: 32.1 t/s | Generation: 17.1 t/s ]
[ Prompt: 47.3 t/s | Generation: 12.6 t/s ]  (한번 터졌음)

 

 

>>>>> 참조용 >>>>>

하드웨어 1080 ti -sm none

gemma-4 12B it Q4_0.gguf Reading Generation 25 tokens 0.9s 27.94 t/s
gemma-4 12B it Q4_0.gguf Reading Generation 255 tokens 8.9s 28.78 t/s
gemma-4 12B it Q4_0.gguf Reading Generation 1,404 tokens 55s 25.45 t/s

gemma-4 12B it UD Q2_K_XL.gguf Reading Generation 29 tokens 1.2s 23.71 t/s
gemma-4 12B it UD Q2_K_XL.gguf Reading Generation 373 tokens 16s 22.28 t/s
gemma-4 12B it UD Q2_K_XL.gguf Reading Generation 806 tokens 37s 21.34 t/s (터짐)


하드웨어 1080 ti -sm layer

gemma-4 12B it Q4_0.gguf Reading Generation 25 tokens 0.8s 31.04 t/s
gemma-4 12B it Q4_0.gguf Reading Generation 265 tokens 9.0s 29.60 t/s
gemma-4 12B it Q4_0.gguf Reading Generation 1,340 tokens 54s 24.43 t/s

gemma-4 12B it UD Q2_K_XL.gguf Reading Generation 31 tokens 1.3s 24.16 t/s
gemma-4 12B it UD Q2_K_XL.gguf Reading Generation 263 tokens 11s 23.70 t/s
gemma-4 12B it UD Q2_K_XL.gguf Reading Generation 620 tokens 29s 20.70 t/s (터짐)

2026.06.04 - [프로그램 사용/ai 프로그램] - gemma 12b, tesla t4 16GB / 1080 ti 11GB * 2

<<<< 참조용 <<<<

 

+

2026.06.18

gemma-4-12b-it-Q4_0.gguf + gemma-4-12B-it-MTP-Q8_0.gguf

  MTP x MTP 5 MTP 4 MTP 3 MTP 2 MTP 1
단문 31.4 37.6 37.0 40.2 42.3 42.5
중문 30.0 31.6 37.1 37.8 39.6 39.7
장문 28.5 29.6 35.4 34.4 37.1 37.0

 

gemma-4-12b-it-UD-Q2_K_XL.gguf + gemma-4-12B-it-MTP-Q8_0.gguf

  MTP x MTP 5 MTP 4 MTP 3 MTP 2 MTP 1
단문 24.8 27.0  29.7  32.8  32.2  32.9 
중문 24.2  24.3  26.8  29.3  31.0  31.2 
장문 23.0 22.2  26.7  26.0  30.7  28.7 

 

$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-12b/gemma-4-12b-it-Q4_0.gguf -sm none

안녕?
[ Prompt: 77.6 t/s | Generation: 31.1 t/s ]
[ Prompt: 147.7 t/s | Generation: 31.4 t/s ]

너에 대해 설명해줘
[ Prompt: 197.2 t/s | Generation: 30.0 t/s ]

파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후  md 파일과 pdf로 저장하는 기능을 구현해줘
[ Prompt: 254.4 t/s | Generation: 28.5 t/s ]


$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-12b/gemma-4-12b-it-Q4_0.gguf --model-draft /mnt/Downloads/model/gemma4-12b/gemma-4-12B-it-MTP-Q8_0.gguf --spec-type draft-mtp --spec-draft-n-max 5 -fit off -ngl 999 -fa on -sm none

안녕?
[ Prompt: 74.1 t/s | Generation: 42.6 t/s ]
[ Prompt: 127.1 t/s | Generation: 37.6 t/s ]

너에 대해 설명해줘
[ Prompt: 126.8 t/s | Generation: 31.6 t/s ]

파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후  md 파일과 pdf로 저장하는 기능을 구현해줘
[ Prompt: 240.4 t/s | Generation: 29.6 t/s ]



$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-12b/gemma-4-12b-it-Q4_0.gguf --model-draft /mnt/Downloads/model/gemma4-12b/gemma-4-12B-it-MTP-Q8_0.gguf --spec-type draft-mtp --spec-draft-n-max 4 -fit off -ngl 999 -fa on -sm none

안녕?
[ Prompt: 75.8 t/s | Generation: 45.9 t/s ]
[ Prompt: 115.5 t/s | Generation: 37.0 t/s ]

너에 대해 설명해줘
[ Prompt: 161.9 t/s | Generation: 37.1 t/s ]

파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후  md 파일과 pdf로 저장하는 기능을 구현해줘
[ Prompt: 257.1 t/s | Generation: 35.4 t/s ]



$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-12b/gemma-4-12b-it-Q4_0.gguf --model-draft /mnt/Downloads/model/gemma4-12b/gemma-4-12B-it-MTP-Q8_0.gguf --spec-type draft-mtp --spec-draft-n-max 3 -fit off -ngl 999 -fa on -sm none

안녕
[ Prompt: 74.7 t/s | Generation: 42.7 t/s ] 
[ Prompt: 198.6 t/s | Generation: 40.2 t/s ]  

너에 대해 설명해줘
[ Prompt: 146.5 t/s | Generation: 37.8 t/s ]

파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후  md 파일과 pdf로 저장하는 기능을 구현해줘
[ Prompt: 248.9 t/s | Generation: 34.4 t/s ]



$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-12b/gemma-4-12b-it-Q4_0.gguf --model-draft /mnt/Downloads/model/gemma4-12b/gemma-4-12B-it-MTP-Q8_0.gguf --spec-type draft-mtp --spec-draft-n-max 2 -fit off -ngl 999 -fa on -sm none

안녕
[ Prompt: 75.1 t/s | Generation: 44.5 t/s ]
[ Prompt: 115.3 t/s | Generation: 42.3 t/s ]

너에 대해 설명해줘
[ Prompt: 203.8 t/s | Generation: 39.6 t/s ]

파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후  md 파일과 pdf로 저장하는 기능을 구현해줘

[ Prompt: 250.9 t/s | Generation: 37.1 t/s ]


$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-12b/gemma-4-12b-it-Q4_0.gguf --model-draft /mnt/Downloads/model/gemma4-12b/gemma-4-12B-it-MTP-Q8_0.gguf --spec-type draft-mtp --spec-draft-n-max 1 -fit off -ngl 999 -fa on -sm none

안녕?
[ Prompt: 75.8 t/s | Generation: 41.5 t/s ]
[ Prompt: 200.5 t/s | Generation: 42.5 t/s ]

너에 대해 설명해줘
[ Prompt: 132.7 t/s | Generation: 39.7 t/s ]

파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후  md 파일과 pdf로 저장하는 기능을 구현해줘
[ Prompt: 249.6 t/s | Generation: 37.0 t/s ]

 

 

너에 대해 설명해줘

파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후  md 파일과 pdf로 저장하는 기능을 구현해줘


$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-12b/gemma-4-12b-it-UD-Q2_K_XL.gguf -sm none                                                         세요!

[ Prompt: 50.7 t/s | Generation: 23.3 t/s ]
[ Prompt: 136.9 t/s | Generation: 24.8 t/s ]

[ Prompt: 68.8 t/s | Generation: 24.2 t/s ]

[ Prompt: 96.2 t/s | Generation: 23.0 t/s ] 터짐



$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-12b/gemma-4-12b-it-UD-Q2_K_XL.gguf --model-draft /mnt/Downloads/model/gemma4-12b/gemma-4-12B-it-MTP-Q8_0.gguf --spec-type draft-mtp --spec-draft-n-max 5 -fit off -ngl 999 -fa on -sm none
[ Prompt: 50.0 t/s | Generation: 31.8 t/s ]
[ Prompt: 142.0 t/s | Generation: 27.0 t/s ]

[ Prompt: 70.4 t/s | Generation: 24.3 t/s ]

[ Prompt: 90.8 t/s | Generation: 22.2 t/s ]


$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-12b/gemma-4-12b-it-UD-Q2_K_XL.gguf --model-draft /mnt/Downloads/model/gemma4-12b/gemma-4-12B-it-MTP-Q8_0.gguf --spec-type draft-mtp --spec-draft-n-max 4 -fit off -ngl 999 -fa on -sm none

[ Prompt: 50.0 t/s | Generation: 31.7 t/s ]
[ Prompt: 131.0 t/s | Generation: 29.7 t/s ]

[ Prompt: 53.8 t/s | Generation: 26.8 t/s ]

[ Prompt: 97.6 t/s | Generation: 26.7 t/s ] 터짐



$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-12b/gemma-4-12b-it-UD-Q2_K_XL.gguf --model-draft /mnt/Downloads/model/gemma4-12b/gemma-4-12B-it-MTP-Q8_0.gguf --spec-type draft-mtp --spec-draft-n-max 3 -fit off -ngl 999 -fa on -sm none

[ Prompt: 50.0 t/s | Generation: 31.8 t/s ]
[ Prompt: 123.8 t/s | Generation: 32.8 t/s ]

[ Prompt: 62.0 t/s | Generation: 29.3 t/s ]

[ Prompt: 106.4 t/s | Generation: 26.0 t/s ]



$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-12b/gemma-4-12b-it-UD-Q2_K_XL.gguf --model-draft /mnt/Downloads/model/gemma4-12b/gemma-4-12B-it-MTP-Q8_0.gguf --spec-type draft-mtp --spec-draft-n-max 2 -fit off -ngl 999 -fa on -sm none

까요? 궁금한 점이 있거나 도움이 필요하시면 편하게 말씀해 주세요!

[ Prompt: 33.7 t/s | Generation: 26.5 t/s ]
[ Prompt: 159.8 t/s | Generation: 32.2 t/s ]

[ Prompt: 73.9 t/s | Generation: 31.0 t/s ]

[ Prompt: 96.7 t/s | Generation: 30.7 t/s ] 터짐




$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-12b/gemma-4-12b-it-UD-Q2_K_XL.gguf --model-draft /mnt/Downloads/model/gemma4-12b/gemma-4-12B-it-MTP-Q8_0.gguf --spec-type draft-mtp --spec-draft-n-max 1 -fit off -ngl 999 -fa on -sm none

[ Prompt: 40.7 t/s | Generation: 32.3 t/s ]
[ Prompt: 139.6 t/s | Generation: 32.9 t/s ]

[ Prompt: 69.6 t/s | Generation: 31.2 t/s ]

[ Prompt: 92.4 t/s | Generation: 28.7 t/s ] 터짐
저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

exllama  (0) 2026.06.10
stable diffusion train  (0) 2026.06.10
nvidia 3070 8GB 테스트 gemma4-e4b  (0) 2026.06.08
sigLIP, CLIP  (0) 2026.06.05
chatML  (0) 2026.06.04
Posted by 구차니
프로그램 사용/ai 프로그램2026. 6. 8. 12:25

nvidia 3070 8GB 테스트 gemma4-e4b

양자화 타입에 영향을 받을테니 bf16 이런걸 받아서 해봐야하나?

 일단.. 근소하게 1080 보단 좋긴하다. 텐서코어 쓰려면 다시 받아야 할 듯 쩝..

gemma-4-E4B-it-Q4_K_M.gguf Reading Generation 10 tokens 0.2s 61.57 t/s
gemma-4-E4B-it-Q4_K_M.gguf Reading Generation 929 tokens 16s 56.72 t/s
gemma-4-E4B-it-Q4_K_M.gguf Reading Generation 3,597 tokens 1min 8s 52.70 t/s

 

그 와중에 8기가와 11기가는 별 차이 없는것 같은데, 제법 로드 가능한 모델이 제한되네.

 

 

에라이

메모리가 적으니 멀 시도해볼수도 없네.

계륵이다 ㅠㅠ

 

 

+

2026.06.17

ubunt 26.04 + driver 595.71.05 + CUDA 13.2

$ ./llama-b9553/llama-cli -m ./model/gemma4-e4b/gemma-4-E4B-it-Q4_K_M.gguf 

 

생성자체는 좀 빠른 것 같은데, 초기 대기시간이 긴 느낌..

[ Prompt: 3.1 t/s | Generation: 30.8 t/s ] / [ Prompt: 4.7 t/s | Generation: 84.8 t/s ]

[ Prompt: 16.3 t/s | Generation: 85.7 t/s ]

[ Prompt: 21.5 t/s | Generation: 79.9 t/s ]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

stable diffusion train  (0) 2026.06.10
gemma4-e4b it qat / gemma4-12b mtp on 1080 ti 11GB  (0) 2026.06.08
sigLIP, CLIP  (0) 2026.06.05
chatML  (0) 2026.06.04
gemma 12b, tesla t4 16GB / 1080 ti 11GB * 2 / 3070 8GB  (0) 2026.06.04
Posted by 구차니
프로그램 사용/ai 프로그램2026. 6. 5. 16:54

sigLIP, CLIP

간단하게 영상을 분석해서 그걸 text로 매칭시켜주는 녀석이 바로 CLIP / sigLIP 같은 비전 인코더다

그럼 반대로 비전 디코더도 있을것 같은데

[링크 : https://huggingface.co/docs/transformers/v4.15.0/model_doc/visionencoderdecoder]

 

bert도 어디서 주워들은것 같은데 아무튼 얘도 비전 인코더 인듯.

LDM에선 BERT Encoder로 사용하였지만 Stable Diffusion에선 OpenAI에서 공개한 CLIP Text Encoder를 사용함

[링크 : https://velog.io/@hskhyl/Generative-AI4-imagestable-Diffusion-평가]

 

SigLIP 같은 비전 인코더

[링크 : https://wikidocs.net/blog/@jaehong/17175/]

 

Sigmoid Loss for Language Image Pre-Training
SigLIP은 CLIP에서 사용된 손실 함수를 간단한 쌍별 시그모이드 손실(pairwise sigmoid loss)로 대체할 것을 제안합니다. 이는 ImageNet에서 제로샷 분류 정확도 측면에서 더 나은 성능을 보입니다.

[링크 : https://huggingface.co/papers/2303.15343]

  [링크 : https://huggingface.co/docs/transformers/ko/model_doc/siglip]

 

CLIP(Contrastive Language-Image Pre-Training)은 다양한 이미지와 텍스트 쌍으로 훈련된 신경망 입니다. 

[링크 : https://huggingface.co/papers/2103.00020]

    [링크 : https://huggingface.co/docs/transformers/ko/model_doc/clip]

 

[링크 : https://huggingface.co/mhbkb/stable-diffusion-base-2.0-clip_1]

 

[링크 : https://dy120.tistory.com/15]

 

 

아무튼 정리하자면..

stable diffusion 에서 txt2img를 할 경우

txt2img로 사용할 임베딩 벡터를 뱉어내는 녀석이 CLIP 이고

그 이후에 노이즈를 지워가면서 그려가는게 전체 작동원리인듯 하다.

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

gemma4-e4b it qat / gemma4-12b mtp on 1080 ti 11GB  (0) 2026.06.08
nvidia 3070 8GB 테스트 gemma4-e4b  (0) 2026.06.08
chatML  (0) 2026.06.04
gemma 12b, tesla t4 16GB / 1080 ti 11GB * 2 / 3070 8GB  (0) 2026.06.04
nvidia tesla t4 16GB  (0) 2026.06.02
Posted by 구차니

티스토리툴바