프로그램 사용/ai 프로그램2026. 6. 25. 10:07

mogrify를 이용한 이미지 증강, 배경색 설정

투명 png를 돌리니까 배경이 흰색으로 나와서

딥러닝 학습시 loss 율이 높은 값에서 진동하고 있어서 혹시나 하고 변경해보니 잘된다.

background none은 테스트 안해봄

 

mkdir -p train_aug

for i in $(seq 1 50)
do
    rot=$((RANDOM % 11 - 5))
    bright=$((85 + RANDOM % 31))

    mogrify \
        -background 'rgba(0,0,0,0)' \
        -path train_aug \
        -format png \
        -rotate "$rot" \
        -modulate "$bright" \
        train/good/*.png

    rename "s/\.png$/_$i.png/" train_aug/*.png
done

 

[링크 : https://stackoverflow.com/questions/4121155/how-can-i-rotate-a-transparent-png-by-45-degrees-using-imagemagick-and-keep-the]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

local llm - mcp  (0) 2026.06.20
llama-swap 구현 (채팅)  (0) 2026.06.18
gemma4-e4b mtp..?  (0) 2026.06.18
openai api 변경에 따른 llama.cpp / llama-swap 리포트 차이  (0) 2026.06.18
llama-swap 버전 업데이트!  (0) 2026.06.18
Posted by 구차니
프로그램 사용/ai 프로그램2026. 6. 20. 11:16

local llm - mcp

로컬 LLM 에서 MCP 연결할 수 있으려나?

일일이 만드는것도 귀찮은데 만들어 둔 mcp 들을 쉽게 붙이면 좋을것 같긴하다.

 

결국은 json 타입으로 이해하기 쉽게 던져주면 알아서 쓴다.. 이런 컨셉이구나

MCP 도구 목록을 LLM이 이해하는 JSON 형식으로 변환하기
MCP 서버에서 가져온 도구 목록은 그대로 LLM에게 전달할 수 없습니다. OpenAI Responses API가 이해할 수 있는 JSON 형식으로 변환해줘야 합니다. 다음은 그 변환 함수와 적용 예시입니다.

[링크 : https://wikidocs.net/287840] fast mcp

    [링크 : https://pypi.org/project/fastmcp/]

 

[링크 : https://raeul0304.tistory.com/9] mcp-use 

    [링크 : https://pypi.org/project/mcp-use/]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

mogrify를 이용한 이미지 증강, 배경색 설정  (0) 2026.06.25
llama-swap 구현 (채팅)  (0) 2026.06.18
gemma4-e4b mtp..?  (0) 2026.06.18
openai api 변경에 따른 llama.cpp / llama-swap 리포트 차이  (0) 2026.06.18
llama-swap 버전 업데이트!  (0) 2026.06.18
Posted by 구차니
프로그램 사용/ai 프로그램2026. 6. 18. 15:23

llama-swap 구현 (채팅)

/v1/chat/completions 통해서 문맥을 유지할때 어떻게 구현되나 했더니

llama-swap 에서 대화내용을 보니 이해된다.

assistant에 ai 대답을 넣는다고만 해서 복수개면 어떻게 하나 했는데

 

UI 상으로는 이렇게 나오고

 

로그 상으로는 아래와 같이 나온다

1번 째 질문 "하이하이"

 

2번 쩨 질문 "엉 왜 refused"

그리고 이전 대화를 messages의 배열에 순서대로 넣으면

가장 마지막 대화를 기준으로 답을 주게 되는걸려나?

당연(?) 하지만 reasoning은 빼고 순수 응답 내용만 assistant에 넣어서 보낸다.

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

mogrify를 이용한 이미지 증강, 배경색 설정  (0) 2026.06.25
local llm - mcp  (0) 2026.06.20
gemma4-e4b mtp..?  (0) 2026.06.18
openai api 변경에 따른 llama.cpp / llama-swap 리포트 차이  (0) 2026.06.18
llama-swap 버전 업데이트!  (0) 2026.06.18
Posted by 구차니
프로그램 사용/ai 프로그램2026. 6. 18. 14:44

gemma4-e4b mtp..?

변환해서 내꺼에서 돌려보니 성능 차이가 없...다?

내꺼 그래픽 카드가 구려서 그런가.. 그게 아니라면.. 변환을 잘못했다거나

llama.cpp 에서 지원은 안한다거나 그런건가?

 

  MTP x MTP 8 MTP 4 MTP 3 MTP 2 MTP 1
직접 61.1  18.6  40.9 58.4  55.6 61.7
unsloth 61.1   45.0  58.6  62.4  68.4 

 

-------

비교군

$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-e4b/gemma-4-E4B-it-Q4_K_M.gguf -mm ./model/gemma4-e4b/mmproj-F16.gguf  -sm none #--reasoning off                                                                                                   
...wnloads/llama-b9553/llama-cli       6435MiB
> 안녕?
[ Prompt: 105.7 t/s | Generation: 61.1 t/s ]

> 빨라?
[ Prompt: 51.1 t/s | Generation: 60.6 t/s ]

 

직접 변환(양자화 안함)

$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-e4b/gemma-4-E4B-it-Q4_K_M.gguf -mm ./model/gemma4-e4b/mmproj-F16.gguf --model-draft ./gemma-4-E4B-it-assistant/gemma-4-E4B-it-assistant.gguf --spec-type draft-mtp --spec-draft-n-max 8 -fit off -ngl 999 -fa on -sm none #--reasoning off
...wnloads/llama-b9553/llama-cli       6735MiB
> 안녕? 
[ Prompt: 101.1 t/s | Generation: 18.6 t/s ]

> 빨라?
[ Prompt: 351.2 t/s | Generation: 16.9 t/s ]

$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-e4b/gemma-4-E4B-it-Q4_K_M.gguf -mm ./model/gemma4-e4b/mmproj-F16.gguf --model-draft ./gemma-4-E4B-it-assistant/gemma-4-E4B-it-assistant.gguf --spec-type draft-mtp --spec-draft-n-max 4 -fit off -ngl 999 -fa on -sm none #--reasoning  off                                                                                                                   
...wnloads/llama-b9553/llama-cli       6735MiB
> 안녕?
[ Prompt: 292.5 t/s | Generation: 40.9 t/s ]

> 빨라?
[ Prompt: 207.7 t/s | Generation: 46.6 t/s ]


$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-e4b/gemma-4-E4B-it-Q4_K_M.gguf -mm ./model/gemma4-e4b/mmproj-F16.gguf --model-draft ./gemma-4-E4B-it-assistant/gemma-4-E4B-it-assistant.gguf --spec-type draft-mtp --spec-draft-n-max 3 -fit off -ngl 999 -fa on -sm none #--reasoning  off                                                                                                                   
...wnloads/llama-b9553/llama-cli       6735MiB
> 안녕? 
[ Prompt: 398.8 t/s | Generation: 58.4 t/s ]

> 빨라?
[ Prompt: 236.3 t/s | Generation: 60.9 t/s ]


$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-e4b/gemma-4-E4B-it-Q4_K_M.gguf -mm ./model/gemma4-e4b/mmproj-F16.gguf --model-draft ./gemma-4-E4B-it-assistant/gemma-4-E4B-it-assistant.gguf --spec-type draft-mtp --spec-draft-n-max 2 -fit off -ngl 999 -fa on -sm none #--reasoning off                                                                                                                   
...wnloads/llama-b9553/llama-cli       6735MiB
> 안녕?
[ Prompt: 360.7 t/s | Generation: 55.6 t/s ]

> 빨라?
[ Prompt: 284.9 t/s | Generation: 62.7 t/s ]

$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-e4b/gemma-4-E4B-it-Q4_K_M.gguf -mm ./model/gemma4-e4b/mmproj-F16.gguf --model-draft ./gemma-4-E4B-it-assistant/gemma-4-E4B-it-assistant.gguf --spec-type draft-mtp --spec-draft-n-max 1 -fit off -ngl 999 -fa on -sm none #--reasoning off                                                                                                                   
...wnloads/llama-b9553/llama-cli       6735MiB
> 안녕?
[ Prompt: 314.1 t/s | Generation: 61.7 t/s ]  

> 빨라?
[ Prompt: 441.2 t/s | Generation: 63.7 t/s ]

 

unsloth 모델

[링크 : https://huggingface.co/unsloth/gemma-4-E4B-it-GGUF]

$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-e4b/gemma-4-E4B-it-Q4_K_M.gguf -mm ./model/gemma4-e4b/mmproj-F16.gguf --model-draft ./gemma-4-E4B-it-assistant/mtp-gemma-4-E4B-it.gguf --spec-type draft-mtp --spec-draft-n-max 4 -fit off -ngl 999 -fa on -sm none #--reasoning off
...wnloads/llama-b9553/llama-cli       6666MiB
> 안녕?
[ Prompt: 42.4 t/s | Generation: 45.0 t/s ]

> 빨라?
[ Prompt: 302.6 t/s | Generation: 47.4 t/s ]


$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-e4b/gemma-4-E4B-it-Q4_K_M.gguf -mm ./model/gemma4-e4b/mmproj-F16.gguf --model-draft ./gemma-4-E4B-it-assistant/mtp-gemma-4-E4B-it.gguf --spec-type draft-mtp --spec-draft-n-max 3 -fit off -ngl 999 -fa on -sm none #--reasoning off
...wnloads/llama-b9553/llama-cli       6666MiB
> 안녕?
[ Prompt: 174.0 t/s | Generation: 58.6 t/s ]

> 빨라?
[ Prompt: 327.7 t/s | Generation: 60.2 t/s ]


$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-e4b/gemma-4-E4B-it-Q4_K_M.gguf -mm ./model/gemma4-e4b/mmproj-F16.gguf --model-draft ./gemma-4-E4B-it-assistant/mtp-gemma-4-E4B-it.gguf --spec-type draft-mtp --spec-draft-n-max 2 -fit off -ngl 999 -fa on -sm none #--reasoning off
...wnloads/llama-b9553/llama-cli       6666MiB
> 안녕?
[ Prompt: 98.5 t/s | Generation: 62.4 t/s ]

> 빨라?
[ Prompt: 331.4 t/s | Generation: 64.7 t/s ]  

$ /mnt/Downloads/llama-b9553/llama-cli --model /mnt/Downloads/model/gemma4-e4b/gemma-4-E4B-it-Q4_K_M.gguf -mm ./model/gemma4-e4b/mmproj-F16.gguf --model-draft ./gemma-4-E4B-it-assistant/mtp-gemma-4-E4B-it.gguf --spec-type draft-mtp --spec-draft-n-max 1 -fit off -ngl 999 -fa on -sm none #--reasoning off
...wnloads/llama-b9553/llama-cli       6666MiB
> 안녕?
[ Prompt: 168.7 t/s | Generation: 68.4 t/s ]  


> 빨라?
[ Prompt: 343.2 t/s | Generation: 67.2 t/s ]

 

[링크 : https://huggingface.co/google/gemma-4-E4B-it-assistant]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

local llm - mcp  (0) 2026.06.20
llama-swap 구현 (채팅)  (0) 2026.06.18
openai api 변경에 따른 llama.cpp / llama-swap 리포트 차이  (0) 2026.06.18
llama-swap 버전 업데이트!  (0) 2026.06.18
stable diffusion --device-id  (0) 2026.06.18
Posted by 구차니
프로그램 사용/ai 프로그램2026. 6. 18. 12:38

openai api 변경에 따른 llama.cpp / llama-swap 리포트 차이

그런데 208 이던 228 이던

client.chat.completions.create 함수를

client.responses.create 로 바꾸었더니 prompt speed / gen speed가 출력되지 않는다.

reasoning off 하기 위해서는 함수를 바꾸어야 하고. 바꾸면 리포트가 안되고 흐음..

걍 서버에서 끄고 해야하나? (llama-cli --reasoning off)

 

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

llama-swap 구현 (채팅)  (0) 2026.06.18
gemma4-e4b mtp..?  (0) 2026.06.18
llama-swap 버전 업데이트!  (0) 2026.06.18
stable diffusion --device-id  (0) 2026.06.18
stable diffusion illustruousXL LoRA  (0) 2026.06.15
Posted by 구차니
프로그램 사용/ai 프로그램2026. 6. 18. 12:22

llama-swap 버전 업데이트!

208 에서 228로 올렸더니

 

1. config.yaml 의 명시적 사용

기존에는 config.yaml을 바로 가져가더니(llama-swap 과 동일 경로에서) 이제는 명시적으로 지정해주어야 한다.1

$ ./llama-swap 
2026/06/18 12:43:40 ERROR -config is required

$ ./llama-swap --help
Usage of ./llama-swap:
  -config string
     path to config file (required)
  -listen string
     listen address (default :8080 or :8443 for TLS)
  -tls-cert-file string
     TLS certificate file
  -tls-key-file string
     TLS key file
  -version
     show version and exit
  -watch-config
     reload config on file change

 

2. 모니터링 추가

performance 탭에서 그래프가 생긴것 같다. 오오 이쁜데?



저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

gemma4-e4b mtp..?  (0) 2026.06.18
openai api 변경에 따른 llama.cpp / llama-swap 리포트 차이  (0) 2026.06.18
stable diffusion --device-id  (0) 2026.06.18
stable diffusion illustruousXL LoRA  (0) 2026.06.15
statble diffusion XL 해상도  (0) 2026.06.15
Posted by 구차니
프로그램 사용/ai 프로그램2026. 6. 18. 11:52

stable diffusion --device-id

버전에 따라 안 먹는게 있는지 라고 하기에는

저번에 잘 한거 같기도 한데 잘 모르겠네

 

아무튼 아래처럼 바꾸어 주면 자로딘다.

./webui.sh --server-name=0.0.0.0 --device-id=1 --api --medvram
CUDA_VISIBLE_DEVICES=1 ./webui.sh --server-name=0.0.0.0 --api --medvram

 

일단 현재 버전(?)은 아래와 같은 상태.

저번에 확장 깔다가 꼬여서 1.7 버전이라고 받아둔걸로 했더니 안되는건가..

$ git history
commit 1937682a20f7f0442311a1ede68f9f0cb480163b (HEAD -> dev, origin/dev)
Merge: 76759a18 fd0f475a
Author: w-e-w <40751091+w-e-w@users.noreply.github.com>
Date:   Mon Mar 2 16:00:53 2026 +0900

    Merge pull request #17313 from WhizZest/fix-setuptools-version
    
    Fix the issue of `pip install 'setuptools<70'` failing in cmd

$ git branch
* dev
  master

$ git remote -v
origin  https://github.com/AUTOMATIC1111/stable-diffusion-webui.git (fetch)
origin  https://github.com/AUTOMATIC1111/stable-diffusion-webui.git (push)
저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

openai api 변경에 따른 llama.cpp / llama-swap 리포트 차이  (0) 2026.06.18
llama-swap 버전 업데이트!  (0) 2026.06.18
stable diffusion illustruousXL LoRA  (0) 2026.06.15
statble diffusion XL 해상도  (0) 2026.06.15
stable diffusion, control net  (0) 2026.06.14
Posted by 구차니
프로그램 사용/ai 프로그램2026. 6. 15. 22:50

stable diffusion illustruousXL LoRA

SDXL 이렇게 되어있어서 해봤는데 안되길래

혹시나 해서 illustriousXL 로 찾으니 나왔고 받아보니 된다!

 

정보를 보니 sdxl_base_v1-0

 

모델 정보에서 SDXL로 나온다.

 

[링크 : https://civitai.com/models/1003582/lora-illustriousxl-barbie-mugshot-meme]

 

요건 일러스트리어스에서는 안되는 놈인데

 

읭?

 

이것도 SD1 용이라 일러스트리어스에 안나온듯.

말로만 sdxl 이지 실제로는 Stable diffusion 계열인듯.

[링크 : https://civitai.com/models/242475/sdxl-lora-photorealistic-female]

 

요건 SD용 구름에 고래 잘 그려주는 lora.

메타데이터가 많은데 얘도 SD1용

 

일관성있는 어떤 데이터가 아닌가?

 

civitai 에서 sdxl로 치면 여러가지 나오는데

sdxl 1.0을 하면 되려나?

 

SDXL 1.0 으로 해서 받으니 일러스트리어스에서 뜨긴한다.

[링크 : https://civitai.com/models/553959/sdxl-lora-v3-pixelized-art-intermediate-edition]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

llama-swap 버전 업데이트!  (0) 2026.06.18
stable diffusion --device-id  (0) 2026.06.18
statble diffusion XL 해상도  (0) 2026.06.15
stable diffusion, control net  (0) 2026.06.14
stable diffusion, lora  (0) 2026.06.14
Posted by 구차니
프로그램 사용/ai 프로그램2026. 6. 15. 16:07

statble diffusion XL 해상도

1024x1024로만 생성했었는데

생성을 조금이라도 빨리하려면 해상도가 낮으면 되려나?

가로 세로 픽셀수
1024 1024 1048576
1152 896 1032192
896 1152 1032192
1216 832 1011712
832 1216 1011712
1344 768 1032192
768 1344 1032192
1536 640 983040
640 1536 983040

 

그나저나 SD는 512x512 기본인데, 해상도 정보가 잘 안보인다.

 

[링크 : https://www.clien.net/service/board/cm_aigurim/18247681]

[링크 : https://platform.stability.ai/docs/legacy/grpc-api/features/api-parameters]

    [링크 : https://www.reddit.com/r/StableDiffusion/comments/15c3rf6/sdxl_resolution_cheat_sheet/?tl=ko]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

stable diffusion --device-id  (0) 2026.06.18
stable diffusion illustruousXL LoRA  (0) 2026.06.15
stable diffusion, control net  (0) 2026.06.14
stable diffusion, lora  (0) 2026.06.14
gemma4-e4b 모델 변환 및 레이어 계산  (0) 2026.06.12
Posted by 구차니
프로그램 사용/ai 프로그램2026. 6. 14. 23:06

stable diffusion, control net

저번에 플러그인 깔다가 박살나서 해보긴 좀 무서움.. 나중에 해봐야지

[링크 : https://www.internetmap.kr/entry/Stable-Diffusion-ControlNet1]

[링크 : https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main]

 

일단 이건 자세를 제한할 수 있는 녀석. 어떻게 보면.. 

그림 그려서 원하는 대로 수정하는 그런 느낌인데.. 맞나?

[링크 : https://www.internetmap.kr/entry/AUTOMATIC1111-Inpaint-Guide]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

stable diffusion illustruousXL LoRA  (0) 2026.06.15
statble diffusion XL 해상도  (0) 2026.06.15
stable diffusion, lora  (0) 2026.06.14
gemma4-e4b 모델 변환 및 레이어 계산  (0) 2026.06.12
safetensors to gguf .. 2번째 시도 성공  (0) 2026.06.12
Posted by 구차니

티스토리툴바