llama.cpp multi modal 시도

llama.cpp 에서 + 눌러보면 이미지가 있는데 활성화가 안되고

 

llama-swap 에서는 입력은 가능한데 막상 해보면 500에러가 발생한다.

그래서 찾아보니 음.. --mmproj 옵션?

멀티모달 입력 활성화 방법 두 가지 주요 실행 방식이 안내됨: 첫 번째는 -hf 옵션 사용(지원 모델 필요), 두 번째는 -m과 --mmproj 옵션을 조합해 텍스트와 멀티모달 프로젝터 모델을 각각 지정하는 방법임 -hf 옵션 사용 시, 멀티모달 기능을 끄고 싶으면 --no-mmproj를 추가하고, 사용자 지정 mmproj 파일을 활용할 경우 --mmproj local_file.gguf 옵션을 사용함 GPU 오프로딩이 기본값이며, 이를 원치 않으면 --no-mmproj-offload 옵션으로 비활성화가 가능함 예시 명령어 커맨드라인에서는 llama-mtmd-cli를, 서버에서는 llama-server를 활용하는 형태임 로컬 파일을 사용하는 경우 --mmproj로 직접 파일을 지정하는 방식임 GPU 오프로딩을 비활성화하려면 --no-mmproj-offload 옵션을 추가 사용하는 방식임 즉시 사용 가능한 멀티모달 모델 목록 Q4_K_M 양자화를 기본으로 하는 다양한 준비된 모델들이 안내되어 있음 지원 모델 예시: Gemma 3: 4b, 12b, 27b 버전 SmolVLM 계열: 256M, 500M, 2.2B 등 Pixtral 12B Qwen 2 VL: 2B, 7B 및 Qwen 2.5 VL: 3B, 7B, 32B, 72B Mistral Small 3.1 24B (IQ2_M 양자화) InternVL 2.5와 3 세대: 다양한 파라미터 크기 지원임

[링크: https://news.hada.io/topic?id=20822]

 

제미나이 검색 추천으로 보니 이런 것들이 보인다.

mmproj-model.gguf 음...??

llama-server: You can run a local server that accepts image inputs via an API. Setup: Start the server with the multimodal projector: llama-server -m gemma-model.gguf --mmproj mmproj-model.gguf --port 8080. Sending Images: You can then send requests with Base64 encoded images or URLs to the /v1/chat/completions endpoint.

 

도움말을 보니 multi modal proejctor 줄여서 mmproj 라..

/llama-b8925$ ./llama-server  --help load_backend: loaded RPC backend from /mnt/Downloads/llama-b8925/libggml-rpc.so load_backend: loaded Vulkan backend from /mnt/Downloads/llama-b8925/libggml-vulkan.so load_backend: loaded CPU backend from /mnt/Downloads/llama-b8925/libggml-cpu-haswell.so ----- common params ----- -h,    --help, --usage                  print usage and exit -hf,   -hfr, --hf-repo <user>/<model>[:quant]                                         Hugging Face model repository; quant is optional, case-insensitive,                                         default to Q4_K_M, or falls back to the first file in the repo if                                         Q4_K_M doesn't exist.                                         mmproj is also downloaded automatically if available. to disable, add                                         --no-mmproj                                         example: ggml-org/GLM-4.7-Flash-GGUF:Q4_K_M                                         (default: unused)                                         (env: LLAMA_ARG_HF_REPO) -hfd,  -hfrd, --hf-repo-draft <user>/<model>[:quant]                                         Same as --hf-repo, but for the draft model (default: unused)                                         (env: LLAMA_ARG_HFD_REPO) -hff,  --hf-file FILE                   Hugging Face model file. If specified, it will override the quant in                                         --hf-repo (default: unused)                                         (env: LLAMA_ARG_HF_FILE) -hfv,  -hfrv, --hf-repo-v <user>/<model>[:quant]                                         Hugging Face model repository for the vocoder model (default: unused)                                         (env: LLAMA_ARG_HF_REPO_V) -hffv, --hf-file-v FILE                 Hugging Face model file for the vocoder model (default: unused)                                         (env: LLAMA_ARG_HF_FILE_V) -hft,  --hf-token TOKEN                 Hugging Face access token (default: value from HF_TOKEN environment                                         variable) -mm,   --mmproj FILE                    path to a multimodal projector file. see tools/mtmd/README.md                                         note: if -hf is used, this argument can be omitted                                         (env: LLAMA_ARG_MMPROJ) -mmu,  --mmproj-url URL                 URL to a multimodal projector file. see tools/mtmd/README.md                                         (env: LLAMA_ARG_MMPROJ_URL) --mmproj-auto, --no-mmproj, --no-mmproj-auto                                         whether to use multimodal projector file (if available), useful when                                         using -hf (default: enabled)                                         (env: LLAMA_ARG_MMPROJ_AUTO) --mmproj-offload, --no-mmproj-offload   whether to enable GPU offloading for multimodal projector (default:                                         enabled)                                         (env: LLAMA_ARG_MMPROJ_OFFLOAD) --image-min-tokens N                    minimum number of tokens each image can take, only used by vision                                         models with dynamic resolution (default: read from model)                                         (env: LLAMA_ARG_IMAGE_MIN_TOKENS) --image-max-tokens N                    maximum number of tokens each image can take, only used by vision                                         models with dynamic resolution (default: read from model)                                         (env: LLAMA_ARG_IMAGE_MAX_TOKENS) -otd,  --override-tensor-draft <tensor name pattern>=<buffer type>,...                                         override tensor buffer type for draft model -cmoed, --cpu-moe-draft                 keep all Mixture of Experts (MoE) weights in the CPU for the draft                                         model                                         (env: LLAMA_ARG_CPU_MOE_DRAFT) -ncmoed, --n-cpu-moe-draft N            keep the Mixture of Experts (MoE) weights of the first N layers in the                                         CPU for the draft model

 

그래서 gemma4 저장소를 가봤더니 어라? 가장 아래 전에는 눈치채지 못하고 흘렸던 mmproj 라는 녀석이 있다.

[링크 : https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF/tree/main]

 

그래서 그걸 다운로드 하고 -mm 옵션을 주면

안되네!? 혹시나 해서 F16 으로 해주니 된다. 역시 falcon이 최고여(??? 응?)

$ ./llama-b8925/llama-server -m ./model/gemma/gemma-4-E4B-it-Q4_K_M.gguf -mm ./model/gemma/mmproj-BF16.gguf mtmd_init_from_file: error: mismatch between text model (n_embd = 2560) and mmproj (n_embd = 2816) hint: you may be using wrong mmproj srv    load_model: failed to load multimodal model, './model/gemma/mmproj-BF16.gguf' srv    operator(): operator(): cleaning up before exit... main: exiting due to model loading error

 

BF16 은 FP32 와 동일한 8bit 지수, F16은 5bit 지수

간단하게 BF16이 F16 보다 정밀도 면에서 좋다. 인데 하드웨어 지원이 안되면 무의미할테니 머.. 어쩔수 없나?

[링크 : https://g3lu.tistory.com/55]

 

+

gpt 왈 30 시리즈. ampere 부터 BF16을 지원한다고 한다.역시 3090 이런걸로 크게 갔어야 했나.. 쩝

 

아무튼 F16.gguf로 돌리니 images가 활성화 된다.

이미지가 커지면 토큰을 많이 먹는지 터지길래 조그많게 이미지 스샷 찍어서 시도 하니

먼가 분석을 시도한다 오오오!