llama.cpp -ts 옵션

gpu가 2개다 보니

기본값으로 반띵하면 이상하게 gpu0번에 메모리가 부족하고 gpu1번에는 1기가 넘게 남고 그러다 보니

그 비율을 조절해서 gpu1에 조금더 할당할 방법이 없나 해서 찾는 중

 

llama-b10145$ ./llama-cli --help | grep tensor-split -ts,   --tensor-split N0,N1,N2,...      fraction of the model to offload to each GPU, comma-separated list of