ollama cpu only

구차니 2026. 4. 11. 09:20

gpu 사용할 갯수를 0으로 정해주는 것으로 우회는 가능하다는데

앱에서는 안되고

cli 에서만 되는 듯.

C:\>ollama
>>> /set parameter num_gpu 0
Set parameter 'num_gpu' to '0'
>>> Send a message (/? for help)

해보니 GPU 메모리 사용량이 떨어지고, 응답중인데 GPU Load가 올라가지 않는다.