gpu 사용할 갯수를 0으로 정해주는 것으로 우회는 가능하다는데

 

앱에서는 안되고

 

cli 에서만 되는 듯.

C:\>ollama
>>> /set parameter num_gpu 0
Set parameter 'num_gpu' to '0'
>>> Send a message (/? for help)

 

해보니 GPU 메모리 사용량이 떨어지고, 응답중인데 GPU Load가 올라가지 않는다.

 

[링크 : https://github.com/ollama/ollama/issues/1046]

Posted by 구차니