ollama /set parameter num_gpu 테스트

그냥 처음에 하면 GPU 100% 하더니, cpu로 돌렸다가 다시 gpu로 하면 gpu 100%가 안된다. 

버근가?

i5-7500 / 1060 6GB

C:\> ollama run  gemma3:1b --verbose >>> 안녕? 안녕하세요! 어떻게 지내세요? 😊 무엇을 도와드릴까요? total duration:       811.2763ms load duration:        282.8154ms prompt eval count:    12 token(s) prompt eval duration: 95.1406ms prompt eval rate:     126.13 tokens/s eval count:           18 token(s) eval duration:        375.8591ms eval rate:            47.89 tokens/s >>> 안녕? 안녕하세요! 저는 잘 지내고 있어요. 당신은요? 😊 무엇을 도와드릴까요? total duration:       648.8691ms load duration:        265.7547ms prompt eval count:    42 token(s) prompt eval duration: 28.3879ms prompt eval rate:     1479.50 tokens/s eval count:           24 token(s) eval duration:        329.6217ms eval rate:            72.81 tokens/s

C:\>ollama ps NAME         ID              SIZE      PROCESSOR    CONTEXT    UNTIL gemma3:1b    8648f39daa8f    1.4 GB    100% GPU     32768      4 minutes from now

>>> /set parameter num_gpu 0 Set parameter 'num_gpu' to '0'

>>> 안녕? 안녕! 너도 잘 지내고 있니? 혹시 오늘 하루가 즐거웠어? 😊 total duration:       3.6674907s load duration:        1.9437334s prompt eval count:    78 token(s) prompt eval duration: 777.1942ms prompt eval rate:     100.36 tokens/s eval count:           24 token(s) eval duration:        849.8989ms eval rate:            28.24 tokens/s >>> 안녕? 안녕! 당신도 잘 지내고 있니? 😊 오늘 하루는 어땠어? total duration:       1.1887933s load duration:        279.7522ms prompt eval count:    114 token(s) prompt eval duration: 147.417ms prompt eval rate:     773.32 tokens/s eval count:           21 token(s) eval duration:        747.8409ms eval rate:            28.08 tokens/s

C:\>ollama ps NAME         ID              SIZE      PROCESSOR    CONTEXT    UNTIL gemma3:1b    8648f39daa8f    1.4 GB    100% CPU     32768      4 minutes from now

>>> /set parameter num_gpu 1 Set parameter 'num_gpu' to '1'

>>> 안녕? 안녕! 😊 혹시 무슨 일 도와줄까? total duration:       2.5497022s load duration:        1.8405152s prompt eval count:    147 token(s) prompt eval duration: 184.0551ms prompt eval rate:     798.67 tokens/s eval count:           13 token(s) eval duration:        466.5569ms eval rate:            27.86 tokens/s >>> 안녕? 안녕하세요! 😊 저는 질문에 답하거나, 이야기하거나, 간단한 작업도 할 수 있어요. 뭐 하고 싶으세요? total duration:       1.5155845s load duration:        259.3218ms prompt eval count:    172 token(s) prompt eval duration: 154.1147ms prompt eval rate:     1116.05 tokens/s eval count:           27 token(s) eval duration:        1.0838799s eval rate:            24.91 tokens/s

C:\>ollama ps NAME         ID              SIZE      PROCESSOR          CONTEXT    UNTIL gemma3:1b    8648f39daa8f    1.4 GB    88%/12% CPU/GPU    32768      4 minutes from now

 

 

ryzen 7 5800U

C:\>ollama run  gemma3:1b --verbose >>> 안녕 안녕하세요! 무엇을 도와드릴까요? 😊 (Hello! How can I help you?) total duration:       793.3831ms load duration:        201.815ms prompt eval count:    11 token(s) prompt eval duration: 29.5206ms prompt eval rate:     372.62 tokens/s eval count:           21 token(s) eval duration:        542.3267ms eval rate:            38.72 tokens/s >>> 안녕 안녕하세요! 어떻게 지내세요? (Hello! How are you?) total duration:       671.5321ms load duration:        190.6399ms prompt eval count:    43 token(s) prompt eval duration: 89.6751ms prompt eval rate:     479.51 tokens/s eval count:           15 token(s) eval duration:        375.0155ms eval rate:            40.00 tokens/s

>>> /set parameter num_gpu 0 Set parameter 'num_gpu' to '0'

C:\>ollama ps NAME         ID              SIZE      PROCESSOR    CONTEXT    UNTIL gemma3:1b    8648f39daa8f    1.2 GB    100% GPU     4096       4 minutes from now

>>> 안녕 안녕! 뭐 하고 있어? (Hello! What are you doing?) total duration:       2.0119944s load duration:        1.1545976s prompt eval count:    69 token(s) prompt eval duration: 374.8309ms prompt eval rate:     184.08 tokens/s eval count:           16 token(s) eval duration:        409.694ms eval rate:            39.05 tokens/s >>> 안녕 안녕하세요! 잘 지내고 있어요. 😊 You too? total duration:       622.6248ms load duration:        201.06ms prompt eval count:    96 token(s) prompt eval duration: 85.2311ms prompt eval rate:     1126.35 tokens/s eval count:           13 token(s) eval duration:        327.0978ms eval rate:            39.74 tokens/s

C:\>ollama ps NAME         ID              SIZE      PROCESSOR    CONTEXT    UNTIL gemma3:1b    8648f39daa8f    1.2 GB    100% CPU     4096       4 minutes from now

>>> /set parameter num_gpu 1 Set parameter 'num_gpu' to '1'

>>> 안녕? 네, 안녕! 😊 (Yes, hello! 😊) total duration:       3.0154671s load duration:        1.72869s prompt eval count:    241 token(s) prompt eval duration: 763.2999ms prompt eval rate:     315.73 tokens/s eval count:           14 token(s) eval duration:        464.0939ms eval rate:            30.17 tokens/s

C:\>ollama ps NAME         ID              SIZE      PROCESSOR         CONTEXT    UNTIL gemma3:1b    8648f39daa8f    1.2 GB    93%/7% CPU/GPU    4096       4 minutes from now