llama-swap v247, load test

228 쓰다가 247로 넘어왔는데 단정하게 변경되었고

 

performance 쪽은 228 과 크게 변경점은 없는 느낌

 

load test가 가장 마음에 드네. 보는 법은 잘 모르겠다. 왜 reasoning으로 뜨지?

 

길게 생성하게 하고 몇버하게 해서 통계내봐야 할듯.

 

아무튼 모델에 토큰 길이 까지 넣어서 하면 테스트 하기는 엄청 편할 것 같다.

[링크 : https://github.com/mostlygeek/llama-swap]