LLM 지식 증류(knowledge distilation), lora

어? Stale diffusion 에서 들었던 lora가 나오네? stable diffusion 만의 기술은 아니었나 보다.

그나저나 돌려볼 엄두도 안나긴 하지만.. 코드가 잘 보이지 않네. 한번 시도는 해보고 싶은디.

 

LoRA - Low Rank Adaptation

QLoRA - Quantized LoRa

[링크 : https://wikidocs.net/293565]

[링크 : https://news.hada.io/topic?id=28211]

[링크 : https://littlefoxdiary.tistory.com/m/134]