RoPE - Rotary Position Embedding

LLM 학습해보려는데 이상한 말이 나와서 -ㅁ-

클로드 님께서 말씀하시길~~~

5. 어텐션이 모르는 것: 순서    어텐션은 토큰의 위치를 모릅니다. 그래서 RoPE로 Q와 K를 위치에 따라 회전시켜서 토큰 간 거리가 점수에 반영되게 합니다.

 

그래서 자연스럽게 문장이 구성되게 되는건가?

[링크 : https://mari970.tistory.com/49]

[링크 : https://ai-with-sudal-ee.tistory.com/9]

[링크 : https://railly-linker.tistory.com/169]

 

아무튼 셀프 어텐션과, 플래시 어텐션이 비슷한건줄 아랐는데

플래시 어텐션은 경량으로 도는거(파스칼에서 지원안하는)

셀프 어텐션이 입력 받고 출력 나오고 그걸 다시 돌려서 다음 단어를 추측하는 가장 핵심인거

그리고 셀프 어텐션 변경해서 MHA GQA MQA 등이 있나본데 아래의 약자인가 보다.

MHA - Multi-Head Attention

MQA - Multi-Query Attention

GQA - Grouped-Query Attention