토크나이저

클로드에서 LLM 의 토크나이저 관련해서 물어보니 뱉어준 대답

Unigram / BPE / trie MaxMatch

 

trie-based search... ? WordPiece?

[링크 : https://www.emergentmind.com/topics/wordpiece-model]

 

Unigram / BPE / WordPiece 은 알고리즘이고 SentencePiece는 툴킷이라고

BPE - Byte Pair Encoding

WordPiece - BERT 계열에서 사용하는 BPE 와 유사한

Unigram - 역방향 접근

[링크 : https://velog.io/@aiengineer/토큰-완전-입문-4.-토큰화-알고리즘-완벽-정리-BPEWordPieceUnigram의-차이와-SentencePiecetiktoken의-정체]

 

+

BERT - Bidirectional Encoder Representations from Transformeres / 구글 2018 / 자연어 처리모델

[링크 : https://namu.wiki/w/BERT]