말뭉치, 코퍼스(corpus)

아이씨 자꾸 쿠퍼스로 보임

이게 토큰으로 간주해야 하는 건가.. 아닌가.. 다른 분류의 단어인가..

 

자연언어 연구를 위해 특정한 목적을 가지고 언어의 표본을 추출한 집합이다.

[링크 : https://ko.wikipedia.org/wiki/말뭉치]

 

클로드 답변은 아래와 같다.

음.. 아무튼 글이니까 (말뭉치) 그 일부는 토큰으로 이뤄지는게 맞을지도?

코퍼스가 토큰인가   아닙니다. 코퍼스는 글이고, 토큰은 그 글을 잘게 나눈 조각입니다.      위키 문서들 = 코퍼스 (글)  →  토크나이저  →  토큰 번호의 나열 = 토큰화된 코퍼스   train.txt (5.56억 글자)                      train.bin (2.43억 토큰)      - 코퍼스: 책 한 권씩이 쌓인 도서관에 해당합니다.   - 토큰: 그 책을 낱말 카드로 잘라 놓은 것에 해당합니다.    - 크기 표시: 코퍼스의 크기는 글자 수나 토큰 수 둘 다로 말합니다. 우리 코퍼스는 5.56억 글자이고, 이 토크나이저로는 2.43억 토큰입니다. 그래서     "코퍼스가 2.43억 토큰"이라고 말하는 건 "토큰으로 센 크기"라는 뜻입니다.   - 학습에 들어가는 형태: 모델은 글을 직접 읽지 못하고 토큰 번호만 받습니다.