토큰화(Tokenization)

[k9425mino]

📆 일자: 26년 8월 5일(수)

이번 키워드 스터디 주제는 '토큰화(Tokenizaiton)'와 관련된 것들입니다.

🤔 Questions

1. 토큰(Token)이란 무엇이며, LLM은 왜 텍스트를 단어 단위가 아니라 토큰 단위로 쪼개서 처리하나요?

2. 토큰의 크기를 정하는 기준은 무엇인가요? 그리고 대표적인 토큰화 방식들을 소개해주세요.

3. 토큰 수가 많아지면 실제로 어떤 문제가 발생하며, 특히 한국어는 왜 이 문제에서 더 불리한가요?

[vvineey]

토큰은 무엇이며 LLM은 왜 텍스트를 토큰 단위로 처리하는가?

토큰(Token)이란 무엇이며, LLM은 왜 텍스트를 단어 단위가 아니라 토큰 단위로 쪼개서 처리하나요?

토큰이란?

토큰은 LLM이 텍스트를 읽고 계산할 때 사용하는 기본 처리 단위이다.
사람에게 입력은 문자열로 보이지만, 신경망은 문자열을 직접 계산할 수 없다. 따라서 토크나이저가 텍스트를 여러 토큰으로 나누고, 각 토큰을 어휘 사전에 등록한 정수 ID로 변환한다.

원문 텍스트
-> 정규화와 사전 분리 
-> 토큰화
-> 토큰 ID 변환
-> 임베딩 벡터 변환
-> Transfomer 처리
-> 다음 토큰의 확률 예측

왜 단어 단위가 아니라 토큰 단위로 처리하는가?

제한된 크기의 어휘 사전으로 모든 언어와 새로운 표현을 처리하면서, 입력 스퀸스 길이도 적절하게 유지하기 위해서이다.

밥 먹고 다시 수정할 거임

[k9425mino]

졸업하신 이 누님은 식사를 언제까지 하시나~

[9ga0]

1. 토큰(Token)이란 무엇이며, LLM은 왜 텍스트를 단어 단위가 아니라 토큰 단위로 쪼개서 처리하나요?

토큰(token)은 LLM이 텍스트를 읽고 생성할 때 사용하는 기본 처리 단위입니다. 반드시 단어나 글자 하나로 분리되는 것은 아니며, 공백이나 문장부호도 포함됩니다. 실제 분리 결과는 토크나이저(tokenizer)에 따라 달라집니다.

이처럼 LLM이 단어가 아닌 토큰을 사용했을 때의 장점(이유)을 다음 5가지로 설명할 수 있습니다.

• 어휘 수를 제한할 수 있습니다. 모든 단어, 활용형, 고유명사를 사전에 넣는 것은 불가능합니다.
• 처음 보는 단어도 표현 가능합니다.
• 의미 있는 문자열을 재사용 가능합니다.
• 글자 단위보다 시퀀스가 짧습니다(계산 효율이 좋습니다).
• 공백으로 단어 구분하지 않는 중국어처럼, 단어의 경계가 불명확한 언어도 다룰 수 있습니다.

즉 토큰화는 단어 단위의 거대한 사전과 글자 단위의 긴 입력 사이에서 균형을 잡는 방법입니다.

2. 토큰의 크기를 정하는 기준은 무엇인가요? 그리고 대표적인 토큰화 방식들을 소개해주세요.

토큰 크기에 영향을 주는 주요 요소는 다음과 같습니다.

• 학습 데이터에서 문자열이 등장하는 빈도
• 토크나이저의 전체 어휘 크기
• 학습 데이터의 언어별 비율
• 공백과 대소문자를 처리하는 방식
• Unicode 문자를 정규화하는 방식
• 문자 기반인지 바이트 기반인지 여부
• 압축 효율과 모델 성능 사이의 균형

대표적인 토큰화 방식)

방식	원리	특징
단어 토큰화	공백이나 형태소를 기준으로 단어 분리	이해하기 쉽지만 미등록 단어와 활용형에 취약
문자 토큰화	글자 하나를 토큰 하나로 사용	모든 단어를 표현할 수 있지만 시퀀스가 매우 길어짐
형태소 토큰화	어근과 조사·어미 등을 분석해 분리	한국어에 자연스럽지만 언어별 분석기가 필요
BPE	자주 함께 등장하는 작은 단위를 반복적으로 병합	GPT 계열 등에서 널리 사용되는 서브워드 방식
WordPiece	모델링 관점에서 유용한 문자열을 선택해 병합	BERT 계열에서 대표적으로 사용
Unigram	여러 분할 후보에 확률을 부여하고 적합한 조합 선택	SentencePiece에서 자주 사용
바이트 기반 토큰화	텍스트를 UTF-8 바이트 수준까지 분해 가능	미등록 문자가 사실상 없지만 일부 언어의 토큰 수가 늘 수 있음

3. 토큰 수가 많아지면 실제로 어떤 문제가 발생하며, 특히 한국어는 왜 이 문제에서 더 불리한가요?

토큰 사용량 많아지면 발생하는 문제)

• 컨텍스트 한도를 더 빨리 소모한다. (작업 끊길 가능성도)
• 입력이나 이전 대화가 잘릴 수 있다.
• 사용 비용 증가 (api가 입출력 토큰 수를 기준으로 과금하기 때문)
• 처리 시간 증가 (읽는 시간과 답변을 생성하는 시간이 증가)
• 메모리와 연산량이 증가합니다.
• 같은 컨텍스트 안에 담을 수 있는 정보량이 줄어든다.

토큰이 많으면 무조건 답변 품질이 낮아진다기 보다는 모델이 처리해야 할 시퀀스가 길어지고, 제한된 컨텍스트 안에서 정보 밀도가 낮아진다고 볼 수 있습니다.

만약 영어 중심으로 만들어진 토크나이저를 사용하는 경우 한국어 가 같은 의미를 전달하는 데 더 많은 토큰을 쓰기에 불리하다고 볼 수 있다.

1. 교착어적 특정
2. 영어 중심의 어휘 구성
   토크나이저의 어휘 크기는 제한되어 있고, 학습 데이터에 영어가 많으면 자주 등장하는 영어 문자열이 그 어휘의 큰 비중을 차지하게 되어, 한국어가 나타났을 때 더 잘게 분리되게된다.
3. UTF-8 바이트 수 차이
   ASCII 영어 문자는 보통 UTF-8에서 1바이트이지만, 한글 음절은 보통 3바이트를 차지하기 때문에 바이트 기반 토크나이저가 한 글자를 여러 바이트 조각으로 나누는 문제가 발생할 수 있습니다.
4. 띄어쓰기와 표기 변형
   한국어는 띄어쓰기 변형이 비교적 자주 발생하며, 같은 표현도 조사/어미/존댓말에 따라 형태가 다양합니다. 이러한 변형은 자주 반복되는 긴 토큰을 만들기 어렵게 합니다.

BERT?
BM25(Best Matching 25)?

오소 제출하고 올게요