BPE 토크나이저 바닥부터 만들기

목표

BPE 토크나이저를 라이브러리 없이 파이썬만으로 구현해, 학습부터 인코딩과 디코딩까지 한 사이클을 완성합니다.

왜 중요한가

토크나이저는 LLM 파이프라인에서 가장 먼저 실행되고 가장 적게 이해되는 부품입니다. 그런데 여기서 결정되는 것이 많습니다. 프롬프트 비용은 문자 수가 아니라 토큰 수로 매겨지고, 문맥 길이 제한도 토큰 단위입니다. 모델이 단어의 철자를 다루는 질문에 유독 약한 것도 토큰 경계가 문자 경계와 다르기 때문입니다.

직접 만들어 보면 이런 성질들이 추상적인 이야기가 아니라 구현의 자연스러운 귀결임을 알게 됩니다. 특히 마지막 단계에서 압축비를 재 보면, 한국어가 왜 영어보다 토큰을 많이 먹는지 숫자로 확인할 수 있습니다.

이 실습은 모델을 내려받지 않습니다. 인터넷도 GPU 도 필요 없습니다. 코퍼스는 실습 데이터베이스의 docs 표에 들어 있는 한국어 문서 30건입니다.

단계

작업 디렉터리는 /root/llm 입니다. 규칙을 정확히 지켜야 채점됩니다.

1. docs 표의 body 를 id 오름차순으로 한 줄씩 /root/llm/corpus.txt 에 저장합니다. 30줄입니다.
2. 코퍼스에 나오는 문자의 빈도를 /root/llm/char_freq.tsv 에 저장합니다. 문자<탭>빈도 형식이고 공백 문자는 세지 않습니다. 정렬은 빈도 내림차순, 같으면 문자 오름차순입니다.
3. 기본 어휘를 /root/llm/vocab_base.txt 에 한 줄에 하나씩 저장합니다. 코퍼스의 문자(공백 제외)에 단어 끝 표시 문자 _ 를 더한 집합을 코드포인트 오름차순으로 정렬합니다.
4. BPE 병합 규칙 120개를 /root/llm/merges.txt 에 저장합니다. 한 줄에 앞토큰 뒤토큰 을 공백으로 구분해 적습니다. 학습 규칙은 이렇습니다.

• 각 줄을 공백으로 나눠 단어를 만들고, 각 단어를 문자들 + ['_'] 리스트로 시작합니다.
• 매 단계에서 전체 단어에 걸쳐 인접 쌍의 빈도를 세고 가장 빈도가 큰 쌍을 병합합니다.
• 빈도가 같으면 (앞토큰, 뒤토큰) 튜플의 사전순이 작은 쌍을 고릅니다.
• 병합은 각 단어에서 왼쪽부터 겹치지 않게 적용합니다.

5. 최종 어휘를 /root/llm/vocab.tsv 에 토큰<탭>id 형식으로 저장합니다. 3번의 기본 문자를 순서대로 0번부터 넣고, 그다음 병합으로 생긴 토큰을 병합 순서대로 붙입니다.
6. 각 문서를 토큰 id 열로 바꿔 /root/llm/encoded.tsv 에 저장합니다. 한 줄에 docs.id<탭>id id id ... 형식이고 30줄입니다. 인코딩은 학습된 병합 규칙을 기록된 순서대로 적용합니다.
7. vocab.tsv 와 encoded.tsv 만으로 원문을 복원해 /root/llm/decoded.txt 에 저장합니다. 토큰을 이어 붙이고 _ 를 공백으로 바꾼 뒤 줄 끝 공백을 제거하면 원문과 같아야 합니다.
8. /root/llm/stats.tsv 에 한 줄로 문자수<탭>토큰수<탭>압축비 를 저장합니다. 문자 수는 코퍼스 각 줄의 길이 합(공백 포함), 토큰 수는 전체 토큰 개수, 압축비는 문자수를 토큰수로 나눠 소수점 세 자리로 반올림한 값입니다.

참고

• 코퍼스 추출: PGPASSWORD=lab psql -tA -h 127.0.0.1 -U lab -d labdb -c "select body from docs order by id"
• 파이썬만 씁니다. collections.Counter 는 편리하지만 필수는 아닙니다.
• 흔한 실수 1: 병합 동점 처리를 빠뜨리면 규칙 순서가 달라져 이후 단계가 전부 어긋납니다.
• 흔한 실수 2: 단어 끝 표시를 빼면 디코딩할 때 공백을 복원할 수 없습니다.

단계 8개

1. 코퍼스 내려받기
2. 문자 빈도 세기
3. 기본 문자 어휘 만들기
4. 병합 규칙 120개 학습하기
5. 최종 어휘 사전 만들기
6. 문서를 토큰 id 열로 바꾸기
7. id 열만으로 원문 복원하기
8. 압축비 계산하기