다음을 통해 공유


토큰이란?

토큰은 입력 텍스트를 더 작은 세그먼트로 분할하여 생성된 작은 텍스트 청크입니다. 이러한 세그먼트는 단어 또는 문자 그룹일 수 있으며 한 문자에서 전체 단어까지 길이가 다를 수 있습니다. 예를 들어 단어 hamburger는 ham, bur, ger 등의 토큰으로 나뉘며, pear와 같은 짧고 일반적인 단어는 단일 토큰으로 간주됩니다. GPT-3.5 또는 GPT-4와 같은 LLM(대규모 언어 모델)은 처리를 위해 단어를 토큰으로 분리합니다.