토큰이란?

토큰은 입력 텍스트를 더 작은 세그먼트로 분할하여 생성된 작은 텍스트 청크입니다. 이러한 세그먼트는 단어 또는 문자 그룹일 수 있으며 한 문자에서 전체 단어까지 길이가 다를 수 있습니다. 예를 들어 단어 hamburger는 ham, bur, ger 등의 토큰으로 나뉘며, pear와 같은 짧고 일반적인 단어는 단일 토큰으로 간주됩니다. GPT-3.5 또는 GPT-4와 같은 LLM(대규모 언어 모델)은 처리를 위해 단어를 토큰으로 분리합니다.

관련 콘텐츠

• 벡터 데이터베이스란?
• RAG(검색 증강 생성)
• Azure Cosmos DB NoSQL의 벡터 데이터베이스
• Azure Cosmos DB for MongoDB의 벡터 데이터베이스
• 벡터 검색이란?
• 벡터 포함
• 거리 함수
• kNN 및 ANN 벡터 검색 알고리즘