O que exatamente é um Token? Entendendo a aula introdutória essencial para aprender sobre IA

1. Os grandes modelos de IA simplesmente não conseguem processar diretamente o texto original que inserimos, toda a primeira etapa do processamento é transformar o texto em Token
2. Em resumo, um Token é a menor unidade de processamento na qual o texto é dividido antes de ser alimentado ao modelo
3. Um Token pode ser uma palavra inteira, uma parte de uma palavra, um símbolo de pontuação, ou até mesmo um espaço em branco
4. Palavras comuns geralmente são divididas em apenas 1 Token, enquanto palavras longas ou pouco comuns costumam ser divididas em fragmentos menores, por exemplo, a codificação em inglês pode ser dividida em duas partes: encod+ing
5. Aqui vai uma referência geral de conversão: 1 Token corresponde aproximadamente a 4 caracteres em inglês, ou a 3/4 de uma palavra em inglês; porém, esse valor não é fixo, varia de acordo com o idioma e o tokenizador utilizado
6. O fluxo completo de processamento é assim: primeiro, o texto é segmentado em Tokens, depois cada Token é mapeado para um ID numérico correspondente, em seguida, o ID é convertido em um vetor que o modelo consegue reconhecer, e após esses três passos, o modelo começa oficialmente a processar seu conteúdo
7. Além disso, o que todos costumam ouvir como "janela de contexto" também é medido em Tokens — o limite máximo de Tokens na janela determina quantos conteúdos o modelo consegue "lembrar" em uma única interação
8. Por fim, um ponto que certamente interessa a todos: Token também é a unidade principal de cobrança na IA generativa, ou seja, o custo que pagamos ao usar IA é calculado com base na quantidade de Tokens utilizados

O que foi mencionado acima é apenas a ponta do iceberg, a lógica subjacente aos Tokens é muito mais interessante do que você imagina.