# Estudos # Estudo - Hugging Face # Agents # Tokens em Modelos de Linguagem e sua Importância para Agentes de IA ## 1. O que são tokens Tokens são as menores unidades de texto que um modelo de linguagem consegue processar. Um texto como: ``` "Aprender IA é incrível!" ``` Pode ser transformado em algo como: ``` ["Aprender", " IA", " é", " incrível", "!"] ``` Ou até em pedaços menores, dependendo do modelo. ****Importante:**** O modelo não entende palavras diretamente — ele entende ****tokens****. --- ## 2. Tipos de tokens ### 2.1 Tokens comuns (tokens de texto) São os tokens que representam conteúdo normal: - palavras - partes de palavras - pontuação Exemplo: ``` "inteligência"→ ["inteli", "gência"] ``` --- ### 2.2 Tokens especiais São tokens que ****não representam texto comum****, mas sim ****estrutura ou controle****. Eles funcionam como instruções internas para o modelo. --- ## 3. Principais tipos de tokens especiais ### 3.1 BOS (Beginning Of Sequence) Indica o início da entrada. ``` ``` Serve para avisar ao modelo: > "Aqui começa o conteúdo" --- ### 3.2 EOS (End Of Sequence) Indica o fim da geração. ``` ``` Função: - Diz ao modelo quando parar - Evita geração infinita ****Analogia:**** É como o ponto final de uma frase, mas com poder de encerrar completamente a resposta. --- ### 3.3 PAD (Padding) Usado para completar sequências até um tamanho fixo. ``` ``` Muito usado em treinamento. --- ### 3.4 Tokens de papel (role tokens) Usados em chats: ``` ``` Servem para indicar: - quem está falando - contexto da conversa --- ### 3.5 Tokens delimitadores Alguns modelos usam formatos próprios: ``` [INST] ... [/INST] ``` ou ``` ... ``` Eles delimitam blocos de instrução. --- ## 4. Como isso funciona em um modelo de chat Por trás de uma conversa simples, o modelo recebe algo como: ``` Você é um assistente útil O que é IA? ``` O modelo então completa: ``` IA é o campo da computação que... ``` --- ## 5. Por que tokens especiais são importantes ### 5.1 Estrutura da conversa Sem tokens especiais: ``` Usuário: Oi Assistente: Olá Usuário: Tudo bem? ``` Para o modelo isso vira um texto confuso. Com tokens: ``` Oi Olá Tudo bem? ``` Agora há estrutura clara. --- ### 5.2 Controle da geração O token `` permite: - parar respostas automaticamente - evitar loops infinitos - melhorar performance --- ### 5.3 Definição de comportamento O token `` pode mudar completamente o modelo: ``` Seja formal ``` Isso altera o estilo da resposta. --- ### 5.4 Compatibilidade entre modelos Cada modelo tem seu próprio formato. Exemplo: - Llama → usa `[INST]` - OpenAI → usa roles (system/user/assistant) - Outros → usam JSON interno Por isso existem ****chat templates****: > eles adaptam a entrada para o formato correto do modelo --- ## 6. Importância para agentes de IA Agentes de IA dependem fortemente desses tokens porque: ### 6.1 Mantêm contexto Permitem separar: - instruções - histórico - respostas --- ### 6.2 Controlam comportamento O agente pode: - mudar personalidade - seguir regras - executar tarefas específicas Tudo via estrutura de tokens. --- ### 6.3 Evitam ambiguidade Sem tokens especiais, o modelo pode: - confundir quem está falando - responder de forma incoerente --- ### 6.4 Permitem automação Ferramentas, memória e raciocínio estruturado dependem de: - delimitação clara - início/fim de blocos - controle de geração --- ## 7. Insight avançado Tokens especiais são uma forma de: > "programar o modelo usando texto" Eles funcionam como uma camada de controle sem precisar alterar o código do modelo. --- ## 8. Conclusão - Tokens são a base do funcionamento dos LLMs - Tokens especiais organizam e controlam o comportamento - O token EOS é essencial para indicar o fim da resposta - Em agentes de IA, eles são fundamentais para: - contexto - estrutura - controle - previsibilidade # Pensamento-Ação-Observação: ReAct