#60 - Como entrar o texto no seu modelo? Entendendo tokenizers.

01/12/2022 15 min

Ouvir "#60 - Como entrar o texto no seu modelo? Entendendo tokenizers."

Descargar episodio Ver en sitio original

Sinopse do Episódio

Fala galera, nesse episódio eu explico como funcionam os tokenizers. Eles basicamente possibilitam a gente entrar texto em algoritmos de NLP como BERT ou GPT. No episódio eu explico 3 tipos de tokenizers, baseado em palavra, baseado em caracteres e baseado e uma representação de sub-palavras.

Instagram: https://www.instagram.com/podcast.lifewithai/
Linkedin: https://www.linkedin.com/company/life-with-ai
Huuging Face blog sobre tokenizers: https://huggingface.co/docs/transformers/tokenizer_summary

Mais episódios do podcast Vida com IA

#140- A corrida dos LLMs. 11/12/2025

#139- A história da DeepMind e Demis Hassabis com Fabrício Carraro. 04/12/2025

#138- Nano Banana Pro e a evolução dos modelos de imagem. 27/11/2025

#137- Dicas de prompt. 20/11/2025

#136- Reinforcement Learning. 13/11/2025

#135- IA e estudos, como se manter atualizado! 06/11/2025

#134- DeepSeek OCR é bom mesmo?? 30/10/2025

#133- A diferença dos benchmarks da literatura para os problemas da indústria. 23/10/2025

#132- História dos LLMs. 16/10/2025

#131- Qual a diferença entre um LLM, um workflow e um agente? 02/10/2025

Ver todos los episodios