#60 - Como entrar o texto no seu modelo? Entendendo tokenizers.

01/12/2022 15 min

Ouvir "#60 - Como entrar o texto no seu modelo? Entendendo tokenizers."

Descargar episodio Ver en sitio original

Sinopse do Episódio

Fala galera, nesse episódio eu explico como funcionam os tokenizers. Eles basicamente possibilitam a gente entrar texto em algoritmos de NLP como BERT ou GPT. No episódio eu explico 3 tipos de tokenizers, baseado em palavra, baseado em caracteres e baseado e uma representação de sub-palavras.

Instagram: https://www.instagram.com/podcast.lifewithai/
Linkedin: https://www.linkedin.com/company/life-with-ai
Huuging Face blog sobre tokenizers: https://huggingface.co/docs/transformers/tokenizer_summary

Mais episódios do podcast Vida com IA

#131- Qual a diferença entre um LLM, um workflow e um agente? 02/10/2025

#130- A diferença de uma IA para um algoritmo. 25/09/2025

#129- Solução vencedora do Kaggle com Carlos Eduardo. 18/09/2025

#128- Embeddings e vetores de alta dimensão. 04/09/2025

#127- Como eu uso vibe coding e Cursor. 28/08/2025

#126- Contratações milionárias na Meta. 21/08/2025

#125- GPT5. 14/08/2025

#124- Empreendedorismo em IA desde 2011 com Rodrigo Scotti da Nama. 07/08/2025

#123- Como a Alexa funciona? 31/07/2025

#122- IA na neurociência com Daniele de Mari da Neurogram. 17/07/2025

Ver todos los episodios