Fala galera, nesse episódio eu finalmente explico a rede Transformers! O artigo Attention is all you need que propos o modelo de Transformer foi revolucionário para o domínio de NLP e agora também está revolucionando todos as áreas de Deep Learning. No episódio eu explico o modelo de atenção, self-attention e multi-head attention para ambos Encoder e Decoder, além do famoso positional encoding. Vão lá escutar o episódio porque ele ficou muito bom! 
Original paper: https://arxiv.org/pdf/1706.03762.pdf 
Self-attention GitHub code: https://github.com/filipelauar/projects/blob/main/self_attention.ipynb   
YouTube video explaining the architecture: https://www.youtube.com/watch?v=TQQlZhbC5ps 
Nice blog post with code 1: http://peterbloem.nl/blog/transformers 
Nice blog post with code 2: https://nlp.seas.harvard.edu/2018/04/03/attention.html 
Instagram: https://www.instagram.com/podcast.lifewithai/ 
Linkedin: https://www.linkedin.com/company/life-with-ai

Ver todos los episodios