#82- BitNet, Transformers com 1 bit.

30/05/2024 10 min

Ouvir "#82- BitNet, Transformers com 1 bit."

Sinopse do Episódio

Fala galera, nesse episódio eu falo de 2 papers, BitNet e 1.58 Transformers. Esses 2 papers da Microsoft apresentar uma nova receita de como treinar Transformers com apenas 1 bit, diminuindo muito o consumo de memória e energia, assim como o tempo de inferencia.


BitNet paper: https://arxiv.org/pdf/2310.11453
1.58 bit paper: https://arxiv.org/pdf/2402.17764
Instagram do podcast: https://www.instagram.com/podcast.lifewithai
Linkedin do podcast: https://www.linkedin.com/company/life-with-ai