Interesante explicación de los transformers en Deep Learning

Esto un tema que creo que es importante que los profesionales lo entiendan porque representa un cambio real en el procesamiento del lenguaje natural, como si tuviera 12 meses, pero es una de esas cosas que es increíblemente significativa en el campo, y es el avance que los Transformadores introducen en el campo del reconocimiento de lenguaje natural.

Leo Dirac (@leopd) habla de cómo los modelos LSTM para el Procesamiento del Lenguaje Natural (PNL) han sido prácticamente reemplazados por modelos basados en transformadores. Conocimientos básicos sobre PNL, y una breve historia de las técnicas de aprendizaje supervisado de documentos, desde la bolsa de palabras, a través de RNNs de vainilla y LSTM. Luego hay una inmersión técnica profunda en cómo funcionan los transformadores con auto-atención de múltiples cabezas, y codificación posicional. Incluye código de muestra para aplicar estas ideas a proyectos del mundo real.