What are transformers in Artificial Intelligence?/¿Qué son los transformers en Inteligencia Artificial?

Source
In little more than a decade, artificial intelligence has left us all amazed with its feats, first demonstrating its amazing ability to calculate by beating the best chess players in the world to end up becoming the world champion of Go, a millennial strategic game that no longer It can be won through brute force and requires a kind of "intuition."

En poco más de una década la inteligencia artificial nos ha dejado a todos alucinados con sus proezas, primero demostrando su asombrosa capacidad de cálculo batiendo a los mejores ajedrecistas del mundo para terminar convirtiéndose en campeona del mundo de Go, un juego estratégico milenario que ya no se puede ganar a base de fuerza bruta y requiere una especie de "intuición".

Later, with convolutional networks (CNN) and adversary networks (GAN), the AI showed us its ability to manipulate images by identifying all kinds of objects by their appearance, creating images of non-existent faces or generating fake news that they made us all hesitate until you know the solution.

Mas tarde con las redes convolucionales(CNN) y las redes adversarias(GAN) la IA nos demostró su capacidad de manipulación de las imágenes identificando toda clase de objetos por su apariencia, creando imágenes de rostros inexistentes o generando noticias fake que a todos nos hicieron dudar hasta conocer la solución.

But when it comes to language things get complicated, if we want to translate a text from one language to another, for example, it is not enough to recognize the words and replace the words of one language with the other, in this case the order of the words is essential, It is not the same to say "Juan eats fish" as "fish eats Juan."

Pero cuando se trata del lenguaje la cosa se complica, si queremos por ejemplo traducir un texto de un idioma a otro no basta con reconocer las palabras y sustituir las de un idioma por el otro, en este caso el orden de las palabras es esencial, no es lo mismo decir "Juan come pescado" que "pescado come Juan".

Source
Much more complex even when it comes to translating paragraphs that, in addition, we have to remember in some way the gender and number of the words to make sense of the sentences, all this would be impossible to do with existing neural networks and that is why in 2017 In Google Labs, Transformers are born.

Mucho más complejo aún cuando se trata de traducir párrafos que, además, hemos de recordar de alguna manera el genero y número de las palabras para dar sentido a las oraciones, todo esto sería imposible de hacer con las redes neuronales existentes y por eso en 2017 en los laboratorios de Google, nacen los transformers.

There are basically three characteristics that define transformers compared to other neural networks:

• ** Positional encodings **
  Transformers assign each word a value with the position it occupies in the sentence, although at the beginning that information provides little information at the beginning as the Transformer analyzes sentences and their encodings to learn to process this information effectively.

• Attention
  Although it is something much more complex, we can roughly say that the transformer "looks" at the weight of each word in the complete sentence and produces a kind of heat map before making the decision to translate the sentence.

Básicamente existen tres características que definen a los transformes frente a otras redes neuronales:

• Codificaciones posicionales
  Los transformers asignan a cada palabra un valor con la posición que ocupa en la oración, si bien al principio ese dato aporta poca información al principio a medida que el transformer va analizando oraciones y sus codificaciones aprende a procesar esta información de forma eficaz.

• Atención
  Aunque es algo mucho más complejo podremos decir grosso modo que el transformer "mira" el peso de cada palabra en la oración completa y elabora una especie de mapa de calor antes de tomar la decisión de traducir la sentencia.

Source

• ** Self-Attention "**
  Through this process, the system is able to deduce the definition of a word from the context based on the rest of the words in the phrase, a marathon runner does not translate the same or have the same meaning as a bookmaker, even though they are both runners. and at one point they sweat the same thing.

• Auto-Atención"
  Mediante este proceso el sistema es capaz de deducir por el contexto la definición de una palabra en función del resto de palabras de la frase, no se traduce igual ni tiene el mismo significado un corredor de maratón que un corredor de apuestas aunque los dos sean corredores y en un momento dado suden lo mismo.

These three characteristics are what make it possible for models like GPT-3 to be able to follow a conversation better than many humans or for DALL-E to be able to create an image from a text definition with an astonishing definition or that these systems be able to create even computer code.

Estas tres características son las que hacen posible que modelos como GPT-3 sean capaces de seguir una conversación mejor que muchos humanos o que DALL-E sea capaz de crear una imagen a partir de una definición de texto con una definición pasmosa o que estos sistemas sean capaces de crear incluso código de ordenador.

More information/Más información
https://towardsdatascience.com/transformers-explained-understand-the-model-behind-gpt-3-bert-and-t5-cdbf3fc8a40a
https://hubert0527.github.io/COCO-GAN/