🡄Ir a los glosarios

Palabra de glosario

Self-attention (Autoatención)

Es un mecanismo clave en las arquitecturas de modelos de lenguaje, como los transformers. La autoatención permite que el modelo dé diferentes niveles de importancia a diferentes partes de la entrada del modelo. En lugar de depender únicamente de conexiones fijas, cada elemento de entrada puede ponderarse dinámicamente en función de su relevancia para la tarea en cuestión. Este mecanismo ha demostrado ser especialmente efectivo para capturar relaciones a largo plazo en datos secuenciales, como en el procesamiento del lenguaje natural.