O artigo “Attention Is All You Need”, publicado por pesquisadores do Google em 2017, foi um marco na história da IA de linguagem ao apresentar a arquitetura Transformer. Esse modelo abandonou as limitações das redes neurais recorrentes (RNNs) ao:
Assinale a alternativa correta>
a.
Basear-se exclusivamente em regras linguísticas pré-programadas, ignorando o contexto global das frases.
b.
Restringir o modelo ao domínio de tradução automática, sem aplicação em outras tarefas de linguagem.
c.
Utilizar mecanismos de atenção autorregressiva, permitindo que o modelo “observe” simultaneamente todas as partes da frase.
d.
Exigir uma análise palavra por palavra em sequência, dificultando a identificação de dependências de longo prazo.
e.
Depender de redes neurais convolucionais (CNNs) para processar palavras com maior profundidade contextual.
