transformer

programação

O desenho de rede neural de 2017 que tornou práticos os modelos de linguagem modernos, baseado em autoatenção.

Apresentado num artigo do Google intitulado 'Attention Is All You Need'. Sua vantagem sobre o que veio antes é processar uma sequência inteira em paralelo em vez de um token por vez, o que tornou viável treinar em texto na escala da internet. Todo modelo de linguagem grande em uso hoje é descendente dele.

Também conhecido como: attention is all you need, self-attention

← Todos os verbetes do glossário