redes neurais de transdução de sequências baseadas em atenção

metodos, sistemas e aparelho, incluindo programas de computador codificados em um meio de armazenamento em computador, para gerar uma sequencia de saidas a partir de uma sequencia de entradas. em um aspecto, um dos sistemas inclui uma rede neural codificadora configurada para receber a sequencia de entradas e gerar representacoes codificadas das entradas de rede, a rede neural codificadora compreendendo uma sequencia de uma ou mais sub-redes codificadoras, cada sub-rede codificadora configurada para receber uma respectiva entrada de sub-rede codificadora para cada uma das posicoes de entrada e para gerar uma respectiva saida de sub-rede para cada uma das posicoes de entrada, e cada sub-rede codificadora compreendendo: uma subcamada de autoatencao codificadora que e configurada para receber a entrada de sub-rede para cada uma das posicoes de entrada e, para cada posicao especifica de entrada na ordem de entrada: aplicar um mecanismo de atencao sobre as entradas de sub-redes codificadoras usando uma ou mais consultas obtidas a partir da entrada de sub-rede codificadora na posicao especifica de entrada.