Tradução automática

Os sistemas de tradução automática são aplicações ou serviços online que utilizam tecnologias de aprendizagem de máquinas para traduzir grandes quantidades de texto de e para qualquer um dos seus idiomas suportados. O serviço traduz uma "fonte" de texto de um idioma para um diferente "destino" idioma.

Embora os conceitos por trás da tecnologia de tradução de máquina e as interfaces para usá-lo são relativamente simples, a ciência e as tecnologias por trás dele são extremamente complexas e reunir várias tecnologias de ponta, em particular, a aprendizagem profunda ( inteligência artificial), grandes dados, linguística, computação em nuvem e APIs da Web.

Desde o início de 2010, uma nova tecnologia de inteligência artificial, profundas redes neurais (aka Deep Learning), permitiu que a tecnologia de reconhecimento de fala para atingir um nível de qualidade que permitiu que a equipe do tradutor da Microsoft para combinar o reconhecimento de voz com a sua tecnologia de tradução de texto principal para lançar uma nova tecnologia de tradução de fala.

Historicamente, a técnica de aprendizagem da máquina primária utilizada na indústria foi a tradução estatística de máquinas (SMT). SMT usa análise estatística avançada para estimar as melhores traduções possíveis para uma palavra dada o contexto de algumas palavras. SMT tem sido usado desde meados da década de 2000 por todos os principais provedores de serviços de tradução, incluindo a Microsoft.

O advento da tradução da máquina neural (NMT) causou uma mudança radical na tecnologia de tradução, resultando em traduções de qualidade muito maior. Esta tecnologia de tradução começou a implantar para usuários e desenvolvedores no última parte de 2016.

Ambas as tecnologias de tradução SMT e NMT têm dois elementos em comum:

1. Ambos requerem grandes quantidades de conteúdo pre-Human traduzido (até milhões de frases traduzidas) para treinar os sistemas.
2. Nem atuar como dicionários bilíngües, traduzir palavras baseadas em uma lista de traduções em potencial, mas traduzir com base no contexto da palavra que é usado em uma frase.

Tradutor e serviços de fala, parte do Serviços cognitivos coleção de APIs, são serviços de tradução automática da Microsoft.

O tradutor é utilizado por grupos Microsoft desde 2007 e está disponível como API para clientes desde 2011. O Translator é utilizado extensivamente dentro da Microsoft. Está incorporado em toda a localização de produtos, suporte e equipas de comunicação online. Este mesmo serviço é também acessível, sem custos adicionais, a partir de produtos conhecidos da Microsoft, tais como Bing, Cortana, Microsoft Edge, Escritório, Sharepoint, Skypee Yammer.

O tradutor pode ser usado em aplicações web ou clientes em qualquer plataforma de hardware e com qualquer sistema operacional para realizar traduções de idiomas e outras operações relacionadas ao idioma, como detecção de idiomas, texto para fala ou dicionário.

Aproveitando a tecnologia de descanso padrão da indústria, o desenvolvedor envia texto de origem (ou áudio para tradução de fala) para o serviço com um parâmetro indicando o idioma de destino, e o serviço envia de volta o texto traduzido para o cliente ou aplicativo da Web para usar.

O serviço Translator é um serviço Azure alojado em centros de dados Microsoft e beneficia da segurança, escalabilidade, fiabilidade e disponibilidade ininterrupta que outros serviços em nuvem da Microsoft também recebem.

A tecnologia de tradução de voz do tradutor foi lançada no final de 2014, começando com o Skype Translator, e está disponível como uma API aberta para os clientes desde o início de 2016. Ela está integrada ao recurso ao vivo do Microsoft Translator, ao Skype, à transmissão de reuniões do Skype e aos aplicativos do Microsoft Translator para Android e iOS.

A tradução de fala está agora disponível através da Microsoft Speech, um conjunto completo de serviços totalmente personalizáveis para reconhecimento de fala, tradução de fala e síntese de fala (texto-a-fala).

Há duas tecnologias principais usadas para a tradução do texto: o Legacy um, tradução estatística da máquina (SMT), e a geração mais nova uma, tradução da máquina neural (NMT).

A implementação da tradução automática estatística (SMT) do tradutor é construída com base em mais de uma década de pesquisa em linguagem natural na Microsoft. Em vez de escrever regras artesanais para traduzir entre línguas, os modernos sistemas de tradução abordam a tradução como um problema de aprendizagem da transformação do texto entre línguas a partir das traduções humanas existentes e aproveitando os avanços recentes nas estatísticas aplicadas e na aprendizagem automática.

Os chamados "corpora paralelos" agem como uma Pedra Rosetta moderna em proporções maciças, fornecendo traduções de palavras, frases e expressões idiomáticas em contexto para muitos pares de línguas e domínios. Técnicas de modelagem estatística e algoritmos eficientes ajudam o computador a resolver o problema da decifração (detectando as correspondências entre a língua de origem e a língua alvo nos dados de treinamento) e decodificação (encontrando a melhor tradução de uma nova frase de entrada). O tradutor une o poder dos métodos estatísticos com a informação linguística para produzir modelos que generalizem melhor e conduzam a traduções mais compreensíveis.

Devido a essa abordagem, que não depende de dicionários ou regras gramaticais, ele fornece as melhores traduções de frases onde ele pode usar o contexto em torno de uma determinada palavra versus tentar executar traduções de palavras simples. Para traduções de palavras simples, o dicionário bilíngüe foi desenvolvido e é acessível através www.Bing.com/Translator.

As melhorias contínuas na tradução são importantes. No entanto, as melhorias de desempenho têm sido planificadas com a tecnologia SMT desde meados dos anos 2010. Ao aproveitar a escala e o poder do supercomputador de IA da Microsoft, especificamente o Microsoft Cognitive Toolkit, o Translator oferece agora uma rede neural (LSTM) com base na tradução que possibilita uma nova década de melhoria da qualidade da tradução.

Estes modelos de redes neurais estão disponíveis para todas as línguas de fala através do serviço Speech no Azure e através da API de texto, usando a ID da categoria 'generalnn'.

As traduções de rede neural diferem fundamentalmente em como são executadas em comparação com as tradicionais SMT.

A animação a seguir retrata as várias etapas de traduções de rede neural passar para traduzir uma frase. Por causa desta aproximação, a tradução tomará no contexto a sentença cheia, contra somente algumas palavras que deslizam a janela que a tecnologia de SMT usa e produzirá mais traduções fluidas e Human-traduzidas olhando.

Com base no treinamento de rede neural, cada palavra é codificada ao longo de um vetor de 500 dimensões (a) representando suas características únicas dentro de um determinado par de idiomas (por exemplo, inglês e chinês). Com base nos pares de línguas utilizados para a formação, a rede neural irá definir o que estas dimensões devem ser. Eles poderiam codificar conceitos simples como gênero (feminino, masculino, neutro), nível de polidez (gíria, casual, escrita, formal, etc.), tipo de palavra (verbo, substantivo, etc.), mas também quaisquer outras características não óbvias derivadas dos dados de treinamento.

As etapas das traduções de rede neural passam são as seguintes:

No exemplo representado na animação, o modelo de dimensão 1000 de reconhecimento de contexto de "O"irá codificar que o substantivo (Casa) é uma palavra feminina em francês (La Maison). Isso permitirá a tradução apropriada para "O"ser"la"e não"Le"(singular, masculino) ou"Les"(plural) uma vez que atinge a camada decodificador (tradução).

O algoritmo de atenção também irá calcular, com base na (s) palavra (s) anteriormente traduzida (neste caso "O"), que a próxima palavra a ser traduzida deve ser o assunto ("Casa") e não um adjetivo ("Azul"). Em pode conseguir isto porque o sistema aprendeu que o inglês e o francês invertem a ordem destas palavras nas sentenças. Teria também calculado que se o adjetivo fosse "Grande"em vez de uma cor, que não deve invertê-los ("a casa grande"= >"la Grande Maison").

Graças a essa abordagem, a saída final é, na maioria dos casos, mais fluente e mais próximo de uma tradução humana do que uma tradução baseada em SMT poderia ter sido.

O tradutor também é capaz de traduzir a fala. Esta tecnologia é exposta no Translator live feature (http://translate.it), o tradutor apps, Tradutor Skype e também é inicialmente disponibilizado apenas através do recurso de Tradutor Skype e no Microsoft Translator apps em Ios e Android, esta funcionalidade está agora disponível para os desenvolvedores com a versão mais recente do Open API baseada em REST disponível no portal Azure.

Embora possa parecer um processo em linha reta em um primeiro olhar para construir uma tecnologia de tradução de fala a partir dos tijolos de tecnologia existentes, que exigiu muito mais trabalho do que simplesmente ligar um "tradicional" de reconhecimento de voz do homem-a-máquina existente motor para a tradução de texto existente um.

Para traduzir adequadamente o discurso "fonte" de um idioma para um idioma diferente "alvo", o sistema passa por um processo de quatro etapas.

1. Reconhecimento de voz, para converter o áudio em texto
2. TextoVerdadeiro: uma tecnologia Microsoft que normaliza o texto para torná-lo mais apropriado para a tradução
3. Tradução através do mecanismo de tradução de texto descrito acima, mas em modelos de tradução especialmente desenvolvidos para conversas faladas na vida real
4. Texto-para-fala, quando necessário, para produzir o áudio traduzido.

Reconhecimento automático de fala (ASR)
O ASR (reconhecimento automático de fala) é executado usando um sistema de rede neural (nn) treinado na análise de milhares de horas de fala áudio de entrada. Este modelo é treinado em interações humanos-para-humanos, em vez de humanos-a-máquina comandos, produzindo reconhecimento de voz que é otimizado para conversas normais. Para conseguir isto, muito mais dados são necessários assim como um DNN maior do que o ASRS humano-à-máquina tradicional.

Saiba mais sobre Discurso da Microsoft para serviços de texto.

TextoVerdadeiro
Enquanto os seres humanos que conversam com outros seres humanos, nós não falamos como perfeitamente, claramente ou ordenadamente como nós pensamos frequentemente que nós fazemos. Com a tecnologia TextoVerdadeiro, o texto literal é transformado para refletir mais de perto a intenção do usuário, removendo o Speech Interjeição (palavras de preenchimento), como "um" s, "Ah" s, "e" s, "Like" s, gagueja, e repetições. O texto também é feito mais legível e traduzido pela adição de quebras de sentença, Pontuação adequada e capitalização. Para alcançar esses resultados, usamos as décadas de trabalho em tecnologias linguísticas, desenvolvemos a partir de tradutor para criar TextoVerdadeiro. O diagrama a seguir retrata, através de um exemplo da vida real, a transformação de vários TextoVerdadeiro Opera para normalizar esse texto literal.

Tradução
O texto é então traduzido para qualquer um dos idiomas e dialetos apoiado pelo Translator.

Traduções usando a API de tradução de fala (como desenvolvedor) ou em um aplicativo ou serviço de tradução de fala, é alimentada com as mais recentes traduções baseadas em redes neurais para todas as linguagens com suporte a fala (consulte aqui para a lista completa). Esses modelos também foram construídos expandindo-se os modelos de tradução atuais, principalmente escritos, com texto mais falado para construir um modelo melhor para os tipos de traduções de conversação faladas. Estes modelos também estão disponíveis categoria padrão "Speech" da API de tradução de texto tradicional.

Para quaisquer idiomas não suportados pela tradução neural, a tradução tradicional de SMT é executada.

Texto à fala
Se o idioma de destino é um dos 18 suportados texto-para-fala Idiomas, e o caso de uso requer uma saída de áudio, o texto é então convertido em saída de voz usando síntese de fala. Esse estágio é omitido em cenários de conversão de texto.

Saiba mais sobre Texto da Microsoft para serviços de fala.

Veja os trabalhos de pesquisa mais recentes da equipe do Microsoft Translator.

• Tradução de máquina neural universal para linguagens de recursos extremamente baixas
• Alcançando a paridade humana no chinês automático à tradução inglesa da notícia
• Gênero Aware língua falada tradução aplicada ao inglês-árabe
• Dados sintéticos para a máquina neural tradução de spoken-dialects

Ver todas as publicações