U studenom 2016, Microsoft je donio korist od AI-powered stroj prevođenja, zvani neuro Machine prevođenja (NMT), programeri i krajnjim korisnicima podjednako. prošli tjedan Microsoft je donio sposobnost NMT-a na rub oblaka na korištenje NPU-a, procesori koji je posvećen AI- Mate 10, Huawei-jev najnoviji zapovjedni telefon. Novi čip čini AI-powered prijevode dostupne na uređaju čak i ako nema pristupa internetu, omogućujući sustavu da proizvodi prijevode čija je kvaliteta u vezi s internetom sustava.

Za postizanje tog otkrića, istraživači i inženjeri iz Microsofta i Huawei surađivali su u prilagodbi neuralnog prijevoda ovom novom računalnom okruženju.

Najnapredniji sustavi NMT-a koji se trenutno nalaze u proizvodnji (tj. koriste se na ljestvici u oblaku od strane poduzeća i aplikacija) koriste strukturu neuronske mreže koja kombinira više slojeva Mreže, algoritam pažnje, i prijevod (dekoder) sloj.

Animacija u nastavku objašnjava, na pojednostavljeni način, kako ovaj multi-layer neuronske mreže funkcije. Za više detalja, molimo pogledajte "Što je stranica strojnih prijevoda"na web-mjestu Microsoft Translator.

U ovom oblaku NMT primjene, ovi srednji LSTM slojeva troše veliki dio računalne snage. Kako biste mogli pokrenuti cijeli NMT na mobilnom uređaju, potrebno je pronaći mehanizam koji bi mogao smanjiti te računalne troškove, a istodobno očuvati, što je više moguće, kvalitetu prijevoda.

To je mjesto gdje Huawei je neuro procesorska jedinica (NPU) dolazi u igru.  Microsoftovi istraživači i inženjeri iskoristili su NPU, koji je posebno dizajniran za Excel u proračunima low-latencije, za oslobađanje operacija koje bi bilo neprihvatljivo sporo obraditi na glavnom CPU-u.

Implementaciju

Implementacija sada dostupna na Microsoft prevoditelj app za Huawei Mate 10 optimizira prijevod tako da se najproračunat-intenzivni zadaci na NPU.

Konkretno, ova provedba zamjenjuje te srednji LSTM mrežne slojeve dubokimneuronske mreže. Duboke hrane-naprijed neuronske mreže su snažni, ali zahtijevaju vrlo velike količine računanja zbog visoke povezanosti među neuronima.

Neuronske mreže se prvenstveno oslanjaju na matričnih množenja, operacija koja nije složena iz matematičkog stajališta, ali vrlo skupo kada se izvodi na skali potrebnu za tako duboku neuronsku mrežu. Huawei NPU ističe u obavljanju tih matrica množenja u masivno paralelnom modu. To je također vrlo učinkovit iz korištenja snage stajališta, važnu kvalitetu na baterije uređaja.

U svakom sloju ove mreže za feed, NPU izračunava i sirov neurološki izlaz i naknadni Funkcija aktivacije ReLu učinkovito i s vrlo niskom latencijom. Iskorištavanjem velike brzine memorije na NPU, ona izvodi ove izračune paralelno bez plaćanja troška za prijenos podataka (tj., usporava performanse) između procesora i NPU.

Nakon što se izračunati konačni sloj ove duboke mreže za napajanje, sustav ima bogatu prikaz rečenice izvornog jezika. Taj se prikaz zatim hrani kroz LSTM od lijevog do desnog "dekodera" kako bi se proizvela svaka riječ o ciljanom jeziku, uz isti algoritam pažnje koji se koristi u online verziji NMT-a.

Kao Anthony Aue, glavni inženjer za razvoj softvera u Microsoft Translator timu objašnjava: "uzimanje sustava koji radi na snažnim Cloud poslužiteljima u podatkovnom centru i trčanje ga nepromijenjen na mobilnom telefonu nije održiva opcija. Mobilni uređaji imaju ograničenja u računalnoj snazi, memoriji i potrošnji energije koje rješenja za oblak nemaju. Imati pristup NPU, zajedno s nekim drugim arhitektonskim ugađanje, nam je omogućio da rade oko mnogih od tih ograničenja i dizajnirati sustav koji se može pokrenuti brzo i učinkovito na uređaju bez kompromisa kvalitete prevođenja."

Provedba ovih modela prevođenja na inovativnom NPU chipsetu omogućila je Microsoftu i Huawei da dostavi neuralni prijevod na uređaju uz kvalitetu usporedivu s tim sustavima temeljenom na oblaku čak i kada ste izvan mreže.