Nyhet

Nu kan Google översätta bilder till text

Här du ser hur programmet översatt bildinnehåll till engelska, samt hur en forskare som kollat igenom resultatet grupperat hur väl det stämmer överens med verkligheten

Kanske har du använt Google Translate någon gång för att översätta från ett språk till ett annat. Nu har Google lyckats översätta bildinnehåll till förklarande text.

Google har länge arbetat med att översätta text till text, från ett språk till ett annat. Nu har deras forskarteam även lyckats med att automatiskt översätta bildinnehåll till text via deras översättningsprogram, genom att använda matematik.

Med ett index kan man mäta hur bra en förståelse eller översättning är av en viss text eller bild. Bäst hittills för en maskinöversatt sådan har varit ett index på 25 – nu har Google lyckats komma upp i hela 59 – där människan själv är placerad på index 69.

På bilden ovan kan du ser hur programmet översatt bildinnehåll till engelska, samt hur en forskare som kollat igenom resultatet grupperat hur väl det stämmer överens med verkligheten.

Bilden ovan översattes av Google till "Two pizzas sitting on top of a stove top oven".

Genom att bryta ner bilden i vektorer och översätta dessa till matematiska formler, kan Google analysera bildens olika element och få fram en slutsats. Själva processen är självlärande via ett neuralt nätverk som lärts upp med hjälp av 100000 bilder.

Google Research Blog kan du läsa mer om projektet.