Twitter utilizza l'intelligenza artificiale per eliminare quelle terribili foto ritagliate automaticamente

i ritagli automatici di twitter migliorano con l'aiTwindesign / 123RF La funzione di ritaglio automatico di Twitter funziona come il limite di caratteri di un tweet per mantenere le immagini sulla piattaforma di microblogging coerenti con il resto del feed, ma ora Twitter sta migliorando in quei raccolti, grazie all'intelligenza artificiale. Twitter sta ora lanciando un ritaglio automatico più intelligente basato su reti neurali, ha annunciato la società in un post sul blog il 24 gennaio.

La precedente funzione di ritaglio automatico funzionava utilizzando il rilevamento dei volti per mantenere i volti nell'inquadratura. Quando non sono stati rilevati volti nell'immagine, il software ritagliava semplicemente l'anteprima al centro, mentre un clic sull'immagine permetteva agli utenti di vedere l'intero scatto. Twitter afferma che l'opzione di ritaglio senza volti spesso porta a ritagli scomodi, mentre a volte il software non identifica correttamente i volti.

Per correggere quelle anteprime ritagliate in modo scomodo, gli ingegneri di Twitter hanno utilizzato le cosiddette mappe di immagini salienti per addestrare una rete neurale. Le mappe salienti utilizzano gli eye tracker per determinare le aree di un'immagine che catturano maggiormente l'attenzione dello spettatore. Ricerche precedenti nell'area hanno mostrato che gli spettatori tendono a concentrarsi su volti, testo, animali, oggetti e aree ad alto contrasto.

Twitter ha utilizzato quei dati precedenti per addestrare il programma a capire quali aree dell'immagine sono le più importanti. Usando questi dati, il programma può riconoscere quelle caratteristiche e fare il ritaglio automatico in un punto che lascerà le aree più visive all'interno del raccolto.

Ma Twitter non è stato fatto: mentre il software di salienza funziona bene, è anche lento, il che avrebbe impedito la pubblicazione dei tweet in tempo reale. Per risolvere il problema delle colture scomode senza rallentamenti, Twitter ha perfezionato nuovamente il programma utilizzando due diverse tecniche che hanno migliorato la velocità di dieci volte. Il primo ha addestrato una rete più piccola utilizzando quel primo programma buono ma lento per accelerare quei raccolti. Successivamente, gli ingegneri del software hanno determinato un numero di punti visivi da mappare su ciascuna immagine, rimuovendo efficacemente i segnali visivi più piccoli e meno importanti mantenendo intatte le aree più grandi.

Ritaglio automatico di TwitterPrima Ritaglio automatico di TwitterDopo

Il software risultante consente di pubblicare le immagini in tempo reale, ma con ritagli migliori. In un gruppo di immagini prima e dopo, Twitter mostra immagini con volti che il sistema precedente non rilevava correttamente ritagliati sul viso anziché sui piedi. Altri esempi mostrano immagini di oggetti che sono stati ritagliati nel primo programma perché non si trovavano al centro dell'immagine, ma erano ritagliati in modo più appropriato utilizzando gli algoritmi aggiornati. Un altro esempio mostra il programma che riconosce il testo e regola il ritaglio per includere un segno.

L'algoritmo di ritaglio aggiornato è già disponibile a livello globale su app iOS e Android e su Twitter.com.