Come Samsung ha dato vita agli Emoji AR nel Galaxy S9

Incorporato nell'app fotocamera del Samsung Galaxy S9, AR Emoji ti consente di utilizzare la fotocamera frontale per creare e inviare avatar di cartoni animati digitali. Simile agli Animojis di Apple nel concetto, AR Emoji cattura i tuoi movimenti facciali e li rispecchia sotto forma di un personaggio o di un animale. Ma con la funzione "Crea la mia emoji", puoi anche crearne uno di te stesso semplicemente scattando un selfie, permettendoti di scegliere il tono della pelle, l'abito, l'acconciatura, il colore dei capelli e gli occhiali.

Con AR Emoji, Samsung ha deciso di risolvere quello che vede come un problema: trovare un modo per sostituire gli emoji esistenti con quelli interattivi. L'azienda voleva farlo in un modo semplice, fornendo agli utenti gli strumenti giusti per catturare le emozioni, ma consentendo loro di condividere facilmente il risultato su una varietà di piattaforme di messaggistica.

Allora, come ha fatto Samsung a creare i suoi Emoji AR? Per cominciare, è andato direttamente agli esperti di animazione 3D che hanno dato vita ad alcuni dei personaggi più famosi di Hollywood.

Dal grande schermo alla fotocamera dello smartphone

Per potenziare la nuova funzionalità, Samsung ha collaborato con Loom.ai, una startup con sede a San Francisco specializzata in animazione 3D. Il software dell'azienda consente agli utenti di creare avatar 3D completamente personalizzati e personalizzabili da una singola fotografia, senza hardware personalizzato o sensori di profondità. Attraverso una partnership e un kit di sviluppo software (SDK), Samsung ha combinato la tecnologia di Loom.ai con la tecnologia della fotocamera dell'S9 (aumentata realtà e riconoscimento facciale) per rendere possibile l'AR Emoji personalizzato.

Samsung vuole trovare un modo per sostituire gli emoji esistenti con quelli interattivi.

La visione dietro Loom.ai è iniziata con i film: cartoni animati e supereroi per la precisione. Avendo lavorato in precedenza per famose società di effetti visivi come DreamWorks e Lucasfilm, i fondatori di Loom.ai, Mahesh Ramasubramanian e Kiran Bhat, hanno contribuito a portare personaggi famosi, come Shrek e Hulk, sul grande schermo.

Per iniettare personalità in quei personaggi, hanno usato la tecnologia di cattura della performance per incorporare gli attori che li hanno interpretati, registrando i movimenti dell'attore, non il loro aspetto visivo. Ma dopo aver visto come il pubblico cinematografico ha reagito alle loro creazioni 3D, Ramasubramanian e Bhat hanno deciso di portare questa tecnologia oltre - oltre Hollywood - avviando Loom.ai, che si concentra sugli smartphone.

"Le persone reagiscono immediatamente quando questi personaggi prendono vita quando sono guidati da attori umani", ha detto a Digital Trends Ramasubramanian, che funge da CEO e co-fondatore. "Abbiamo avviato Loom.ai con l'obiettivo di essere in grado di trovare un modo semplice per consentire a ogni individuo di vedere se stesso in 3D, e per questo abbiamo dovuto costruire una nuova tecnologia".

Emoji AR Brenda Stolyar / Tendenze digitali

Con i lungometraggi, la creazione di un avatar 3D richiede tonnellate di attrezzature: hardware e software costosi, trucco e ambientazione in studio. Ma Loom.ai ha trovato un modo per semplificare il processo di acquisizione delle caratteristiche di una persona senza i soliti strumenti; invece, la sua tecnologia brevettata utilizza una singola fotografia e l'apprendimento approfondito per analizzare un'immagine. Se una fotografia è priva di espressioni facciali, l'algoritmo di apprendimento profondo guarda i pixel e produce automaticamente un viso che incapsula il movimento muscolare corretto.

"Quando la partnership di Samsung è iniziata, abbiamo avuto la possibilità di implementare quella sofisticata tecnologia su un dispositivo, che riteniamo sia già un compito di ingegneria piuttosto avvincente di per sé", ha detto a Digital Trends Bhat, CTO e co-fondatore di Loom.ai. "È un grande salto tecnologico essere in grado di prendere alcune di queste idee e aspirazioni dal grande schermo e portarle sui dispositivi mobili".

Per alimentare AR Emoji, Samsung ha chiesto aiuto a Loom.ai, una startup con sede a San Francisco specializzata in animazione 3D.

Incorporare questa tecnologia nell'hardware del Galaxy S9 ha richiesto a Loom.ai di ristrutturare i suoi algoritmi, in modo da poter funzionare sul dispositivo. Ma Loom.ai non ha creato solo AR Emoji: sia Ramasubramanian che Bhat attribuiscono a Samsung il merito di aver dedicato enormi sforzi all'ottimizzazione del software. Fornendo l'SDK da integrare negli smartphone, i fondatori di Loom.ai pensano che Samsung possa rendere il framework molto più ricco aggiungendo più contenuti e opzioni di personalizzazione in futuro.

Come il Galaxy S9 crea un avatar digitale

Quindi, in che modo esattamente S9 (e S9 Plus) creano Emoji AR? Sebbene Samsung non abbia rivelato la sua salsa segreta, ha dato a Digital Trends uno sguardo sotto il cofano.

Lavorando sulla tecnologia di Loom.ai, la fotocamera del telefono acquisisce ed elabora un'immagine 2D in 3D. Per migliorare ulteriormente questo aspetto, l'S9 utilizza un software aggiuntivo - tracciamento facciale e tecnologia Blend Shape di Samsung - per fornire espressioni facciali per AR Emoji.

come samsung ha dato vita agli emoji ar nella galassia s9 disney emoji partnership 2Mickey Mouse AR Emoji da vicino sul Samsung Galaxy S9

Ti rimane quindi una versione simile a un cartone animato di te stesso che può emettere 18 espressioni diverse - che Samsung prevede di espandere lentamente a 54 - che vanno dalla gioia e dal piacere, al dolore e alla rabbia. Tutti i dati sono anche locali sul dispositivo e non vengono archiviati altrove.

Entrambi lavorano insieme, la tecnologia di tracciamento del viso tiene traccia di oltre 100 caratteristiche del viso in tempo reale (come ammiccare o sorridere) per catturare le emozioni individuali, mentre Blend Shape aiuta a fornire una gamma più ampia di esse, che fonde le espressioni insieme sulla base di 75 caratteristiche facciali umane di base . Samsung afferma che per Blend Shape ha condotto almeno 100 test su base settimanale all'interno dei suoi laboratori, al fine di assicurarsi che ci siano dati sufficienti che attirino i suoi utenti. (Blend Shape viene utilizzato anche per creare i suoi Disney AR Emoji, come Topolino e Minnie Mouse.)

Nel nostro test AR Emoji, la maggior parte di noi ha ritenuto che i nostri personaggi fossero estremamente imprecisi. Uno scrittore ha ritenuto che mancassero le opzioni di tonalità della pelle disponibili, senza toni scuri tra cui scegliere. Altri sentivano che il loro AR Emoji non assomigliava per niente a loro, il che rendeva la modifica dell'avatar più un compito ingrato che un compito piacevole.

Secondo Loom.ai, la creazione di un emoji AR accurato dipende in gran parte dal modo in cui viene scattato il selfie. Gli utenti dovrebbero scattare la foto nello stesso modo in cui farebbero una foto tessera. "Vuoi un'illuminazione uniforme, niente che copra il viso e un'espressione neutra in modo che possiamo aggiungere le espressioni in seguito", ha spiegato Ramasubramanian. "È una questione di persone che si abituano un po 'e poi vedono le possibilità di animarlo e usarlo."

Ramasubramanian ha anche affermato che gli utenti dovrebbero trattarlo come farebbero quando scattano un selfie, il che significa che puoi scattare tonnellate di foto finché non sei soddisfatto della foto. Poiché AR Emoji ti consente di creare più avatar, puoi confrontarli per trovare quello che ti piace di più. Ognuno che crei viene salvato anche sul tuo telefono, così puoi cambiare la versione che usi a seconda del tuo umore.

L'ultimo aggiornamento di AR Emoji include acconciature aggiuntive, copricapo come l'hijab e altre opzioni. L'aggiornamento è attualmente disponibile per le versioni sbloccate del Samsung Galaxy S9 e S9 Plus in Corea, Cina ed Europa. L'aggiornamento dovrebbe essere disponibile per il download questa settimana per i dispositivi carrier europei e per i dispositivi sbloccati negli Stati Uniti. L'aggiornamento per i dispositivi degli operatori statunitensi verrà rilasciato nelle prossime settimane. Samsung afferma che AR Emoji continuerà ad evolversi in futuro, ma per ora rimane a bocca aperta sui dettagli esatti.