Wie Samsung AR Emojis im Galaxy S9 zum Leben erweckte

AR Emoji ist in die Kamera-App des Samsung Galaxy S9 eingebettet und ermöglicht es Ihnen, mit der nach vorne gerichteten Kamera digitale Cartoon-Avatare zu erstellen und zu senden. Ähnlich wie Apples Animojis im Konzept erfasst AR Emoji Ihre Gesichtsbewegungen und spiegelt sie in Form eines Charakters oder Tieres wider. Mit der Funktion „Mein Emoji erstellen“ können Sie auch eines von sich selbst erstellen, indem Sie einfach ein Selfie aufnehmen. So können Sie einen Hautton, ein Outfit, eine Frisur, eine Haarfarbe und eine Brille auswählen.

Mit AR Emoji wollte Samsung das lösen, was es als Problem ansieht - einen Weg finden, vorhandene Emojis durch interaktive zu ersetzen. Das Unternehmen wollte dies auf einfache Weise tun, indem es den Benutzern die richtigen Tools zur Erfassung von Emotionen zur Verfügung stellte, ihnen jedoch die Möglichkeit gab, das Ergebnis problemlos auf einer Vielzahl von Messaging-Plattformen zu teilen.

Wie hat Samsung seine AR Emojis entwickelt? Für den Anfang ging es direkt an die 3D-Animationsexperten, die einige der beliebtesten Charaktere Hollywoods zum Leben erweckten.

Vom großen Bildschirm zur Smartphone-Kamera

Um die neue Funktion zu unterstützen, arbeitete Samsung mit Loom.ai zusammen - einem in San Francisco ansässigen Startup, das sich auf 3D-Animation spezialisiert hat. Mit der Software des Unternehmens können Benutzer vollständig personalisierte und anpassbare 3D-Avatare aus einem einzigen Foto ohne benutzerdefinierte Hardware oder Tiefensensoren erstellen. Durch eine Partnerschaft und ein Software Development Kit (SDK) kombinierte Samsung die Technologie von Loom.ai mit der Kameratechnologie des S9 (erweitert) Realität und Gesichtserkennung), um benutzerdefinierte AR Emoji zu ermöglichen.

Samsung möchte einen Weg finden, vorhandene Emojis durch interaktive zu ersetzen.

Die Vision hinter Loom.ai begann mit Filmen - Cartoons und Superhelden, um genau zu sein. Die Gründer von Loom.ai - Mahesh Ramasubramanian und Kiran Bhat - haben bereits bei bekannten Unternehmen für visuelle Effekte wie DreamWorks und Lucasfilm gearbeitet und dazu beigetragen, bekannte Charaktere wie Shrek und The Hulk auf die Leinwand zu bringen.

Um diesen Charakteren Persönlichkeit zu verleihen, verwendeten sie die Performance-Capture-Technologie, um die Schauspieler einzubeziehen, die sie spielten - und zeichneten die Bewegungen des Schauspielers auf, nicht ihr visuelles Erscheinungsbild. Nachdem Ramasubramanian und Bhat gesehen hatten, wie das Filmpublikum auf ihre 3D-Kreationen reagierte, beschlossen sie, diese Technologie über Hollywood hinaus weiterzuentwickeln, indem sie Loom.ai starteten, das sich auf Smartphones konzentriert.

"Die Menschen reagieren sofort darauf, dass diese Charaktere zum Leben erweckt werden, wenn sie von menschlichen Akteuren angetrieben werden", sagte Ramasubramanian, der als CEO und Mitbegründer fungiert, gegenüber Digital Trends. „Wir haben Loom.ai mit dem Ziel gestartet, dass wir in der Lage sein müssen, einen einfachen Weg für jeden Einzelnen zu finden, um sich selbst in 3D zu sehen, und dafür mussten wir eine neue Technologie entwickeln.“

AR Emoji Brenda Stolyar / Digitale Trends

Bei Spielfilmen erfordert das Erstellen eines 3D-Avatars eine Menge Ausrüstung - teure Hardware und Software, Make-up und eine Studioeinstellung. Loom.ai hat jedoch einen Weg gefunden, den Prozess der Erfassung der Funktionen einer Person ohne die üblichen Tools zu vereinfachen. Stattdessen verwendet die patentierte Technologie ein einzelnes Foto und tiefes Lernen, um ein Bild zu analysieren. Wenn ein Foto frei von Gesichtsausdrücken ist, betrachtet der Deep-Learning-Algorithmus die Pixel und erzeugt automatisch ein Gesicht, das die richtige Muskelbewegung einschließt.

"Als die Partnerschaft mit Samsung begann, hatten wir die Möglichkeit, diese hoch entwickelte Technologie auf einem Gerät zu implementieren, was unserer Meinung nach bereits eine ziemlich überzeugende technische Aufgabe ist", sagte Bhat, CTO und Mitbegründer von Loom.ai, gegenüber Digital Trends. "Es ist ein großer Technologiesprung, einige dieser Ideen und Bestrebungen von der Leinwand zu übernehmen und auf das Handy zu bringen."

Um AR Emoji mit Strom zu versorgen, hat Samsung die Hilfe von Loom.ai in Anspruch genommen - einem in San Francisco ansässigen Startup, das sich auf 3D-Animation spezialisiert hat.

Um diese Technologie in die Galaxy S9-Hardware zu integrieren, musste Loom.ai seine Algorithmen neu strukturieren, um auf dem Gerät ausgeführt werden zu können. Loom.ai hat AR Emoji jedoch nicht allein entwickelt: Sowohl Ramasubramanian als auch Bhat schreiben Samsung zu, dass sie enorme Anstrengungen zur Optimierung der Software unternommen haben. Durch die Bereitstellung des SDK für die Integration in Smartphones glauben die Gründer von Loom.ai, dass Samsung das Framework viel bereichern kann, indem es in Zukunft mehr Optionen für Inhalte und Anpassbarkeit hinzufügt.

Wie das Galaxy S9 einen digitalen Avatar erstellt

Wie genau erstellt der S9 (und der S9 Plus) AR Emojis? Während Samsung seine geheime Sauce nicht preisgab, warf es Digital Trends einen Blick unter die Haube.

Mit der Technologie von Loom.ai erfasst und verarbeitet die Kamera des Telefons ein 2D-Bild in 3D. Um dies weiter zu verbessern, verwendet das S9 zusätzliche Software - Gesichtsverfolgung und Samsung Blend Shape-Technologie -, um Gesichtsausdrücke für den AR Emoji bereitzustellen.

wie samsung ar emojis in der galaxie s9 disney emoji partnerschaft 2 zum leben erweckteMickey Mouse AR Emoji hautnah auf dem Samsung Galaxy S9

Sie haben dann eine Comic-ähnliche Version von sich, die 18 verschiedene Ausdrücke ausstrahlen kann - die Samsung langsam auf 54 erweitern will -, die von Freude und Vergnügen bis zu Trauer und Wut reichen. Alle Daten sind auch lokal auf dem Gerät und werden nirgendwo anders gespeichert.

Beide arbeiten zusammen. Die Gesichtsverfolgungstechnologie verfolgt über 100 Gesichtsmerkmale in Echtzeit (z. B. Zwinkern oder Lächeln), um individuelle Emotionen zu erfassen, während Blend Shape dazu beiträgt, eine größere Auswahl von Emotionen zu liefern - die Ausdrücke basierend auf 75 grundlegenden menschlichen Gesichtsmerkmalen miteinander verbindet . Laut Samsung hat Blend Shape in seinen Labors wöchentlich mindestens 100 Tests durchgeführt, um sicherzustellen, dass genügend Daten vorhanden sind, die die Benutzer anlocken. (Blend Shape wird auch verwendet, um Disney AR Emojis wie Mickey und Minnie Mouse zu erstellen.)

In unserem eigenen AR Emoji-Test empfanden die meisten von uns unsere Charaktere als äußerst ungenau. Ein Autor war der Ansicht, dass es an verfügbaren Hauttonoptionen mangelte, ohne dass dunkelhäutige Töne zur Auswahl standen. Andere hatten das Gefühl, dass ihr AR Emoji ihnen nicht ähnlich sah, was das Bearbeiten des Avatars eher als lästige Pflicht als als unterhaltsame Aufgabe erscheinen ließ.

Laut Loom.ai hängt die Erstellung eines genauen AR Emoji stark von der Art und Weise ab, wie das Selfie aufgenommen wird. Benutzer sollten das Foto genauso aufnehmen wie ein Passfoto. "Sie wollen eine gleichmäßige Beleuchtung, nichts, was Ihr Gesicht bedeckt, und einen neutralen Ausdruck, damit wir die Ausdrücke später hinzufügen können", erklärte Ramasubramanian. "Es geht darum, dass sich die Leute ein wenig daran gewöhnen und dann die Möglichkeiten erkennen, es zu animieren und zu verwenden."

Ramasubramanian sagte auch, dass Benutzer es so behandeln sollten, wie sie es tun würden, während sie ein Selfie machen - das heißt, Sie können Tonnen von Fotos machen, bis Sie mit dem Foto zufrieden sind. Da Sie mit AR Emoji mehrere Avatare erstellen können, können Sie diese vergleichen, um den zu finden, der Ihnen am besten gefällt. Jedes von Ihnen erstellte Element wird auch auf Ihrem Telefon gespeichert, sodass Sie die verwendete Version je nach Stimmung ändern können.

Das neueste Update für AR Emoji enthält zusätzliche Frisuren, Kopfbedeckungen wie einen Hijab und andere Optionen. Das Update wird derzeit für freigeschaltete Versionen des Samsung Galaxy S9 und S9 Plus in Korea, China und Europa eingeführt. Europäische Carrier-Geräte und US-entsperrte Geräte sollten das Update diese Woche zum Download zur Verfügung haben. Das Update für US-Carrier-Geräte wird in den kommenden Wochen veröffentlicht. Samsung sagt, AR Emoji werde sich in Zukunft weiterentwickeln, bleibt aber vorerst bei genauen Details.