Twitter verwendet KI, um diese schrecklichen, automatisch zugeschnittenen Fotos loszuwerden

Twitter Auto Crops verbessern sich mit aiTwindesign / 123RF Die automatische Zuschneidefunktion von Twitter funktioniert wie die Zeichenbeschränkung eines Tweets, um die Bilder auf der Microblogging-Plattform mit dem Rest des Feeds in Einklang zu bringen. Dank künstlicher Intelligenz wird Twitter jetzt bei diesen Ernten besser. Twitter führt jetzt eine intelligentere Auto-Ernte ein, die auf neuronalen Netzen basiert, teilte das Unternehmen in einem Blog-Beitrag am 24. Januar mit.

Bei der vorherigen Funktion zum automatischen Zuschneiden wurde die Gesichtserkennung verwendet, um Gesichter im Rahmen zu halten. Wenn im Bild keine Gesichter erkannt wurden, beschneidet die Software die Vorschau einfach in der Mitte, während ein Klick auf das Bild den Benutzern die gesamte Aufnahme zeigt. Laut Twitter führte die Zuschneideoption ohne Gesichter häufig zu unangenehmen Ernten, während die Software Gesichter manchmal nicht richtig identifizierte.

Um diese umständlich beschnittenen Vorschauen zu korrigieren, verwendeten die Twitter-Ingenieure so genannte herausragende Bildkarten, um ein neuronales Netzwerk zu trainieren. Auffallende Karten verwenden Eyetracker, um die Bereiche eines Bildes zu bestimmen, die den Blick des Betrachters am meisten auf sich ziehen. Frühere Untersuchungen in diesem Bereich haben gezeigt, dass sich die Betrachter in der Regel auf Gesichter, Text, Tiere, Objekte und Bereiche mit hohem Kontrast konzentrieren.

Twitter verwendete diese früheren Daten, um das Programm zu trainieren, um zu verstehen, welche Bereiche des Bildes am wichtigsten sind. Anhand dieser Daten kann das Programm diese Merkmale erkennen und das automatische Zuschneiden an einer Stelle vornehmen, an der die meisten visuellen Bereiche innerhalb des Zuschneidens verbleiben.

Aber Twitter war noch nicht fertig - Saliency-Software funktioniert zwar gut, ist aber auch langsam, was verhindert hätte, dass Tweets in Echtzeit veröffentlicht werden. Um das unangenehme Problem der Ernte ohne Verlangsamung zu lösen, hat Twitter das Programm erneut verfeinert und dabei zwei verschiedene Techniken verwendet, mit denen sich die Geschwindigkeit verzehnfacht hat. Der erste trainierte ein kleineres Netzwerk mit diesem ersten guten, aber langsamen Programm, um diese Ernten zu beschleunigen. Als nächstes bestimmten die Softwareentwickler eine Reihe von visuellen Punkten, die auf jedem Bild abgebildet werden sollten, wobei die kleineren, weniger wichtigen visuellen Hinweise effektiv entfernt wurden, während die größten Bereiche intakt blieben.

Twitter Auto CropVor Twitter Auto CropNach

Die resultierende Software ermöglicht das Posten von Bildern in Echtzeit, jedoch mit besseren Ernten. In einer Gruppe von Vorher- und Nachher-Bildern zeigt Twitter Bilder mit Gesichtern, die das frühere System nicht richtig auf Gesicht und nicht auf Füße zugeschnitten erkennen würde. Andere Beispiele zeigen Bilder von Objekten, die im ersten Programm ausgeschnitten wurden, weil sie nicht in der Mitte des Bildes saßen, sondern mit den aktualisierten Algorithmen besser beschnitten wurden. Ein weiteres Beispiel zeigt, wie das Programm Text erkennt und den Zuschnitt so anpasst, dass er ein Zeichen enthält.

Der aktualisierte Zuschneidealgorithmus wird bereits weltweit sowohl für iOS- und Android-Apps als auch für Twitter.com eingeführt.