Tod der Maus: Wie die Eye-Tracking-Technologie den PC retten könnte

Eye Tracking

In den letzten Jahren hat die Touch-Steuerung die Art und Weise, wie wir mit mobilen Geräten interagieren, revolutioniert. Die Technologie war auf Smartphones so beliebt, dass Apple seinen bewährten Touch-Ansatz nutzte, um den toten Tablet-Markt mit dem iPad neu zu erfinden. Dank des blühenden Wachstums dieser Geräte nimmt die Berührung stark zu, nimmt neue Formfaktoren an und stellt eine potenzielle Bedrohung für unseren ältesten Freund dar: den PC.

Mit all diesen bewegungsgesteuerten Schnittstellen für Videospielsysteme und Touch-Schnittstellen für mobile Geräte fühlt sich der PC mit seiner Tastatur und Maus einfach alt an. Die Tastatur ist immer noch die schnellste und beste Möglichkeit, große Datenmengen einzugeben und geschriebene Inhalte zu verfassen. Maus und Touchpad sind jedoch nur einen Schritt von dem natürlichen, direkten Gefühl entfernt, das man bei Verwendung der Wii, Xbox Kinect oder eines Touch-Tablets bekommt . Tobii hofft, dieses Ungleichgewicht zu korrigieren.

Letzten Freitag habe ich mich mit Barbara Barclay, der nordamerikanischen Managerin von Tobii Technologies (einem schwedischen Unternehmen), getroffen, um eine völlig neue Art von Benutzeroberfläche für Consumer-Desktops und -Laptops auszuprobieren. In einem kleinen Bürogebäude in Manhattan, New York, ließ sie mich einen von nur 20 Prototypen von Lenovo-Laptops ausprobieren, die jeweils über integrierte Infrarotsensoren verfügen, die die Augenbewegung so präzise und schnell verfolgen, dass selbst die besten Mausschnittstellen sich veraltet anfühlen .

So funktioniert das

Lenovo-Tobii Augensteuerungs-PCBevor wir mit der Demo begannen, erklärte Barbara die Technologie. Tobiis Augensteuerung funktioniert ein bisschen wie die Xbox Kinect (oder eine umgekehrte Wii), jedoch in einem viel engeren Maßstab. Während Sie vor dem Laptop sitzen, scannt eine Reihe von zwei synchronisierten Infrarotsensoren unter dem Bildschirm Ihre Augen. Sie tun dies ungefähr 30 bis 40 Mal pro Sekunde und untersuchen die Größe und den Winkel Ihrer Pupille, das Glitzern in jedem Ihrer Augen und den Abstand zwischen Ihnen und dem Laptop. Zusammen erstellen die beiden Sensoren ein stereoskopisches 3D-Bild Ihres Auges, das der Computer untersuchen kann. Basierend auf dem Winkel und dem Glanz Ihres Auges berechnet die Technologie von Tobii genau, welchen Teil des Bildschirms Sie betrachten. Es kann sogar erkennen, wann Sie wegsehen oder die Augen schließen. Um Strom zu sparen, verdunkelte die vorhandene Demo-Einheit ihren Bildschirm, als wir wegschauten.

Nachdem Barbara erklärt hatte, wie es funktioniert, kalibrierte sie den Lenovo-Tobii-Augensteuerungs-PC für ihre Augen. Der Kalibrierungsvorgang dauert einige Sekunden. Grundsätzlich sehen Sie eine Reihe von drei bis neun Punkten auf dem Bildschirm, die den Computer wissen lassen, wohin Ihre Augen schauen. Nintendo hat ähnliche Kalibrierungstests für seine Wii Motion Plus-Controller und die Wii Fit Balance Board-Software verwendet. Die Kalibrierung ist schmerzfrei und sollte nicht sehr oft durchgeführt werden müssen. Nach der Kalibrierung kann der Laptop Ihr ​​„Augenprofil“ speichern und wissen, wie man kalibriert, wenn sich ein vertrauter Benutzer anmeldet.

Es funktioniert tatsächlich ... wirklich gut

Als Nächstes haben wir mehrere handgefertigte Demos durchlaufen, die verschiedene Verwendungsszenarien für die Augenkontrolle zeigen. Selbst nachdem ich es selbst ausprobiert hatte, fiel es mir schwer zu glauben, dass die Demonstration kein aufwändiger Trick war. Nach wenigen Augenblicken begann ich jedoch zu glauben.

Fast augenblicklich nahm der Computer meine Augenbewegungen auf und reagierte auf alles, was ich sah. Wenn ich einen Gegenstand betrachtete, hob er sich selbst hervor und trat in den Vordergrund. Wenn ich mir eine Karte ansah, wusste sie genau, auf welchen Bereich ich starrte, bis auf das Pixel. Ähnlich wie ein Anfänger mit der Wii wild mit der Wii-Fernbedienung wedelt, bestand mein erster Instinkt darin, meinen gesamten Kopf zu bewegen, während ich verschiedene Elemente auf dem Bildschirm betrachtete. Das funktionierte gut genug, aber nach wenigen Augenblicken erfuhr ich, dass Tobiis Technologie die subtilsten Augenbewegungen aufnehmen konnte, ohne dass sich mein Kopf bewegte. Irgendwie konnte es erkennen, wann ich meine Augen einen halben Zoll nach links oder rechts bewegte oder beiläufig nach oben oder unten schaute, sogar ein Haar.

Lenovo-Tobii Augensteuerungs-PC

Die Fließfähigkeit der Erfahrung erinnerte mich an das erste Mal, als ich den iPod Touch benutzte, und daran, wie natürlich es sich anfühlte, genau dort zu wischen und zu berühren, wo ich wollte. Vor dem Touch und dem iPhone verwendeten die meisten Touchscreens die resistive Touch-Technologie, bei der Sie tatsächlich auf den Bildschirm drücken mussten. Diese Bildschirme erforderten einen Stift (stiftähnliches Gerät), um Präzision zu erzielen. Apple hat das Spiel jedoch durch eine natürlichere Benutzeroberfläche geändert, mit der Sie Ihre Finger direkt verwenden können. Die Augensteuerungstechnologie von Tobii ist so direkt wie jede Touch-Oberfläche. Es fühlt sich an wie eine Berührung aus der Ferne.

Verwendet zur Augenkontrolle

Der erste Teil der Demo (den Sie unten sehen können) zeigt einfach, wohin Ihre Augen auf dem Bildschirm schauen. Das Betrachten Ihrer eigenen Augen macht keinen besonderen Spaß, zeigt Ihnen jedoch, wie schnell das System reagiert, wenn Sie sich bewegen oder blinken. Nach dem Einführungsbildschirm und der Kalibrierung sind wir jedoch in verschiedene Verwendungsszenarien geraten.

Lesen: Von allen Anwendungen zur Augenkontrolle zeigt das Lesen mehr als alles andere seinen Wert. Jeder hat seine eigene Technik und seinen eigenen Stil zum Lesen auf einem Laptop oder Touch-Gerät. Persönlich neige ich dazu, meinen Text am oberen Bildschirmrand zu halten. Manchmal benutze ich die Maus, um Dinge hervorzuheben, die ich bereits gelesen habe, und benutze die Richtungstasten, um nach unten zu scrollen. Tobiis Augenkontrolle macht all diese benutzerdefinierten Lesestile sofort irrelevant. Der Text ist natürlicher als das Lesen von Büchern und rollt automatisch nach oben, unten, links oder rechts, während Ihre Augen über den Bildschirm schweifen. Es ist wunderbar. Verwirrt über ein Wort? Wenn Sie ein Wort lange genug anstarren, wird seine Definition angezeigt.

Medien abspielen: Eine weitere Demo, die Barbara mir zeigte, war ein einfacher Mediaplayer. Eine Reihe von Bildern und Albumcovers füllt den unteren Bildschirmrand. Ein Blick auf einen von ihnen hebt die Auswahl hervor und ein Blick nach oben spielt die Musik ab oder maximiert das Bild, damit Sie einen besseren Blick erhalten. Fertig zuhören oder ansehen? Schauen Sie sich einfach einen anderen Punkt in der Liste an. Wenn Sie etwa eine Sekunde lang auf die Pfeile links oder rechts schauen, wird die nächste Ergebnisseite angezeigt.

Zoomen und Schwenken: Augensteuerung bedeutet nicht, dass die Tastatur nicht verwendet wird. In einer Google Maps-ähnlichen Demo können Sie schwenken und zoomen, indem Sie eine Schaltfläche anzeigen und drücken / gedrückt halten, was gut funktioniert. Zum Zoomen ist eine einzelne Schaltfläche und zum Schwenken eine weitere Schaltfläche zugewiesen. Zum Zoomen schauen Sie sich einfach an, worauf Sie sich konzentrieren möchten, und drücken die Zoomtaste. Sobald Sie gezoomt haben und eine andere Taste gedrückt halten und nach links, rechts, oben oder unten schauen, können Sie Ihr gezoomtes Bild verschieben. Es gibt wahrscheinlich noch intuitivere Möglichkeiten, komplexe Aufgaben wie diese auszuführen.

Multitasking: Auf der CES in diesem Jahr habe ich das BlackBerry PlayBook für seine einfache Wischmethode zum Wechseln zwischen Anwendungen gelobt. Mit einer WebOS-ähnlichen Oberfläche (oder vielleicht WebOS selbst) und Tobiis Augensteuerung ist Multitasking zwischen Apps so selbstverständlich wie ein Blick nach links oder rechts auf den Bildschirm. Unter Windows 7, das für nichts anderes als eine Maus optimiert ist, wechselte Barbara zwischen den Fenstern, indem sie sie betrachtete und eine Taste drückte. Sie bewegte auch mühelos ein Mauszeigersymbol über den Bildschirm.

Gaming: Die letzte Demo, die wir gespielt haben, war ein einfaches Asteroids- ähnliches Spiel. Ihre Mission ist es, die Erde vor einer Flut von Kometen und Asteroiden in der Größe eines Weltuntergangs zu schützen, die auf Sie zukommen. Das Betrachten eines Asteroiden löst einen Laser aus, der ihn in die Luft jagt. Es gibt eine Menge solcher Touch-Spiele, die Ihre Reflexe gegen den Computer richten, aber die Augenkontrolle erhöht die Geschwindigkeit und Intensität dieser Spiele um ein Vielfaches. Ich bin unglaublich gespannt, welche Art von Spielen mit der Geschwindigkeit des Auges gemacht werden können.

Dies sind nur einige von vielen neuen Möglichkeiten, mit denen Sie mit der Augensteuerung mit einem PC-Desktop oder Laptop interagieren können. Wenn Sie darüber nachdenken, wie diese Technologie mit der Spracherkennung interagieren könnte, scheinen die Möglichkeiten endlos zu sein. In einigen Jahren könnte der Minderheitenbericht veraltet aussehen.

Es ist wie Kinect für PCs

Lenovo-Tobii Augensteuerungs-PC

Microsoft hat angekündigt, dass es irgendwann die Kinect-ähnliche Bewegungstechnologie für PCs veröffentlichen wird. Nun, ich hasse es, es ihnen zu brechen, aber Tobii hat viel harte Arbeit geleistet. Das Verschieben von Kinect auf einen PC würde bedeuten, den Fokus vom Körper auf Augen und Gesicht zu verlagern, was Tobii mit bemerkenswerter Präzision erreicht hat.

Ich habe viel über Microsoft und die vielen Herausforderungen geschrieben, denen Windows 8 gegenübersteht. Derzeit hat das Unternehmen eine fehlerhafte Telefonplattform und keine Tablet-Strategie. Um voranzukommen, muss Microsoft Aufregung um sein Brot und Butter erzeugen, das immer noch traditionelle Tastatur-PCs sind. Tobiis Augenkontrolle ist genau die Art von innovativer Schnittstelle, um die Microsoft eine umfassende neue Erfahrung aufbauen könnte. Dies könnte die Komplexität des Windows-Desktop-Betriebssystems vereinfachen und gleichzeitig einige Lücken zwischen dem PC und mobilen Touch-Plattformen schließen. Bei ordnungsgemäßer Implementierung könnte eine solche Technologie den Laptop-Markt wieder in Schwung bringen, insbesondere in Kombination mit vielen der Ideen, die Microsoft auf Windows Phone und Xbox Kinect demonstriert hat.

Barbara teilte mir mit, dass Microsoft bereits Kunde von Tobii für einige seiner größeren Forschungseinheiten ist, mit denen der Redmond-Riese die Wirksamkeit seiner eigenen Anwendungslayouts und -schnittstellen untersucht, indem er die Augenbewegungen potenzieller Kunden bei der Entwicklung eines neuen Designs verfolgt. Microsoft, ich sehe dich an. Wenn Sie so etwas nicht versuchen, wird es jemand anderes tun.

Unabhängig davon, wer es ist, eines ist klar: Tobii braucht einen starken Partner, der das Potenzial seiner Technologie ausschöpft.

Die Augenkontrolle kommt hoffentlich

Wie jede gute Technologie ist Tobiis Augenkontrolle nur so nützlich wie die Softwareentwickler, die dafür schreiben. Das Unternehmen befindet sich in Gesprächen mit einer Reihe von Hardware-, Software- und Plattformherstellern, um bereits in zwei Jahren auf die Implementierung seiner Technologie in PCs hinzuarbeiten. Es wird jedoch ein schwieriger Weg sein. Die Technologie muss immer noch kleiner sein, weniger Batterie verbrauchen und weniger kosten. Ohne die Vision von Apple stagnierten Touch-Tablet-Geräte ein Jahrzehnt lang in der Schwebe. Hoffen wir, dass einer dieser Plattformhersteller das Potenzial der Augenkontrolle erkennt. Der einzige Verlierer hier ist die Maus, und es tut mir leid, mein Freund, ich liebe dich, aber deine Tage sind gezählt.