Efter 50 år, er det tid til at sige farvel til tastaturet?

En oversigt over menneskelige-computer-grænseflader. Hvad kommer efter berøringsskærm og stemmegenkendelse?

En Apple Watch, der ikke engang betragtes som en meget kraftig computer, er i stand til at behandle gigabyte med data hvert sekund. Vores hjerner har titusindvis af milliarder af neuroner og over en firedoblingsforbindelse, og den menneskelige hjerne behandler en enorm mængde data hvert sekund, som vi ikke engang kan estimere. Alligevel er det ydmyge tastatur og mus stadig den hurtigste bro mellem den magtfulde menneskelige hjerne og den hurtige verden af ​​0'ere og 1'ere.

Apple Watch er 250 gange mere kraftfuld end computeren, der landede Apollo på månen. Mens computere har udviklet sig fra at besætte en hel bygning til bare nanometre, forbliver tastaturer stadig det mest pålidelige og mest anvendte interface mellem mennesker og computere.

Opfindelsen af ​​et computertastatur går tilbage til over 50 år. Public Domain.En mand forelsker sig i sin stemmeassistent i filmen “Her”.

Flytte ud over tastaturet og musen?

Computere bliver indlejret i forskellige objekter, og da vi ikke kan forbinde et tastatur og en mus til ethvert objekt omkring os, er vi nødt til at finde andre grænseflader. Den nuværende løsning til at interagere med smarte objekter, også kaldet IoT, er gennem stemmegenkendelse, som åbenbart har begrænsninger som offentlig brug. Lad os se på de metoder, som forskere og virksomheder arbejder på i øjeblikket.

Røre ved

Fremskridt inden for multi-touch-teknologi og multi-touch-bevægelser (som klemning) har gjort berøringsskærmen til den foretrukne grænseflade. Forskere og startups arbejder på en bedre touch-oplevelse, fra at forstå, hvor fast dit berøring er, hvilken del af din finger, der berører, og hvis finger rører ved.

iPhones 3D Touch opdager kraft. Kilde Giphy.

Stemme

DARPA finansierede forskning på dette område i 70'erne! men stemme indtil for nylig var ikke nyttig. Takket være dyb læring er vi nu blevet temmelig gode til stemmegenkendelse. Den største udfordring med stemme i dette øjeblik er ikke at transkribere, men snarere at opfatte mening baseret på konteksten.

Øje

Ved øjesporing måler vi enten blikket (hvor man ser) eller øjets bevægelse i forhold til hovedet. Med reduktionen i omkostningerne ved kameraer og sensorer såvel som den stigende popularitet af virtual reality-briller, er øjesporing som interface blevet nyttig.

Tobii, der havde en børsnotering i 2015, samarbejder med forbrugerelektronikproducenter for at integrere deres øjesporingsteknologi. Billedkilde: Flickr.

Håndbevægelse

Bevægelseskontrol er den menneskelige-computergrænseflade tættest på mit hjerte. Jeg har personligt foretaget videnskabelig forskning på forskellige gestuskontrolmetoder. Nogle af de teknologier, der bruges til bevægelsesdetektion, er:

Inertia måleenhed (IMU)

Dataene fra accelerometer, gyroskop og kompas (alle eller nogle af dem) bruges til at registrere bevægelser. Behovet for rekalibrering og lavere nøjagtighed er nogle af problemerne med denne metode.

Infrarødt + kamera (dybdesensor)

De fleste af de kølige gestusdetekteringssystemer, som vi har set, bruger en kombination af et kamera i høj kvalitet plus en infrarød illuminator og et infrarødt kamera. Grundlæggende hvordan det fungerer er, at det projicerer tusinder af små prikker i scenen, og baseret på hvor langt et objekt er, er forvrængningen forskellig (der er forskellige metoder som ToF, som jeg ikke vil gå ind på). Kinect, Intels RealSense, Leap Motion, Googles Tango, bruger alle en vis variation af denne teknologi.

Leap Motion er en forbrugerenhed til Gesture Control.Apple har taget dette et skridt fremad ved at indlejre alt dette i frontkameraet på iPhone X til FaceID.

Elektromagnetisk felt

I denne metode fungerer brugerens finger eller krop som et ledende objekt, der forvrænger et elektromagnetisk felt, der frembringes ved at sætte sender- og modtagerantenner i et objekt.

radarer

Radarer er længe blevet brugt til at spore genstande, fra fly til skibe og biler. Googles gruppe for avanceret teknologi og projekter (ATAP) har gjort et bemærkelsesværdigt stykke arbejde ved at krympe radar til en 8 mm x 10 mm mikroskive. Dette generelle bevægelseskontrolchipsæt kan integreres i smartur, tv'er og andre objekter til gestussporing.

Google ATAPs projekt Soli. Kilde: Solis websted.Muskelmaskine-interface fra Thalmic Labs. Kilde: Thalmics video.

biosignaler

Hvis du ikke er blevet WOWed endnu, lad os tage det endnu længere. Alle de metoder, der blev nævnt ovenfor, måler og opdager et biprodukt af vores håndbevægelser.

Ved at behandle signalerne direkte fra nerverne i vores muskler kan vi komme et skridt nærmere intensionen.

Overflade EMG (sEMG), som erhverves ved at placere sensorer på huden oven på dine biceps / triceps eller underarm, får et signal fra forskellige muskelmotoriske enheder. Mens sEMG er et meget støjende signal, er det muligt at registrere et antal bevægelser.

Myo by Thalmic Labs var en af ​​de første virksomheder, der udviklede et forbrugerapparat baseret på sEMG. Kilde Imgur.

Ideelt set ønsker du at bære sensorer på håndleddet. Musklerne i håndleddet er dog dybe, og det er derfor svært at få et signal, der nøjagtigt kan bruges til bevægelsesdetektion.

Et nyt firma, kaldet CTRL Labs, udfører bevægelseskontrol fra håndledets SEMG-signaler. CTRL Labs 'enhed måler sEMG-signalet og registrerer det neurale drev, der kommer fra hjernen bag denne bevægelse. Dette er et skridt tættere på hjernen. Med deres teknologi ville du være i stand til at lægge dine hænder i lommerne og indtaste din telefon.

Hjernecomputer-interface

I det sidste år er der sket meget. DARPA bruger $ 65M til at finansiere neurale grænseflader. Elon Musk har indsamlet $ 27 millioner til Neuralink, Kernel har fået $ 100 millioner finansiering fra sin grundlægger Bryan Johnson, og Facebook arbejder på en hjernecomputergrænseflade. Der er to meget forskellige typer BCI'er:

Ikke-invasiv BCI

ElectroEncephaloGraphy (EEG) får et signal fra huden i hovedbunden.

Det er som at sætte en mikrofon over et fodboldstadion. Du ved ikke, hvad hver person taler om, men du er i stand til at forstå, om et mål blev scoret (fra de høje jubel og klapper!).

EEG-baserede grænseflader læser ikke sindet rigtigt. For eksempel er det mest anvendte BCI-paradigme P300 Speller. Du vil skrive bogstavet “R”; computeren viser tilfældigt forskellige tegn; når du først ser “R” på skærmen, bliver din hjerne overrasket og udsender et specielt signal. Det er smart, men jeg vil ikke kalde dette ”tankelæsning”, fordi vi ikke kan opdage at tænke på ”R”, men snarere har fundet et magisk trick, der fungerer.

Virksomheder som Emotiv, NeuroSky, Neurable og et par andre har udviklet EEG-headset til forbrugerklasse. Facebooks Building 8 annoncerede et projekt om hjernetypning, der bruger en anden hjernesenseteknologi kaldet funktionel nær infrarød spektroskopi (fNIRS), der sigter mod at nå 100 ord pr. Minut hastighed.

Neurable. Kilde: Neurable Website

Indtrængende BCI

Dette er den ultimative Human-Comptuter-grænseflade og fungerer ved at sætte elektroder inde i hjernen, men der er alvorlige udfordringer at overvinde.

Minoritetsrapportfilm. Flickr.

Udfordringer

Det kan have forekommet dig, at i betragtning af alle de interessante teknologier, der er nævnt ovenfor, hvorfor er vi stadig begrænset til at bruge tastatur og mus. Der er visse funktioner i tjeklisten, der skal krydses af for en interaktivteknologi mellem mennesker og computere, der gør vej til massemarkedet.

Nøjagtighed

Ville du bruge en berøringsskærm som hovedgrænseflade, hvis den kun fungerede 7 ud af 10 gange? For at en grænseflade skal kunne bruges som hovedgrænseflade skal den have meget høj nøjagtighed.

Reaktionstid

Forestil dig et øjeblik, at de bogstaver, du skriver på tastaturet, vises et sekund efter, at du har trykket på tasten. Bare det ene sekund ville dræbe oplevelsen. En menneskelig-computer-grænseflade, der har mere end et par hundrede millisekunder i forsinkelse, er simpelthen ubrugelig.

Uddannelse

Et menneske-computer-interface skal ikke kræve, at brugeren bruger en masse tid på at lære nye bevægelser (dvs. at lære en gestus for hvert alfabetbogstav!)

Feedback

Kliklyden på tastaturet, vibrationen af ​​en telefon, den lille biplyd fra en stemmeassistent, alle har til hensigt at lukke feedback loop. Feedback-løkken er et af de vigtigste aspekter ved ethvert interface-design, som ofte ikke bliver bemærket af brugerne. Vores hjerne søger fortsat efter en bekræftelse af, at dens handling har givet et resultat.

En af grundene til, at det er meget svært at udskifte tastaturet ved hjælp af en gestuskontrolenhed, er manglen på stærke feedback-løkker.

Fremtiden for menneske-computer-grænseflader

På grund af de ovennævnte udfordringer ser det ud til, at vi stadig ikke er i stand til at erstatte tastaturer, i det mindste endnu ikke. Dette er, hvad jeg tror, ​​grænsefladenes fremtid vil være:

  • Multimodal: Vi bruger forskellige grænseflader ved forskellige lejligheder. Vi kan stadig bruge tastaturet til at skrive, berøringsskærme til tegning og design, stemme til at interagere med vores digitale personlige assistenter, radarbaseret gestusstyring i bilen, muskelbaseret gestusstyring til spil og VR og Brain-Computer-grænseflader til at vælge den bedste musik at spille efter dit humør.
  • Kontekstmæssigt opmærksom: Du læser en artikel på din bærbare computer om ildebrande i det nordlige Californien og spørger derefter din stemmeassistent på din smarte hovedtelefon “Hvor blæsende er det derinde?”. Det skal forstå, at du henviser til, hvor brande er.
  • Automatiseret: Ved hjælp af AI ville computeren blive bedre til at forudsige, hvad du agter at gøre, så du ikke engang behøver at kommandere den. Det ved, at du har brug for en bestemt musik, der skal spilles, når du vågner op, så du ikke engang har brug for en grænseflade for at finde og spille en sang om morgenen.

Jeg er iværksætter i silicon Valley og min lidenskab er menneskelig-computer interaktion. Jeg har undersøgt hjernecomputergrænseflader, muskelmaskinegrænseflader og bevægelseskontrolenheder. Jeg poster om iværksætteri, venturekapital og nye teknologier. Følg mig på LinkedIn, Twitter og Medium.