https://frosthead.com

Nasmeh, tarnanje, grimace in nasmeh - vaš obrazni izraz je naslednja meja v velikih podatkih

Človeški obraz se, odvisno od tega, kako jih štejete, napaja s 23 do 43 mišicami, od katerih se mnoge pritrdijo na kožo in ne služijo očitni funkciji za preživetje. Tujec, ki pregleda človeški primerek v osami, ne bi vedel, kaj naj naredi. Trganje na čelu, obrvi, ustnicah in licih, mišicah prenašajo obilico informacij o našem čustvenem stanju, stopnji zanimanja in budnosti. To je izjemno učinkovito sredstvo komuniciranja - skoraj trenutna, običajno natančna, ki presega večino jezikovnih in kulturnih ovir. Toda včasih se podatki izgubijo, prezrejo ali napačno razlagajo. Če se gozdar nasmehne v gozdu in ga nihče naokoli ne bi videl, je bil pravzaprav srečen?

Iz te zgodbe

[×] ZAPRTA

Tako dolgi emotikoni. Znanstvenik razvija tehnologijo, ki lahko zazna in prebere naše izraze

Video: Smithsonian Ingenuity Awards 2015: Rana el Kaliouby

Povezane knjige

Preview thumbnail for video 'Emotional Intelligence: Why It Can Matter More Than IQ

Čustvena inteligenca: Zakaj lahko zadeva več kot IQ

Nakup

Rana el Kaliouby sovraži, če vidi, da bodo te informacije odpadle. Ko se srečam z El Kaliouby v svoji majhni pisarni v Walthamu v Massachusettsu, vidim, da ima pogodbo z mišico zygomaticus major, dviguje vogale ust in orbicularis oculi, ki krčijo zunanje kotičke oči. Nasmehnjena je in sklepam, da me pozdravlja, preden sploh izzveni besedo "zdravo". Toda številne družbene izmenjave danes potekajo brez interakcij v realnem času. Tja pride El Kaliouby in njena družba.

El Kaliouby, ki ima 37 let, se pogosto nasmehne. Ima okrogel, prijeten, ekspresiven obraz in naklonjen način, ki se uvršča v položaj soustanovitelja hitro rastočega tehnološkega zagona - anti Bezosa, un-Zuckerberga. Njeno podjetje Affectiva, ki ga je ustanovila leta 2009 s takratnim kolegom iz laboratorija MIT Media Rosalind Picard, zaseda položaj na vrhunskem področju tehnologije za uporabo računalnikov za zaznavanje in razlago človeških obraznih izrazov. To področje, znano kot "afektivno računalništvo", skuša zapolniti vrzel med komunikacijo med ljudmi in stroji z dodajanjem novega načina interakcije, vključno z neverbalnim jezikom nasmehov, nasmehov in dvignjenih obrvi. "Predpostavka tega, kar počnemo, je, da so čustva pomembna, " pravi el Kaliouby. »Čustva ne motijo ​​našega racionalnega razmišljanja, ampak ga usmerjajo in informirajo. Vendar pa te manjkajo iz naše digitalne izkušnje. Vaš pametni telefon ve, kdo ste in kje ste, vendar ne ve, kako se počutite. Naš namen je to popraviti. "

Zakaj mora vaš pametni telefon vedeti, kako se počutite? El Kaliouby ima številne odgovore, ki vse temeljijo na navidezno brezmejno vključevanje računalnikov v rutine našega vsakdanjega življenja. Predvideva „tehnologijo za nadzor osvetlitve, temperature in glasbe v naših domovih kot odziv na naše razpoloženje“ ali aplikacije, ki lahko vsebino filma prilagodijo glede na vaše podzavestne reakcije nanj med gledanjem. Predstavlja programe, ki lahko spremljajo vaš izraz med vožnjo in opozarja na nepazljivost, zaspanost ali jezo. Nasmehne se ob omembi svoje najljubše ideje - "hladilnik, ki se počuti, ko ste pod stresom in zapre sladoled."

Zlasti meni, da bo Affectiva in tehnologija, ki ji pomaga pri vključevanju v glavni tok, koristi za zdravstveno varstvo. Raziskovalec, ki preizkuša novo zdravilo, ali terapevt, ki zdravi pacienta, dobi povratne informacije le v intervalih, ob upoštevanju vseh težav samoprijave - na primer nezavedne želje, da ugaja zdravniku, ali selektivnega odpoklica, ki daje prednost najnovejšim spominom . El Kaliouby predvideva program, ki se izvaja v ozadju zadevnega prenosnika ali telefona, ki bi lahko v vsakem trenutku sestavil posnetek njegovega razpoloženja v določenem obdobju (dan, mesec) in ga povezal z čas ali kaj drugega, kar lahko vaša naprava meri ali sledi. "Sploh ne bi smelo biti del programa zdravljenja, " razmišlja. "Lahko bi ga imeli samo na telefonu in ta vam pove, da imate vsakič, ko" X "kličete negativni izraz, in to vam pove nekaj, česar morda niste vedeli."

Preview thumbnail for video 'Subscribe to Smithsonian magazine now for just $12

Naročite se na revijo Smithsonian zdaj že za samo 12 dolarjev

Ta zgodba je izbor iz decembrske številke revije Smithsonian.

Nakup

El Kaliouby promovira afektivno računalništvo kot logičen naslednji korak pri napredovanju od tipkovnice do miške do zaslona na dotik do prepoznavanja glasu. Spomladi je Affectiva izdala svoj prvi komercialni program za razvoj programske opreme, ki ga razvijalci, ki jih zanimajo čustvena stanja uporabnikov v realnem času, lahko vključijo v svoje programe - na primer glasbene predvajalnike ali aplikacije za igranje ali zmenke. In ravno to jesen je Affectiva lansirala program Emotion As Service, ki temelji na oblaku, v katerega lahko kupci naložijo video posnetke v analizo. Kdo bi to lahko uporabil? Kandidat, ki ga bodo zaslišali za službo, ki ga skrbi, ali bi se mu zdelo tesnobno ali dolgčas ali celo preveč nasmejan. Ali letalska družba, ki najame stevardeso, z več stotinami video aplikacij, ki jih lahko preseje v iskanju tistih, ki se lahko prepričajo v nasmeh, ko se poslovimo od potnikov. (Pristni nasmeh, ki vključuje krčenje mišic v kotičkih oči, se imenuje nasmeh "Duchenne", imenovan anatomist 19. stoletja; nasprotno, prisilni nasmeh, ki uporablja samo usta, je dejansko včasih imenovan nasmeh "Pan Am".)

Seveda so vse naprave, ki poganjajo to programsko opremo, povezane z internetom, tako da se informacije, ki jih zbirajo, takoj združijo, presejejo in povežejo na način, kako aplikacije družbenih medijev prepoznajo priljubljene teme ali osebnosti. Morda sestavljen v nekaj, kot je indeks razpoloženja Affectiva, številčno branje o bruto nacionalni sreči ali razčlenjeno po regijah, kjer se nasmehi ali namrščenosti trenutno pojavljajo.

DEC2015_H05_TechnologyRanaElKaliouby-WEB-RESIZE.jpg Osnovni program Affectiva analizira obraz 20-krat na sekundo za 46 lokaliziranih izrazov sreče, žalosti, presenečenja, strahu, jeze, gnusa in prezira ter zanimanja in zmede. (Naomi Shavin / Smithsonian)

Do zdaj so bile glavne stranke Affectiva oglaševalske, marketinške in medijske družbe. Njegova programska oprema avtomatizira postopek vodenja fokusne skupine, okornega rituala zbiranja ducat ljudi v sobi, da bi dali svoja mnenja o novem izdelku, TV seriji ali oglaševalski kampanji; beleži reakcije neposredno, ne da bi udeleženec moral zavrteti klic ali odgovoriti na vprašalnik kot odgovor na predstavitev. Poleg tega programska oprema potencialno fokusno skupino širi na celoten svet ali vsaj njen velik del, ki ima računalnik ali mobilno napravo, ki podpira spletno kamero.

Povratne informacije iz neprestanega, vse vidnega očesa Affectiva so pomagale oblikovati mrežni sitem TV, pri čemer sta dva lika pozabila na greh, če gledalcev ne nasmehnemo. (El Kaliouby ne bo razstavil predstave ali likov.) Njegova programska oprema je bila uporabljena za izdelavo "vzorčevalca nasmeha", stroja, ki je kupce bombonov dostavljal kupcem, ki so se nasmehnili v njegovo kamero. Z več raziskav bi bil verjetno koristen za nadzor množice na letališčih ali za identifikacijo potencialnih prodajalcev ali kot detektor laži.

Toda El Kaliouby se je uprl tem skrivnostnim aplikacijam, kako donosne bi bile. Misli, da bo občutljivo računalništvo spremenilo svet, vključno s prodajo čokoladic, nikakor pa ne. "Bistvo našega podjetja, " pravi, "je, da s to tehnologijo izboljšamo življenje ljudi in jim pomagamo bolje komunicirati, ne le zato, da oglaševalcem prodajo več izdelkov."

**********

V nasprotju s številnimi tehnološkimi podjetniki obogatitev ni bila v prvotni agendi El Kalioubyja. Rojena v Kairu egipčanskim staršem, ki oba delata v tehnologiji, je študirala računalništvo na ameriški univerzi v Kairu, kjer je diplomirala leta 1998, približno v tem času, ko so računalniki postali dovolj močni, da bi jih raziskovalci lahko razmišljali o tem, kako jih človeško izraziti imenovana čustvena inteligenca.

Nadaljevala je s študijem računalništva na univerzi v Cambridgeu in prispela tik po napadih na Ameriko 11. septembra 2001. Njeni starši so mislili, da tvega, da bodo zaradi svoje dediščine aretirani, nadlegovani ali še huje. A čeprav je do pred nekaj leti nosila muslimansko pokrivalo, niti v Cambridgeu v Angliji niti v Cambridgeu v Massachusettsu, kamor se je preselila leta 2006, da bi se pridružila medijskemu laboratoriju MIT, ni bila kdaj moteča zaradi svoje vere ali videza . "Mislim, da je to zato, ker se veliko nasmehnem, " pravi, nasmejana.

DEC2015_H07_TechnologyRanaElKaliouby.jpg Francoski anatom Duchenne je objavil pomembne študije človeških obraznih izrazov. (Slike Bridgemana)

Na Cambridgeu jo je začel zanimati problem avtizma, predvsem težave, ki jih imajo avtistični otroci pri branju obraznih izrazov. Predlagala je, da se ustvari "čustveni slušni aparat", ki bi ga lahko nosili za branje obrazov in prilagajanje uporabnikov ustreznega vedenja. Nacionalna znanstvena fundacija je najprej odklonila nepovratna sredstva z obrazložitvijo, da je bil projekt pretežak, ona in njeni kolegi so zgradili prototip, sestavljen iz par očal, opremljenih z drobnim fotoaparatom, utripajočimi lučmi in slušalkami, ne drugače zgodnja različica Google Glass. Druga vloga za dotacijo je bila uspešna in po preselitvi na MIT sta skupaj s svojo ekipo naslednja tri leta delali, da bi jo izpopolnili in preizkusili na šoli v Rhode Islandu. El Kaliouby ga opisuje kot "raziskovalni in uspešen projekt" - avtistični otroci, ki so ga uporabljali, so imeli izjemno pozitivne izkušnje -, vendar se je leta 2008, ko se je štipendija končala, soočila s trenutkom računanja. Komercialno zanimanje za afektivno računalništvo je naraščalo in želela je, da se širi in cveti; njena prizadevanja za razvoj očal bi jo omejila na majhen delček njegove potencialne uporabe. Tako je skupaj s Picardom odvrgla Affectivo in obenem upanje, da bo drugo podjetje prevzelo čustveni slušni aparat in ga prineslo na trg.

Ko je bila ustanovljena Affectiva, je peščica "članov ekipe", ki so sestavljali podjetje, izbrala vrednost, ki jo je hotela utelešati, na primer "učenje" ali "socialna odgovornost" ali "zabava". Družba z 20 osebami deluje kot navidezno demokratična, s polletnimi sestanki, na katerih zaposleni glasujejo o prednostnih nalogah, ki naj bi se jih lotili v naslednjih šestih mesecih. V njeni pisarni je bela plošča, prekrita z risbami mlade hčere enega od njenih sodelavcev; ima 6-letnega sina Adama in 12-letno hčer Jano, ki živita z njo v predmestju Bostona (njihov oče živi v Egiptu). Njen način je blag in premišljen; uro na jutranji sestanek ponuja naročilo sendviča za obiskovalca, čeprav sama preskakuje kosilo. "Zame je ramazan, " pravi in ​​se nasmehne, "vendar to za vas ni ramazan."

Obiskovalce sedi za mizo, obrnjena proti monitorju in spletni kameri; programska oprema poišče obraz obiskovalca in okoli njega na zaslonu nariše polje. Identificira nabor točk, ki jih je treba spremljati: kotičke oči in ust, konico nosu in tako naprej. Programska oprema dvajsetkrat vsako sekundo išče "akcijske enote", pogosto minljivo igro mišic po obrazu. Teh je 46, v skladu s standardnim sistemom klasifikacije, sistemom za kodiranje obraza (FACS). Vključujejo notranje in zunanje dvižnike za obrvi, podočnjake, utripa, naramnice in naramnice za ustnice, lijake, stiskalnice in sesalce. Standardni program Affectiva kadar koli vzorči približno 15 teh in jih analizira z izrazi sedmih osnovnih čustev: sreče, žalosti, presenečenja, strahu, jeze, gnusa in prezira ter zanimanja in zmede. Nasmehni se in vidiš, kako se meri sreča, kako se dviga; zakrij ustnice v snegu in program opazi tvojo gnus.

Ali natančneje, vaš izraz gnusa. Celotna predpostavka afektivnega računalništva temelji na tem, kar pomeni preskok vere, da nasmeh izraža občutek sreče ali užitka ali zabave. Ljudje smo seveda v istem položaju: Lahko nas prevara lažni nasmeh ali gnusna jeza, zato resnično ne moremo pričakovati več od računalniškega programa, vsaj še ne.

Sčasoma je Affectiva zgradila arhiv več kot treh milijonov videoposnetkov obrazov, ki so jih naložili uporabniki interneta, ki so jih zaposlili iz približno 75 držav po vsem svetu. Na stotine tisoč teh so analizirali usposobljeni opazovalci in jih kodirali za akcijske enote FACS - monumentalni podvig, saj videoposnetki trajajo približno 45 sekund, vsak pa traja približno petkrat dlje. Rezultati človeških kodrov so bili uporabljeni za »treniranje« algoritmov podjetja, ki so preostali obdelovali v realnem času. Celotna zbirka podatkov zdaj obsega približno 40 milijard podatkovnih točk o čustvih, "hvali se El Kaliouby, ki Affectiva loči od drugih podjetij na istem področju, kot je kalifornijska družba Emotient, verjetno njen najbližji konkurent.

nasmeh.chart.jpg (Grafikon: 5W Infographics; Vir: Daniel McDuff, MIT Media Lab, Affectiva)

Daniel McDuff, ki se je pridružil Affectiva iz MIT Media Lab in je direktor za raziskave, nenehno preučuje to pot za dodatne vpoglede v izražanje čustev. Kako se razlikujejo po starosti, spolu in kulturi? (Morda je presenetljivo, da je McDuff ugotovil, da so starejši bolj izraziti predvsem pozitivna čustva kot mlajši.) Ali lahko zanesljivo izmerimo prezir, zadrego, dolgčas, tesnobo? Kdaj se brazda obrvi signalizira zmedo in kdaj kaže koncentracija? Kako lahko ločimo med izrazom strahu in izrazom presenečenja? (Namig: Akcijska enota 1, "notranji dvig obrvi", je oznaka za strah; akcijska enota 2, "zunanja dvigala obrvi", kaže na presenečenje.) Po njegovem mnenju obstaja razlog, da verjamemo, da se bo program nadaljeval izboljšati zaznavanje izrazov (čeprav morda nikoli ne bo povsem premagal največje ovire od vseh: botoks).

Na mojo prošnjo je McDuff programu namenil enega velikih klasičnih problemov zaznavanja čustev, Mona Lisa, čigar enigmatični kvazi nasmeh je gledalce spletil že 500 let. Z opozorilom, da programska oprema najbolje deluje pri premikanju izrazov, ne pa statičnih slik, je sporočil, da ni našel nobenega pristnega nasmeha La Gioconde, temveč nekaj kombinacije akcijske enote 28 (ustnice) in 24 (ustnice stisnjene skupaj), kar morda kaže na določeno raven nelagodja.

**********

"Zdaj govorim s tabo, " pravi El Kaliouby, "in opazujem vas, da preverite svoje zanimanje za to, kar govorim. Naj upočasnim in razložim več? Naj grem na drugo temo? Zdaj pa si predstavljajte, da dajem webinar veliki skupini, ki je ne vidim in ne slišim. Ne dobivam povratnih informacij, ni načina, da bi ugotovili, ali je šala delovala ali je padlo v poštev, če so ljudje angažirani ali dolgčas. Ali ne bi bilo čudovito dobiti povratne informacije v realnem času, združene od trenutka do trenutka, ko grem naprej? "

Predvaja oglas za Jibo, "socialni robot", ki je na voljo za prednaročilo na spletnem mestu Indiegogo, ki ga je razvila nekdanja sodelavka MIT, Cynthia Breazeal. Jibo je videti kot nekaj podobne visokotehnološki sijalki, ki sedi na mizi in pregleduje okolico ter s tem identificira posameznike po obrazu in interakcijo z njimi - prenašanje sporočil, izdajanje opomnikov, rutinske telefonske klice, celo klepet. To je še ena potencialna aplikacija za programsko opremo Affectiva - podjetja se pogovarjajo - in to je "zelo vznemirljiva perspektiva", pravi El Kaliouby.

Za nekatere je navdušujoče, toda možnost robotov za obdelavo čustev je zaskrbljujoča za druge. Sherry Turkle, ki je dolgo preučevala, kako se ljudje povezujejo z računalniki, v svoji novi knjigi Reclaiming Conversation: The Power of Talk in Digital Age opozarja na "robotski trenutek", ko stroji začnejo nadomeščati človeško druženje. Turkle verjame, da lahko znanstveniki, kot je El Kaliouby in njena ekipa, naredijo, kar bodo rekli. "To so vsi briljantni, nadarjeni ljudje, ki opravljajo briljantno delo, " pravi. In strinja se, da v določenih okoliščinah - nevarnih okoljih, kot sta vesolje ali okoli težkih strojev, kjer želite vključiti vse možne načine komunikacije - igra pomembno vlogo računalništvo. "Toda naslednji korak, " pravi, "sploh ne sledi. Naslednji korak je: Naredimo prijatelja robota. Intervjuval sem starše, ki so srečni, da se njihovi otroci pogovarjajo s Siri in mislim, da nas to ne vodi po poti, kamor želimo iti. Kot človeka se opredeljujemo po tem, s kom se povezujemo, in nima smisla, da bi oblikoval vaš občutek samopodobe v odnosu do stroja. Zakaj bi radi, da računalnik ve, če ste žalostni? "

Celo el Kaliouby se nagiba k temu, da "s svojimi napravami porabimo več časa, kot bi morali, " seveda ima v mislih svojo prednaročeno hčerko, katere pogled se zaklepa na zaslonu pametnega telefona.

Vendar meni, da je trend k vedno večji povezljivosti nepopravljiv, in meni, da bi se lahko uporabniki kljub temu, da bi se vedno prijavili, tudi najbolje potrudili. Napoveduje, da bodo naše naprave imele "čustveni čip in nabor aplikacij, ki ga uporabljajo na način, ki v naše življenje doda dovolj vrednosti, ki odtehta skrbi ljudi pri skupni rabi teh podatkov." Navaja analogijo GPS napravam: Učinkovito računalništvo lahko nam pomagajo krmariti po čustvenem prostoru na enak način, kot nam pomagajo telefonske aplikacije v fizičnem prostoru. "Vsi so bili zaskrbljeni glede naprav za zaznavanje lokacije, ko so se prvič pojavili. Vdrli so v našo zasebnost, ves čas so nas spremljali, " pravi. »Šele zdaj bi se vsi izgubili brez Google Maps na naših telefonih. Mislim, da bo to isto. "

**********

Nasmeh, tarnanje, grimace in nasmeh - vaš obrazni izraz je naslednja meja v velikih podatkih