Pred nekaj tedni sem bil v nakupovalnem središču, ko sem opazil žensko, ki je nosila veliko torbico z vrvi v obliki traku. Ker sem na trgu za novo tote, sem razmišljal, da bi jo vprašal, kje jo je dobil. Toda preden sem se lahko premaknil, je izginila za vogalom. Ko sem prišel domov, sem poskusil s Googling torbo. Nisem pa nobena fashionista in ugotovila sem, da nimam besedišča, ki bi opisovala to, kar sem videla. "Usnjena torbica s trakom za vezenje" ni bila v redu. Niti "torbica z ročajem vrvi" ali "torba s jermenom." Sčasoma sem obupala.
Zdaj nova tehnologija želi ljudem pomagati iskati stvari, ki jih ne morejo nujno opisati z besedami.
James Hays, računalniški znanstvenik z Georgia Institute of Technology, je ustvaril računalniški program, ki je sposoben ročno narisati slike s fotografijami. To bi sčasoma lahko pripeljalo do programa, ki bi lahko združeval internetne storitve iskanja slik, kot je Google Images, in poiskal fotografije, ki natančno ustrezajo risbam uporabnikov.
"Cilj je, da bi fotografije in skice lahko povezali ali se ujemali v obe smeri, tako kot človek, " pravi Hays. "Človek lahko vidi slabo narisano skico in ugotovi, kateri fotografiji se zdi, da se ujema. Računalniško želimo imeti isto sposobnost. "
Za izdelavo programa je Hays najel skoraj 700 delavcev iz Amazon Mechanical Turk, tržnice za množično trženje, ki delavce ujema z ljudmi, ki potrebujejo opravljene naloge. Njegova ekipa je delavcem pokazala fotografije navadnih predmetov in živali, kot so veverice, čajniki in banane, kar jim je omogočilo, da si sliko ogledajo dve sekundi. Delavec bi nato predmet narisal iz spomina. Ekipa je na koncu zbrala več kot 75.000 skic 12.500 predmetov. To so poimenovali "Sketchy baza podatkov."
Program je nato analiziral skice in jih primerjal s fotografijo, ki jim je najbolj podobna. Tehnologija je pravilno fotografijo prepoznala 37 odstotkov časa. Ljudje so bili v primerjavi s tem približno 54 odstotkov časa. Čeprav se 37 odstotkov morda ne zdi impresivno, je to za računalnike pravzaprav velik preskok.
"Ljudje so že tako presenetljivo dobri v vidu, da slike zlahka prepoznamo, " pravi Hays. "Računsko je dejansko presenetljivo težko."
Eden glavnih izzivov pri izboljšanju programa je, da je večina ljudi precej bučnih umetnikov. Kot sta Hays in njegova ekipa zapisala v prispevku na to temo, so: "Oblike in lestvice so izkrivljene. Deli predmeta so karikirani (velika ušesa na slonu), antropomorfizirani (nasmejana usta na pajku) ali poenostavljeni (palice v obliki palice). "
Zgodovinsko gledano je bilo raziskovanje pridobivanja računalnikov za prepoznavanje skic osredotočeno na stvari, kot so razporeditev črt na risbi, smer, po kateri gredo črte ali kje so meje risbe. Ker pa ljudje rišejo le tisto, kar je vidno do ljudi (oči so na primer vedno vključene v skice, čeprav so razmeroma majhne), je pomembno, da se računalnik "nauči", kako skice so podobne in kako ponavadi biti drugačen od fotografij. Program za to uporablja dve ločeni mreži, eno, ki ocenjuje skice, in tisto, ki ocenjuje fotografije. Program lahko s stalno analizo velikega nabora podatkov nenehno "uči".
Hays in njegova ekipa načrtujejo nadaljnje izboljšanje programa z dodajanjem podatkov. Napredek v računalniškem učenju bi moral prispevati tudi k izboljšanju števila ujemanja. Program ima do zdaj precej visoko stopnjo ujemanja, če primerjamo skice z internetnimi bazami fotografij fotografij, vključno s Flickrjem, čeprav ga je težko določiti, pravi Hays.
Poleg iskanja slik v torbici, ki ga tako zelo potrebujem, ima program tudi številne manj neresne možnosti uporabe. Policija bi lahko pregledala osumljene skice in jih primerjala s bazo kriminalnih fotografij. Program lahko uporabljajo ljudje, ki govorijo in pišejo v katerem koli jeziku ali sploh ne znajo pisati.
"Eden od ciljev za razumevanje skic je, da so nekoliko univerzalen jezik, " pravi Hays. "Ni vezan na določen pisni jezik in sploh ni vezan na opismenjevanje. [Takšen program bi lahko prinesel] dostop do informacij brez pisnega jezika. "
Program bi bilo mogoče umetniško uporabiti tudi za ustvarjanje fotorealističnih prizorov iz skic. Ste si vedno predstavljali živeti v gradu na Luni? Narišite in program bi lahko nekega dne ustvaril fotografijo za vas tako, da bi zlepil koščke drugih slik.
Informacije, ki jih je zbral Hays in njegova ekipa, bi lahko pomagale tudi pri reševanju nekaterih vprašanj nevroznanosti in psihologije, pravi Hays.
"Ti pari skic-fotografij govorijo o človeški percepciji, o tem, kaj mislimo, da je vidno, kakšni deli slik pritegnejo našo pozornost, " pravi Hays. "Na nek način ta baza podatkov to zelo dobro kodira. Iz tega bi se lahko nekaj znebili, če želite sami povedati nekaj o ljudeh. "
