S kamero v vsakem žepu in programsko opremo za prepoznavanje obraza, vgrajeno v naše pametne telefone in družbena omrežja, je včasih enostavno pozabiti, da fotografiranje in prepoznavanje obrazov v njih ni bilo vedno tako preprosto. Ne glede na to, ali so izgubljeni, poškodovani ali preprosto neoznačeni, je postopek prepoznavanja ljudi na starih fotografijah lahko mučen. A kot je ugotovil Kurt Luther, docent za računalništvo na Virginia Tech, so izkušnje lahko tudi precej ganljive.
Luther je bil leta 2013 na razstavi "Pensilvanija o državljanski vojni" v Pittsburghovem senatorju John Heinz History Center, ko je naletel na fotografijo svojega velikega-velikega strica Oliverja Croxtona. Opisal je pogled na fotografijo, ki je bila najstarejša družinska fotografija, ki jo je videl, kot potovanje skozi čas.
Zgodovina, ki jo je zanimala ameriška državljanska vojna, je že zaživel trenutek Lutherja in začel se je spraševati, kako bi iste izkušnje prinesel tisočem drugih ljubiteljev zgodovine.
"Začel sem se učiti več o fotografiji iz državljanske vojne, " pravi Luther, "in o tem, kako prepoznati [ljudi] z različnimi vizualnimi namigi, kot so uniforma, oznake ali podatki o fotografskem studiu. Medtem sem veliko raziskoval na področju množičnega trženja kot profesor računalništva in pomislil sem, da je mogoče, da te dve stvari združim. "
Luther je naletel na fotografijo svojega pra-pra-pradeda Oliverja Croxtona. (Z dovoljenjem zbirke Ken Turner) Rezultat je brezplačna spletna programska oprema, imenovana Civil War Photo Sleuth, ki uporablja množično izvajanje in prepoznavanje obraza, da uporabnikom pomaga prepoznati neznane teme na fotografijah iz obdobja državljanske vojne. Tik pred uradno izdajo leta 2018 je tehnologija dobila Microsoftovo glavno nagrado v Microsoftovem raziskovalnem izzivu Cloud AI za uporabo Microsoftove programske opreme za prepoznavanje obrazov in najboljšo predstavitev nagrade Demo na konferenci Human Computation and Crowdsourcing 2018. Luther se ta teden predstavlja na konferenci Združenja za računalniške stroje Inteligentni uporabniški vmesniki v Los Angelesu.
Fotograf Sleuth je zasnovan s pomočjo doktorskih in dodiplomskih študentov na Virginia Techu, vključno s projektnim voditeljem Vikram Mohanty, in v sodelovanju z oddelkom za zgodovino Virginia Tech-a uporablja večstranski pristop, da predlaga najbolj natančne identifikacije.
Prvi ključni korak v postopku je bila izgradnja velike baze podatkov že identificiranih fotografij. Do danes ima Photo Sleuth približno 17.000 identificiranih fotografij iz nacionalnih arhivov, kot je ameriški inštitut za vojaško zgodovino, pa tudi iz zasebnih zbirk, ki vključujejo ne samo vojake iz državljanske vojne, ampak tudi civiliste in drugo vojaško osebje tiste dobe.
Luther pravi, da so imeli srečo, da so imeli dostop do že tako navdušene skupnosti zgodovinarjev državljanske vojne z dostopom do teh fotografij, saj brez trdne baze že prepoznanih fotografij ne bi bilo mogoče, da bi bila programska oprema uporabna.
"Ni podobno kot v polju sanj, " pravi Luther, "Če bi spletno stran zagnali brez slik in samo upali, da jih bodo uporabniki dodali vsi, bi se srečali s težavo hladnega zagona, kjer preprosto nimate nobene vsebine. ”
Baza podatkov o identificiranih fotografijah igra bistveno vlogo pri pomoči uporabnikom pri prepoznavanju fotografij, ki jih naložijo sami. Uporabniki ročno označijo posebne vizualne lastnosti, kot so barva dlake, lasje na obrazu ali oznake vojaškega ranga, fotografija pa skozi algoritem prepoznavanja obraza za analizo in beleženje edinstvenih razmerij obraza, na primer razdalja med mejniki obraza, kot sta nos in oči. Photo Sleuth primerja vizualne podatke neznane fotografije z že opredeljenimi fotografijami v zbirki podatkov in uporabniku predstavi tisto, za kar meni, da so najboljša ujemanja, ki temeljijo na obrazni podobnosti in informacijah, pridobljenih iz drugih metapodatkov, na primer vojakov, ki so videti v enaka enota, ki temelji na oznakah njihovih uniform. Čeprav programska oprema namerno koraka na poti, da omeji možnost lažne identifikacije, Luther pravi, da mora uporabnik na koncu dneva narediti končno identifikacijo, ko bo predstavljen z najboljšimi ugibanji programske opreme.
"Bili smo zelo zaskrbljeni, ker bi preprečili lažno identifikacijo, " pravi Luther, "ker ko govorite o internetu, ko jih enkrat postavite na napačne podatke, se jih je težko znebiti ali spremeniti."
Da bi zagotovil, da je njihova programska oprema uporabnikom nudila najboljše možne možne identifikacije, je Luther opravil analizo prvega meseca predlaganih identifikacij programske opreme z metodami, opisanimi v stolpcih, ki jih je prispeval v reviji o vojni zgodovini državljanske vojne. Analiza identifikacij iz "definitivno ni ujemanje", "verjetno ni tekmo", "verjetno ujemanje" in "vsekakor ujemanje", je analiza pokazala, da je bilo 85 odstotkov predlaganih identifikacij verjetno ali zagotovo ujemanje. Na konferenci ta teden Luther pravi, da namerava izpostaviti ugotovitve najnovejših raziskav skupine Photo Sleuth, vključno z odkritjem Davea Morina, zbiratelja posnetkov državljanske vojne v New Hampshireu, o portretu neznanega drugega poročnika Unije . Fotografija Sleuth je predlagala, da je moški na portretu William H. Baldwin iz prvega newyorškega inženirja. Morin, ki je potrdil, da je Baldwin po rodu iz New Hampshira, pravi, da brez pomoči Photo Sleuth nikoli ne bi našel zadevnega inženirja Granita.
Kurt Luther je docent računalniških znanosti na Virginia Tech. (Amy Loeffler) Raziskava poudarja tudi dopolnilne prednosti človeških zgodovinarjev in same programske opreme. Kljub njihovim naporom Luther pravi, da je programska oprema lahko tako daleč, ko prepozna pravilne ujemanja, uporabnike pa pri iskanju namigov, ki so v slepih točkah obraznega algoritma.
"[Algoritem] je usposobljen za splošno prepoznavanje obrazov [na] večinoma sodobnih slik, " pravi Luther. "AI ima težek čas, ko je obraz obrnjen na stran [v profilu]. Je nekakšen nenavaden portret po današnjih standardih, toda sredi 19. stoletja je bil običajen. "
Skupina je tudi ugotovila, da so bili uporabniki pri prepoznavanju drugih edinstvenih ustvarjalcev, kot so brada in brazgotine, veliko bolj uspešni kot algoritem sam.
Patrick Lewis, zgodovinar državljanske vojne in glavni urednik znanstvenih virov in publikacij zgodovinskega društva v Kentuckyju, ki ni bil del razvoja Photo Sleuth, pravi, da bo fotografija Sleuth iz civilne vojne odlično orodje za ne samo prinašanje teh pozabljenih zgodb življenje, vendar pomagati še naprej graditi mrežo zgodovinarjev državljanske vojne po vsej državi.
"Rad sem šel noter in si ogledal nove fotografije, označene v Kentuckyju, " pravi Lewis. "[In vprašajte] kdo so ljudje, ki se tam zbirajo? Ali bi se moral zavedati njihovih posameznih zbirateljev in bi moral stopiti v stik z njimi, da vidim, ali imajo še kakšen material, ki bi lahko bil zanimiv za raziskave? "
Čeprav se še ni povezal s posameznimi zbiralci prek Photo Sleuth, Lewis pravi, da je zgodovinsko društvo v Kentuckyju samo sodelovalo pri gradnji zapisov o znanih spletnih arhivih in da bi programska oprema, kot je Photo Sleuth, močno izboljšala njihovo sposobnost za nadaljevanje tega dela.
V nadaljevanju Luther pravi, da želijo "podvojiti [človeške prednosti" programske opreme, vključno z dodajanjem možnosti "Second Opinion", ki bo več uporabnikom omogočil sodelovanje pri končni identifikaciji fotografije in pri delu. o širitvi fizičnega dosega in upravljanja skupnosti, da bi razvili uporabniško bazo Photo Sleuth. Programska oprema bo videla tudi nekaj dvigal za obraz, vključno z novo funkcijo, ki bo uporabnikom omogočala nalaganje in identifikacijo ljudi na skupinski fotografiji.
"Naš končni cilj je prepoznati vsako neznano fotografijo iz državljanske vojne, " pravi Luther, "in povečimo [Photo Sleuth] večje in boljše, saj je 25.000 slik le kaplja v vedro."
