Kaj je pravično?
Zdi se preprosto vprašanje, vendar je eno brez preprostih odgovorov. To še posebej velja v skrivnem svetu umetne inteligence (AI), kjer pojem pametnih, brez čustev strojev, ki sprejemajo odločitve, brez česar pristranskosti, hitro bledi.
Morda najbolj javno očitanje tega dojemanja je prišlo s preiskavo ProPublica iz leta 2016, v kateri je bilo ugotovljeno, da so bili podatki, ki vodijo sistem AI, ki jih sodniki uporabljajo za določitev, ali je obsojeni zločinec lahko storil več kaznivih dejanj, pristranski do manjšin. Northpointe, podjetje, ki je ustvarilo algoritem, znan kot COMPAS, je oporekalo razlagi rezultatov ProPublice, vendar je spopad sprožil tako razpravo kot tudi analize o tem, koliko naj zaupati tudi najpametnejšim strojem.
"To je res vroča tema - kako narediti algoritme poštene in zaupanja vredne, " pravi Daniel Neill. "To je pomembno vprašanje."
Neill se zdaj znajde sredi te razprave. Računalnik z univerze Carnegie Mellon je skupaj z drugim raziskovalcem Willom Gorrjem pred nekaj leti razvil programsko orodje za napovedovanje kaznivih dejanj, imenovano CrimeScan. Njihov prvotni koncept je bil, da je nasilno kaznivo dejanje na nek način kot nalezljiva bolezen, da se ponavadi izbruhne v geografskih grozdih. Prav tako so verjeli, da so lahko manjša kazniva dejanja predsodki nasilnejših, zato so izdelali algoritem z uporabo številnih podatkov o "vodilnih kazalcih", vključno s poročili o zločinih, kot so preprosti napadi, vandalizem in neredno ravnanje in 911 kliče o takih stvareh, kot so streli ali osebe, ki jih je videl z orožjem. Program vključuje tudi trende sezone in dneva v tednu ter kratkoročne in dolgoročne stopnje hudih nasilnih kaznivih dejanj.
Ideja je slediti iskricam, preden izbruhne požar. "Gledamo več manjših kaznivih dejanj, " pravi Neill. »Preprosti napadi bi se lahko zaostrili v zaostrene napade. Ali pa imate morda naraščajoč vzorec nasilja med dvema tolpama. "
Napovedovanje, kdaj in kje
CrimeScan ni prva programska oprema, zasnovana za tako imenovano napovedovanje. Program, imenovan PredPol, so pred osmimi leti ustvarili znanstveniki UCLA, ki sodelujejo s policijskim oddelkom v Los Angelesu, s ciljem, da vidijo, kako lahko znanstvena analiza podatkov o kriminalu pomaga pri odkrivanju vzorcev kriminalnega vedenja. Zdaj ga uporablja več kot 60 policijskih oddelkov po vsej državi, PredPol prepozna območja v soseski, kjer se v določenem obdobju bolj verjetno zgodi huda kazniva dejanja.
Podjetje trdi, da je raziskava ugotovila, da je programska oprema dvakrat bolj natančna kot človeški analitiki, ko gre za napovedovanje, kje se bodo zločini zgodili. Nobena neodvisna študija pa teh rezultatov ni potrdila.
Tako PredPol kot CrimeScan svoje napovedi omejujeta na to, kje bi se lahko zgodila kazniva dejanja, in se izognili nadaljnjemu napovedovanju, kdo bi jih lahko storil - kontroverznem pristopu, ki ga je mesto Chicago oblikovalo na podlagi "Strateškega seznama predmetov" ljudi, za katere je najbolj verjetno, v prihodnjih strelih bodisi kot strelec ali žrtev.
Ameriška zveza civilnih svoboščin [ACLU], Center za pravičnost v Brennanu in različne organizacije za državljanske pravice so sprožila vprašanja o tveganju, da se pristranskost vključi v programsko opremo. Zgodovinski podatki iz policijskih praks, trdijo kritiki, lahko ustvarijo povratno zanko, skozi katero algoritmi sprejemajo odločitve, ki odražajo in krepijo stališče o tem, katere soseske so "slabe" in katere "dobre." Zato AI, ki temelji predvsem na podatkih o aretacijah, ima višje tveganje pristranskosti - bolj odraža policijske odločitve v nasprotju z dejanskimi prijavljenimi kaznivimi dejanji. CrimeScan se na primer izogiba poskusu napovedovanja zločinov, ki jih, kot pravi Neill, "boste našli le, če jih poiščete."
"Ne morem reči, da smo brez pristranskosti, " pravi Neill, "vendar je gotovo bolj zmanjšan, kot če bi poskušali napovedati posedovanje drog."
Potem je tu še druga stran povratne zanke. Če bo orodje za napoved dvignilo pričakovanja o zločinih v določeni soseščini, bo policija, ki tam patruljira, bolj agresivna pri aretacijah?
"Ob kakršni koli policiji, ki temelji na podatkih, obstaja resnična nevarnost, da pozabimo, da na obeh straneh enačbe obstajajo ljudje, " ugotavlja Andrew Ferguson, profesor prava na univerzi v Kolumbiji in avtor knjige knjiga, Rise of Big Data Policing: Nadzor, Dirka in Prihodnost kazenskega pregona. "Uradniki morajo biti sposobni prenašati te zamisli, ki kažejo, da imajo različne soseske različne ocene groženj. In če se osredotočite na številke namesto na človeka pred vami, spremenite svoj odnos do njih. "
Znotraj črne škatle
V resnici je umetna inteligenca zdaj v mnogih odločitvah, ki vplivajo na vsakdanje življenje, čeprav - pogosto v ozadju - od pomoči podjetjem pri izbiri, koga najeti, do določitve kreditnih točk do ocenjevanja učiteljev. Ni presenetljivo, da se je to povečalo v javnosti, kako nastajajo algoritmi strojnega učenja, kakšne nenamerne posledice povzročajo in zakaj na splošno niso podvrženi veliko pregledovanju.
Za začetek je večina programske opreme lastniške, zato je malo preglednosti, kako algoritmi delujejo. Ker pa bo strojno učenje postalo bolj prefinjeno, bo celo inženirjem, ki so ustvarili sistem AI, vedno težje razložiti izbire, ki jih je sprejel. To nepregledno odločanje z malo odgovornosti je posledica tega, kar so postali znani kot algoritmi "črne skrinje".
"Javnost nikoli ne dobi možnosti za revizijo ali razpravo o uporabi takih sistemov, " pravi Meredith Whittaker, soustanoviteljica AI Now Institute, raziskovalne organizacije na newyorški univerzi, ki se osredotoča na vpliv AI na družbo. "In podatki in logika, ki urejajo predvidene napovedi, pogosto niso znani niti tistim, ki jih uporabljajo, kaj šele ljudem, katerih življenje je prizadeto."
V poročilu, ki je bilo izdano lansko jesen, je AI Now šel tako daleč, da je priporočil, da nobene javne agencije, ki so odgovorne za zadeve, kot so kazensko pravosodje, zdravstveno varstvo, socialno varstvo in izobraževanje, ne smejo uporabljati sistemov AI black black box. Po mnenju AI Now so redna pravna in etična vprašanja, ki se veliko upoštevajo pri izdelavi programske opreme.
"Tako kot ne bi zaupali sodniku, da bi zgradil globoko nevronsko mrežo, bi se morali nehati domnevati, da je tehnična stopnja dovolj za sprejemanje kompleksnih odločitev na področjih, kot je kazensko pravosodje, " pravi Whittaker.
Druga organizacija, Center za demokracijo in tehnologijo, je ustvarila orodje za "digitalne odločitve", s pomočjo katerega bi inženirjem in računalničarjem pomagali ustvariti algoritme, ki dajejo poštene in nepristranske rezultate. Orodje postavlja veliko vprašanj, s katerimi naj bi pretehtali svoje predpostavke in opredelili nepredvidene učinke valovanja.
"Ljudem smo želeli dati konkretno izhodišče za razmislek o vprašanjih, kot so reprezentativnost njihovih podatkov, katere skupine ljudi so morda izpuščene in ali bodo rezultati njihovih modelov imeli nenamerne negativne posledice, " pravi Natasha Duarte, ki nadzira projekt.
Kdo je odgovoren?
Medtem ko so se razvijalci bolj zavedali možnih posledic njihovih algoritmov, drugi opozarjajo, da morajo biti tudi javne agencije in družbe, ki so odvisne od AI, odgovorne.
»Ta poudarek je na oblikovalcih, ki razumejo sistem. Vendar gre tudi za ljudi, ki upravljajo in izvajajo sistem, "pravi Jason Schultz, profesor prava na newyorški univerzi, ki sodeluje z Inštitutom AI Now na področju pravnih in političnih vprašanj. "Tu se guma sreča s pomočjo odgovornosti. Vladna agencija, ki uporablja AI, ima največ odgovornosti in jo morajo tudi razumeti. Če tehnologije ne morete razumeti, je ne bi mogli uporabljati."
V ta namen AI Now spodbuja uporabo "algoritmičnih ocen učinka", zaradi katerih bi morale javne agencije razkriti sisteme, ki jih uporabljajo, in zunanjim raziskovalcem omogočiti, da jih analizirajo zaradi morebitnih težav. Kar zadeva policijske oddelke, nekateri pravni strokovnjaki menijo, da je pomembno tudi, da jasno opredelijo, kako uporabljajo tehnologijo, in so pripravljeni to deliti z lokalno skupnostjo.
"Če so ti sistemi zasnovani z vidika odgovornosti, poštenosti in ustreznega postopka, mora oseba, ki izvaja sistem, razumeti, da je odgovorna, " pravi Schultz. "In ko oblikujemo, kako bomo to izvedli, je eno prvih vprašanj" Kam gre to v policijskem priročniku? " Če tega ne boste imeli nekje v policijskem priročniku, pojdimo korak nazaj, ljudje. "
Andrew Ferguson vidi potrebo po tem, kar imenuje "nadzorni vrh."
"Vsaj enkrat na leto bi moral obstajati trenutek odgovornosti za policijsko tehnologijo v vseh krajevnih pristojnostih, " pravi. "Šef policije, župan ali morda vodja mestnega sveta bi morali razložiti skupnosti, za kaj porabljajo davkoplačevalske dolarje v smislu nadzora in tehnologije, zakaj se jim zdi dobra poraba denarja, za kaj si prizadevam za revizijo in zaščito podatkov, kakšne posledice ima zasebnost. In skupnost bi bila tam, da bi postavljala vprašanja. "
Daniel Neill, ustvarjalec CrimeScan, pravi, da ne bi nasprotoval ideji rednih revizij rezultatov AI, čeprav ima zadržke do tega, preden se algoritem ustrezno preizkusi na terenu. Trenutno sodeluje s policijskim uradom v Pittsburghu na sojenju CrimeScan, vsaj na začetku pa se je znašel izziv z "dosego prave intenzivnosti patrulje za predvidene žarišča."
Učni proces je, kot pravi, prilagodil CrimeScan, tako da policisti na ravni ulice verjamejo, da je koristen. "Pokazati moramo, da ne samo da lahko napovemo zločin, ampak tudi, da ga dejansko lahko preprečimo, " ugotavlja Neill. "Če orodje samo vržete čez steno in upate na najboljše, to nikoli ne bo tako dobro."
Prav tako priznava tveganje, da se preveč odloži algoritmu.
"Orodje lahko pomaga policistom pri sprejemanju dobrih odločitev, " pravi. "Ne verjamem, da bi morali stroji sprejemati odločitve. Uporabiti jih je treba za podporo odločanju. "
Neill doda: "Razumem, da se v praksi to ne dogaja ves čas."
