Baza danych Think Family, uruchomiona w 2016 roku przez radę miasta Bristol oraz policję regionu Avon i Somerset, gromadzi informacje o blisko pół miliona mieszkańców. Przez lata większość z nich nie miała pojęcia o istnieniu tego systemu. Urzędnicy zintegrowali w nim niezwykle wrażliwe dane: od raportów policyjnych i statusu mieszkaniowego, przez historię zdrowia psychicznego, aż po informacje o ciążach nastolatek czy korzystaniu z darmowych posiłków w szkołach. Na podstawie tych danych stworzono modele uczenia maszynowego, które przypisywały mieszkańcom oceny ryzyka, mające rzekomo tworzyć pełny obraz zagrożeń w regionie.
Jeden z policyjnych analityków danych opisał ten proces w 2022 roku w sposób obrazowy: „Wrzucam wszystkie te dane do wielkiego wiadra, mieszam szpatułką do nauki o danych i otrzymujemy piękną ocenę ryzyka dla każdego”. System ten był jednak tylko częścią szerszego programu analityki predykcyjnej. Policja w Avon i Somerset stworzyła co najmniej 23 oddzielne algorytmy, które miały przewidywać m.in. prawdopodobieństwo włamań, niestawienia się w sądzie, zaginięć czy bycia ofiarą przemocy domowej. Kluczowym elementem był również Offender Management App, system zarządzania przestępcami, zawierający dane o około 300 tysiącach osób.
Brak przejrzystości w działaniach policji budzi poważne kontrowersje. John Pegram, lider lokalnej grupy zajmującej się rozliczalnością służb, dowiedział się o istnieniu aplikacji dopiero w 2023 roku. Gdy złożył wniosek o dostęp do informacji o tym, jak policja wykorzystuje jego dane, spotkał się z odmową. Dopiero po zaangażowaniu prawników potwierdzono, że znajduje się w bazie, jednak bez podania szczegółów. Podobnie jak wielu innych mieszkańców, Pegram nie wie, czy został oceniony przez algorytm, jaka jest jego punktacja i jak wpływa ona na jego relacje z organami ścigania.
Wspólne śledztwo dziennikarskie ujawniło, że co najmniej dwa modele oceny ryzyka zostały po cichu porzucone, ponieważ pracownicy rady miasta uznali, że nie można im ufać. Niezależni audytorzy ostrzegali, że brak transparentności podważa zaufanie publiczne. Analiza ponad 36 tysięcy wyników działania modeli wykazała w niektórych przypadkach „rażąco słabą skuteczność predykcyjną”.
Eksperymenty w Bristolu rozpoczęły się w 2015 roku, gdy zespół Insight Bristol zaczął łączyć dane z różnych sektorów publicznych. Twórcy systemu nie pytali mieszkańców o zgodę, powołując się na tzw. bramki prawne, które pozwalają na wymianę danych w celu ochrony dzieci. Gary Davies, były nadinspektor policji kierujący zespołem, twierdził, że projekt poprawił zrozumienie ryzyka, jednak przyznaje, że „większość wyników mówiła urzędnikom to, co już wiedzieli”.
Problemy z jakością danych stały się wyraźne, gdy policja próbowała rozszerzyć zasięg algorytmów na cały obszar swojej jurysdykcji. Gdy zabrakło danych z innych rad miejskich, modele zaczęły działać gorzej. Pracownicy socjalni zgłaszali, że algorytmy są niedokładne, a dzieci, które faktycznie wymagały pomocy, nie były identyfikowane przez system. Jeden z urzędników przyznał: „Nie poszedłbym na spotkanie, mówiąc, że widziałem to w bazie, bo nie miałbym pewności, że to dokładne”.
Niezależna firma audytorska Eticas, która przeanalizowała dane dostarczone przez policję, wydała miażdżącą opinię. Okazało się, że większość modeli charakteryzowała się niską precyzją. Przykładowo, model przewidujący włamania przez ponad trzy lata działał z precyzją poniżej 10 procent, co oznacza, że mniej niż jedna na dziesięć osób oznaczonych jako „wysokie ryzyko” faktycznie popełniła przestępstwo.
Mimo kontrowersji, brytyjski rząd planuje dalsze inwestycje w sztuczną inteligencję w policji. Powołano organ PoliceAI z budżetem 75 milionów funtów (ok. 380 milionów złotych), który ma wdrażać narzędzia AI w 43 jednostkach policji w Anglii i Walii. Andy Marsh, były szef policji w Avon i Somerset, obecnie stojący na czele College of Policing, jest zwolennikiem tego rozwiązania, twierdząc, że skuteczne AI powinno być „wstrzykiwane jak heroina”, aby przyspieszyć pracę służb.
John Pegram nie ustaje w walce o usunięcie swoich danych z policyjnych systemów. Jego prawnicy powiadomili policję o zamiarze wszczęcia postępowania sądowego. Tymczasem policja w Avon i Somerset zapowiedziała, że poszukuje niezależnej strony, która dokona przeglądu stosowanych przez nich modeli. Dla wielu mieszkańców pozostaje jednak pytanie, czy algorytmy powinny mieć tak dużą władzę nad ludzkim życiem, zwłaszcza gdy ich działanie opiera się na nieprzejrzystych i często błędnych danych.
