Algoritma Jalankan Kota DC dengan Tenang—dan Mungkin Kampung Halaman Anda

Kota-kota dengan populasi kulit hitam yang signifikan baru-baru ini memainkan peran sentral dalam kampanye melawan algoritme kota, khususnya dalam kepolisian. Detroit menjadi pusat perdebatan tentang pengenalan wajah menyusul penangkapan palsu Robert Williams dan Michael Oliver pada 2019 setelah algoritme salah mengidentifikasi mereka. Pada 2015, penyebaran pengenalan wajah di Baltimore setelah kematian Freddie Grey dalam tahanan polisi menyebabkan beberapa penyelidikan kongres pertama atas penggunaan teknologi oleh penegakan hukum.

EPIC memburu algoritme dengan mencari pengungkapan publik oleh lembaga kota dan juga mengajukan permintaan catatan publik, meminta kontrak, perjanjian berbagi knowledge, penilaian dampak privasi, dan informasi lainnya. Enam dari 12 agen kota menanggapi, berbagi dokumen seperti kontrak senilai $295.000 dengan Pondera Methods, dimiliki oleh Thomson Reuters, yang membuat perangkat lunak pendeteksi penipuan yang disebut FraudCaster digunakan untuk menyaring pelamar bantuan makanan. Awal tahun ini, pejabat California menemukan bahwa lebih dari setengah dari 1,1 juta klaim oleh penduduk negara bagian bahwa perangkat lunak Pondera ditandai sebagai mencurigakan ternyata sah.

Namun, secara umum, agensi tidak mau berbagi informasi tentang sistem mereka, dengan alasan kerahasiaan dan kerahasiaan perdagangan. Itu membuat hampir tidak mungkin untuk mengidentifikasi setiap algoritma yang digunakan di DC. Awal tahun ini, proyek Sekolah Hukum Yale melakukan upaya serupa untuk menghitung algoritme yang digunakan oleh lembaga negara di Connecticut, tetapi juga terhambat oleh klaim kerahasiaan perdagangan.

EPIC mengatakan pemerintah dapat membantu warga memahami penggunaan algoritme mereka dengan meminta pengungkapan kapan pun suatu sistem membuat keputusan penting tentang kehidupan seseorang. Dan beberapa pejabat terpilih menyukai gagasan untuk mewajibkan pendaftaran publik dari sistem pengambilan keputusan otomatis yang digunakan oleh pemerintah. Bulan lalu, anggota parlemen di Pennsylvania, di mana algoritme penyaringan menuduh orang tua berpenghasilan rendah lalai, mengusulkan undang-undang pendaftaran algoritme.

Tetapi Winters dan yang lainnya memperingatkan agar tidak berpikir bahwa pendaftar algoritme secara otomatis mengarah pada akuntabilitas. Kota New York menunjuk “manajemen algoritme dan petugas kebijakan” pada tahun 2020, posisi baru yang dimaksudkan untuk memberi tahu lembaga kota cara menggunakan algoritme, dan publik tentang cara kota menggunakan pengambilan keputusan otomatis.

Laporan awal petugas mengatakan bahwa lembaga kota menggunakan 16 sistem dengan dampak yang berpotensi besar terhadap hak-hak rakyat, dengan hanya tiga yang digunakan oleh NYPD. Tetapi pengungkapan terpisah oleh NYPD di bawah undang-undang kota yang mengatur pengawasan menunjukkan bahwa departemen tersebut menggunakan bentuk otomatisasi tambahan untuk tugas-tugas seperti membaca plat nomor dan menganalisis aktivitas media sosial.

Kira-kira dua tahun lalu kota Amsterdam dan Helsinki mengumumkan rencana untuk membuat daftar lengkap algoritme kota mereka sendiri, serta kumpulan knowledge yang digunakan untuk melatih mereka dan pegawai kota yang bertanggung jawab. Idenya adalah untuk membantu warga mencari ganti rugi dari manusia jika mereka merasa sistem bermasalah.

Namun hingga saat ini, register AI Helsinki sebagian besar berfungsi sebagai pemasaran untuk satu set chatbot layanan kota. Daftar Algoritma Amsterdam saat ini hanya mencantumkan enam sistem, termasuk untuk mendeteksi persewaan liburan ilegal, kontrol parkir otomatis, dan algoritme yang digunakan untuk melaporkan masalah ke kota. Bersama-sama kedua kota mendaftar whole 10 sistem pengambilan keputusan otomatis, terlepas dari fakta bahwa dokumen yang dirilis oleh pejabat Amsterdam dan Helsinki mengatakan mereka bersama-sama memiliki lebih dari 30 proyek AI yang sedang berlangsung pada akhir 2020.

Para peneliti dari Universitas Oxford, Institut Alan Turing di London, dan Universitas Cardiff mengatakan dalam sebuah makalah tahun lalu bahwa registri AI Amsterdam menghilangkan beberapa alat yang paling memprihatinkan atau bermasalah yang dihadapi oleh penduduk Amsterdam, menyebut daftar itu sebagai “teater etika”. Di kota, algoritme juga dapat memutuskan ke mana anak-anak pergi ke sekolah atau ke mana mengirim polisi. Para penulis menyimpulkan bahwa proyek registri tampaknya sengaja difokuskan hanya pada sekumpulan algoritme yang terbatas dan tidak berbahaya.

Winters mengatakan pendaftar algoritme dapat bekerja, jika aturan atau undang-undang diberlakukan untuk meminta departemen pemerintah menanggapinya dengan serius. “Ini format yang bagus,” katanya tentang pendekatan Amsterdam. “Tapi itu sangat tidak lengkap.”

Diperbarui 11-8-2022, 13:05 EST: Daftar Algoritma Amsterdam mencantumkan enam sistem, bukan tiga.