Kecerdasan buatan dan alat-alat algoritmik yang digunakan oleh pemerintah pusat akan dipublikasikan dalam daftar publik setelah ada peringatan bahwa alat-alat tersebut dapat mengandung rasisme dan bias yang “mengakar”.
Para pejabat mengonfirmasi akhir pekan ini bahwa perangkat yang ditentang oleh para pegiat atas dugaan kerahasiaan dan risiko bias akan segera diberi nama. Teknologi ini telah digunakan untuk berbagai tujuan, mulai dari mencoba mendeteksi pernikahan palsu hingga membasmi penipuan dan kesalahan dalam klaim tunjangan.
Langkah ini merupakan kemenangan bagi para pegiat yang telah menentang penerapan AI di pemerintah pusat sebelum teknologi tersebut kemungkinan akan diluncurkan secara cepat di sektor publik. Caroline Selman, seorang peneliti senior di Public Law Project (PLP), sebuah lembaga amal yang bergerak di bidang akses keadilan, mengatakan bahwa terdapat kurangnya transparansi mengenai keberadaan, perincian, dan penerapan sistem tersebut. “Kita perlu memastikan bahwa badan publik menerbitkan informasi mengenai perangkat ini, yang tengah diluncurkan secara cepat. Merupakan kepentingan semua pihak bahwa teknologi yang diadopsi sah, adil, dan tidak diskriminatif.”
Pada bulan Agustus 2020, Kementerian Dalam Negeri setuju untuk berhenti menggunakan algoritma komputer untuk membantu memilah aplikasi visa setelah diklaim mengandung “rasisme dan bias yang mengakar”. Para pejabat menangguhkan algoritma tersebut setelah gugatan hukum oleh Joint Council for the Welfare of Immigrants dan kelompok hak digital Foxglove.
Foxglove mengklaim bahwa beberapa negara secara otomatis diberi skor risiko lampu lalu lintas “merah”, dan orang-orang tersebut lebih mungkin ditolak visanya. Dikatakan bahwa proses tersebut merupakan diskriminasi rasial.
Departemen tersebut juga ditantang tahun lalu atas alat algoritmik untuk mendeteksi pernikahan palsu yang digunakan untuk menumbangkan kontrol imigrasi. PLP mengatakan tampaknya alat tersebut dapat mendiskriminasi orang-orang dari negara-negara tertentu, dengan penilaian kesetaraan yang diungkapkan kepada badan amal tersebut yang mengungkapkan bahwa orang-orang Bulgaria, Yunani, Rumania, dan Albania lebih mungkin dirujuk untuk diselidiki.
Pusat Etika Data dan Inovasi milik pemerintah, yang kini menjadi Unit Adopsi Teknologi yang Bertanggung Jawab, memperingatkan dalam sebuah laporan pada November 2020 bahwa terdapat banyak contoh di mana teknologi baru telah “memperkuat atau memperkuat bias historis, atau bahkan menciptakan bentuk bias atau ketidakadilan baru”.
Pusat ini membantu mengembangkan standar pencatatan transparansi algoritmik pada bulan November 2021 untuk badan publik yang menggunakan AI dan alat algoritmik. Mereka mengusulkan agar model yang berinteraksi dengan publik atau memiliki pengaruh signifikan terhadap keputusan dipublikasikan di sebuah daftar atau “repositori”, dengan rincian tentang bagaimana dan mengapa mereka digunakan.
setelah promosi buletin
Hingga saat ini, hanya sembilan catatan yang telah dipublikasikan dalam tiga tahun di repositori tersebut. Tidak ada satu pun model yang dioperasikan oleh Kementerian Dalam Negeri atau Departemen Pekerjaan dan Pensiun (DWP), yang telah mengoperasikan beberapa sistem yang paling kontroversial.
Pemerintah terakhir mengatakan dalam tanggapan konsultasi tentang regulasi AI pada bulan Februari bahwa departemen akan diamanatkan untuk mematuhi standar pelaporan. Departemen Sains, Inovasi, dan Teknologi (DSIT) mengonfirmasi akhir pekan ini bahwa departemen sekarang akan melaporkan penggunaan teknologi berdasarkan standar.
Seorang juru bicara DSIT berkata: “Teknologi memiliki potensi besar untuk meningkatkan layanan publik, tetapi kami tahu penting untuk mempertahankan perlindungan yang tepat termasuk, jika sesuai, pengawasan manusia dan bentuk tata kelola lainnya.
“Standar pencatatan transparansi algoritmik kini wajib bagi semua departemen, dengan sejumlah catatan yang akan segera diterbitkan. Kami terus menjajaki cara untuk memperluasnya di seluruh sektor publik. Kami mendorong semua organisasi untuk menggunakan AI dan data dengan cara yang membangun kepercayaan publik melalui berbagai alat, panduan, dan standar.”
Departemen-departemen kemungkinan akan menghadapi panggilan lebih lanjut untuk mengungkap lebih banyak detail tentang cara kerja sistem AI mereka dan langkah-langkah yang diambil untuk mengurangi risiko bias. DWP menggunakan AI untuk mendeteksi potensi penipuan dalam klaim awal untuk kredit universal, dan memiliki lebih banyak lagi yang sedang dikembangkan untuk mendeteksi penipuan di area lain.
Dalam laporan tahunan terbarunya, DWP menyatakan telah melakukan analisis “kewajaran” atas penggunaan AI untuk klaim uang muka kredit universal yang tidak “menunjukkan kekhawatiran langsung tentang diskriminasi”. DWP belum memberikan rincian penilaiannya karena kekhawatiran bahwa publikasi tersebut dapat “memungkinkan penipu memahami cara kerja model tersebut''.
PLP mendukung kemungkinan tindakan hukum terhadap DWP atas penggunaan teknologi tersebut. Mereka mendesak departemen tersebut untuk memberikan rincian tentang bagaimana teknologi tersebut digunakan dan langkah-langkah yang diambil untuk mengurangi kerugian. Proyek tersebut telah menyusun daftar alat pengambilan keputusan otomatis di pemerintahan, dengan 55 alat yang telah dilacak hingga saat ini.