Penggunaan Pembelajaran Mesin yang Ceroboh Menyebabkan ‘Krisis Reproduktifitas’ dalam Sains

Namun Kapoor dan Narayanan memperingatkan bahwa dampak AI pada penelitian ilmiah dalam banyak hal kurang dari bintang. Ketika pasangan tersebut mensurvei bidang sains di mana pembelajaran mesin diterapkan, mereka menemukan bahwa peneliti lain telah mengidentifikasi kesalahan dalam 329 studi yang mengandalkan pembelajaran mesin, di berbagai bidang.

Kapoor mengatakan bahwa banyak peneliti terburu-buru menggunakan pembelajaran mesin tanpa pemahaman yang komprehensif tentang teknik dan keterbatasannya. Berkecimpung dengan teknologi menjadi jauh lebih mudah, sebagian karena industri teknologi bergegas menawarkan alat dan tutorial AI yang dirancang untuk memikat pendatang baru, seringkali dengan tujuan mempromosikan platform dan layanan cloud. “Gagasan bahwa Anda dapat mengikuti kursus on-line selama empat jam dan kemudian menggunakan pembelajaran mesin dalam penelitian ilmiah Anda telah menjadi sangat berlebihan,” kata Kapoor. “Orang-orang tidak berhenti untuk memikirkan di mana hal-hal yang berpotensi salah.”

Kegembiraan seputar potensi AI telah mendorong beberapa ilmuwan bertaruh besar-besaran untuk penggunaannya dalam penelitian. Tonio Buonassisi, seorang profesor di MIT yang meneliti sel surya baru, menggunakan AI secara ekstensif untuk mengeksplorasi materi baru. Dia mengatakan bahwa meskipun mudah membuat kesalahan, pembelajaran mesin adalah alat ampuh yang tidak boleh ditinggalkan. Kesalahan seringkali dapat diperbaiki, katanya, jika para ilmuwan dari berbagai bidang mengembangkan dan berbagi praktik terbaik. “Anda tidak perlu menjadi ahli pembelajaran mesin pembawa kartu untuk melakukan hal ini dengan benar,” ujarnya.

Kapoor dan Narayanan menyelenggarakan lokakarya akhir bulan lalu untuk menarik perhatian pada apa yang mereka sebut “krisis reproduktifitas” dalam sains yang memanfaatkan pembelajaran mesin. Mereka mengharapkan 30 atau lebih peserta tetapi menerima pendaftaran dari lebih dari 1.500 orang, sebuah kejutan yang mereka katakan menunjukkan bahwa masalah pembelajaran mesin dalam sains tersebar luas.

Selama acara, pembicara yang diundang menceritakan banyak contoh situasi di mana AI telah disalahgunakan, dari berbagai bidang termasuk kedokteran dan ilmu sosial. Michael Roberts, rekan peneliti senior di Universitas Cambridge, membahas masalah dengan lusinan makalah yang mengklaim menggunakan pembelajaran mesin untuk melawan Covid-19, termasuk kasus di mana knowledge miring karena berasal dari berbagai mesin pencitraan yang berbeda. Jessica Hullman, seorang profesor di Northwestern College, membandingkan masalah studi yang menggunakan pembelajaran mesin dengan fenomena hasil utama dalam psikologi yang terbukti tidak mungkin ditiru. Dalam kedua kasus tersebut, kata Hullman, peneliti cenderung menggunakan terlalu sedikit knowledge, dan salah membaca signifikansi statistik hasil.

Momin Malik, seorang ilmuwan knowledge di Mayo Clinic, diundang untuk berbicara tentang pekerjaannya sendiri yang melacak penggunaan pembelajaran mesin yang bermasalah dalam sains. Selain kesalahan umum dalam penerapan teknik, katanya, peneliti terkadang menerapkan pembelajaran mesin jika itu adalah alat yang salah untuk pekerjaan itu.

Malik menunjuk ke contoh terkemuka pembelajaran mesin yang menghasilkan hasil yang menyesatkan: Google Flu Tendencies, alat yang dikembangkan oleh perusahaan pencarian pada tahun 2008 yang bertujuan menggunakan pembelajaran mesin untuk mengidentifikasi wabah flu lebih cepat dari log permintaan pencarian yang diketik oleh pengguna internet. Google memenangkan publisitas positif untuk proyek tersebut, tetapi secara spektakuler gagal memprediksi jalannya musim flu 2013. Sebuah studi independen nantinya akan menyimpulkan bahwa mannequin tersebut telah dikaitkan dengan istilah musiman yang tidak ada hubungannya dengan prevalensi influenza. “Anda tidak bisa memasukkan semuanya ke dalam mannequin pembelajaran mesin yang besar dan melihat hasilnya,” kata Malik.