Penggunaan chatbot berbasis kecerdasan buatan (AI) seperti ChatGPT untuk mencari informasi kesehatan semakin populer. Namun, studi terbaru dari University of Oxford menyoroti risiko ketika teknologi tersebut digunakan untuk membantu diagnosis medis.
Penelitian yang dipimpin Oxford Internet Institute dan Nuffield Department of Primary Care Health Sciences itu menemukan ChatGPT masih sering keliru dalam konteks pengambilan keputusan medis. Studi yang dipublikasikan di jurnal Nature Medicine tersebut menyimpulkan bahwa model bahasa besar (large language model/LLM) belum mampu menghasilkan keputusan medis yang lebih akurat dibandingkan metode tradisional.
Dalam sejumlah kasus, hasil pengguna yang mengandalkan AI tidak lebih baik dibandingkan mereka yang mencari informasi sendiri atau menggunakan peramban seperti Google Search.
Penelitian ini melibatkan hampir 1.300 partisipan. Mereka diminta menganalisis beragam skenario medis, mulai dari gejala ringan hingga kondisi yang berpotensi darurat. Partisipan diminta menentukan kemungkinan penyakit serta langkah yang perlu diambil, seperti cukup beristirahat, berkonsultasi ke dokter, atau pergi ke rumah sakit.
Hasilnya menunjukkan penggunaan ChatGPT tidak meningkatkan ketepatan keputusan. Bahkan pada beberapa kasus, chatbot memberikan jawaban yang dinilai membingungkan karena mencampur informasi yang benar dan salah dalam satu respons.
Masalah lain yang disorot adalah inkonsistensi jawaban. Peneliti menemukan perubahan kecil dalam cara pengguna mengajukan pertanyaan dapat menghasilkan respons yang sangat berbeda.
Doktor Rebecca Payne dari Nuffield Department of Primary Care Health Sciences menegaskan chatbot tidak boleh dijadikan pengganti dokter. Ia memperingatkan penggunaan AI untuk memahami gejala berisiko menghasilkan diagnosis yang keliru dan dapat membuat pengguna terlambat memperoleh penanganan yang tepat, termasuk dalam situasi yang memerlukan bantuan darurat.
Sementara itu, Profesor Adam Mahdi menilai masih ada kesenjangan besar antara performa AI dalam pengujian laboratorium dan penggunaan di dunia nyata. Menurutnya, seperti halnya obat baru yang harus melalui uji klinis, sistem AI juga perlu diuji secara menyeluruh dengan melibatkan pengguna nyata sebelum digunakan secara luas dalam konteks kesehatan.
Studi tersebut mengidentifikasi tiga tantangan utama penggunaan LLM untuk kebutuhan medis. Pertama, pengguna kerap tidak mengetahui informasi apa yang perlu disampaikan agar AI dapat memberi saran yang akurat. Kedua, jawaban bisa berubah signifikan hanya karena perbedaan kecil pada cara pertanyaan diajukan. Ketiga, respons AI sering mencampurkan informasi benar dan keliru sehingga pengguna kesulitan membedakan mana yang dapat dipercaya.
