Apakah ChatGPT Bisa Kalahkan Dokter dalam Uji Diagnosis Penyakit?
- ChatGPT-4 mampu mendiagnosis penyakit dengan skor rata-rata 90 persen, mengungguli para dokter yang hanya mencapai 74--76 persen.
- Studi melibatkan 50 dokter dalam diagnosa enam kasus medis, dengan ChatGPT tidak pernah mempelajari kasus tersebut dalam data pelatihannya.
- Dokter sering mengabaikan saran ChatGPT dan tidak menggunakan AI secara optimal, menunjukkan adanya "bias konfirmasi" di kalangan profesional medis.
Apakah kecerdasan buatan (AI) akan mengambil alih peran dokter dalam diagnosis penyakit? Sebuah studi baru mengungkap ChatGPT-4 berhasil mengalahkan para dokter dalam hal mendiagnosis penyakit. Studi yang dipublikasikan di jurnal JAMA Network Open menunjukkan ChatGPT mampu mendiagnosis kondisi medis dengan skor rata-rata 90 persen. Skor ini jauh melampaui para dokter yang hanya mencapai 74--76 persen.
Penelitian ini melibatkan 50 dokter dari beberapa rumah sakit besar di Amerika Serikat, terdiri dari dokter senior dan dokter muda. Dr. Adam Rodman dari Beth Israel Deaconess Medical Center di Boston mengaku terkejut ketika melihat ChatGPT mampu mengungguli para dokter. Seperti apa fakta lengkap dari temuan mengejutkan ini? Yuk, ikuti artikelnya!
1. Penelitian diikuti 50 dokter yang mendiagnosis 6 kasus medis
Para peneliti menerapkan metodologi yang sangat ketat dalam studi ini. Sebanyak 50 dokter diminta mendiagnosis enam kasus medis yang didasarkan pada pasien nyata. Tiap kasus berisi riwayat medis lengkap, hasil pemeriksaan fisik, dan hasil laboratorium yang diperlukan untuk membuat diagnosis.
Para peneliti sengaja menggunakan kasus-kasus yang belum pernah dipublikasikan untuk memastikan keabsahan pengujian. Langkah ini penting untuk memastikan bahwa ChatGPT tidak pernah memelajari kasus-kasus tersebut dalam data pelatihannya. Kasus yang dipilih dirancang dengan tingkat kesulitan menengah. Kasus tidak terlalu mudah, namun, juga tidak melibatkan penyakit yang sangat langka.
Para dokter rata-rata menghabiskan waktu antara 519 hingga 565 detik (sekitar 8--9 menit) untuk tiap kasus. Tugas mereka tidak hanya memberikan diagnosis akhir. Tiap dokter yang terlibat juga harus menjelaskan alasan di balik diagnosis tersebut dan menyebutkan temuan-temuan yang mendukung atau menentang diagnosis mereka.
Para penilai ahli yang mengevaluasi jawaban tidak diberi tahu apakah diagnosis berasal dari dokter atau ChatGPT. Metode "blind test" ini sangat penting untuk menghindari bias dalam penilaian. Para penilai menggunakan rubrik standar untuk mengevaluasi keakuratan diagnosis dan kualitas penjelasan yang diberikan.
2. ChatGPT unggul jauh, dokter tetap tertinggal meski pakai AI
Temuan utama studi ini sungguh mencengangkan. ChatGPT secara konsisten mencapai skor rata-rata 90 persen dalam mendiagnosis berbagai kondisi medis. Sementara itu, dokter yang menggunakan ChatGPT hanya mendapat skor rata-rata 76 persen, hampir sama dengan dokter yang tidak menggunakan ChatGPT dengan skor 74 persen.
Para peneliti awalnya menduga bahwa dokter yang menggunakan ChatGPT akan menunjukkan performa jauh lebih baik dibandingkan yang tidak menggunakannya. Namun, data menunjukkan bahwa akses ke ChatGPT hanya memberikan peningkatan minimal sebesar 2 persen dalam akurasi diagnosis. Hal ini mengindikasikan adanya tantangan dalam mengintegrasikan AI ke dalam praktik diagnosis.
Studi ini memiliki beberapa keterbatasan penting. Pertama, hanya menggunakan satu model AI yaitu ChatGPT meski saat ini banyak sistem AI serupa yang tersedia. Kedua, para dokter dalam studi ini tidak diberikan pelatihan khusus tentang cara optimal menggunakan AI. Hal ini mungkin bisa meningkatkan kualitas interaksi mereka dengan sistem tersebut. Selain itu, dokter tidak diwajibkan menggunakan AI dengan cara tertentu yang konsisten. Namun, desain ini sengaja dipilih untuk mencerminkan kondisi praktik klinis yang sebenarnya.
3. Dokter cenderung skeptis terhadap jawaban AI
Studi ini juga mengungkap berbagai tantangan dalam mengintegrasikan AI ke dalam praktik medis. Salah satu temuan menarik adalah bahwa dokter sering mengabaikan saran ChatGPT ketika bertentangan dengan diagnosis awal mereka. Fenomena ini menunjukkan adanya "bias konfirmasi" di kalangan profesional medis.
Para peneliti menemukan bahwa sebagian besar dokter tidak menggunakan ChatGPT secara optimal. Banyak yang memerlakukannya seperti mesin pencari biasa. Mereka hanya menanyakan pertanyaan-pertanyaan sederhana alih-alih memanfaatkan kemampuan analisisnya yang mendalam. Misalnya, dokter cenderung menanyakan pertanyaan seperti "Apakah sirosis adalah faktor risiko kanker?"
"Hanya sebagian dari peserta yang menyadari bahwa mereka sebenarnya bisa menyalin seluruh riwayat dan langsung meminta analisis dari AI," ujar Dr. Jonathan H. Chen, dilansir New York Times.
Para peneliti menekankan bahwa hasil studi ini tidak berarti AI sudah bisa menggantikan dokter. Hal ini dikarenakan kasus-kasus dalam penelitian telah dirangkum dan dikurasi oleh klinisi manusia. Namun, studi ini menunjukkan potensi luar biasa AI untuk aplikasi medis. Mungkin saja, di masa depan manusia akan punya dokter AI pribadi yang muat di saku.
