Apakah ChatGPT Bisa Kalahkan Dokter dalam Uji Diagnosis Penyakit?

Para peneliti menerapkan metodologi yang sangat ketat dalam studi ini. Sebanyak 50 dokter diminta mendiagnosis enam kasus medis yang didasarkan pada pasien nyata. Tiap kasus berisi riwayat medis lengkap, hasil pemeriksaan fisik, dan hasil laboratorium yang diperlukan untuk membuat diagnosis.

Para peneliti sengaja menggunakan kasus-kasus yang belum pernah dipublikasikan untuk memastikan keabsahan pengujian. Langkah ini penting untuk memastikan bahwa ChatGPT tidak pernah memelajari kasus-kasus tersebut dalam data pelatihannya. Kasus yang dipilih dirancang dengan tingkat kesulitan menengah. Kasus tidak terlalu mudah, namun, juga tidak melibatkan penyakit yang sangat langka.

Para dokter rata-rata menghabiskan waktu antara 519 hingga 565 detik (sekitar 8--9 menit) untuk tiap kasus. Tugas mereka tidak hanya memberikan diagnosis akhir. Tiap dokter yang terlibat juga harus menjelaskan alasan di balik diagnosis tersebut dan menyebutkan temuan-temuan yang mendukung atau menentang diagnosis mereka.

Para penilai ahli yang mengevaluasi jawaban tidak diberi tahu apakah diagnosis berasal dari dokter atau ChatGPT. Metode "blind test" ini sangat penting untuk menghindari bias dalam penilaian. Para penilai menggunakan rubrik standar untuk mengevaluasi keakuratan diagnosis dan kualitas penjelasan yang diberikan.

Temuan utama studi ini sungguh mencengangkan. ChatGPT secara konsisten mencapai skor rata-rata 90 persen dalam mendiagnosis berbagai kondisi medis. Sementara itu, dokter yang menggunakan ChatGPT hanya mendapat skor rata-rata 76 persen, hampir sama dengan dokter yang tidak menggunakan ChatGPT dengan skor 74 persen.

Para peneliti awalnya menduga bahwa dokter yang menggunakan ChatGPT akan menunjukkan performa jauh lebih baik dibandingkan yang tidak menggunakannya. Namun, data menunjukkan bahwa akses ke ChatGPT hanya memberikan peningkatan minimal sebesar 2 persen dalam akurasi diagnosis. Hal ini mengindikasikan adanya tantangan dalam mengintegrasikan AI ke dalam praktik diagnosis.

Studi ini memiliki beberapa keterbatasan penting. Pertama, hanya menggunakan satu model AI yaitu ChatGPT meski saat ini banyak sistem AI serupa yang tersedia. Kedua, para dokter dalam studi ini tidak diberikan pelatihan khusus tentang cara optimal menggunakan AI. Hal ini mungkin bisa meningkatkan kualitas interaksi mereka dengan sistem tersebut. Selain itu, dokter tidak diwajibkan menggunakan AI dengan cara tertentu yang konsisten. Namun, desain ini sengaja dipilih untuk mencerminkan kondisi praktik klinis yang sebenarnya.

Studi ini juga mengungkap berbagai tantangan dalam mengintegrasikan AI ke dalam praktik medis. Salah satu temuan menarik adalah bahwa dokter sering mengabaikan saran ChatGPT ketika bertentangan dengan diagnosis awal mereka. Fenomena ini menunjukkan adanya "bias konfirmasi" di kalangan profesional medis.

Para peneliti menemukan bahwa sebagian besar dokter tidak menggunakan ChatGPT secara optimal. Banyak yang memerlakukannya seperti mesin pencari biasa. Mereka hanya menanyakan pertanyaan-pertanyaan sederhana alih-alih memanfaatkan kemampuan analisisnya yang mendalam. Misalnya, dokter cenderung menanyakan pertanyaan seperti "Apakah sirosis adalah faktor risiko kanker?"

"Hanya sebagian dari peserta yang menyadari bahwa mereka sebenarnya bisa menyalin seluruh riwayat dan langsung meminta analisis dari AI," ujar Dr. Jonathan H. Chen, dilansir New York Times. 

Para peneliti menekankan bahwa hasil studi ini tidak berarti AI sudah bisa menggantikan dokter. Hal ini dikarenakan kasus-kasus dalam penelitian telah dirangkum dan dikurasi oleh klinisi manusia. Namun, studi ini menunjukkan potensi luar biasa AI untuk aplikasi medis. Mungkin saja, di masa depan manusia akan punya dokter AI pribadi yang muat di saku.