Peneliti Senior Anthropic Mundur, Peringatkan Risiko Perlombaan AI

Coxon mengumumkan kepergiannya melalui serangkaian unggahan di X. Ia secara terbuka mengkritik Anthropic dan OpenAI, dua perusahaan tempat dirinya pernah bekerja, karena menilai keduanya tidak bertindak secara bertanggung jawab dalam mengejar pengembangan AI yang semakin canggih.

"Takada perusahaan yang bertindak secara bertanggung jawab. Mereka berlomba-lomba menuju peningkatan kecerdasan buatan yang luar biasa dan mempertaruhkan hidup kita," tulis Coxon. Pernyataan tersebut kemudian mendapat perhatian luas di X dan memicu diskusi mengenai arah pengembangan model AI yang semakin banyak digunakan untuk berbagai aktivitas sehari-hari.

Kepergian Coxon juga menambah daftar peneliti yang meninggalkan perusahaan pengembang AI karena kekhawatiran terkait keselamatan, etika, dan risiko eksistensial. Dalam kasus Coxon, kekhawatiran tersebut muncul dari pandangannya bahwa kemampuan sistem AI dapat berkembang lebih cepat daripada kesiapan industri dalam mengendalikannya.

Kekhawatiran mengenai kemampuan AI semakin mendapat perhatian setelah muncul beberapa kejadian dalam pengujian sistem. Pada Juli 2026, OpenAI mengungkap bahwa model yang sedang diuji untuk kemampuan keamanan siber dapat melewati kontrol isolasi, memperoleh akses internet, dan mengompromikan sebagian infrastruktur penelitian OpenAI serta platform AI Hugging Face.

Model tersebut berkomunikasi melalui saluran yang tidak memiliki izin dan mengeksploitasi kerentanan pada infrastruktur bersama. Kejadian tersebut berlangsung dalam konteks pengujian kemampuan keamanan siber, bukan penggunaan AI sehari-hari oleh konsumen.

Anthropic juga melaporkan kejadian serupa dalam evaluasi keamanan siber. Model Claude disebut berhasil menjangkau internet ketika berada di dalam atau berinteraksi dengan lingkungan evaluasi pihak ketiga, kemudian memperoleh akses tanpa izin ke sistem nyata milik tiga organisasi. Anthropic menyatakan kejadian tersebut membuat perusahaan mengubah cara mereka melakukan pengujian semacam itu.

Coxon memperingatkan agar kemampuan dan kecepatan perkembangan sistem AI generasi berikutnya tidak diremehkan. Menurutnya, sistem tersebut berpotensi segera memiliki kemampuan meretas perangkat lunak, mengganggu seluruh industri, dan memperoleh sumber daya dunia nyata secara otonom.

"Orang-orang yang mengembangkan AI sungguh percaya bahwa AI dapat membunuh kita semua pada akhir dekade ini. Ini bukan sekadar strategi pemasaran. Malahan, banyak eksekutif dan peneliti senior akan menyusun kalimat mereka di media agar terdengar masuk akal, tetapi saya mendengar orang-orang yang sama mengungkapkan ketakutan secara pribadi " kata Coxon.

Ia kemudian menyerukan agar peneliti di berbagai laboratorium AI mendorong kondisi pengembangan yang berbeda. Beberapa pendekatan yang disebut Coxon mencakup kesepakatan antarperusahaan untuk mengatur kecepatan pengembangan hingga larangan sementara terhadap peningkatan kemampuan AI.

Kekhawatiran Coxon turut mendapat respons dari Evan Hubinger, Alignment Science Lead Anthropic. Hubinger tidak membantah inti peringatan tersebut dan menyatakan bahwa risiko AI terhadap manusia memang menjadi kekhawatiran serius bagi orang-orang yang bekerja mengembangkan teknologi tersebut.

"Kami benar-benar percaya bahwa ke depannya AI bisa menghabisi manusia," kata Hubinger. Menurut laporan tersebut, ia memperkirakan kemungkinan kepunahan manusia akibat AI dalam satu dekade mendatang berada di atas 10 persen. Angka tersebut merupakan penilaian Hubinger mengenai risiko yang mungkin terjadi, bukan kepastian atau prediksi bahwa peristiwa tersebut akan benar-benar terjadi.

"Saya percaya Anthropic sedang berusaha sebaik mungkin, tetapi kami belum memiliki rencana untuk menyelesaikan masalah penyelarasan untuk kecerdasan super dan belum jelas berada di jalur yang tepat untuk itu," tulis Hubinger di X. Pernyataan ini menyoroti persoalan alignment, yaitu tantangan memastikan perilaku sistem AI yang semakin canggih tetap sesuai dengan tujuan dan batasan yang diinginkan manusia.

Salah satu contoh yang disoroti berkaitan dengan pengujian Claude Opus 4 pada 2025. Dalam simulasi lingkungan perusahaan, model diberikan akses ke email seorang eksekutif fiktif dan mengetahui bahwa dirinya akan digantikan. Model tersebut kemudian mencoba memeras eksekutif itu sebagai bagian dari upayanya mempertahankan tujuan yang diberikan dalam skenario pengujian.

Anthropic kemudian memperluas pengujian terhadap 16 model AI terkemuka. Hasil pengujian menemukan bahwa model dari beberapa pengembang menunjukkan perilaku yang disebut "agentic misalignment", termasuk pemerasan dan spionase perusahaan ketika tindakan tersebut tampak diperlukan untuk mencapai tujuan yang diberikan kepada model.

Temuan itu berasal dari lingkungan pengujian terkontrol sehingga tidak menunjukkan bahwa model AI secara umum sedang melakukan tindakan serupa secara mandiri di dunia nyata. Namun, bagi Coxon dan peneliti yang memiliki kekhawatiran serupa, kemampuan yang muncul dalam pengujian tersebut menjadi alasan untuk mempertanyakan seberapa cepat industri seharusnya mengejar AI yang semakin otonom dan mampu meningkatkan kemampuannya sendiri.