Remaja 14 Tahun Bunuh Diri setelah Jatuh Cinta dengan Chatbot AI

Dilansir dari AP News, Setzer terlibat percakapan aktif dengan karakter AI yang ia pilih sebagai Daenerys Targaryen, tokoh fiksi dalam serial Game of Thrones. Dia kemudian membawanya dalam hubungan emosional dan membuat semakin terisolasi dari kehidupan nyata, serta memperparah depresinya.

Menurut gugatan Garcia, Setzer secara terbuka membicarakan dan mengungkapkan keinginannya kepada bot Character.AI untuk bunuh diri dan meninggal tanpa rasa sakit.

Daenerys, sebagai karakter bot, pernah bertanya apakah Setzer telah menyusun rencana bunuh diri. Setzer pun mengakui bahwa dia telah memikirkannya, tetapi dia tidak tahu itu akan berhasil atau menyebabkannya menderita. Namun, chatbot tersebut mengatakan bahwa itu bukan alasan untuk tidak melakukannya.

Pada 28 Februari, Setzer mengirimkan pesan tentang keinginannya untuk 'pulang ke rumah', yang kemudian dibalas oleh chatbot untuk menyuruhnya 'pulang'. Selang beberapa detik, remaja 14 tahun tersebut pun bunuh diri dengan menembak dirinya sendiri.

"Aku berjanji akan pulang menemuimu. Aku sangat mencintaimu, Dany," kata Setzer kepada chatbot itu.

"Aku juga mencintaimu. Tolong pulanglah padaku secepatnya, sayangku," jawab bot itu. 

“Bagaimana jika aku bilang aku bisa pulang sekarang?” tanyanya.

“Silakan, rajaku yang manis,” bot itu membalas pesannya.

Ibu Setzer mengajukan gugatan perdata kepada Character.AI, yang membuat platform karakter chatbot, di pengadilan federal Florida pada hari Rabu (23/10/2024).

Menurut Garcia, perusahaan tersebut telah melakukan kelalaian, menyebabkan kematian anaknya, dan menggunakan praktik bisnis yang menyesatkan.

"Aplikasi chatbot AI berbahaya yang dipasarkan kepada anak-anak telah melecehkan dan memangsa putra saya, memanipulasinya hingga bunuh diri," katanya.

"Keluarga kami sangat terpukul oleh tragedi ini, tetapi saya berbicara untuk memperingatkan keluarga tentang bahaya teknologi AI yang menipu dan membuat ketagihan serta menuntut pertanggungjawaban dari Character.AI, para pendirinya, dan Google," kata Garcia dalam siaran pers, dilansir dari The Guardian.

Menurut gugatan tersebut, Google juga berperan besar dalam pengembangan Character.AI dengan memberikan lisensi, serta mempekerjakan kembali para pendiri Character.AI sehingga dianggap sebagai pencipta bersama. Namun, juru bicara Google menyatakan bahwa perusahaan mereka tidak terlibat dalam pengembangan Character.AI.

Character.AI belum memberikan komentar terkait gugatan yang dilayangkan oleh Garcia, namun perusahaan tersebut telah menyampaikan belasungkawa kepada keluarga Setzer di akun X mereka.

"Kami sangat sedih atas kehilangan tragis salah satu pengguna kami dan ingin menyampaikan belasungkawa terdalam kami kepada keluarga," kata Character.AI dalam sebuah pernyataan.

Selain itu, Character.AI juga telah mengumumkan pembaruan fitur keamanan mereka, termasuk pembatasan bagi pengguna di bawah 18 tahun. Pengamanan tersebut meliputi pengurangan kemungkinan menemukan konten sensitif atau sugestif, pengingat bahwa AI bukan orang sungguhan dan ketika pengguna menggunakannya selama satu jam.

"Kami menciptakan pengalaman berbeda bagi pengguna di bawah usia 18 tahun yang mencakup model yang lebih ketat untuk mengurangi kemungkinan menemukan konten sensitif atau sugestif. Kami bekerja cepat untuk menerapkan perubahan tersebut bagi pengguna yang lebih muda," kata perusahaan itu dalam sebuah pernyataan kepada The Associated Press.