tampilan antarmuka asisten AI Grok (unsplash.com/Salvador Rios)
Undang-undang S.9051B/A.10379C melarang perusahaan penyedia fitur chatbot AI menawarkan fitur yang tidak aman kepada anak di bawah umur. Fitur yang dilarang meliputi chatbot yang berpura-pura menjadi manusia atau bernyawa, membangun ketergantungan emosional, dan mendorong tindakan menyakiti diri sendiri. Aturan ini juga melarang sistem mengajukan pertanyaan emosional tanpa diminta, menyajikan konten seksual secara eksplisit, serta membujuk anak merahasiakan sesuatu dari orang tua.
Gubernur Kathy Hochul menyatakan langkah ini diambil di tengah pesatnya perkembangan teknologi kecerdasan buatan. “Tidak boleh ada perusahaan yang menjajakan chatbot kepada anak-anak yang mendorong tindakan melukai diri sendiri atau berpura-pura menjadi teman mereka atau lebih,” kata Hochul. Dia menegaskan bahwa perusahaan yang ingin berbisnis di negara bagiannya wajib mengutamakan keselamatan anak.
Kajian Common Sense Media mencatat sebanyak 72 persen remaja pernah menggunakan chatbot AI pendamping satu kali, dan 52 persen merupakan pengguna rutin yang berinteraksi setidaknya beberapa kali sebulan. Untuk mencegah dampak buruk, undang-undang mewajibkan perusahaan memverifikasi usia pengguna dengan lebih dari satu metode, termasuk opsi yang tidak hanya bergantung pada kartu identitas pemerintah. Informasi usia pengguna yang dikumpulkan juga wajib dihapus setelah proses verifikasi selesai.