Menurut The Information, Project Jarvis dapat mengunjungi berbagai situs web, mengisi formulir, bahkan melakukan pembelian sendiri—tentu saja berdasarkan instruksi. Secara keseluruhan, ini bisa jadi merupakan peningkatan terbesar Chrome sejak diluncurkan pada 2008.
Ini mirip dengan Claude with Computer Use, sebuah produk beta yang diluncurkan oleh Anthropic minggu lalu yang memungkinkan Claude mengendalikan komputer dengan terus memperbarui tangkapan layar. Ia membaca layar komputer untuk menentukan di mana harus "mengklik mouse" dan melakukan tugas.
Project Jarvis dari Google, yang dinamai sesuai nama asisten AI Tony Stark di film Iron Man, akan mengerjakan sebagian besar tugas-tugas web sehari-hari. Pada dasarnya, kamu bisa memberi tahu Gemini, misalnya "Saya punya bujet Rp80 juta, carikan saya liburan untuk tanggal-tanggal ini, pesan, dan beritahu saya detailnya", lalu ia akan mewujudkannya.
Tujuannya adalah mengotomatiskan tugas-tugas web sehari-hari di Chrome. Jarvis bekerja dengan mengambil kendali situs web, mengambil tangkapan layar dari apa yang terjadi di layar kemudian menggunakan kemampuan "AI Vision" untuk menentukan di mana harus mengeklik dan apa yang harus diketik.
Pada intinya dia akan membantu tugas-tugas umum seperti riset, belanja, dan pemesanan tiket pesawat.