7 Fitur Baru Copilot AI di Windows 11, makin Pintar!

Microsoft meluncurkan kata aktivasi baru, "Hey Copilot", untuk memulai interaksi suara AI secara hands-free di Windows 11. Dengan fitur opt-in ini, kamu tidak perlu lagi mengklik ikon Copilot atau mengetik permintaan. Interaksi suara ini menjadi mekanisme input ketiga pada PC, setelah mouse dan keyboard.

Data internal Microsoft menunjukkan bahwa pengguna cenderung berinteraksi dengan Copilot dua kali lebih banyak saat menggunakan suara dibandingkan saat menggunakan teks. Fitur suara ini memungkinkan pengguna mendapatkan jawaban atau bantuan tanpa mengganggu alur kerja saat sedang fokus.

Kemudahan hands-free ini juga didukung fitur untuk mengakhiri sesi secara alami. Kamu cukup mengucapkan "Goodbye" atau Copilot akan otomatis berhenti mendengarkan setelah beberapa detik tanpa interaksi. Copilot Voice ini juga bisa kamu gunakan dalam lebih dari 40 bahasa berbeda.

fitur Copilot Vision. (dok. Microsoft)

Copilot Vision memungkinkan AI untuk "melihat" apa yang sedang tampil di layarmu, di aplikasi apa pun. Melalui fitur ini, semakin banyak konteks visual yang kamu berikan, semakin kaya pula bantuan yang bisa AI tawarkan. Kabar baiknya, kecanggihan ini sudah tersedia secara global di semua PC Windows 11, bahkan tanpa Neural Processing Unit (NPU) khusus.

Fungsi utama Vision adalah memberikan panduan langkah demi langkah atau tutorial, yang Microsoft sebut sebagai Highlights. Vision dapat menunjukkan dengan tepat ke mana kursor harus bergerak atau tindakan apa yang perlu kamu ambil dalam perangkat lunak yang rumit. Sebagai contoh, fitur ini bisa membantu pengguna saat menyunting foto, memeriksa kalender, atau membuat daftar belanja.

Vision juga dapat bekerja dalam aplikasi Microsoft 365 seperti Word, Excel, dan PowerPoint. Copilot dapat menganalisis konteks seluruh dokumen, bahkan yang tidak terlihat di layar, asalkan kamu sudah menghubungkan Copilot ke akunmu. Menariknya, Copilot Vision yang sebelumnya hanya bisa diakses lewat suara, kini akan segera mendukung interaksi teks bagi Windows Insiders.

tampilan Gaming Copilot. (blogs.windows.com)

Microsoft juga membawa AI ke dunia gaming melalui Gaming Copilot (Beta). Fitur ini dirancang sebagai pendamping pribadi yang terintegrasi langsung di Game Bar Windows PC. Tujuannya, membantu pemain melewati tantangan game agar kamu bisa lebih banyak menghabiskan waktu bermain.

Gaming Copilot dapat melihat apa yang terjadi di dalam game dan memberikan petunjuk strategi atau arahan misi secara real-time. Pemain dapat mengaksesnya dengan menekan tombol khusus atau menggunakan push-to-talk yang terintegrasi di Game Bar. Menurut Tom’s Guide, fitur ini juga hadir di perangkat handheld gaming seperti ROG Xbox Ally dan Ally X.

Integrasi AI di Game Bar ini memastikan kamu bisa mendapatkan bantuan tanpa perlu keluar dari permainan. Mehdi menyebut bahwa ini adalah bagian dari kolaborasi erat antara Xbox dan Windows untuk menghadirkan pengalaman baru bermain game. Melalui fitur ini, kita bisa melihat bagaimana ke depannya AI akan menjadi sidekick kita untuk berbagai kebutuhan.

Copilot Actions adalah agen AI yang mampu mengambil tindakan otomatis atas nama pengguna, alih-alih sekadar menjawab pertanyaan. Fitur ini memungkinkan kamu mendeskripsikan tugas yang kompleks dengan bahasa alami, dan agen akan berusaha menyelesaikannya dengan mengoperasikan aplikasi desktop atau menjelajahi web.

Contoh tugas yang bisa dilakukan seperti menyortir foto di folder, mengekstrak informasi penting dari PDF, atau melakukan pengeditan massal. Copilot Actions untuk file lokal akan diuji coba dalam mode eksperimental di Windows Insiders, melalui program Copilot Labs. Selama proses otomatisasi ini, kamu bisa fokus pada tugas lain, dan Copilot akan bekerja di latar belakang.

Fitur ini bersifat opt-in, yang artinya harus diaktifkan secara eksplisit dan dapat hentikan atau cabut aksesnya kapan saja. Agen ini beroperasi di lingkungan terisolasi bernama Agent Workspace dan memiliki batasan yang jelas untuk memastikan keamanan dan privasi pengguna tetap terlindungi.

tampilan konektor Copilot untuk OneDrive (blogs.windows.com)

Microsoft memperkenalkan Copilot Connectors yang memungkinkan Copilot di Windows terhubung ke layanan cloud pihak ketiga. Fitur ini memungkinkan kamu menautkan layanan Microsoft 365, seperti OneDrive dan Outlook, dan layanan Google, seperti Google Drive, Gmail, Google Calendar, dan Google Contacts, langsung ke aplikasi Copilot di Windows.

Setelah kamu mengizinkan koneksi, Copilot dapat memahami dan menemukan konten pribadi pengguna menggunakan bahasa natural di seluruh platform yang terhubung. Misalnya, kamu bisa meminta Copilot untuk mencari rincian janji temu dokter gigi atau mencari dokumen tugas sekolah yang tersimpan di Google Drive.

Selain mencari, kamu juga bisa meminta Copilot untuk mengubah hasil teks yang diperolehnya menjadi dokumen Word, Excel, atau PowerPoint. Kemampuan ini sangat berguna jika kamu mengerjakan tugas dengan bantuan Copilot dan ingin hasilnya langsung diformat menjadi presentasi. Namun, fitur ini masih tersedia untuk Windows Insiders.

Microsoft juga menambahkan kotak teks Ask Copilot di taskbar Windows 11. Integrasi ini membuat Copilot menjadi semakin melekat dengan OS, bukan lagi sekedar aplikasi terpisah. Fitur opt-in ini juga memberikan akses satu klik ke fungsi Vision dan Voice. Kotak teks ini juga berfungsi seperti bilah pencarian dan membuat pencarian aplikasi, file, dan pengaturan menjadi lebih cepat.

Salah satu trik Copilot baru yang efisien adalah integrasinya dengan Pengaturan Windows (Settings). Kamu bisa mengajukan pertanyaan tentang pengaturan PC dengan bahasa natural, dan Copilot akan memberikan tautan langsung ke halaman Settings yang relevan. Misalnya, kamu bisa mengatakan "buat layarku lebih mudah dibaca", dan Copilot akan memandu pengguna ke halaman pengaturan yang sesuai.

tampilan berbagai produk Microsoft (unsplash.com/Ed Hardie)

Selain tindakan agen umum, Microsoft juga memperkenalkan AI actions baru yang spesifik di File Explorer untuk mempermudah pekerjaan file lokal. AI Actions memungkinkan kamu berinteraksi lebih dalam dengan file, misalnya dengan mengeklik kanan untuk mendapatkan ringkasan dokumen yang tersimpan di OneDrive atau SharePoint.

Fitur kreatif yang paling menarik adalah kehadiran agen AI bernama Manus, yang dapat membuat situs web dari folder dokumen. Kamu cukup memilih folder, klik kanan, dan pilih "buat website dengan Manus", lalu Manus akan membangun situs web dalam hitungan menit tanpa coding atau proses upload yang rumit.

Fitur AI lain di File Explorer mencakup kemampuan pengeditan gambar instan. Kamu dapat menggunakan Blur background untuk mengaburkan latar belakang foto atau Erase objects untuk menghilangkan elemen yang tidak diinginkan dengan sekali klik. Ada juga integrasi dengan Filmora, yang memungkinkan kamu langsung masuk ke sesi pengeditan video dari File Explorer.

Meskipun Microsoft meluncurkan banyak fitur baru Copilot AI di Windows 11, perusahaan tersebut menjamin bahwa semua pengalaman ini bersifat opsional (opt-in). Melalui berbagai fitur baru ini Microsoft sepertinya sedang berupaya meyakinkan penggunanya untuk beralih ke Windows 11. Dengan berbagai integrasi Copilot ini, PC-mu diharapkan bisa menjadi mitra yang lebih proaktif, bukan lagi sekadar alat pasif.