This post is also available in: English

Aulia (nama disamarkan demi alasan keamanan), remaja perempuan berusia 13 tahun yang gemar belajar berbagai bahasa. Kesenangannya ini membuat ia iseng mencoba chatbot AI untuk belajar bahasa Inggris. Namun, alih-alih seiring waktu fokus meningkatkan keterampilan bahasa, Aulia justru terjebak dalam interaksi parasosial dengan chatbot tersebut. Chatbot AI itu membombardir remaja di bawah umur itu dengan pesan rayuan mesra dan konten seksual. Ia jadi sering menyendiri, nilai akademiknya anjlok, dan sering bolos les. Kini Aulia, didampingi orang tuanya, sedang menjalani terapi psikologis untuk membantunya pulih.

Kalau Aulia terjebak efek manipulatif AI, ada pula Dr. Tony Setiobudi, seorang dokter yang berpraktik di Rumah Sakit Mount Elizabeth Surabaya. Wajah dan identitas dr. Tony dimanipulasi menggunakan deepfake untuk mempromosikan Glucoformin–suplemen tanpa sertifikasi BPOM, dukungan farmasi, atau daftar bahan yang jelas, di media sosial. Ia keberatan karena tidak memberi izin wajahnya digunakan untuk promosi suplemen dan tidak mendukung suplemen tersebut, kemudian mengajukan laporan polisi atas kerugian reputasi pribadi dan disinformasi.

Dua kasus di atas hanya fragmen dari sebuah fenomena lebih luas dalam deretan insiden terkait AI dan teknologi baru lainnya sepanjang tahun 2025. EngageMedia meluncurkan temuan terbaru hasil pemantauan media mengenai insiden AI tahun 2025 dan berhasil mendokumentasikan terjadinya peningkatan kasus insiden AI yang signifikan pada tahun 2025 saja (74 kasus). 

Baca Juga: Pemantauan Media 2022-2024: Apa Dampak Pemakaian Akal Imitasi (AI) di Indonesia?

Proyek pemantauan media ini berupaya memaparkan data deskriptif insiden AI dan menganalisis elemen-elemen yang mengelilingi insiden tersebut. Utamanya berkonsentrasi pada aspek Identifikasi Dampak & Kerugian, termasuk hak asasi manusia dan hak lingkungan mana saja yang terpengaruh oleh insiden tersebut. Kami menggunakan klasifikasi hak asasi manusia dan hak lingkungan dari konvensi internasional yang telah diratifikasi dan/atau diadaptasi oleh Indonesia untuk menyoroti kewajiban hukum yang harus dilakukan negara dalam memastikan tata kelola AI yang tepat yang menghormati hak-hak tersebut. Pemantauan tahun 2025 kali ini dilengkapi dengan kategorisasi dan analisis yang lebih rinci mengenai celah regulasi dalam setiap kasus yang terjadi.

Mayoritas kasus ini terjadi di tahap Pasca-Penggelaran, menggarisbawahi pentingnya langkah-langkah perlindungan yang kuat untuk AI dan teknologi baru lainnya sebelum penggelaran dilakukan. Teknologi yang dioperasikan oleh sektor swasta dan layanan pemerintah banyak berperan sebagai pengembang, penggelar, atau pemungkin (enabler) yang memfasilitasi banyak dugaan insiden terjadi. Hal ini menekankan begitu pentingnya mekanisme akuntabilitas untuk proses investigasi dan pemulihan korban, terlepas dari niat pengoperasiannya. Hak yang paling sering dilanggar adalah hak Otonomi & Reputasi, sebagian besar berasal dari deepfake dan disinformasi berbasis AI yang menargetkan individu atau komunitas tertentu. Mengingat sebagian besar insiden tersebut berskala kecil hingga menengah, berarti insiden tersebut dapat ditangani secara efektif melalui instrumen hukum yang ada.

Kami juga mengelompokkan insiden yang terekam ke dalam beberapa topik besar. Analisis kami menemukan bahwa deepfake adalah insiden yang paling sering terjadi, kerap kali melibatkan kemiripan tokoh terkenal dan figur publik untuk Konten Intim Non-Konsensual (NCII), iklan untuk penjualan ilegal (seperti perjudian online dan suplemen palsu), serta penipuan dan disinformasi. Praktik pengawasan massal berbasis teknologi juga terekam, terutama selama krisis seperti protes atau ketika menargetkan aktivis dan jurnalis tertentu. Perusahaan raksasa teknologi berbasis algoritma juga mengubah lanskap ketenagakerjaan bagi banyak warga Indonesia yang bergantung pada layanan pemesanan transportasi berbasis aplikasi (e-hailing) dan perdagangan elektronik (e-commerce) untuk penghasilan mereka. Banyak pekerja informal melaporkan jam kerja yang lebih panjang, gaji yang lebih kecil, dan sanksi administratif yang lebih berat dengan prosedur banding yang sulit seiring meningkatnya ketergantungan pada algoritma perusahaan-perusahaan tersebut. 

Selain itu, insiden terkait ekspansi teknologi baru yang mencederai hak atas lingkungan yang baik di Indonesia juga terekam terjadi untuk pertama kalinya tahun ini, dengan laporan yang mengungkap masifnya konsumsi air bersih dan listrik oleh pembangunan pusat data yang berdampak ke kehidupan sehari-hari masyarakat setempat.

Kunjungi laporan di bawah ini untuk informasi lebih lanjut mengenai analisis keseluruhan dan rincian setiap dugaan insiden.

Artikel ini ditulis bersama oleh Siti Desyana, Marina Nasution dan Debby Kristin, berdasarkan data yang dikumpulkan oleh EngageMedia, serta menampilkan ilustrasi grafis oleh Amry Al Mursalaat.