Pakar keamanan siber sekaligus pendiri Drone Emprit, Ismail Fahmi, menyoroti maraknya dugaan penyalahgunaan fitur kecerdasan buatan (AI), termasuk Grok AI di platform X, untuk memproduksi konten asusila. Ia menyebut praktik tersebut kerap melibatkan manipulasi foto pribadi yang bersifat sensitif tanpa persetujuan pemiliknya, dengan perempuan sering menjadi korban.
Menurut Ismail, meningkatnya penyalahgunaan AI bukan karena teknologinya bersifat jahat, melainkan karena kini semakin mudah digunakan untuk tujuan berbahaya. Jika sebelumnya manipulasi foto atau video membutuhkan keterampilan tinggi, kini prosesnya dapat dilakukan hanya dengan aplikasi, beberapa klik, dan mengunggah foto seseorang, dengan hasil yang disebut semakin realistis.
Ismail menjelaskan, dari sisi teknologi, celah utama terletak pada kemampuan model AI meniru wajah dan tubuh manusia dengan presisi tinggi. Ia juga menyoroti bahwa banyak alat AI tidak membedakan antara foto publik dan foto pribadi, serta minim penanda yang jelas untuk menunjukkan apakah suatu konten merupakan hasil manipulasi AI atau bukan.
Ia menilai pencegahan seharusnya dapat dilakukan sejak tahap desain teknologi. Sejumlah langkah teknis disebut memungkinkan, mulai dari pembatasan manipulasi wajah orang nyata, pemberian label wajib pada konten buatan AI, hingga pendeteksian pola penggunaan yang mencurigakan sejak awal. Namun, Ismail mempertanyakan apakah upaya pencegahan benar-benar dijadikan prioritas.
Dalam konteks kekerasan berbasis gender online, Ismail menegaskan tanggung jawab tidak sepenuhnya berada pada pelaku. Meski pelaku tetap bertanggung jawab secara hukum, ia menilai pengembang dan platform AI juga memikul tanggung jawab moral dan sosial, terutama jika mengetahui teknologinya berpotensi dipakai untuk membuat deepfake porn, mempermalukan perempuan, atau memeras korban secara seksual, serta memiliki kemampuan teknis untuk mencegah atau membatasi.
Ismail mengusulkan tiga langkah teknis dan kebijakan yang dinilai mendesak agar AI tidak memperparah kekerasan berbasis gender. Pertama, penandaan wajib pada konten buatan AI agar publik dapat membedakan konten asli dan hasil manipulasi.
Kedua, sistem pelaporan dan penghapusan konten yang cepat serta berpihak pada korban. Ia menekankan korban tidak seharusnya dipaksa menghadapi proses panjang dan birokratis, dan konten semestinya dapat diturunkan dalam hitungan jam, bukan minggu.
Ketiga, Ismail mendorong kejelasan tanggung jawab hukum bagi platform. Menurutnya, tanpa konsekuensi hukum yang tegas, kepentingan trafik dan engagement berisiko mengalahkan perlindungan korban. Ia menilai pemerintah perlu hadir untuk memastikan aturan benar-benar ditegakkan.
