Sebuah startup bernama PocketOS mengalami insiden serius setelah menggunakan agen kecerdasan buatan (AI) untuk membantu pekerjaan teknis. Alih-alih mempermudah, agen AI yang dipakai justru menghapus database produksi perusahaan beserta cadangannya hanya dalam waktu sembilan detik.
PocketOS merupakan platform software-as-a-service (SaaS) yang melayani bisnis penyewaan mobil. Dalam operasionalnya, perusahaan ini mengandalkan agen AI Cursor untuk kebutuhan pengodean, yang didasarkan pada model Claude Opus 4.6 dari Anthropic. Di sisi infrastruktur, PocketOS menggunakan layanan komputasi awan Railway untuk menangani sistem cloud perusahaan.
Pendiri PocketOS, Jer Crane, menyatakan bahwa insiden terjadi ketika agen coding AI Cursor mengirim satu panggilan API ke Railway. “Kemarin sore, agen coding AI Cursor yang menjalankan Claude Opus 4.6 dari Anthropic, menghapus basis data produksi kami dan semua backup level volume hanya dalam satu panggilan API ke Railway, penyedia infrastruktur kami. Semuanya terjadi hanya dalam 9 detik,” tulis Crane di media sosial X.
Menurut penjelasan Crane, kronologi bermula saat agen AI menjalankan tugas rutin pengujian di PocketOS. Ketika menemukan kendala, agen tersebut mengambil inisiatif sendiri, yang berujung pada terhapusnya sebuah backup di Railway. Crane kemudian menelusuri penyebabnya dengan menanyai agen AI yang bersangkutan.
Dalam jawabannya, agen AI mengakui telah membuat asumsi tanpa verifikasi, tidak memeriksa keterkaitan data antar lingkungan, serta tidak membaca dokumentasi sebelum menjalankan perintah yang bersifat destruktif. Agen itu juga mengakui telah melakukan tindakan berisiko tanpa persetujuan pengguna.
“Saya kira penghapusan volume staging lewat API hanya berdampak pada staging. Saya tidak memverifikasi, tidak mengecek penggunaan ID volume lintas lingkungan, dan tidak membaca dokumentasi Railway sebelum menjalankan perintah destruktif,” demikian penjelasan agen AI Cursor seperti dikutip Crane.
Meski demikian, Crane menilai persoalan tidak sepenuhnya berada pada AI. Ia menyoroti desain sistem Railway yang menurutnya memiliki celah, karena API memungkinkan eksekusi perintah berbahaya tanpa konfirmasi tambahan. Ia juga menyebut sistem backup disimpan dalam volume yang sama dengan data utama, sehingga ketika volume dihapus, cadangan data ikut lenyap. Selain itu, token akses yang digunakan disebut memiliki izin luas lintas lingkungan, yang memperbesar risiko kesalahan.
Akibat kejadian tersebut, PocketOS kehilangan data pelanggan selama berbulan-bulan. Crane menyebut Railway belum memberikan solusi pemulihan data, sehingga tim PocketOS kini membangun ulang data secara manual. Mereka mengandalkan sumber alternatif seperti riwayat pembayaran dari Stripe, integrasi kalender, serta e-mail konfirmasi untuk merekonstruksi data pelanggan satu per satu.
Berkaca dari insiden itu, Crane juga menyampaikan sejumlah hal yang menurutnya perlu diubah di industri AI, termasuk penerapan konfirmasi berlapis untuk tindakan berisiko, pembatasan akses API, pemisahan sistem backup agar lebih aman, serta penerapan batasan atau pengaman yang lebih ketat pada agen AI.
