Perkembangan kecerdasan buatan (Artificial Intelligence/AI) yang kian cepat memunculkan kekaguman sekaligus pertanyaan mendasar: sejauh mana manusia siap menyerahkan sebagian kendali kepada mesin. Di tengah euforia inovasi, muncul kebutuhan untuk memastikan AI tidak hanya mampu menjawab, tetapi juga memahami kapan sebaiknya berhenti.
Pertanyaan ini menguat seiring banyaknya sistem AI yang dirancang untuk memberikan jawaban atas hampir semua hal, termasuk ketika konteksnya belum sepenuhnya dipahami. Kondisi tersebut membuka risiko jawaban keliru, bias, hingga misinformasi yang dapat muncul tanpa disadari pengguna.
Salah satu pendekatan yang mulai mendapat perhatian adalah pengembangan AI yang “tahu batas”. Artinya, AI tidak hanya dibatasi secara teknis, tetapi juga diarahkan untuk memiliki mekanisme tanggung jawab, misalnya dengan menghentikan respons ketika tingkat keyakinan rendah dan mengalihkan penanganan kepada manusia.
Pendekatan tersebut mulai diuji oleh sejumlah perusahaan. SleekFlow, misalnya, memperkenalkan sistem bernama AgentFlow yang difokuskan untuk layanan pelanggan. “Kesalahan dalam layanan pelanggan tidak selalu soal teknologi, tapi tentang hubungan. Karena itu, AgentFlow dibuat untuk membantu, bukan menggantikan manusia sepenuhnya,” ujar Asnawi Jufrie, VP & GM SleekFlow Asia Tenggara, melalui catatannya.
Di luar konteks merek, kemunculan sistem semacam ini dipandang sebagai bagian dari pergeseran tren: dari AI yang semata mengejar kecepatan dan kecanggihan, menuju AI yang lebih etis serta sadar akan keterbatasannya.
Perubahan juga tercermin pada ekspektasi konsumen. Jika sebelumnya AI kerap dianggap sebagai solusi untuk berbagai kebutuhan, kini persepsi itu mulai bergeser. Berdasarkan riset yang beredar, termasuk yang dilakukan SleekFlow, mayoritas konsumen—terutama di Indonesia—lebih nyaman berinteraksi dengan manusia ketika menghadapi persoalan yang sensitif, rumit, atau emosional.
Temuan tersebut menjadi sinyal bahwa otomatisasi saja tidak cukup. Sistem AI dinilai perlu memahami peran dan batasnya, termasuk kapan harus menghentikan proses dan menyerahkan keputusan atau penanganan kepada manusia.
Risiko AI yang terlalu “percaya diri” tidak berhenti pada jawaban yang salah atau bias. Masalah lain adalah munculnya kepercayaan palsu dari pengguna ketika AI menyajikan informasi yang terdengar meyakinkan, tetapi keliru. Dalam konteks teknis, fenomena ini dikenal sebagai AI hallucination.
Karena itu, sejumlah fitur seperti sistem pengecekan jawaban, deteksi ketidakyakinan (knowledge gap detection), serta mekanisme pengalihan ke manusia dinilai perlu menjadi standar etika dalam pembangunan AI, bukan sekadar pelengkap.
Di sisi lain, kerangka regulasi terkait penggunaan AI di banyak negara, termasuk Indonesia, masih belum jelas dan matang. Laporan Boston Consulting Group menyebutkan lebih dari 70 persen negara belum siap secara struktural, baik dari sisi kebijakan, keterampilan sumber daya manusia, maupun investasi jangka panjang terkait AI.
Situasi tersebut mempertegas tantangan utama di era AI: memastikan teknologi berkembang seiring dengan tata kelola dan etika yang memadai, agar manfaatnya tidak dibayangi oleh risiko yang sulit dikendalikan.
