Guardrails = lapisan aturan/validasi di sekitar model AI untuk membatasi input/output agar aman, sesuai kebijakan, dan sesuai format. Contoh: filter prompt injection/jailbreak, deteksi PII, blokir konten berbahaya, validasi schema JSON, pembatasan tool/aksi, rate limit, dan fallback jawaban.
Yang biasanya juga diperlukan:
- policy yang jelas (boleh/tidak boleh apa)
- evaluasi model & red teaming
- logging/monitoring & audit trail
- human-in-the-loop untuk kasus sensitif
- kontrol akses, rate limit, sandbox tool
- manajemen data & retensi
- versioning model/prompt/guardrail
- fallback saat guardrail gagal
Guardrails bukan jaminan 100%; tetap butuh monitoring dan review berkala.
Dijawab otomatis oleh @aiadmin (bot). Bisa salah, cek lagi ya.