# Meta JiTTests: AI Penulis Tes yang Sengaja Dibuat Gagal Sebelum Kode Berisiko Masuk

Sumber: https://nyit-nyit.net/threads/meta-jittests-ai-penulis-tes-yang-sengaja-dibuat-gagal-sebelum-kode-berisiko-masuk.236352/
Forum: AI Tools — ChatGPT, Gemini, Claude, DeepSeek
Dibuat: 2026-11-16 oleh ON3
Balasan: 1, dilihat: 16

## Post pertama

Meta sudah membawa Catching Just-in-Time Tests atau JiTTests dari prototipe riset ke infrastruktur produksi mereka. Ini sistem berbasis LLM yang menulis tes eksekusi yang dirancang untuk gagal pada perubahan kode yang berisiko. Tes yang gagal jadi bukti konkret bahwa sebuah diff mengubah perilaku. Tim Meta melaporkan JiTTests menangkap 74 privacy SEV di tahap diff pada paruh pertama 2026. Metodenya dijelaskan dalam makalah riset FSE 2026 berjudul Just-in-Time Catching Test Generation at Meta.

**Apa itu Catching JiTTests dan bedanya dengan tes biasa?**

Tes hardening tradisional ditulis agar lolos saat dibuat, lalu menjaga dari regresi di masa depan. Catching tests menyasar perubahan yang sedang direview, sebelum masuk. Meta memformalkan detailnya di makalah 2025 Harden and Catch.

Kebanyakan alat bug AI bekerja seperti reviewer manusia yang lebih cepat: membaca diff lalu meninggalkan komentar. JiTTests mengeksekusi kode dan menunjukkan perbedaan perilaku yang konkret. Tim Meta mengakui pendekatan ini butuh lebih banyak langkah komputasi, tapi berargumen cara ini menangkap kelas bug yang bisa terlewat oleh review LLM atau agent.

**Bagaimana alur pipeline JiTTests di produksi?**

Pipeline produksi punya lima tahap:

Targeting: berjalan semalam memakai kapasitas idle, memilih diff berisiko dari hari sebelumnya dengan mekanisme mirip Diff Risk Score Meta.
Test generation: dua workflow sadar-diff menghasilkan kandidat tes.
LLM-as-Judge ensemble: beberapa LLM memberi skor tiap tes yang gagal berdasarkan kode tes, jejak kegagalan, diff, dan intent yang disimpulkan.
RubFake: lingkungan pembunuh false-positive berbasis aturan menambah cek deterministik, menandai pola seperti reflection, mock rusak, dan exception not-implemented.
Human-on-the-loop: sistem memutuskan apakah perlu menghubungi engineer berdasarkan ranking gabungan.

Ada dua workflow. Dodgy diff menganggap setiap diff buggy dan memperlakukannya sebagai mutant dari parent-nya. Intent-aware lebih dulu menyimpulkan apa yang seharusnya dilakukan diff dari kode, judul, dan ringkasannya, lalu menyusun risiko dan mutant untuk tiap risiko. Tes yang gagal pada diff asli disebut weak catch.

**Seberapa akurat hasilnya di skala penuh?**

Tim riset menganalisis 22.126 tes yang dihasilkan. Metode sadar-diff menghasilkan kandidat tangkapan 4x lebih banyak dari tes hardening, dan 20x lebih banyak dari tes yang gagal kebetulan. Workflow intent-aware menghasilkan weak catch pada 6,4% tesnya dan 7,9% diff. Dodgy diff 2,5% dan 4,0%. Pendekatan ACH mutation-guided hardening Meta sebelumnya hanya 0,8% dan 1,6%. Asesor berbasis aturan dan LLM memangkas beban review manusia hingga 70%.

Deployment awal jauh lebih sederhana. Meta melaporkan 41 kandidat tangkapan ke engineer, 8 dikonfirmasi true positive, tingkat 19,5%. Empat di antaranya bakal menyebabkan kegagalan serius di produksi. Posting engineering Oktober 2026 menunjukkan angka produksi lebih kuat: 589 engineer terlibat, 64% dari yang dihubungi, dan engineer melaporkan tingkat true-positive 60%. Kejadian privacy SEV secara keseluruhan turun 20% di periode yang sama. ::n3jempol::

**Apakah developer umum bisa pakai JiTTests?**

Tidak. JiTTests adalah infrastruktur internal Meta. Meta belum merilis kode, model, atau API-nya. Model judge yang disebut di makalah adalah Llama3.3-70B, Gemini 3 Pro, dan Claude Sonnet 4. Tim lain masih bisa meniru polanya: pembuatan tes sadar-diff berbasis mutasi, ensemble judge LLM, filter deterministik, dan pengawasan manusia di level agregat.

Human-on-the-loop artinya engineer menetapkan kriteria dan memantau hasil secara agregat, bukan mereview tiap tes. Tim Meta jarang membaca kode tes. Mereka hanya mengonfirmasi apakah perubahan perilaku yang teramati memang disengaja. ::geek::

Semua angka di atas dilaporkan sendiri oleh Meta di codebase mereka, jadi perlakukan sebagai klaim internal, bukan benchmark independen. ::n3cool::

**Orang Juga Bertanya**

**Apa itu Meta JiTTests?**
JiTTests adalah sistem berbasis LLM milik Meta yang menulis tes eksekusi yang seharusnya gagal ketika sebuah diff memperkenalkan bug. Sistem ini kini berjalan di infrastruktur produksi Meta, bukan lagi prototipe riset.

**Kapan JiTTests mulai dipakai di produksi Meta?**
Makalahnya terbit di FSE 2026 dan posting engineering Meta terbit Oktober 2026. Angka penangkapan 74 privacy SEV tercatat pada paruh pertama 2026.

**Berapa tingkat akurasi JiTTests?**
Engineer Meta melaporkan tingkat true-positive 60% di skala penuh. Deployment awalnya hanya mengonfirmasi 8 dari 41 tangkapan, atau 19,5%.

**Apakah JiTTests bisa dipakai developer umum?**
Belum. JiTTests hanya infrastruktur internal Meta dan belum ada kode, model, atau API yang dirilis. Developer bisa meniru polanya sendiri.

**Kenapa tes AI ini sengaja dibuat gagal?**
Tes yang gagal pada diff memberi bukti konkret bahwa perilaku kode berubah. Bukti eksekusi ini menangkap kelas bug yang sering terlewat oleh review LLM atau agent.

**Menurut kalian, pendekatan tes yang sengaja gagal ini lebih masuk akal daripada review kode pakai AI biasa, atau justru terlalu boros komputasi?** Tulis pendapat kalian di kolom balasan ya ::n3sundul::

Diolah redaksi N3 dari laporan MarkTechPost.

## Balasan

### AIAdmin, 2026-11-16

Mantap infonya, sob. Yang bikin JiTTests beda dari alat bug AI lain: dia ngeksekusi kode, bukan cuma baca diff lalu komentar. Jadi ada bukti konkret perilaku berubah, bukan tebakan reviewer.

Konsepnya sebenarnya mirip mutation testing — "dodgy diff" anggap semua diff buggy, tes harus gagal kalau perilaku berubah. Bedanya tester-nya LLM dan targetnya diff yang lagi direview, bukan kode final.

Dua hal yang cerdas dari pipeline-nya:

- Targeting jalan malam pakai kapasitas idle, jadi nggak rebut resource CI pas semua orang push.
- RubFake buat bunuh false positive sebelum hasilnya sampai engineer. Ini krusial, soalnya kalau tes AI sering alarm palsu, engineer bakal bosen ignore dan sistemnya mati perlahan.

Post-nya kelihatan kepotong di akhir (workflow intent-aware). Kalau mau gali detail, coba cari makalah "Harden and Catch" dan paper FSE 2026-nya, masih ane catat sebagai klaim di post ini, belum ane verifikasi.

Ada yang di sini pernah nyoba pendekatan serupa buat project masing-masing?

Dijawab otomatis oleh @aiadmin (bot). Bisa salah, cek lagi ya.

