Kenapa Model AI yang Sama Bisa Beri Hasil Berbeda di Tiap Institusi

Ada asumsi yang wajar tapi keliru soal AI di edtech: kalau dua institusi memakai model AI yang persis sama, hasilnya seharusnya sama-sama akurat. Kenyataannya tidak begitu. Model AI yang identik bisa menghasilkan diagnosis kelemahan yang jauh lebih tajam di satu institusi dan terasa kurang relevan di institusi lain — dan penyebabnya bukan model AI-nya, tapi apa yang diberikan kepadanya untuk dianalisis.

AI Menganalisis Apa yang Ada, Bukan Apa yang Seharusnya Ada

AI yang mendiagnosis kelemahan siswa bekerja dari data yang dikirim: jawaban siswa, tagging kompetensi pada soal, dan rubrik penilaian yang ditetapkan guru. Kalau data itu rapi dan konsisten, AI punya bahan yang cukup untuk menghasilkan analisis yang tajam. Kalau data itu berantakan — kompetensi yang tidak konsisten ditandai, soal yang ambigu, atau rubrik esai yang terlalu longgar — AI akan menghasilkan kesimpulan yang secara teknis "benar" berdasarkan data yang ada, tapi tidak benar-benar mencerminkan kondisi siswa.

Ini yang menjelaskan kenapa model AI yang sama bisa "terlihat" jauh lebih pintar di satu institusi dibanding institusi lain — bukan karena AI itu belajar berbeda, tapi karena kualitas bahan mentah yang diberikan berbeda.

Tiga Faktor yang Paling Menentukan Kualitas Data

Konsistensi tagging kompetensi di bank soal. Kalau soal-soal yang sebenarnya menguji kompetensi yang sama ditandai dengan label kompetensi berbeda-beda oleh guru yang berbeda, sistem akan kesulitan mengagregasi pola kelemahan siswa secara akurat pada kompetensi yang seharusnya sama.

Kejelasan rubrik atau expected-answer untuk soal esai. AI yang menilai esai bekerja jauh lebih akurat kalau rubrik penilaiannya spesifik — bukan sekadar "jawaban harus lengkap dan jelas", tapi kriteria konkret apa yang membedakan jawaban bagus dari jawaban kurang. Rubrik yang samar menghasilkan penilaian AI yang juga samar.

Volume dan keberagaman data historis. Institusi yang sudah mengumpulkan data ujian dari banyak siswa dan banyak periode punya dasar yang lebih kuat untuk deteksi pola dibanding institusi yang baru mulai. Ini bukan berarti institusi baru tidak bisa dapat manfaat dari AI, tapi diagnosis akan makin tajam seiring data yang terkumpul bertambah.

Kenapa Ini Bukan Kesalahan Vendor, Tapi Tanggung Jawab Bersama

Penting dipahami: ini bukan berarti vendor AI edtech bebas dari tanggung jawab kualitas. Vendor tetap bertanggung jawab membangun sistem yang tidak mengarang fakta di luar data yang diberikan, dan yang menandai dengan jelas kalau data yang tersedia belum cukup untuk kesimpulan yang percaya diri. Tapi institusi juga punya peran: kualitas hasil AI sangat bergantung pada seberapa disiplin institusi menjaga bank soal dan rubrik penilaiannya tetap rapi dan konsisten.

Ini artinya, kalau institusi kecewa dengan hasil diagnosis AI yang terasa kurang tajam, langkah pertama yang produktif bukan langsung menyalahkan sistemnya, tapi memeriksa: apakah tagging kompetensi di bank soal kami sudah konsisten? Apakah rubrik esai kami cukup spesifik untuk memberi AI dasar penilaian yang jelas?

Yang Bisa Dilakukan Institusi untuk Meningkatkan Akurasi

Beberapa langkah praktis yang bisa langsung diterapkan institusi tanpa perlu keahlian teknis: lakukan review berkala terhadap tagging kompetensi di bank soal, terutama saat ada guru baru yang menambah soal. Susun rubrik esai yang lebih spesifik daripada sekadar deskripsi umum — semakin jelas kriteria yang diberikan ke guru saat membuat soal, semakin jelas juga dasar yang dipakai AI untuk menilai. Dan jangan berharap diagnosis langsung sempurna di bulan pertama pemakaian — beri waktu bagi data untuk terkumpul cukup sebelum menilai keakuratan sistem secara final.

Pertanyaan yang Layak Ditanyakan Sebelum Menilai "AI Ini Tidak Akurat"

Kalau institusi merasa hasil AI kurang sesuai ekspektasi, pertanyaan yang lebih produktif daripada "kenapa AI-nya salah" adalah "apa yang sebenarnya kami berikan ke AI untuk dianalisis, dan apakah itu cukup rapi". Sebagian besar kasus "AI tidak akurat" yang ditemukan di lapangan, kalau ditelusuri, ternyata bersumber dari data yang jadi input-nya — bukan dari model AI yang dipakai. Memahami ini membantu institusi memperbaiki akar masalahnya, bukan berganti-ganti vendor tanpa memperbaiki kualitas data yang sama.

Dua Institusi, Model Sama, Hasil yang Sangat Berbeda

Institusi A sudah tiga tahun memakai sistem yang sama, dengan bank soal yang tag kompetensinya sudah ditinjau ulang dua kali oleh tim akademik untuk memastikan konsistensinya, dan rubrik esai yang disusun sangat spesifik per soal. Diagnosis kelemahan yang dihasilkan sistem terasa sangat tajam — guru-guru di sana sering berkomentar bahwa rekomendasi latihan yang muncul "seperti benar-benar memahami kelas kami". Institusi B baru enam bulan memakai sistem yang sama persis, bank soalnya diwariskan begitu saja dari dokumen lama tanpa tagging kompetensi yang konsisten, dan rubrik esainya masih berupa deskripsi umum satu kalimat. Diagnosis kelemahan yang dihasilkan di sana terasa kurang tajam, kadang menunjukkan kelemahan yang menurut guru tidak sepenuhnya mencerminkan kondisi siswa.

Kedua institusi memakai model AI dan versi sistem yang identik. Bedanya semata karena kematangan data yang mereka masukkan — bukan karena satu sistem lebih canggih dari yang lain.

Perjalanan Realistis dari Data Berantakan ke Data Rapi

Institusi B, setelah menyadari akar masalahnya bukan di sistem, menghabiskan satu semester untuk merapikan tagging kompetensi bank soal lamanya secara bertahap — bukan sekaligus, tapi setiap kali guru membuka soal untuk dipakai, tag kompetensinya ditinjau ulang saat itu juga. Dalam waktu itu, mereka juga mulai menuliskan rubrik esai yang lebih spesifik untuk soal-soal baru, meski soal lama masih memakai rubrik lama sampai giliran ditinjau. Di semester berikutnya, diagnosis kelemahan yang dihasilkan sistem terasa jauh lebih relevan — bukan karena ada pembaruan sistem, tapi karena data yang diproses sistem sudah jauh lebih rapi dari sebelumnya.