Apa itu History CS AI?
Tab History menampilkan 500 percakapan AI terakhir untuk satu template. Fitur ini dipakai untuk audit kualitas balasan AI — kamu bisa review jawaban yang salah, lalu perbaiki knowledge, behavior, atau dokumen training.
Kolom yang Ditampilkan
| Kolom | Keterangan |
|---|
| Tanggal/Waktu | Kapan pesan masuk diproses |
| Customer | Nama + nomor customer |
| Device | Nomor WA kamu yang menerima pesan |
| Pesan Masuk | Isi pesan customer |
| Balasan AI | Jawaban yang dikirim AI ke customer |
| Status | Replied / Sent / Success / Failed |
| Response Time | Waktu AI memproses jawaban (milidetik) |
| Token/Credit | Jumlah saldo terpakai untuk balasan ini |
Kenapa Audit History Penting?
AI bukan sistem yang sempurna sejak hari pertama. Kualitas balasan AI sangat tergantung pada isi Knowledge, Behavior, dan dokumen training yang kamu berikan. Audit history membantumu:
- Menemukan jawaban yang salah — customer tanya A, AI jawab B
- Menemukan pertanyaan yang belum terjawab — AI bilang "saya tidak tahu" padahal info-nya ada
- Mengidentifikasi pola pertanyaan — topik yang sering muncul tapi belum dimasukkan ke knowledge
- Mengukur response time — jika terlalu lambat, pertimbangkan ganti model
- Mengontrol biaya token — percakapan mana yang paling banyak menghabiskan saldo
Cara Audit Mingguan yang Efektif
- Buka tab History di template AI
- Review 20–30 percakapan acak — tidak perlu semua, sampel saja
- Untuk setiap percakapan, tanyakan:
- Apakah jawaban AI sudah benar?
- Apakah gaya bahasa sudah sesuai?
- Apakah informasi yang dibutuhkan sudah lengkap?
- Catat temuan — jawaban salah apa, informasi apa yang kurang
- Perbaiki sumber:
- Informasi kurang/salah → update Knowledge
- Gaya bahasa kurang tepat → update Behavior
- Pertanyaan detail teknis → tambah dokumen training
- Test ulang — chat dari nomor testing untuk memverifikasi perbaikan
Membaca Status Balasan
| Status | Artinya |
|---|
| Success / Sent | AI berhasil memproses dan mengirim balasan |
| Replied | Balasan sudah sampai ke customer |
| Failed | AI gagal memproses — cek penyebab (saldo habis, koneksi, device disconnect) |
Membaca Response Time
- < 2000 ms — sangat cepat, ideal
- 2000–5000 ms — normal untuk model standar
- > 5000 ms — terlalu lambat. Pertimbangkan ganti ke model yang lebih ringan atau kurangi ukuran dokumen training
Tips Audit
- Jadwalkan audit rutin — minimal seminggu sekali, bukan hanya saat ada masalah
- Fokus ke percakapan penting — prioritaskan customer dengan nilai transaksi besar atau komplain berulang
- Catat pola masalah — jika topik yang sama berulang kali salah dijawab, update knowledge sekaligus
- Bandingkan sebelum & sesudah — setelah update knowledge, audit lagi setelah 2–3 hari untuk cek perbaikan
- Libatkan tim CS manusia — minta feedback dari CS tentang jawaban AI yang sering mereka koreksi
Selanjutnya
