PERBANDINGAN REPRESENTASI TEKS MENGGUNAKAN TF-IDF, WORD2VEC, DAN SENTENCE-BERT UNTUK KLASIFIKASI PERTANYAAN PADA CHATBOT SEJARAH KALIMANTAN TENGAH

Pengembangan chatbot edukasi sejarah lokal memerlukan pemahaman intent pengguna yang akurat. Penelitian ini bertujuan membandingkan kinerja tiga metode representasi teks, yaitu TF-IDF, Word2Vec, dan Sentence-BERT (S-BERT), dalam klasifikasi pertanyaan dan temu kembali jawaban pada chatbot Sejarah Kalimantan Tengah. Dataset yang digunakan terdiri dari 809 pasangan pertanyaan-jawaban yang divalidasi reliabilitasnya menggunakan Cohen’s Kappa (κ = 0,9318). Evaluasi dilakukan terhadap model klasifikasi Support Vector Machine (SVM) dan mekanisme retrieval menggunakan Cosine Similarity, mencakup metrik klasifikasi, Uji McNemar, ketahanan semantik (typo, parafrase, noise), dan efisiensi komputasi. Hasil penelitian menunjukkan bahwa TF-IDF dan S-BERT memiliki kinerja klasifikasi yang tinggi dan setara secara statistik (p-value = 0,8383), sementara Word2Vec gagal akibat hilangnya struktur sintaksis pada mekanisme average pooling. Pada pengujian arsitektur sistem, penambahan filter SVM pada pipeline dua tahap justru memicu error propagation yang menurunkan akurasi retrieval secara drastis saat menghadapi input tidak baku. S-BERT membuktikan ketahanan semantik (robustness) tertinggi terhadap variasi linguistik, meskipun membutuhkan waktu komputasi lebih lama yang masih dalam batas toleransi interaksi manusia-komputer. Penelitian ini merekomendasikan penggunaan S-BERT dengan arsitektur Single-Stage Pipeline (pencarian Cosine Similarity langsung tanpa filter SVM) sebagai konfigurasi optimal untuk menjamin keandalan sistem dalam menghadapi dinamika pertanyaan pengguna yang alami.