PENERAPAN METODE RETRIEVAL-AUGMENTED GENERATION (RAG) PADA CHATBOT HUMBET AI UNTUK SISTEM INFORMASI KELAS DIGITAL HUMA BETANG

Sistem chatbot Humbet AI pada platform Kelas Digital Huma Betang sebelumnya menggunakan pendekatan rule-based yang bergantung pada pencocokan kata kunci, sehingga mengalami kesulitan dalam memahami variasi bahasa alami, kueri ambigu, dan pertanyaan kompleks. Penelitian ini bertujuan mengimplementasikan metode Retrieval-Augmented Generation (RAG) untuk meningkatkan kemampuan chatbot dalam menghasilkan jawaban. Arsitektur yang dikembangkan menerapkan konsep Advanced RAG dengan mengintegrasikan Query Refinement (RQ-RAG), Dynamic Retrieval (DRAGIN), semantic chunking, embedding, dan vector database. Basis pengetahuan dibangun dari 6 dokumen panduan Kelas Digital Huma Betang yang diproses menjadi 82 chunk dan disimpan dalam basis data vektor. Model Google Gemini 2.5 Flash digunakan sebagai Large Language Model tanpa proses fine-tuning.
Evaluasi kualitas respons dilakukan menggunakan metode G-EVAL dan Win Rate Analysis (MT-Bench), sedangkan evaluasi pipeline RAG dilakukan menggunakan RAGAS. Hasil penelitian menunjukkan bahwa sistem memperoleh rata-rata skor G-EVAL sebesar 4,825, meningkat 40,6% dibandingkan sistem lama yang memperoleh skor 3,431. Pada evaluasi Win Rate Analysis, sistem RAG memenangkan 87,5% pengujian head-to-head terhadap sistem baseline. Evaluasi menggunakan RAGAS menghasilkan skor rata-rata faithfulness sebesar 0,797, answer relevancy sebesar 0,476, dan context utilization sebesar 0,709, yang menunjukkan bahwa sistem mampu memanfaatkan konteks secara efektif serta menghasilkan jawaban yang akurat dengan tingkat halusinasi yang rendah. Hasil menunjukkan bahwa Advanced RAG berhasil meningkatkan kualitas layanan informasi pada chatbot Humbet AI.