PENGEMBANGAN SISTEM MULTIMODAL EKSPRESI WAJAH DAN ANALISIS TEKS UNTUK DETEKSI INDIKASI STRES BERBASIS WEB

Tekanan akademik selama masa penyusunan tugas akhir berisiko memicu gangguan kesehatan mental pada mahasiswa tingkat akhir. Namun, metode penapisan konvensional seperti kuesioner mandiri DASS-21 sering kali membebani kognitif dan bersifat pasif, sementara otomatisasi deteksi berbasis Artificial Intelligence (AI) secara unimodal rentan terhadap ambiguitas semantik pada teks dan efek wajah datar (flat affect) pada visual. Penelitian ini mengembangkan sebuah purwarupa sistem penapisan awal indikasi stress multimodal berbasis Web yang mengintegrasikan analisis teks contextual journaling menggunakan arsitektur Transformer IndoBERT (indobert-base-p1) dan pelacakan geometri ekspresi wajah (478 titik facial landmarks MediaPipe) menggunakan algoritma XGBoost. Kedua modalitas digabungkan pada tingkat keputusan (Late Fusion) menggunakan metode Weighted Average dan dipetakan ke dalam tiga kelas afektif (Normal, Stres, Depresi) berdasarkan Circumplex Model of Affect. Pengujian kinerja model secara terpisah mencatatkan akurasi sebesar 96,13% untuk IndoBERT dan 91,70% untuk XGBoost. Integrasi multimodal menghasilkan akurasi puncak sebesar 98,33% pada 300 data uji terpadu dengan titik kesetimbangan bobot optimal 60% teks dan 40% wajah. Pada validasi lapangan yang melibatkan 36 responden mahasiswa tingkat akhir Universitas Palangka Raya terhadap instrumen DASS-21, sistem mencatatkan akurasi operasional sebesar 77,78% dengan Koefisien Cohen’s Kappa sebesar 0,46 (Moderate Agreement). Penurunan performa pada uji lapangan merefleksikan tantangan nyata fenomena Domain Shift akibat variasi pencahayaan, spesifikasi kamera web, serta karakteristik linguistik teks. Kendati demikian, tingginya sensitivitas model pada kategori distres emosional (Recall 0,96) membuktikan bahwa purwarupa sistem ini layak difungsikan murni sebagai media penapisan dini (early warning screening tool) mandiri yang ramah privasi di lingkungan kampus.