PERBANDINGAN CNN DAN VISION TRANSFORMER (ViT) PADA KLASIFIKASI GENRE MUSIK MENGGUNAKAN LOG-MEL SPECTROGRAM

Perkembangan teknologi digital dan kecerdasan buatan telah meningkatkan kompleksitas musik digital sehingga kebutuhan terhadap sistem klasifikasi genre musik yang akurat menjadi semakin penting. Dalam bidang Music Information Retrieval (MIR), log-Mel spectrogram banyak digunakan karena mampu merepresentasikan informasi waktu dan frekuensi sesuai karakteristik pendengaran manusia. Penelitian ini bertujuan membandingkan performa Convolutional Neural Network (CNN) berbasis ResNet-101 dan Vision Transformer (ViT-L/16) dalam klasifikasi genre musik menggunakan log-Mel spectrogram pada dataset GTZAN, Free Music Archive (FMA), dan MagnaTagATune (MTAT) dengan lima genre musik, yaitu classical, hiphop,
jazz, pop, dan rock.
Tahapan penelitian meliputi balancing Dataset, splitting Dataset, segmentasi audio 5 detik dan 10 detik, ekstraksi fitur log-Mel spectrogram, serta pengecekan data leakage. Proses pelatihan menggunakan pendekatan transfer learning dan fine-tuning, sedangkan evaluasi dilakukan menggunakan
metrik accuracy, precision, recall, dan F1-score. Hasil penelitian menunjukkan bahwa kedua model mampu melakukan klasifikasi genre musik dengan baik, di mana ResNet-101 lebih stabil dalam mengekstraksi fitur lokal, sedangkan ViT-L/16 lebih efektif dalam memahami hubungan global dan konteks temporal pada data yang lebih kompleks.