KLASIFIKASI CITRA BAHASA ISYARAT HURUF HIJAIYAH MENGGUNAKAN CONVOLUTIONAL NEURAL NETWORK

DEVAN, ZEPTA CHATIANO (2025) KLASIFIKASI CITRA BAHASA ISYARAT HURUF HIJAIYAH MENGGUNAKAN CONVOLUTIONAL NEURAL NETWORK. undergraduate thesis, Universitas Muhammadiyah Mataram.

	Text COVER-DAFTAR PUSTAKA.pdf Restricted to Repository staff only Download (3MB) \| Request a copy
	Text SIMILARITY CEK.pdf Restricted to Repository staff only Download (5MB) \| Request a copy

Abstract

Komunikasi merupakan aspek penting dalam kehidupan manusia, termasuk dalam penyampaian ilmu pengetahuan dan ajaran agama. Namun, bagi penyandang tuli yang mengandalkan bahasa isyarat, keterbatasan komunikasi verbal menjadi tantangan, khususnya dalam pembelajaran membaca Al-Qur’an yang dimulai dari pengenalan huruf Hijaiyah. Metode pengajaran yang masih dominan berbasis lisan dan pendengaran mendorong perlunya media pembelajaran yang lebih adaptif dan inklusif. Perkembangan teknologi kecerdasan buatan, khususnya Convolutional Neural Network (CNN), membuka peluang untuk membangun sistem pengenalan huruf Hijaiyah berbasis bahasa isyarat secara otomatis. Penelitian ini bertujuan mengembangkan model klasifikasi bahasa isyarat huruf Hijaiyah menggunakan arsitektur VGG16 dengan pendekatan transfer learning. Dataset diperoleh dari dokumentasi gestur tangan teman tuli di Mataram, NTB, berjumlah 4.200 citra yang mencakup 28 kelas huruf Hijaiyah. Data melalui tahap augmentasi untuk meningkatkan variasi, lalu dibagi menjadi data training (80%), validasi (10%), dan testing (10%). Lapisan konvolusi VGG16 dibekukan sebagai feature extractor, kemudian ditambahkan fully connected layer untuk klasifikasi dengan parameter pelatihan: optimizer Adam, learning rate 0.0001, batch size 16, dan 100 epoch. Hasil pelatihan menunjukkan akurasi training 90,7% dengan nilai loss 0,2885. Evaluasi pada 420 data uji menghasilkan akurasi klasifikasi 98%, dengan nilai presisi, recall, dan F1-score makro masing-masing 0,98. Kesalahan hanya terjadi pada beberapa huruf yang mirip secara gestur, seperti Ka, Nun, Ya, Dal, dan Dzal. Namun, pada pengujian eksternal dengan 280 citra baru, akurasi menurun hingga sekitar 50% karena perbedaan pencahayaan, latar belakang, dan variasi gaya gestur. Dengan demikian, penelitian ini menunjukkan bahwa CNN berbasis VGG16 berpotensi mendukung media pembelajaran huruf Hijaiyah bagi penyandang tuli, meskipun masih diperlukan perluasan dataset dan eksplorasi model lain untuk meningkatkan performa pada kondisi nyata.

Item Type:

Thesis (undergraduate)

Contributors: