thesis
.page.titleprefix DESIGN AND IMPLEMENTATION OF SPEECH TO SIGN LANGUAGE TRANSLATOR SYSTEM
Date
2022-01-10
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Numerous efforts have been to design interpretation strategies between the healthy and deaf
people. One of the most important of these systems is what called as Human-Computer-Interaction
(HCI) systems. Many simulation works of sign language are evolved in the last years in this field.
At most, these efforts have been worked to convert Sign Language into English speech and text,
and verse versa. Usually there is minimal interaction between healthy persons and the Arabic deaf
persons. So it is very important to design a conversion system that can translate ArSL into Arabic
speech or text and vice versa to provide a better communication between normal persons and Arab
deaf community. In this thesis, a translation system for Speech to Sign language will be
accomplished; the target is to design a translator scheme that can translate the speech signals of
Arabic letters into display the standard Arabic sign language. This circuit can be used to realize a
human-friendly program scheme that can be used for numerous applications such as
communication between the deaf and the normal people. Several stages have been carried out to
gratify the system design requirements, including: recording the signals of speech for data
collection, feature extraction after pre-processing, and the recognition final step. Then, the system
provides the recognition factors to the translator structure, to display image of movements of
fingers that antipodean the spoken letter. In this work, Pattern Recognition Neural Network
(PRNN) was used. It is a feedforward network that has an ability of classifying input samples into
desired classes. The network was trained with back-propagation algorithm by 560 training
samples, 20 samples for each letter of the entire 28 main Arabic letters.
iii
Then, the trained model was validated and tested with 140 and 140 dataset respectively, to see
how fit the PRNN model predicts the matching data set of output labels. The network is
successfully trained for all 28 classes (letters). The recognition was achieved with an excellent
diagnosis rate of up to 98%.
ÖZET: Sağlıklı ve sağır insanlar arasında yorumlama stratejileri tasarlamak için çok sayıda çaba sarf
edilmiştir. Bu sistemlerin en önemlilerinden biri İnsan-Bilgisayar-Etkileşim (HCI) sistemleri
olarak adlandırılan sistemlerdir. Bu alanda son yıllarda birçok işaret dili simülasyon çalışması
geliştirilmektedir. Bu çabalar en fazla İşaret Dili'ni İngilizce konuşma ve metne, ayeti ise
İngilizceye dönüştürmek için çalışıldı. Genellikle sağlıklı kişilerle Arap sağırları arasında
minimum etkileşim vardır. Bu nedenle, normal kişiler ve Arap sağır topluluğu arasında daha iyi
bir iletişim sağlamak için ArSL'yi Arapça konuşmaya veya metne çevirebilen bir dönüştürme
sistemi tasarlamak çok önemlidir. Bu tezde, Konuşmadan İşaret diline çeviri sistemi yapılacaktır;
hedef, Arap harflerinin konuşma sinyallerini standart Arap işaret diline çevirebilen bir çevirmen
şeması tasarlamaktır. Bu devre, sağırlar ve normal insanlar arasındaki iletişim gibi çok sayıda
uygulama için kullanılabilecek insan dostu bir program şemasını gerçekleştirmek için
kullanılabilir. Sistem tasarım gereksinimlerini karşılamak için, veri toplama için konuşma
sinyallerinin kaydedilmesi, ön işlemeden sonra özellik çıkarımı ve tanıma son adımı dahil olmak
üzere çeşitli aşamalar gerçekleştirilmiştir. Daha sonra sistem, konuşulan harfin tersi olan parmak
hareketlerinin görüntüsünü göstermek için çevirmen yapısına tanıma faktörlerini sağlar. Bu
çalışmada Örüntü Tanıma Sinir Ağı (PRNN) kullanılmıştır. Girdi örneklerini istenen sınıflara
ayırma yeteneğine sahip ileri beslemeli bir ağdır. Ağ, toplam 28 ana Arap harfinin her harfi için
20 örnek olmak üzere 560 eğitim örneği ile geri yayılım algoritması ile eğitilmiştir. Ardından,
PRNN modelinin eşleşen çıktı etiketlerini ne kadar uygun tahmin ettiğini görmek için eğitilen
model sırasıyla 140 ve 140 veri seti ile doğrulandı ve test edildi. Ağ, 28 sınıfın (harflerin) tamamı
için başarıyla eğitilmiştir. Tanıma, %98'e varan mükemmel bir
teşhis oranıyla sağlandı.
Description
İşaret Dili Çevirmen Sistemi Tasarimi ve Uygulamasi
Keywords
electrical & electronics engineering