EMOTION ESTIMATION FROM FACIAL IMAGES
Date
2017-01-07
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Prediction of emotions from facial images is one of the popular and active researches, and
it’s implemented via many methods. In this thesis, the proposed system to predict
emotions from facial expressions images contains several stages, first stage of this system
is the pre-processing stage which is applied by detecting the face in images, then resizing
the images, and then Histogram Equalization (HE) technique is applied to normalize the
effects of illumination. The second stage is extracting features from facial expressions
images using Histogram of Oriented Gradient (HOG), and Local Binary Pattern (LBP)
feature extraction algorithms, which generates the training dataset and the testing dataset
that contains expressions of Anger, Contempt, Disgust, Embarrass, Fear, Happy, Neutral,
Pride, Sad, and Surprised. Then Support Vector Machine (SVM) and K-Nearest
Neighbors (KNN) classifiers are used for the classification stage in order to predict the
emotion. In addition, Confusion Matrix (CM) technique is used to evaluate the
performance of these classifiers. The proposed system is tested on JAFFE, KDEF, MUG,
WSEFEP, TFEID and ADFES databases. However, the proposed system achieved
prediction rate of 96.13% when HOG+SVM method is used.
Description
YÜZ GÖRÜNTÜLERİ ÜZERİNDEN DUYGU TAHMİNİ
ÖZ: Yüz görüntüleri üzerinden duygu tahmininde bulunma son zamanlardaki popüler ve etkin araştırmalardan biri olup bu araştırmalar birçok farklı yöntem aracılığıyla uygulanmaktadır. Bu tezdeki yüz ifadelerini tahmin edebilmek için önerilen sistem bir takım aşamalar içermektedir ve bunlardan birincisi görüntüler içinden yüzün seçilip bu görüntülerin yeniden boyutlandırılması ve sonrasında aydınlatma etkilerini normalize etmek için uygulanan Histogram Eşitlemesi- Histogram Equalization (HE) aracılığıyla yürütülen ön işleme aşamasıdır. İkinci aşama ise Odaklı Gradyan Histogramı- Histogram of Oriented Gradient (HOG) ve Yerel İkili Model- Local Binary Pattern (LBP) özellik çıkarma algoritmaları kullanarak yüz ifadelerinden Öfke, Kibir, İğrenme, Utanma, Korku, Mutluluk, Yansızlık, Gurur, Üzgün Olma ve Şaşkınlık gib farklı ifadelerinin özellik çıkarma aşamasıdır. Özellik çıkarma aşamasından sonra Karar Destek Makineleri - Support Vector Machine (SVM) ve k-En Yakın Komşuluk - K-Nearest Neighbors (KNN) sınıflandırıcıları kullanılarak duygu tahmininde bulunulmuştur. Buna ek olarak, Karışıklık Matrisi- Confusion Matrix (CM) tekniği bu sınıflandırıcıların performanslarını değerlendirmek için kullanılmıştır. Önerilen bu sistem JAFFE, KDEF, MUG, WSEFEP, TFEID ve ADFES veritabanlarında test edilmiştir ve önerilen sistemin HOG+SVM yöntemi uygulandığında 96.13% oranında bir tahmin başarısına ulaşılmıştır.
ÖZ: Yüz görüntüleri üzerinden duygu tahmininde bulunma son zamanlardaki popüler ve etkin araştırmalardan biri olup bu araştırmalar birçok farklı yöntem aracılığıyla uygulanmaktadır. Bu tezdeki yüz ifadelerini tahmin edebilmek için önerilen sistem bir takım aşamalar içermektedir ve bunlardan birincisi görüntüler içinden yüzün seçilip bu görüntülerin yeniden boyutlandırılması ve sonrasında aydınlatma etkilerini normalize etmek için uygulanan Histogram Eşitlemesi- Histogram Equalization (HE) aracılığıyla yürütülen ön işleme aşamasıdır. İkinci aşama ise Odaklı Gradyan Histogramı- Histogram of Oriented Gradient (HOG) ve Yerel İkili Model- Local Binary Pattern (LBP) özellik çıkarma algoritmaları kullanarak yüz ifadelerinden Öfke, Kibir, İğrenme, Utanma, Korku, Mutluluk, Yansızlık, Gurur, Üzgün Olma ve Şaşkınlık gib farklı ifadelerinin özellik çıkarma aşamasıdır. Özellik çıkarma aşamasından sonra Karar Destek Makineleri - Support Vector Machine (SVM) ve k-En Yakın Komşuluk - K-Nearest Neighbors (KNN) sınıflandırıcıları kullanılarak duygu tahmininde bulunulmuştur. Buna ek olarak, Karışıklık Matrisi- Confusion Matrix (CM) tekniği bu sınıflandırıcıların performanslarını değerlendirmek için kullanılmıştır. Önerilen bu sistem JAFFE, KDEF, MUG, WSEFEP, TFEID ve ADFES veritabanlarında test edilmiştir ve önerilen sistemin HOG+SVM yöntemi uygulandığında 96.13% oranında bir tahmin başarısına ulaşılmıştır.
Keywords
computer engineering