IMAGE ANNOTATION USING DEEP LEARNING AND SEMANTIC WEB TECHNOLOGIES
Date
2022-01-17
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
In this thesis, we propose a hybrid solution for the cognitive task of generating image
descriptions in the image annotation domain. Previous work on Neural Networks
mostly focused on choosing the right labels and/or increasing the number of related
labels to depict a picture. However, creating a set of related labels to describe a picture
and depicting that picture through sentences are completely different phenomena,
structurally, syntactically, and semantically.
We present a framework that generates natural language descriptions of images in the
sports domain within a controlled environment. Our approach leverages Artificial
Intelligence and Ontologies to generate sentence descriptions of images. Our
framework presents a novel combination of deep learning models and aligned
annotation results derived from the instances of the ontology classes.
Description
DERİN ÖĞRENME VE ANLAMSAL AĞ TEKNOLOJİLERİNİ
KULLANARAK GÖRÜNTÜ AÇIKLAMASI
ÖZ: Bu tezde, görüntü açıklama alanında görüntü tanımı çıkarımını içeren bilişsel görev için hibrit bir çözüm önerilmektedir. Sinir Ağları ile ilgili önceki çalışmalar çoğunlukla doğru etiketleri seçmeye ve/veya bir resmi tasvir etmek için ilgili etiketlerin sayısını artırmaya odaklandı. Ancak, bir resmi tanımlamak için bir dizi ilgili etiket oluşturmak ve bu resmi cümleler yoluyla tasvir etmek yapısal, sözdizimsel ve anlamsal olarak tamamen farklı olgulardır. Bu çalışmada spor alanındaki görüntülerin kontrollü bir ortamda doğal dil tanımlarını oluşturan bir çerçeve sunulmaktadır. Yaklaşımımız, görüntülerin cümle açıklamalarını oluşturmak için Yapay Zeka ve Ontolojilerden yararlanmaktadır. Geliştirilen çerçeve, derin öğrenme modellerinin ve ontoloji sınıflarının örneklerinden türetilen hizalı açıklama sonuçlarının yeni bir kombinasyonunu sunmaktadır.
ÖZ: Bu tezde, görüntü açıklama alanında görüntü tanımı çıkarımını içeren bilişsel görev için hibrit bir çözüm önerilmektedir. Sinir Ağları ile ilgili önceki çalışmalar çoğunlukla doğru etiketleri seçmeye ve/veya bir resmi tasvir etmek için ilgili etiketlerin sayısını artırmaya odaklandı. Ancak, bir resmi tanımlamak için bir dizi ilgili etiket oluşturmak ve bu resmi cümleler yoluyla tasvir etmek yapısal, sözdizimsel ve anlamsal olarak tamamen farklı olgulardır. Bu çalışmada spor alanındaki görüntülerin kontrollü bir ortamda doğal dil tanımlarını oluşturan bir çerçeve sunulmaktadır. Yaklaşımımız, görüntülerin cümle açıklamalarını oluşturmak için Yapay Zeka ve Ontolojilerden yararlanmaktadır. Geliştirilen çerçeve, derin öğrenme modellerinin ve ontoloji sınıflarının örneklerinden türetilen hizalı açıklama sonuçlarının yeni bir kombinasyonunu sunmaktadır.
Keywords
software