ABSTRACTIVE TEXT SUMMARIZATION USING DEEP LEARNING
Date
2022-01-11
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
The ability to produce summaries automatically helps to improve knowledge dissemination and retention, as well as efficiency in a variety of fields.There are basically two approaches to summarizing, abstractive and extractive. The abstractive approach is considered more successful as it is the process of creating a brief summary of the source text to capture the main ideas. In this approach, summaries created from the source text may contain new phrases and sentences not included in the original text. The use of attention-based Recurrent Neural Networks encoder-decoder models has been popular for a variety of language-related tasks, including summarization and machine translation. Recently, in the field of machine translation, the Transformer model has proven to be superior to the Recurrent Neural Networks-based model. In this thesis, we propose an improved encoder-decoder Transformer model for text summarization. As a baseline model, we used Long Short-Term Memory with attention, a Recurrent Neural Networks model, for the abstractive text summarization task. Evaluation of this study is performed automatically using the ROUGE score. Experimental results show that the Transformer model provides a better summary and a higher ROUGE score.
Description
SOYUTLAYICI METIN OZETLEMESI DERIN OGRENME KULLANARAK
ÖZ: Özetleri otomatik olarak üretme yeteneği, ceşitli alanlarda verimliliğin yanı sıra bilginin yayılmasını ve elde tutulmasını iyileştirmeye yardımcı olabilir. Özetleme, soyutlamacı ve çıkarıcı olmak üzere temelde iki yaklaşım vardır. Ana fikirleri yakalamak için kaynak metnin kısa bir özetini oluşturma süreci olduğu için soyutlayıcı yaklaşım daha başarılı kabul edilir. Bu yaklaşımda, kaynak metinden oluşturulan özetler, orijinal metinde yer almayan yeni ifadeler ve cümleler içerebilir. Dikkate dayalı Tekrarlayan Sinir Ağları kodlayıcı-kod çözücü modellerinin kullanımı, özetleme ve makine çevirisi dahil olmak üzere dille ilgili çeşitli görevler için popüler olmuştur. Son zamanlarda, makine çevirisi alanında, Transformer modelinin Tekrarlayan Sinir Ağları tabanlı modelden üstün olduğu kanıtlanmıştır. Bu tezde, metin özetleme için geliştirilmiş¸ bir kodlayıcı-kod çözücü Transformer modeli öneriyoruz. Temel model olarak, soyutlayıcı metin özetleme görevi için bir Tekrarlayan Sinir Ağları modelini olan Dikkatli Uzun Kısa Süreli Bellek kullandık. Bu çalışmanın değerlendirilmesi, ROUGE puanı kullanılarak otomatik olarak yapılmıştır. Deneysel sonuçlar, Transformer modelinin daha iyi bir özet ve daha yüksek bir ROUGE puanı sağladığını göstermektedir.
ÖZ: Özetleri otomatik olarak üretme yeteneği, ceşitli alanlarda verimliliğin yanı sıra bilginin yayılmasını ve elde tutulmasını iyileştirmeye yardımcı olabilir. Özetleme, soyutlamacı ve çıkarıcı olmak üzere temelde iki yaklaşım vardır. Ana fikirleri yakalamak için kaynak metnin kısa bir özetini oluşturma süreci olduğu için soyutlayıcı yaklaşım daha başarılı kabul edilir. Bu yaklaşımda, kaynak metinden oluşturulan özetler, orijinal metinde yer almayan yeni ifadeler ve cümleler içerebilir. Dikkate dayalı Tekrarlayan Sinir Ağları kodlayıcı-kod çözücü modellerinin kullanımı, özetleme ve makine çevirisi dahil olmak üzere dille ilgili çeşitli görevler için popüler olmuştur. Son zamanlarda, makine çevirisi alanında, Transformer modelinin Tekrarlayan Sinir Ağları tabanlı modelden üstün olduğu kanıtlanmıştır. Bu tezde, metin özetleme için geliştirilmiş¸ bir kodlayıcı-kod çözücü Transformer modeli öneriyoruz. Temel model olarak, soyutlayıcı metin özetleme görevi için bir Tekrarlayan Sinir Ağları modelini olan Dikkatli Uzun Kısa Süreli Bellek kullandık. Bu çalışmanın değerlendirilmesi, ROUGE puanı kullanılarak otomatik olarak yapılmıştır. Deneysel sonuçlar, Transformer modelinin daha iyi bir özet ve daha yüksek bir ROUGE puanı sağladığını göstermektedir.
Keywords
computer science, computer engineering