EXTRACTIVE TEXT SUMMARIZATION FOR TURKISH USING TF-IDF AND PAGERANK ALGORITHMS
Date
2022-02-15
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
The improvements on the information technologies and the Internet infrastructure have
enabled the users to reach information in an easier and faster manner. However,
another consequence of the improvements is the information overload. To reach the
required information about a specific topic has become more difficult day by day.
Automatic text summarization helps to solve the problem by minimizing the document
size while keeping its core information required by the user.
This thesis presents an extractive single document automatic text summarization
system for Turkish, which implements the statistical-based TF-IDF algorithm as well
as a hybrid approach which is a combination of TF-IDF with the graph-based
PageRank algorithm. The study aims to reveal the usability and the effectiveness of
these algorithms for Turkish documents. Moreover, TF-IDF and TF-IDF with
PageRank (Hybrid) systems have been evaluated and compared with each other using
the co-selection evaluation techniques precision, recall and F-score.
Description
TF-IDF VE PAGERANK ALGORİTMALARI KULLANILARAK TÜRKÇE
İÇİN TEXT ÖZETLEME
ÖZ: Bilgi teknolojileri ve İnternet altyapısının gelişmesi ile birlikte kullanıcıların bilgiye ulaşması çok daha hızlı ve basit bir hale gelmiştir. Ancak, bu gelişmelerin bir başka sonucu da bilgi fazlalığına neden olması ve bunun sonucu olarak istenilen başlık altındaki bilgiye ulaşmanın gün be gün daha da zor bir hale gelmesidir. Otomatik Doküman Özetleme ile birlikte dokümanların içerisindeki ana bilginin korunması sağlanarak kullanıcıya istediği bilgiyi sağlamasına yardım edilmektedir. Bu tez, istatistiksel tabanlı TF-IDF algoritması ve TF-IDF ile grafik tabanlı PageRank algoritmasının birleşimi ile geliştirilen tekli otomatik doküman özetleme sisteminin sunumunu kapsar. Bu çalışma kullanılan algoritmaların Türkçe için uygulanabilirliği ve etkisinin ortaya çıkarımının gösterimini amaçlamaktadır. Ayrıca birbirinden ayrı olarak geliştirilen TF-IDF ve TF-IDF ile PageRank (hibrid) uygulamaları birbirleri ile kesinlik, hassasiyet ve F-puanı olarak karşılaştırılmıştır.
ÖZ: Bilgi teknolojileri ve İnternet altyapısının gelişmesi ile birlikte kullanıcıların bilgiye ulaşması çok daha hızlı ve basit bir hale gelmiştir. Ancak, bu gelişmelerin bir başka sonucu da bilgi fazlalığına neden olması ve bunun sonucu olarak istenilen başlık altındaki bilgiye ulaşmanın gün be gün daha da zor bir hale gelmesidir. Otomatik Doküman Özetleme ile birlikte dokümanların içerisindeki ana bilginin korunması sağlanarak kullanıcıya istediği bilgiyi sağlamasına yardım edilmektedir. Bu tez, istatistiksel tabanlı TF-IDF algoritması ve TF-IDF ile grafik tabanlı PageRank algoritmasının birleşimi ile geliştirilen tekli otomatik doküman özetleme sisteminin sunumunu kapsar. Bu çalışma kullanılan algoritmaların Türkçe için uygulanabilirliği ve etkisinin ortaya çıkarımının gösterimini amaçlamaktadır. Ayrıca birbirinden ayrı olarak geliştirilen TF-IDF ve TF-IDF ile PageRank (hibrid) uygulamaları birbirleri ile kesinlik, hassasiyet ve F-puanı olarak karşılaştırılmıştır.
Keywords
computer engineering