COMPARISON OF SCHEDULING USED IN BIG DATA FRAMEWORKS
Date
2022-02-24
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Big Data applications have grown to become one of the main ingredients in the current
information technology sector, providing an opportunity for decision-makers to achieve
best outcomes, for instance in commerce and business. However, the speed at which such
data gathering occurs varies in storage, management, and processing, in all of which the
traditional database systems cannot handle such tasks as massive data collection.
Resource management and task scheduling play an essential role in Big Data processing.
There are different classifications of schedulers that are based on their different features,
effectiveness, performance, and so on. However, in this thesis we classify, compare and
investigate the detailed information associated with several schedulers being employed
in Big Data frameworks. Moreover, this thesis identifies the weakness and strengths in
different use cases of these schedulers. Furthermore, the study examines scenarios for
the suitability of use cases so as to determine in which case the individual scheduler has
some weakness or useless. Thus, these issues we cover in this thesis are not studied in
the existing studies.
Description
BÜYÜK VERI ÇERÇEVELERINDE KULLANILAN ZAMANLAYICILARIN
KARŞILAŞTIRILMASI
ÖZ: Büyük Veri uygulamaları, mevcut bilgi teknolojisi sektörünün ana bileşenlerinden biri haline gelmiş ve birçok alanda karar vericilere en iyi sonuçları elde etme fırsatı tanımıştır. Bununla birlikte, bu tür verilerin kullanılmasında gereksinim duyulan hız, depolama, yönetim ve işleme gibi konularda geleneksel veri tabanı sistemlerinin yeterli olmadığını bilinmektedir. Kaynak yönetimi ve görev zamanlaması, bu türden büyük ölçekteki verilerin işlenmesinde önemli bir rol oynamaktadır. Bu konuda; özelliklerine, etkililiğine, performansına, v.b. bağlı olarak farklı sınıflarda zamanlayıcılar bulunmaktadır. Bu tezde, Büyük Veri çerçevelerinde çalışan çeşitli zamanlayıcılar ayrıntılı olarak sınıflandırılmış, karşılaştırılmış ve incelenmiştir. Ayrıca bu tez, bu zamanlayıcıların farklı kullanım durumlarındaki zayıflık ve güçlü yanları ortaya koymaktadır. Bunlara ek olarak, zamanlayıcıların kullanım alanlarına göre uygunluğuna ilişkin senaryolar incelemiş olup, bu durumlarda herbir zamanlayıcının ne türden zayıflıklığı yada yararsızlığı olduğu saptanmaya çalışılmıştır.
ÖZ: Büyük Veri uygulamaları, mevcut bilgi teknolojisi sektörünün ana bileşenlerinden biri haline gelmiş ve birçok alanda karar vericilere en iyi sonuçları elde etme fırsatı tanımıştır. Bununla birlikte, bu tür verilerin kullanılmasında gereksinim duyulan hız, depolama, yönetim ve işleme gibi konularda geleneksel veri tabanı sistemlerinin yeterli olmadığını bilinmektedir. Kaynak yönetimi ve görev zamanlaması, bu türden büyük ölçekteki verilerin işlenmesinde önemli bir rol oynamaktadır. Bu konuda; özelliklerine, etkililiğine, performansına, v.b. bağlı olarak farklı sınıflarda zamanlayıcılar bulunmaktadır. Bu tezde, Büyük Veri çerçevelerinde çalışan çeşitli zamanlayıcılar ayrıntılı olarak sınıflandırılmış, karşılaştırılmış ve incelenmiştir. Ayrıca bu tez, bu zamanlayıcıların farklı kullanım durumlarındaki zayıflık ve güçlü yanları ortaya koymaktadır. Bunlara ek olarak, zamanlayıcıların kullanım alanlarına göre uygunluğuna ilişkin senaryolar incelemiş olup, bu durumlarda herbir zamanlayıcının ne türden zayıflıklığı yada yararsızlığı olduğu saptanmaya çalışılmıştır.
Keywords
computer engineering