A HYBRID METHOD FOR OBJECT TRACKING IN VIDEO
Date
2022-01-26
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Detecting the object in the video and tracking it has been emerging as an important
research field in computer vision and image processing. Many algorithms have been
developed for object tracking and there are some conditions in which each algorithm is
successful or unsuccessful. In this thesis, a robust hybrid system that consisting of three
object detection and tracking algorithms is proposed for the purpose of tracking object in
video. These algorithms are template matching, color-based histogram and SURF based
on feature point. OpenCV library have been used to implement these algorithms in hybrid
system. While implementing algorithms, different techniques have been applied such as
gaussian blur, color space conversions, Otsu thresholding, sliding window approach,
feature extraction and description, and distance measurements. Any object from the video
can be selected and the selected object can be traced in the rest of the video. To prevent
occlusion of the object and to minimize the effects of sudden movement of scene,
refreshing selected object approach is used each fifth frame of the video. Aim of the hybrid
system is to improve the detection rate of the object to be tracked in sequence of video
frames. All performance tests have been performed on NTU-VOI 2018, Visual Tracker
Benchmark 2013, NfS 2017 and Davis 2017 datasets. The test results of the proposed
hybrid system have been compared with the results of the three individual detecting and
tracking algorithms. The results show that hybrid system gives the best performance
except for processing time for tracking object in video.
Description
VİDEODA NESNE TAKİBİ İÇİN HİBRİT METOT GELİŞTİRMESİ
ÖZ: Videodaki nesnenin algılanması ve takibi, bilgisayarla görü ve görüntü işlemede önemli bir araştırma alanı olarak ortaya çıkmıştır. Nesne takibi için birçok algoritma geliştirilmiştir ve her algoritmanın başarılı veya başarısız olduğu bazı koşullar vardır. Bu tezde, videoda nesne takibi amacıyla üç nesne tespiti ve takibi algoritmasından oluşan güçlü bir karma sistem önerilmiştir. Bunlar şablon eşleştirme, renk histogramı ve özellik çıkarımına dayalı SURF algoritmalarıdır. Bu algoritmaları hibrit sistemde uygulamak için OpenCV kütüphanesi kullanılmıştır. Algoritmalar uygulanırken; gaussian blur, renk uzayı dönüşümleri, Otsu eşiklemesi, kayan pencere yaklaşımı, özellik çıkarımı ve betimlemesi, ve uzaklık hesaplamaları gibi farklı teknikler uygulanmıştır. Videodaki herhangi bir nesne seçilebilir ve seçilen nesne videonun geri kalanında takip edilebilir. Nesnenin tıkanmasını önlemek ve sahnenin ani hareketinin etkilerini en aza indirmek için, videonun her beşinci karesinde seçilen nesnenin yenilenmesi yaklaşımı kullanılır. Hibrit sistemin amacı, video karelerindeki takip edilecek nesnenin tespit oranını iyileştirmektir. Tüm performans testleri NTU-VOI 2018, Visual Tracker Benchmark 2013, NfS 2017 ve Davis 2017 veri setleri üzerinde gerçekleştirilmiştir. Önerilen hibrit sistemin test sonuçları, üç ayrı tespit ve takip algoritmasının sonuçlarıyla karşılaştırılmıştır. Sonuçlar, hibrit sistemin video nesne takibi için işlem süresi dışında en iyi performansı verdiğini göstermektedir.
ÖZ: Videodaki nesnenin algılanması ve takibi, bilgisayarla görü ve görüntü işlemede önemli bir araştırma alanı olarak ortaya çıkmıştır. Nesne takibi için birçok algoritma geliştirilmiştir ve her algoritmanın başarılı veya başarısız olduğu bazı koşullar vardır. Bu tezde, videoda nesne takibi amacıyla üç nesne tespiti ve takibi algoritmasından oluşan güçlü bir karma sistem önerilmiştir. Bunlar şablon eşleştirme, renk histogramı ve özellik çıkarımına dayalı SURF algoritmalarıdır. Bu algoritmaları hibrit sistemde uygulamak için OpenCV kütüphanesi kullanılmıştır. Algoritmalar uygulanırken; gaussian blur, renk uzayı dönüşümleri, Otsu eşiklemesi, kayan pencere yaklaşımı, özellik çıkarımı ve betimlemesi, ve uzaklık hesaplamaları gibi farklı teknikler uygulanmıştır. Videodaki herhangi bir nesne seçilebilir ve seçilen nesne videonun geri kalanında takip edilebilir. Nesnenin tıkanmasını önlemek ve sahnenin ani hareketinin etkilerini en aza indirmek için, videonun her beşinci karesinde seçilen nesnenin yenilenmesi yaklaşımı kullanılır. Hibrit sistemin amacı, video karelerindeki takip edilecek nesnenin tespit oranını iyileştirmektir. Tüm performans testleri NTU-VOI 2018, Visual Tracker Benchmark 2013, NfS 2017 ve Davis 2017 veri setleri üzerinde gerçekleştirilmiştir. Önerilen hibrit sistemin test sonuçları, üç ayrı tespit ve takip algoritmasının sonuçlarıyla karşılaştırılmıştır. Sonuçlar, hibrit sistemin video nesne takibi için işlem süresi dışında en iyi performansı verdiğini göstermektedir.
Keywords
software