HYBRID ELECTROENCEPHALOGRAM (EEG) – FUNCTIONAL NEAR INFRARED SPECTROSCOPY (FNIRS) BRAIN-COMPUTER INTERFACE (BCI) CLASSIFICATION OF MOTOR IMAGERY TASKS
Date
2022-01-26
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Hybrid Brain Computer Interface, a combination of two or more neurophysiological
signals, is getting attention for its ability to complement a single modality drawbacks
and in achieving reliable results by extracting harmonizing features. A hybrid EEG fNIRS BCI system achieved through the fusion of simultaneously recorded functional
Near-Infrared Spectroscopy (fNIRS) and Electroencephalography (EEG) signals, is
used to overcome the limitations of uni-modality and to achieve high motor tasks
classification. Although, hybrid BCI approach enhanced the performance of the
system, yet the improvements are still modest because of the lack of computational
methods to fuse the two modalities. The contributions of this thesis is twofold: a novel
channel selection correlation coefficient approach to select the most representative
channels and a novel fusion approach using Multi-resolution singular value
decomposition (MSVD). MSVD is utilized to achieve both system-based and feature based fusion for the optimal EEG-fNIRS channels. Another contribution of this thesis
is to utilize canonical correlation analysis (CCA) for feature-based fusion. Correlation
analysis is used primarily to study the relationship between the two modalities. CCA
feature-based fusion improved performance through maximizing the inter-subject
covariance across the two modalities. Through simulation results, it can be witnessed
that the proposed approaches help to achieve optimal performance while reducing the
computational complexity.
Description
MOTOR GÖRÜNTÜ GÖREVLERİNİN HİBRİT
ELEKTROENSEFALOGRAFİ (EEG)- İŞLEVESEL KIZILÖTESİNE YAKIN
SPEKTROSKOPİ (fNIRS) BEYİN BİLGİSAYAR ARA BİRİMİ (BCI)
SINIFLANDIRMASI
ÖZ: Hibrid Beyin Bilgisayar Ara Birimi, iki ya da daha fazla nörofizyolojik sinyalin birleşimidir ve tek modalite sakıncalarını tamamlama yeteneği ile uyumlu hale getirici özellikleri ortaya çıkarmada güvenilir sonuçlar elde etmesiyle dikkat çekmektedir. Simultane biçimde kaydedilen işlevsel kızılötesine yakın spektroskopi(fNIRS) füzyonu ve Elektroensefalografi (EEG)aracılığı ile elde edilen hibrid bir EEG-fNIRS BCI sistemi, tek-modalite sınırlarını aşmak ve yüksek motor görevlerinin üstesinden gelmek üzere kullanılmaktadır. Her ne kadar hibrid BCI yaklaşımı sistemin performansını başarıya ulaştırsa da, hala ilerlemeler iki modaliteyi birleştirmek üzere hesaplama olmaması nedeniyle henüz makul düzeydedir. Bu teze katkılar iki yönlüdür: en çok temsili kanalları seçme konusundaki roman kanal seçim katsayı korelasyonu ve Çoklu çözünürlük tek değerli dekompozisyan kullanan roman füzyon yaklaşımı (MSVD). MSVD’ den, optimal EEG-fNIRS kanallar için hem sistem-temelli ve hem de özellik-temelli füzyon elde etmekte yararlanılır. Bu teze diğer bir katkı da, özellik temelli füzyon için kanonik korelasyon analizinden (CCA) yararlanmaktır. Korelasyon analizi, öncelikle iki modalite arasındaki ilişki üzerinde çalışmak üzere kullanılmaktadır. CCA özellik-temelli füzyon, iki modalite üstünden inter-konulu orta değişikliği maksimize ederek performansı arttırdı. Simülasyon sonuçları vasıtasıyla, hesaplama karmaşıklığını azaltırken, amaçlanan yaklaşımların optimal performansı elde etmeye katkı sağladığına tanık olunabilmektedir.
ÖZ: Hibrid Beyin Bilgisayar Ara Birimi, iki ya da daha fazla nörofizyolojik sinyalin birleşimidir ve tek modalite sakıncalarını tamamlama yeteneği ile uyumlu hale getirici özellikleri ortaya çıkarmada güvenilir sonuçlar elde etmesiyle dikkat çekmektedir. Simultane biçimde kaydedilen işlevsel kızılötesine yakın spektroskopi(fNIRS) füzyonu ve Elektroensefalografi (EEG)aracılığı ile elde edilen hibrid bir EEG-fNIRS BCI sistemi, tek-modalite sınırlarını aşmak ve yüksek motor görevlerinin üstesinden gelmek üzere kullanılmaktadır. Her ne kadar hibrid BCI yaklaşımı sistemin performansını başarıya ulaştırsa da, hala ilerlemeler iki modaliteyi birleştirmek üzere hesaplama olmaması nedeniyle henüz makul düzeydedir. Bu teze katkılar iki yönlüdür: en çok temsili kanalları seçme konusundaki roman kanal seçim katsayı korelasyonu ve Çoklu çözünürlük tek değerli dekompozisyan kullanan roman füzyon yaklaşımı (MSVD). MSVD’ den, optimal EEG-fNIRS kanallar için hem sistem-temelli ve hem de özellik-temelli füzyon elde etmekte yararlanılır. Bu teze diğer bir katkı da, özellik temelli füzyon için kanonik korelasyon analizinden (CCA) yararlanmaktır. Korelasyon analizi, öncelikle iki modalite arasındaki ilişki üzerinde çalışmak üzere kullanılmaktadır. CCA özellik-temelli füzyon, iki modalite üstünden inter-konulu orta değişikliği maksimize ederek performansı arttırdı. Simülasyon sonuçları vasıtasıyla, hesaplama karmaşıklığını azaltırken, amaçlanan yaklaşımların optimal performansı elde etmeye katkı sağladığına tanık olunabilmektedir.
Keywords
mechatronics engineering