USE OF CLASSIFICATION ALGORITHMS IN DETERMINING SURGICAL SKILL LEVELS THROUGH SURGEONS’ HAND MOVEMENT BEHAVIORS
Date
2022-02-21
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Today, endoscopic surgeries have become an alternative for open procedures
whenever possible. In this technique, the surgeon performs the operation by using a
camera and light source, called „endoscope‟, and special operational tools in order to
operate through small entry points. For such types of operations, surgeons are
required to gain several skills, whose development needs hands-on practice in them
which is a challenge in surgical education programs. Several technology-enhanced
training environments have been developed to improve current surgical education
programs. However, in order to better integrate these technologies into the traditional
methods, it is critical to understand the skill levels and prepare appropriate content
according to the trainees‟ requirements. In other words, the trainees‟ skill levels need
to be assessed regularly for better preparing the content and the sequence of the
training program according to their individual requirements. The current skill level
assessment techniques are mainly based on expert observations which are criticized
as expensive and subjective. In this respect, the present study aims to evaluate the
surgical skills objectively by using hand movement metrics through computer-based
simulation software in Neurosurgery. This study is conducted with 28 surgical
residents who were considered as intermediate or novice in their education. The
evaluations are mainly concentrated on the hand movements of the trainees on
computer simulated surgical training software. Accordingly, first an estimation of
skill levels of intermediate and novice surgeons by using classification methods
through performance metrics is performed. Secondly, velocity-based hand metrics
are calculated using the hand movement data for classifying intermediate and novice
surgeons. After that, by adapting BIT algorithm, which is an open source eye-event
classification algorithm, to the hand movement data, new hand movement event
metrics are proposed. Through these metrics, the participants‟ eye and hand
movement events are analyzed. Finally, the results of the classification by using
these newly introduced metrics are presented. As a conclusion, this thesis study
attempts to better classify the intermediate and novice surgical residents‟ skill levels
through their hand-movement events. The results are very promising showing that
the proposed metrics potentially improve the accuracy of the classification. The
researchers believe that, in the future by using the performance metrics together with
hand- and eye- movement events metrics in a combined manner, the level of the
accuracy may even be improved.
Description
SINIFLANDIRMA ALGORİTMALARININ CERRAHLARIN EL
HAREKETİ DAVRANIŞLARI ÜZERİNDEN BECERİ SEVİYELERİNİN
TAHMİNİNDE KULLANIMI
ÖZ: Günümüzde endoskopik ameliyatlar uygulanması mümkün olduğunda açık ameliyat yerine tercih edilen bir alternatif haline gelmiştir. Bu operasyonlarda cerrah, 'endoskop' adı verilen bir kamera ve ışık kaynağı ve özel operasyonel araçları kullanarak işlemi gerçekleştirir. Bu tür ameliyatları gerçekleştirebilmek için cerrahların sürekli pratik yaparak gerekli becerileri kazanmaları gerekmektedir. Dolayısıyla bu becerilerin geliştirilmesi günümüzdeki eğitim programları açısından önemli bir hedeftir. Mevcut cerrahi eğitim programlarını iyileştirmek üzere çeşitli teknolojiler ile zenginleştirilmiş eğitim programları geliştirilmektedir. Ancak, bu teknolojileri geleneksel yöntemlere daha iyi entegre edebilmek için, cerrahların beceri düzeylerini anlamak ve gereksinimlerine göre uygun içerik hazırlamak önemlidir. Diğer bir deyişle, eğitim programının içeriğinin ve sırasının eğitim alan kişilerin bireysel ihtiyaçlarına uygun bir şekilde hazırlanması için, beceri düzeylerinin düzenli olarak değerlendirilmesi gerekmektedir. Mevcut beceri seviyesi değerlendirme teknikleri, çoğunlukla pahalı ve öznel olması nedeniyle eleştirilen uzman gözlemlerine dayanmaktadır. Bu bağlamda, bu çalışma, nöroşirürjide bilgisayar tabanlı simülasyon yazılımı ile el hareket ölçütlerini kullanarak cerrahi becerilerin objektif olarak değerlendirmesini amaçlamaktadır. Bu çalışma cerrahi eğitim alan 28 öğrenci ile gerçekleştirilmiştir. Değerlendirmeler temel olarak katılımcıların bilgisayara dayalı benzetim yazılımı üzerindeki el hareketleri esas alınarak gerçekleştirilmiştir. Buna göre, öncelikle benzetim tabanlı bir cerrahi eğitim yazılımı ortamından alınan performans ölçütleri kullanılarak öznitelikler çıkarılmış, çeşitli sınıflandırma algoritmaları ile orta ve acemi düzey cerrahların beceri düzeyleri tahmin edilmiştir. İkinci olarak benzetim ortamında el hareketlerine dayalı hız tabanlı ölçütler hesaplanmış, bu ölçütler orta ve acemi düzey cerrahları sınıflandırmak için kullanılmıştır. Daha sonra, açık kaynaklı bir göz hareketi sınıflandırması algoritması olan BIT algoritmasını, el hareketleri verisine uyarlayarak, yeni el hareketi ölçütleri önerilmiştir. Bu önerilen ölçütler ile, katılımcıların göz ve el hareketi verileri analiz edilerek, orta ve acemi düzey cerrahların el-göz davranışlarındaki farklılıklar anlaşılmıştır. Son olarak, bu çalışmada önerilen el hareket ölçütleri kullanılarak öznitelikler çıkarılmış ve sınıflandırma algoritmaları kullanılarak orta ve acemi düzey cerrahların beceri düzeyleri tahmin edilmiştir. Sonuç olarak, bu çalışmada, el hareketi verilerinden elde edilen ölçütler kullanılarak, acemi ve orta düzeydeki cerrahların beceri seviyelerinin daha iyi anlaşılması hedeflenmiştir. Sonuçlar, önerilen özniteliklerin tahminlerin doğruluğunu potansiyel olarak arttırdığını göstermektedir. Araştırmacılar, gelecekte, el ve göz özniteliklerinin bir arada kullanılması ile performans değerlendirmelerinin doğruluk seviyesinin daha da iyileştirilebileceğine inanmaktadırlar.
ÖZ: Günümüzde endoskopik ameliyatlar uygulanması mümkün olduğunda açık ameliyat yerine tercih edilen bir alternatif haline gelmiştir. Bu operasyonlarda cerrah, 'endoskop' adı verilen bir kamera ve ışık kaynağı ve özel operasyonel araçları kullanarak işlemi gerçekleştirir. Bu tür ameliyatları gerçekleştirebilmek için cerrahların sürekli pratik yaparak gerekli becerileri kazanmaları gerekmektedir. Dolayısıyla bu becerilerin geliştirilmesi günümüzdeki eğitim programları açısından önemli bir hedeftir. Mevcut cerrahi eğitim programlarını iyileştirmek üzere çeşitli teknolojiler ile zenginleştirilmiş eğitim programları geliştirilmektedir. Ancak, bu teknolojileri geleneksel yöntemlere daha iyi entegre edebilmek için, cerrahların beceri düzeylerini anlamak ve gereksinimlerine göre uygun içerik hazırlamak önemlidir. Diğer bir deyişle, eğitim programının içeriğinin ve sırasının eğitim alan kişilerin bireysel ihtiyaçlarına uygun bir şekilde hazırlanması için, beceri düzeylerinin düzenli olarak değerlendirilmesi gerekmektedir. Mevcut beceri seviyesi değerlendirme teknikleri, çoğunlukla pahalı ve öznel olması nedeniyle eleştirilen uzman gözlemlerine dayanmaktadır. Bu bağlamda, bu çalışma, nöroşirürjide bilgisayar tabanlı simülasyon yazılımı ile el hareket ölçütlerini kullanarak cerrahi becerilerin objektif olarak değerlendirmesini amaçlamaktadır. Bu çalışma cerrahi eğitim alan 28 öğrenci ile gerçekleştirilmiştir. Değerlendirmeler temel olarak katılımcıların bilgisayara dayalı benzetim yazılımı üzerindeki el hareketleri esas alınarak gerçekleştirilmiştir. Buna göre, öncelikle benzetim tabanlı bir cerrahi eğitim yazılımı ortamından alınan performans ölçütleri kullanılarak öznitelikler çıkarılmış, çeşitli sınıflandırma algoritmaları ile orta ve acemi düzey cerrahların beceri düzeyleri tahmin edilmiştir. İkinci olarak benzetim ortamında el hareketlerine dayalı hız tabanlı ölçütler hesaplanmış, bu ölçütler orta ve acemi düzey cerrahları sınıflandırmak için kullanılmıştır. Daha sonra, açık kaynaklı bir göz hareketi sınıflandırması algoritması olan BIT algoritmasını, el hareketleri verisine uyarlayarak, yeni el hareketi ölçütleri önerilmiştir. Bu önerilen ölçütler ile, katılımcıların göz ve el hareketi verileri analiz edilerek, orta ve acemi düzey cerrahların el-göz davranışlarındaki farklılıklar anlaşılmıştır. Son olarak, bu çalışmada önerilen el hareket ölçütleri kullanılarak öznitelikler çıkarılmış ve sınıflandırma algoritmaları kullanılarak orta ve acemi düzey cerrahların beceri düzeyleri tahmin edilmiştir. Sonuç olarak, bu çalışmada, el hareketi verilerinden elde edilen ölçütler kullanılarak, acemi ve orta düzeydeki cerrahların beceri seviyelerinin daha iyi anlaşılması hedeflenmiştir. Sonuçlar, önerilen özniteliklerin tahminlerin doğruluğunu potansiyel olarak arttırdığını göstermektedir. Araştırmacılar, gelecekte, el ve göz özniteliklerinin bir arada kullanılması ile performans değerlendirmelerinin doğruluk seviyesinin daha da iyileştirilebileceğine inanmaktadırlar.
Keywords
software