Вестник КРАУНЦ. Физ.-мат. науки. 2019. Т. 27. № 2. C. 55-73. ISSN 2079-6641

Содержание

DOI: 10.26117/2079-6641-2019-27-2-55-73

ИНФОРМАЦИОННЫЕ И ВЫЧИСЛИТЕЛЬНЫЕ ТЕХНОЛОГИИ

УДК 004.42

АППАРАТНО-ПРОГРАММНЫЙ КОМПЛЕКС АУГМЕНТАТИВНОЙ СИСТЕМЫ КОММУНИКАЦИИ НА ОСНОВЕ ТЕХНОЛОГИИ EYETRACKING

Ю.В. Грушко

Камчатский государственный университет имени Витуса Беринга, 683032, г. Петропавловск-Камчатский, ул. Пограничная, 4

E-mail: thekidsshow96@gmail.com

В работе представлено описание разработанного АПК и реализованного алгоритма айтрекинга (с использованием сверточных нейронных сетей и методов математической
морфологии), позволяющего людям, страдающим нарушениями двигательных функций и нервнопаралитическими синдромами, осуществлять процесс коммуникации с внешним миром, посредством управления компьютером и печати текста движением глаз.

Ключевые слова: айтрекинг, окулография, алгоритм, АПК, сверточные нейронные сети, морфологический анализ, контурный анализ, каскадные классификаторы, Хааркаскад, метод Виолы-Джонса, машинное зрение, OpenCV, dnn, deep neural network, микроконтроллеры, эрозия, дилатация, сверточное ядро, бинаризация, алгоритмы построения выпуклых оболочек, алгоритм Джарвиса, YOLO

© Грушко Ю. В., 2019

INFORMATION AND COMPUTING TECHNOLOGIES

MSC 91B44

HARDWARE AND SOFTWARE COMPLEX OF AUGMENTATION COMMUNICATION SYSTEM ON THE BASIS OF EYETRACKING TECHNOLOGYS

Yu. V. Grushko

Vitus Bering Kamchatka State University, 683031, Petropavlovsk-Kamchatsky, Pogranichnaya st., 4, Russia

E-mail: thekidsshow96@gmail.com

The paper presents a description of the developed APC and implemented the algorithm of EyeTracking (based on convolutional neural networks and morphological analysis), which allows people suffering from motor dysfunction and neuroparalytic syndromes to carry out the process of communication with the outside world through computer control and text printing by eye movement

Key words: Eyetracking, oculography, algorithm, HSC, convolutional neural networks, morphological analysis, contour analysis, cascade classifiers, Haar cascade, Viola-Jones method, machine vision, OpenCV, dnn, deep neural network, microcontrollers, erosion, dilation, convolutional core, binarization, algorithm for constructing convex hulls, Jarvis algorithm, YOLO

© Grushko Y.V., 2019

Список литературы/References

  1. Национальный регистр инсульта http://www.nabi.ru/spetsialistam/klinicheskierekomendatsii/
    registr-insulta.html. [ Natsional’nyy registr insul’ta http://www.nabi.ru/spetsialistam/klinicheskie-rekomendatsii/registr-insulta.html].
  2. Зайцева Г. Л., Жестовая речь. Дактилология., изд. центр ВЛАДОС, г. Москва, 2000 г. http://spedkoll.ru/obereg/2014/october_obereg/augumentation.pdf. [Zaytseva G.L., Zhestovaya rech’. Daktilologiya., izd. tsentr VLADOS, g. Moskva, 2000 g. http://spedkoll.ru/obereg/2014/october_obereg/augumentation.pdf].
  3. Окулография, Википедия https://ru.wikipedia.org/wiki/Окулография. [ Okulografiya, Vikipediya https://ru.wikipedia.org/wiki/Окулография].
  4. Как работает сверточная нейронная сеть: архитектура, примеры, особенности, neurohive.com, 17 июля 2018 г. https://neurohive.io/ru/osnovy-data-science/glubokayasvertochnaja-
    nejronnaja-set/. [ Kak rabotaet svertochnaya neyronnaya set’: arkhitektura, primery, osobennosti, neurohive.com, 17 iyulya 2018 g. https://neurohive.io/ru/osnovydata-science/glubokaya-svertochnaja-nejronnaja-set/].
  5. Маковейчук А. Н. и др., Методы математическсой морфологии, Бюро информционных технологий, г. Львов, 2008 g. http://www.hups.mil.gov. ua/periodic-app/article/6336/rus. [Makoveychuk A. N. i dr., Metody matematichesksoy morfologii, Byuro informtsionnykh tekhnologiy, g. L’vov, 2008 g.
    http://www.hups.mil.gov.ua/periodic-app/article/6336/rus].

Список литературы (ГОСТ)

  1. Национальный регистр инсульта. http://www.nabi.ru/spetsialistam/klinicheskierekomendatsii/
    registr-insulta.html
  2. Зайцева Г. Л. Жестовая речь. Дактилология. М.: ВЛАДОС, 2000.
    http://spedkoll.ru/obereg/2014/october_obereg/augumentation.pdf
  3. Окулография. Википедия. https://ru.wikipedia.org/wiki/Окулография
  4. Как работает сверточная нейронная сеть: архитектура, примеры, особенности. https://neurohive.io/ru/osnovy-data-science/glubokaya-svertochnaja-nejronnaja-set/(Дата обращения: 17 июля 2018 г.).
  5. Маковейчук А. Н. и др. Методы математическсой морфологии. Бюро информционных технологий. Львов: 2008. http://www.hups.mil.gov.ua/periodic-app/article/6336/rus

Для цитирования: Грушко Ю.В. Аппаратно-программный комплекс для коммуникации людей, страдающих нарушениями двигательных функций, нервнопаралитическими синдромами и другими болезнями ЦНС, посредством технологии EyeTracking (окулографии) //
Вестник КРАУНЦ. Физ.-мат. науки. 2019. Т. 27. № 2. C. 55-73. DOI: 10.26117/2079-6641-2019-27-2-55-73
For citation: Grushko Yu.V. Hardware and software complex of augmentation communication system on the basis of Eyetracking Technologys, Vestnik KRAUNC. Fiz.-mat. nauki. 2019, 27: 2, 55-73. DOI: 10.26117/2079-6641-2019-27-2-55-73

Грушко Юрий Васильевич – магистрант 2-го года обучения, направления подготовки «Прикладная математика и информатика»КамГУ им. Витуса Беринга, г. Петропавловск-Камчатский, Россия.


Grushko Yuriy Vasil’evich — undergraduate 2nd year of study, areas of training «Applied Mathematics and Computer Science»Vitus Bering Kamchatka State University, Petropavlovsk-Kamchatsky, Russia.

Скачать статью/Download article