Вестник КРАУНЦ. Физ.-мат. науки. 2023.Т. 43. №2. C. 69-86. ISSN 2079-6641

ИНФОРМАЦИОННЫЕ И ВЫЧИСЛИТЕЛЬНЫЕ ТЕХНОЛОГИИ                   
https://doi.org/10.26117/2079-6641-2023-43-2-69-86
Научная статья
Полный текст на русском языке
УДК 004.85

Содержание выпуска

Read English Version 

Применимость генетических алгоритмов для определения весовых коэффициентов искусственной нейронной сети с одним скрытым слоем

А. Д. Смородинов¹²^\ast, Т. В. Гавриленко¹², В. А. Галкин¹²

¹Сургутский филиал ФГУ ФНЦ НИИСИ РАН 628426, Тюменская область, Ханты-Мансийский автономный округ – Югра, г. Сургут, ул. Энергетиков, д. 4.
²БУ ВО «Сургутский государственный университет», 628412, Тюменская область, Ханты-Мансийский автономный округ – Югра, г. Сургут, пр. Ленина, д. 1

Аннотация. В обучении искусственной нейронной сети одной из центральных проблем является начальная инициализация и настройка весовых коэффициентов, связанная с псевдослучайной инициализацией весовых коэффициентов. В статье описан базовый генетический алгоритм, а также метод определения весовых коэффициентов с использованием данного алгоритма. Также представлен комбинированный метод определения весовых коэффициентов, предусматривающий на первом этапе начальную инициализацию с помощью генетического алгоритма и использование стохастического градиентного спуска на втором этапе обучения Предлагаемые методы проверены на ряде искусственных нейронных сетей прямого распространения для различных задач по бинарной классификации реальных и синтетических данных, а также для однозначной многоклассовой классификации рукописных цифр на изображениях из базы данных MNIST. Искусственные нейронные сети сконструированы на основании теоремы Колмогорова-Арнольда. В данной статье проведен сравнительный анализ двух методов определения весовых коэффициентов – с использованием генетического алгоритма и градиентного спуска. По результатам сравнительного анализа сделан вывод о возможности применения генетического алгоритма для определения весовых коэффициентов как в качестве алгоритма начальной инициализации искусственной нейронной сети, так и в качестве алгоритма настройки весовых коэффициентов.

Ключевые слова: искусственные нейронные сети, генетический алгоритм, теорема Колмогорова-Арнольда, обучение нейронной сети.

Получение: 21.04.2023; Исправление: 08.06.2023; Принятие: 10.06.2023; Публикация онлайн: 29.06.2023

Для цитирования. Смородинов А. Д., Гавриленко Т. В., Галкин В. А. Применимость генетических алгоритмов
для определения весовых коэффициентов искусственной нейронной сети с одним скрытым слоем //
Вестник КРАУНЦ. Физ.-мат. науки. 2023. Т. 43. № 2. C. 69-86. EDN: YWFIZE. https://doi.org/10.26117/2079-6641-
2023-43-2-69-86.

Финансирование. Публикация выполнена в рамках государственного задания ФГУ ФНЦ НИИСИ РАН
(Выполнение фундаментальных научных исследований ГП 47) по теме № 0580-2021-0007 «Развитие методов
математического моделирования распределенных систем и соответствующих методов вычисления».

Конкурирующие интересы. Конфликтов интересов в отношении авторства и публикации нет.

Авторский вклад и ответственность. Авторы участвовали в написании статьи и полностью несут
ответственность за предоставление окончательной версии статьи в печать.

^\astКорреспонденция: E-mail: Sachenka_1998@mail.ru

Контент публикуется на условиях Creative Commons Attribution 4.0 International License

© Смородинов А. Д., Гавриленко Т. В., Галкин В. А., 2023

© ИКИР ДВО РАН, 2023 (оригинал-макет, дизайн, составление)

Список литературы

  1. Галкин В. А., Гавриленко Т. В., Смородинов А. Д. Некоторые аспекты аппроксимации и интерполяции функций искусственными нейронными сетями, Вестник КРАУНЦ. Физ.-мат. науки, 2022. Т. 38, №1, С. 54-73 DOI: 10.26117/2079-6641-2022-38-1-54-73.
  2. Holland J. H. Adaptation in Natural and Artificial Systems: An Introductory Analysis With Applications to Biology, Control, and Artificial Intelligence. Cambridge: The MIT Press, 1992.
  3. Goldberg D. Genetic Algorithms in Search, Optimization, and Machine Learning. Massachusetts: Addison-Wesley, 1989.
  4. Шолле Ф. Глубокое обучение на Python, 2018. 400 с.
  5. Zakharov I. V. , Shushakov A. O., Zykova S. S.The Choice of Structures of Heterogeneous Information-Computer Systems Based on the Apparatus of Genetic Algorithms,Интеллектуальные технологии на транспорте, 2022. №3(31), С. 46-51 DOI: 10.24412/2413-2527-2022-331-46-51.
  6. Бедин Д. А., Иванов А. Г. Использование генетического алгоритма для определения параметров многогипотезного алгоритма восстановления траектории воздушного судна /XXVI Санкт-Петербургская международная конференция по интегрированным навигационным системам, Сборник материалов, Санкт-Петербург, 27–29 мая 2019 года. Санкт-Петербург, «Концерн «Центральный научно-исследовательский институт «Электроприбор», 2019, С. 87-90.
  7. Алхуссайн А. Х. Симметричный алгоритм шифрования с помощью генетического алгоритма и генераторов псевдослучайных чисел, Естественные и технические науки, 2015. №7(85), С. 75-81.
  8. Стефанюк В. Л., Алхуссайн А. Х. Криптография с симметричным ключом с использованием генетического алгоритма / КИИ-2014, Четырнадцатая национальная конференция по искусственному интеллекту с международным участием, Т. 1. Казань, РИЦ «Школа», 2014, С. 267-275.
  9. Трокоз Д. А. Алгоритм машинного обучения широких нейронных сетей с использованием алгебры гиперразмерных двоичных векторов и генетических алгоритмов, Южно-Сибирский научный вестник, 2020. №6(34), С. 148-154.
  10. Nair V., Hinton G. E. Rectified Linear Units Improve Restricted Boltzmann Machines / 27th International Conference on International Conference on Machine Learning.. USA, Omnipress, 2010, pp. 807–814.
  11. Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng. Rectifier nonlinearities improve neural network acoustic models, Proc. ICML, 2013. vol. 30, no. 1.
  12. Tieleman, Tijmen and Hinton, Geoffrey Lecture 6.5-rmsprop: Divide the gradient by a running average of its recent magnitude, COURSERA: Neural Networks for Machine Learning, 2012.
  13. Колмогоров А. Н.О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения, Докл. АН СССР, 1957. Т. 114, №5, С. 953–956.
  14. Klambauer G., Unterthiner T., Mayr A., Hochreiter S. Self-Normalizing Neural Networks,Advances in Neural Information Processing Systems, 2017. vol. 30, no. 2017, arXiv: 170602515k.
  15. Clevert, Djork-Arné; Unterthiner, Thomas Hochreiter Fast and Accurate Deep Network Learning by Exponential Linear Units, 2015, arXiv: 1511.07289.

Информация об авторах

Смородинов Александр Денисович – БУ ВО «Сургутский государственный университет», Аспирант кафедры прикладной математики, преподаватель кафедры АСОИУ, Сургутский
филиал ФГУ «ФНЦ НИИСИ РАН» Инженер отдела биофизики,
ORCID 0000-0002-9324-1844.

Гавриленко Тарас Владимирович – БУ ВО «Сургутский государственный университет», доцент Сургутский филиал ФГУ «ФНЦ НИИСИ РАН» Заместитель директора. ORCID 0000-0002-3243-2751.

Галкин Валерий Алексеевич – БУ ВО «Сургутский государственный университет», профессор, доктор физико-математических наук. Сургутский филиал ФГУ «ФНЦ НИИСИ РАН» Директор. ORCID 0000-0002-9721-4026.

Читать статьюСкачать статью