Вестник КРАУНЦ. Физ.-мат. науки. 2018. № 3(23). C. 184-189. ISSN 2079-6641
DOI: 10.18454/2079-6641-2018-23-3-184-189
УДК 519.7
К ВОПРОСУ ОБ ОПТИМИЗАЦИИ КОНСТРУКТИВНОГО МЕТОДА ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ
М. А. Казаков
Институт прикладной математики и автоматизации – филиал ФГБНУ «Федеральный научный центр «Кабардино-Балкарский научный центр Российской академии наук» (ИПМА КБНЦ РАН) , 360000, г. Нальчик, ул. Шортанова, 89А
E-mail: f _wolfgang@mail.ru
Педлагается конструктивный метод обучения нейронных сетей, для обеспечения устойчивости качества работы сети по отношению к обучению на новых классах данных, при котором нейроны, добавленные непосредственно перед текущей эпохой обучения, принимают на себя основную нагрузку обучения на новом классе. Приводятся результаты вычислительных экспериментов
Ключевые слова: нейронные сети, машинное обучение, конструктивные методы обучения
© Казаков М. А., 2018
MSC 68Т27
ON THE OPTIMIZATION OF THE CONSTRUCTIVE METHOD OF TRAINING NEURAL NETWORKS
M. A. Kazakov
Institute of Applied Mathematics and Automation of Kabardin-Balkar Scientific Centre of RAS ( IAMA KBSC RAS), 360000, Nalchik, Shortanova st., 89A
E-mail: f _wolfgang@mail.ru
The article suggests a constructive method for training neural networks in which neurons added just before the current epoch of training assume the main training load on the new class to ensure the stability of the network in relation to learning on new data classes. The results of computational experiments are presented
Key words: neural networks, machine learning, constructive training methods.
© Kazakov M. A., 2018
Работа выполнена при поддержки гранта РФФИ № 18-01-00050-а.
Список литературы
- Шибзухов З. М., Конструктивные методы обучения SP — нейронных сетей, Наука, Москва, 2006, 159 с. [SHibzuhov Z. M., Konstruktivnye metody obucheniya SP — nejronnyh setej, Nauka, Moskva, 2006, 159 pp.]
- Тимофеев А.В., Косовская Т.М., “Нейросетевые методы логического описания и распознавания сложных образов”, Труды СПИИРАН., 27 (2013), 144-155. [Timofeev A.V., Kosovskaya T.M., “Nejrosetevye metody logicheskogo opisaniya i raspoznavaniya slozhnyh obrazov”, Trudy SPIIRAN., 27 (2013), 144-155].
- LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton, “Deep learning”, Nature 521.7553, 2015, 436-444.
- Sutskever I., Martens J., Dahl G., Hinton G., “On the importance of initialization and momentum in deep learning”, J. of Machine Learning Research, 28 (2013), 1139-1147.
Список литературы (ГОСТ)
- Шибзухов З. М. Конструктивные методы обучения SP — нейронных сетей. М.: Наука, 2006. 159 c.
- Тимофеев А.В., Косовская Т.М. Нейросетевые методы логического описания и распознавания сложных образов // Труды СПИИРАН. 2013. Т. 27. С. 144-155.
- LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton Deep learning // Nature. 2015. vol. 521.7553. pp. 436-444.
- Sutskever I., Martens J., Dahl G., Hinton G. On the importance of initialization and momentum in deep learning // J. of Machine Learning Research. 2013. vol. 28. pp. 1139-1147.
Для цитирования: Казаков M. А. К вопросу об оптимизации конструктивного метода обучения нейронных сетей // Вестник КРАУНЦ. Физ.-мат. науки. 2018. № 3(23). C. 184-189. DOI: 10.18454/2079-6641-2018-23-3-184-189.
For citation: Kazakov M. A. On the optimization of the constructive method of training neural networks, Vestnik KRAUNC. Fiz.-mat. nauki. 2018, 23: 3, 184-189. DOI: 10.18454/2079-6641-2018-23-3-184-189.
Поступила в редакцию / Original article submitted: 08.06.2018
Казаков Мухамед Анатольевич – младший научный сотрудник отдела отдела Нейроинформатики и машинного обучения, Институт прикладной математики и автоматизации, Кабардино-Балкарская Республика, г. Нальчик, Россия.
Kazakov Muhamed Anatolevich – Junior Researcher of the Department of Neural Networks and Machine Learning, Institute of Applied Mathematics and Automation, Kabardino-Balkar Republic, Nalchik, Russia.
Скачать статью Казакова М.А.