Вестник КРАУНЦ. Физ.-мат. науки. 2016. № 4-1(16). C. 112-125. ISSN 2079-6641

DOI: 10.18454/2079-6641-2016-16-4-1-112-125

УДК 519.7

АЛГОРИТМ СТОХАСТИЧЕСКОГО УСРЕДНЕННОГО ГРАДИЕНТА НА БАЗЕ АГРЕГИРУЮЩИХ ФУНКЦИИ 

З. М. Шибзухов, М. А. Казаков

Институт прикладной математики и автоматизации, 36000, г. Нальчик, ул. Шортанова, 89а
E-mail: szport@gmail.com, f_wolfgang@mail.ru

В работе предлагается новая градиентная схема для решения задачи минимизации усредненных потерь. Она является аналогом схемы, применяемой в алгоритме SAG в случае, когда риск вычисляется при помощи среднего арифметического. Приведен иллюстративный пример построения робастной классификации на основе максимизации суррогата медианы от отступов.

Ключевые слова: Эмпирический риск, задача классификации, усредняющая агрегирующая функция, градиентная схема.

© Шибзухов З. М., Казаков М. А., 2016

MSC 68T27

STOCHASTIC GRADIENT ALGORITHM BASED ON THE AVERAGE AGGREGATE FUNCTIONS

Z. M. Shibzukhov, M. A. Kazakov

Institute of Applied Mathematics and Automation, 360000, KBR, Nalchik, st. Shortanova 89a, Russia
E-mail: szport@gmail.com, f_wolfgang@mail.ru

The paper proposes a new scheme for the gradient solution to minimize losses averaged
problem. It is an analog circuit used in the SAG algorithm in the case when the risk is calculated using the arithmetic mean. An illustrative example of the construction of robust classification based on the maximization of the surrogate median indentation.

Key words: Empirical risk, classification problem, averaging aggregation function, gradient based algorithm.

© Shibzukhov Z. M. , Kazakov M. A., 2016

Работа выполнена при поддержке гранта РФФИ 15-01-03381 и гранта ОНИТ РАН

Список литературы/References

  1. Vapnik V., The Nature of Statistical Learning Theory. Information Science and Statistics, Springer-Verlag, 2000.
  2. Rousseeuw P. J., “Least Median of Squares Regression”, Journal of the American Statistical Association, 1984, №79, 871–880.
  3. Rousseeuw P. J., Leroy A. M., Robust Regression and Outlier Detection, John Wiley and Sons, New York, 1987.
  4. Mesiar R., Komornikova M., Kolesarova A., Calvo T., “Aggregation functions”, Fuzzy Sets and Their Extensions: Representation, Aggregation and Models, eds. H. Bustince, F. Herrera, J. Montero, Springer, Berlin, Heidelberg, 2008.
  5. Grabich M., Marichal J.-L., Pap E., Aggregation Functions., Series: Encyclopedia of Mathematics and its Applications,. V. 127, Cambridge University Press, 2009.
  6. Beliakov G. , Sola H., Calvo T. A, Practical Guide to Averaging Functions, Springer, 2016, 329 pp.
  7. Calvo T., Beliakov G., “Aggregation functions based on penalties”, Fuzzy Sets and Systems, 161:10 (2010), 1420-1436
  8. Shibzukhov Z. M., “Correct Aggregate Operations with Algorithms”, Pattern Recognition and Image Analysis, 24:3 (2014), 377–382.
  9. Shibzukhov Z. M., “Aggregation correct operations on algorithms”, Doklady Mathematics, 91:3 (2015), 391-393.
  10. Le Roux N., Schmidt M., Bach F. A, “Stochastic Gradient Method with an Exponential Convergence Rate for Finite Training Sets”, 2012, arXiv: abs/1202.6258.
  11.  Schmidt M., Le Roux N., Bach F., “Minimizing Finite Sums with the Stochastic Average Gradient”, 2013, arXiv: abs/1309.2388.
  12. Shalev-Shwartz, Zhang T. Stochastic dual coordin ate ascent methods for regularized loss minimization, Journal of Machine Learning Research, 2013, №14. 2013, 567–599.

Список литературы (ГОСТ)

  1. Vapnik V. The Nature of Statistical Learning Theory. Information Science and Statistics. 2000. Springer-Verlag.
  2. Rousseeuw P.J. Least Median of Squares Regression // Journal of the American Statistical Association. 1984. No.79. PP.871–880.
  3. Rousseeuw P.J., Leroy A.M. Robust Regression and Outlier Detection. New York: John Wiley and Sons, 1987.
  4. Mesiar R., Komornikova M., Kolesarova A., Calvo T. Aggregation functions: A revision. In H. Bustince, F. Herrera, J. Montero, editors, Fuzzy Sets and Their Extensions: Representation, Aggregation and Models. Springer, Berlin, Heidelberg, 2008.
  5. Grabich M., Marichal J.-L., Pap E. Aggregation Functions. Series: Encyclopedia of Mathematics and its Applications, No.127. Cambridge University Press. 2009.
  6. Beliakov G. , Sola H., Calvo T. A Practical Guide to Averaging Functions. 2016. Springer. 329 p.
  7. Calvo T., Beliakov G. Aggregation functions based on penalties // Fuzzy Sets and Systems. 2010. Vol.161, No.10, PP.1420-1436.
  8. Shibzukhov Z.M. Correct Aggregate Operations with Algorithms // Pattern Recognition and Image Analysis. 2014. Vol. 24. No. 3. PP. 377–382.
  9. Shibzukhov Z.M. Aggregation correct operations on algorithms // Doklady Mathematics. 2015. Vol. 91. No. 3. PP. 391-393.
  10. Le Roux N., Schmidt M., Bach F. A Stochastic Gradient Method with an Exponential Convergence Rate for Finite Training Sets. nips.org, 2012. http://arxiv.org/abs/1202.6258
  11. Schmidt M., Le Roux N., Bach F. Minimizing Finite Sums with the Stochastic Average Gradient. arXiv.org, 2013. http://arxiv.org/abs/1309.2388
  12. Shalev-Shwartz and T. Zhang. Stochastic dual coordin ate ascent methods for regularized loss minimization // Journal of Machine Learning Research 14. 2013. PP. 567–599.

Для цитирования: Шибзухов З. М., Казаков М. А. Алгоритм стохастического усредненного градиента на базе агрегирующих функции // Вестник КРАУНЦ. Физ.-мат. науки. 2016. № 4-1(16). C. 112-125. DOI: 10.18454/2079-6641-2016-16-4-1-112-125

For citation: Shibzukhov Z. M., Kazakov M. A. Stochastic gradient algorithm based on the
average aggregate functions, Vestnik KRAUNC. Fiz.-mat. nauki. 2016, 16: 4-1, 112-125. DOI: 10.18454/2079-6641-2016-16-4-1-112-125

Поступила в редакцию / Original article submitted: 15.11.2016

 Шибзухов Заzaurур Мухадинович – доктор физико-математических наук, ведущий научный сотрудник отдела Нейроинформатики и машинного обучения, Институт прикладной математики и автоматизации, Кабардино-Балкарская Республика, г. Нальчик, Россия.
  Shibzukhov Zaur Muhadinovich – Dr. Sci. (Phys. & Math.), Senior Researcher of the Dept., Neural Networks and Machine Learning, Institute of Applied Mathematics and Automation,
Kabardino-Balkar Republic, Nalchik, Russia.

1

1

1

kaz

    Казаков Мухамед Анатольевич – младший научный сотрудник отдела отдела Нейроинформатики и машинного обучения, Институт прикладной математики и автоматизации, Кабардино-Балкарская Республика, г. Нальчик, Россия.
Kazakov Muhamed Anatolevich – Junior Researcher of the Department of Neural Networks and Machine Learning, Institute of Applied Mathematics and Automation, Kabardino-Balkar Republic, Nalchik, Russia.

1

1

Скачать статью Shibzuxov M.A.