Марковская модель обучения мобильного робота целесообразному поведению
Аннотация
Предложен алгоритм обучения мобильного робота, основанный на аппроксимации предпочтений лица, принимающего решения (ЛПР), в интересах которого действует робот, управляемый марковской цепью. Настройка параметров модели происходит на основании данных о ситуациях и принимаемых решениях. Модель настраивается априори путем тестирования или в процессе функционирования робота. По данным имитационного моделирования выполнена настройка параметров модели, продемонстрирована работоспособность всех элементов алгоритма и эффективность адаптации.
Ключевые слова
Об авторе
Валерий Яковлевич Вилисов
Государственное бюджетное образовательное учреждение высшего образования Московской области «Технологический университет»
Россия
Россия
Список литературы
1. Вилисов, В. Я. Адаптивные модели исследования операций в экономике / В. Я. Вилисов // М.: Энит. - 2007. - 286 с.
2. Вилисов, В. Я. Анализ динамики обучения робота в условиях нестационарности критериев / В. Я. Вилисов // Информационно-технологический вестник. - 2014. - № 2. - С. 34-39.
3. Вилисов, В. Я. Анализ эффективности обучения робота в условиях целевой нестационарности / В. Я. Вилисов // Вибрационные технологии, мехатроника и управляемые машины. Сборник научных статей по материалам XI Международной научно-технической конференции: в 2 частях. - 2014. - Часть 2. - С. 282-287.
4. Жданов, А. А. Автономный искусственный интеллект / А. А. Жданов // М.: БИНОМ. - 2008. - 359 c.
5. Franklin, G. F. Digital Control of Dynamic Systems / G. F. Franklin, J. D. Powell, M. Workman // NY: Addison Wesley Longman. - 1998.
6. Howard, R. A. Dynamic Programming and Markov Processes / R. A. Howard // NY-London: The M.I.T. - Press. - 1960.
7. Koenig, S., Simmons R. G. Xavier: A Robot Navigation Architecture Based on Partially Observable Markov Decision Process Models [Электронный ресурс] / S. Koenig, R. G. Simmons. - Carnegie Mellon University. - Режим доступа: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.130.5088 &rep=rep1&type=pdf. [Дата обращения: 15. 10. 2015].
8. Lopez, M. E. Global Navigation of Assistant Robots using Partially Observable Markov Decision Processes [Электронный ресурс] / M. E. Lopez, R. Barea, L. M. Bergasa. Режим доступа: http://cdn.intechopen.com/pdfs/141/InTech-Global_navigation_of_assistant_robots_using_partially_observable_markov_decision_processes.pdf. [Дата обращения: 15.10.2015].
9. Mine, H. Markovian Decision Processes / H. Mine, S. Osaki // NY: American Elsevier Publishing Company, Inc. - 1970. - p. 176.
10. Ong, S. POMDPs for Robotic Tasks with Mixed Observability [Электронный ресурс] / S. Ong, S.W. Png, D. Hsu, W.S. Lee. - Robotics: Science & Systems. - 2009. Режим доступа: http://www.comp.nus.edu.sg/~leews/publications/rss09. pdf. [Дата обращения: 15.10.2015].
11. Sutton, R. S. Reinforcement Learning: An Introduction / R. S. Sutton, A. G. Barto, Cambridge: The M.I.T. Press. - 1998.
12. Vilisov, V. Ya. Robot Training Under Conditions of Incomplete Information / V. Ya. Vilisov // Cornell University Library. - NY. - USA. - arXiv:1402.2996. - 14.02.2014. [Электронный ресурс]. Режим доступа: http://arxiv.org/ftp/arxiv/papers/1402/1402.2996.pdf.
13. Vilisov, V. Ya. Research of the Robot's Learning Effectiveness in the Changing Environment / V. Ya. Vilisov // Cornell University Library // NY. - USA. - arXiv:1509.01553. - 04.09.2015. [Электронный ресурс]. Режим доступа: http://arxiv.org/ftp/arxiv/papers/1509/1509.01553.pdf. - DOI: http://dx.doi.org/10.13140/RG.2.1.3343.7926.
14. Vilisov, V. Ya. Learning Mobile Robot Based on Adaptive Controlled Markov Chains / V. Ya. Vilisov // Cornell University Library // NY. - USA. - arXiv: 1509.01569. - 04.09.2015. [Электронный ресурс]. Режим доступа: http://arxiv.org/ftp/arxiv/papers/1509/1509.01569.pdf. - DOI: http://dx.doi.org/10.13140/RG.2.1.4462.0001.
15. Woodward, M. P. Framing Human-Robot Task Communication as a POMDP [Электронный ресурс] / M. P. Woodward, R. J. Wood. Режим доступа: http://arxiv.org/pdf/1204.0280.pdf. [Дата обращения: 15. 10. 2015].
16. Woodward, M. P. Using Bayesian Inference to Learn High-Level Tasks from a Human Teacher / M. P. Woodward, R. J. Wood // Int. Conf. on Artificial Intelligence and Pattern Recognition, Orlando, FL. - July 2009. - pp. 138-145.
Для цитирования:
Вилисов В.Я. Марковская модель обучения мобильного робота целесообразному поведению. Информационно-технологический вестник. 2015;6(4):11-18.
For citation:
Vilisov V.Y. Markov model of the mobile robot training expedient behavior. Informacionno-technologicheskij vestnik. 2015;6(4):11-18. (In Russ.)
Просмотров: 23
Послать статью по эл. почте 