Обучение с подкреплением для интеллектуального и автономного управления производством на сложных мелкосерийных производствах с учетом временных ограничений

Обучение с подкреплением (ОП) открывает перспективные возможности для решения проблемы постоянно возрастающей сложности управления современными производственными системами. Мы применяем алгоритм Q-обучения в сочетании с процессно-ориентированным дискретно-событийным моделированием для обучения самообучающегося, интеллектуального и автономного агента решению задачи диспетчеризации заказов в сложном мелкосерийном производстве со строгими временными ограничениями. Впервые обучение с подкреплением в управлении производством объединено со строгими временными ограничениями. Моделирование отражает характеристики сложных мелкосерийных производств, типичных для полупроводниковой промышленности. С использованием разработанной и реализованной программной платформы рассмотрен практический сценарий из производства полупроводниковых пластин. Сравниваются показатели метода обучения с подкреплением и эталонных эвристик. Показано, что обучение с подкреплением может успешно применяться для диспетчеризации заказов в сложной среде с временными ограничениями. Агент обучения с подкреплением с функцией выигрыша, поощряющей выбор наименее критичного с точки зрения временных ограничений заказа, превосходит эвристические правила, выбирая в первую очередь наиболее критичную партию. Таким образом, данная работа демонстрирует, что самообучающийся агент способен успешно управлять временными ограничениями и превосходить традиционный эталонный метод — эвристику учета временных ограничений, объединяющую отклонения от сроков выполнения заказов с классическим подходом «первым поступил — первым обслужен».