Оптимизация режимов работы колодцев с плунжерным подъемом с использованием обучения с подкреплением для связанной модель скважинного ствола и коллектора

На средней и поздней стадиях разработки газовых месторождений образование жидкостной пробки в газовых скважинах становится распространенной проблемой. Плунжерный подъем как прерывистая технология добычи широко применяется для удаления жидкости из газовых скважин. По мере развития больших данных и искусственного интеллекта будущее разработки нефтегазовых месторождений смещается в сторону интеллектуальных, беспилотных и автоматизированных операций. В настоящее время оптимизация режимов работы плунжерного подъемa в основном базируется на опыте экспертов и ручном управлении, при этом основное внимание уделяется успешности плунжерного подьема и недостаточно учитывается влияние различных режимов работы на добычу газа. Кроме того, образование жидкостной пробки в газовых скважинах является динамическим процессом, а прерывистый характер плунжерного поднятия требует точного моделирования; использование постоянной динамики притока для описания течения в коллекторе вносит существенные ошибки. Для решения этих задач в исследовании построена связанная модель скважинного ствола и коллектора для скважин с плунжерным подъемом и проверены расчетные значения давления на устье скважины с помощью полевых измерений. На основе этой модели предложен новый алгоритм оптимизационного управления, основанный на фреймворке deep deterministic policy gradient (DDPG). Алгоритм направлен на оптимизацию режимов работы плунжерного подъемa с целью балансировки общего пластового давления, стабилизации газово-водных соотношений и максимизации добычи газа. В симуляционных экспериментах в трех различных сценариях оптимизации добычи сопоставлена эффективность алгоритмов обучения с подкреплением (включая RL, PPO, DQN и предлагаемый DDPG) и традиционных алгоритмов оптимизации (включая GA, PSO и байесовскую оптимизацию) в повышении эффективности добычи. Результаты показывают, что связанная модель обеспечивает высокую точность расчетов и может точно описывать нестационарную добычу в системах ствола скважины и газового коллектора. Предлагаемый алгоритм DDPG достигает наибольшего значения вознаграждения в ходе обучения с минимальной погрешностью, что приводит к потенциальному увеличению накопленной добычи газа до 5% и накопленной добычи жидкости на 252%. Алгоритм DDPG демонстрирует устойчивость в различных сценариях оптимизации, показывая отличные адаптивность и способность к обобщению.