#1 Основные понятия, характеризующие строение и функционирование системы

№36 Принцип оптимального управления Беллмана

Оптимальное управление — это задача проектирования системы, обеспечивающей для заданного объекта управления или процесса закон управления или управляющую последовательность воздействий, обеспечивающих максимум или минимум заданной совокупности критериев качества системы ^[1].

Для решения задачи оптимального управления строится математическая модель управляемого объекта или процесса, описывающая его поведение с течением времени под влиянием управляющих воздействий и собственного текущего состояния. Математическая модель для задачи оптимального управления включает в себя: формулировку цели управления, выраженную через критерий качества управления; определение дифференциальных или разностных уравнений, описывающих возможные способы движения объекта управления; определение ограничений на используемые ресурсы в виде уравнений или неравенств^[2].

Наиболее широко при проектировании систем управления применяются следующие методы: вариационное исчисление, принцип максимума Понтрягина и динамическое программирование Беллмана^[1].

Задача оптимального управления

Сформулируем задачу оптимального управления:

Уравнения состояния: $\dot{x}(t)=a[x(t),u(t),t]$ (1).
Граничные условия $x(t_0)=x_{0}^{*}$ , $x(t_1)=x_{1}^{*}$ (2).
Минимизируемый функционал: $\eta=\int_{t_0}^{t_1}F[x(\tau),\dot{x}(\tau),\tau]d\tau,$ .

здесь $x$ $(t)$ — вектор состояния $u$ $(t)$ — управление, $t 0, t 1$ — начальный и конечный моменты времени.

Задача оптимального управления заключается в нахождении функций состояния $x$ $(t)$ и управления $u$ $(t)$ для времени $({t_0}\le{t}\le{t_1})$ , которые минимизируют функционал.

Метод динамического программирования

Метод динамического программирования основан на принципе оптимальности Беллмана, который формулируется следующим образом: оптимальная стратегия управления обладает тем свойством, что каково бы ни было начальное состояние и управление в начале процесса последующие управления должны составлять оптимальную стратегию управления относительно состояния, полученного после начальной стадии процесса^[5]. Более подробно метод динамического программирования изложен в книге^[6]