Commande optimale

La théorie de la commande optimale permet de déterminer la commande d'un système qui minimise (ou maximise) un critère de performance, éventuellement sous des contraintes pouvant porter sur la commande ou sur l'état du système. Cette théorie est une généralisation du calcul des variations, et elle fait partie de la théorie du contrôle. Elle comporte deux volets : le principe du maximum (ou du minimum, suivant la manière dont on définit l'hamiltonien) dû à Lev Pontriaguine et à ses collaborateurs de l'institut de mathématiques Steklov^[1], et l'équation de Hamilton-Jacobi-Bellman, généralisation de l'équation de Hamilton-Jacobi, et conséquence directe de la programmation dynamique initiée aux États-Unis par Richard Bellman^[2]. La théorie de la commande optimale fait partie de l'automatique et des mathématiques appliquées (optimisation des processus). En tant que cette théorie généralise le calcul des variations, elle a également un champ d'application en physique mathématique, et les développements théoriques actuels rejoignent les mathématiques pures.

Les idées sous-jacentes au principe du maximum et à la programmation dynamique sont fort anciennes et ont été intimement liées dès leur préhistoire. Elles ont été développées de manière indépendante et pratiquement simultanée, vers le milieu des années 1950, et elles continuent aujourd’hui d’avoir de nombreuses connexions.

La programmation dynamique a pour origine le principe de Huygens pour la propagation de la lumière : c’est le fameux principe des « sources intermédiaires » qui interprète les phénomènes de réflexion et de réfraction en supposant la propagation d'ondelettes sphériques secondaires issues d'une onde sphérique principale ; le principe de Huygens est lui-même fondé sur le principe de Fermat qui postule que la lumière suit le trajet dont le temps de propagation est minimal.

Le principe du maximum est une généralisation des équations de Hamilton du calcul des variations. L'invention de celui-ci remonte à la résolution du problème de la courbe brachistochrone, posé par Jean Bernoulli en 1696 ; il s’agit également d’un problème de temps minimal (comme l’indique la racine grecque : « βραχιστος (brachistos) », « le plus court » ; « χρονος (chronos) », « temps »). Ce problème fut résolu tout d’abord par Jean Bernoulli lui-même (ainsi que d'autres savants, dont son frère Jacques Bernoulli, Leibniz et Newton) grâce à une analogie avec le problème de propagation de la lumière et l'application du principe de Huygens ; c’était en quelque sorte utiliser la programmation dynamique avant la lettre.

Euler, élève de Jean Bernoulli, a posé ensuite les premières bases du Calcul des variations, en réponse à la demande de son maître de systématiser sa solution. À cette occasion, il a ébauché à partir de considérations géométriques la méthode des « petites variations », méthode à laquelle Lagrange a donné, un peu plus tard, une forme analytique plus élégante^[3].

Weierstrass, au milieu du xix^e siècle, soit un siècle plus tard, définit la notion d'extremum fort et établit une condition nécessaire ainsi qu'une condition suffisante pour qu'il y ait un tel extremum.

Le principe du maximum est une généralisation de la condition nécessaire d'extremum fort de Weierstrass, obtenue en remplaçant l'hamiltonien par un pseudo-hamiltonien (voir infra). Ce principe avait déjà été entrevu par Constantin Carathéodory dès 1935 et plus précisément encore par Magnus Hestenes en 1950. Mais c'est sur la base des intuitions de Pontriaguine et sous sa direction que le principe du maximum, tel que nous l'entendons aujourd'hui, a été démontré tout d'abord pour les problèmes de temps minimal, puis dans le cas général par V. G. Boltyanskii, R. V. Gamkrelidze et L. I. Rozonoer entre 1955 et 1959. La mise en œuvre de la technique des « variations en aiguille », déjà utilisée par James McShane en 1939, est néanmoins due à Boltyanskii, qui a également montré que le principe du maximum n'était qu'une condition nécessaire d'optimalité, et qui a donné au principe du maximum la forme qu'il a prise dans le célèbre livre de Pontriaguine et ses collaborateurs, paru en russe en 1961^[1],[4],[5]. Tandis que le quatrième auteur de ce livre, E. F. Michtchenko, a, quant à lui, résolu un problème statistique de commande optimale).

C'est à la suite de la contribution de Pontriaguine et ses collaborateurs que la variable de commande d'un système a été notée u, управление (upravlenie) signifiant commande en russe^[6].

Les travaux récents ont permis de généraliser ces deux approches sans les modifier profondément ; ils se sont pour une bonne part tournés vers l'affaiblissement des conditions de différentiabilité dans le cadre de l'« analyse non lisse » initiée par Frank H. Clarke, en utilisant les « gradients généralisés » (ou « différentielles généralisées ») introduits par cet auteur ^[7],[8],[9]. Cela a conduit à envisager des commandes de nature plus générale que les fonctions continues par morceaux du théorème originel de Pontriaguine et ses collaborateurs : notamment des fonctions mesurables au sens de Lebesgue. Un autre type d'extension porte sur les systèmes à retard ^[10] et plus généralement de dimension infinie^[11].

D'autre part, Boltyanskii a donné une « version faible » du principe du maximum pour les systèmes à temps discret après avoir développé à cette fin des techniques mathématiques spécifiques^[12], mais on peut démontrer sans difficulté son résultat à partir des conditions de Karush, Kuhn et Tucker^[13]. Sous certaines conditions de convexité, on retrouve toutefois un véritable principe du maximum pour ce type de systèmes^[14].

Par nature, le principe du maximum de Pontriaguine est une condition nécessaire d’optimalité, tandis que la programmation dynamique fournit une condition suffisante. D’autre part, le principe du maximum donne comme solution une commande en boucle ouverte (fonction du temps) alors que la programmation dynamique conduit à une commande en boucle fermée (fonction de l’état du système).

Toutefois, la commande solution du principe du maximum peut, dans les cas favorables, être mise sous forme d’une commande en boucle fermée. Un des grands avantages du principe du maximum sur la programmation dynamique est une plus grande facilité de mise en œuvre, celle-ci, quand elle est appliquée aux systèmes à temps continu, impliquant la résolution d’une équation aux dérivées partielles (l’équation d'Hamilton-Jacobi-Bellman), tandis que celui-là se ramène à la résolution d’équations différentielles ordinaires (résolution qui est toutefois sérieusement compliquée par le fait que le problème est « aux deux bouts »).

La programmation dynamique s'applique aussi bien aux systèmes déterministes qu'aux systèmes stochastiques^[2],[15], tandis que le principe du maximum ne s'applique (avec quelques exceptions^[16]) qu'aux systèmes déterministes.

Néanmoins, une étape commune à ces approches est le maximisation du pseudo-hamiltonien sur l'ensemble des commandes admissibles. Comme Pontriaguine et ses collaborateurs l'ont eux-mêmes noté^[1], le principe du maximum peut se déduire du théorème de Bellman, dont la démonstration est fort simple, si l'on fait des hypothèses de régularité suffisantes sur la « fonction de Bellman ». Ces hypothèses ne sont toutefois pas vérifiées dans les cas où le principe du maximum a tout son intérêt, et pour lesquels il a été conçu, par exemple dans celui de la « commande Bang-Bang ».

Nous considérons le problème de commande optimale sans contrainte sur l'état avec les hypothèses de différentiabilité habituelles. Le problème, ou plutôt sa solution, se complique considérablement en cas de contrainte sur l'état, car un des multiplicateurs de Lagrange est alors une mesure qui n'est pas absolument continue par rapport à la mesure de Lebesgue^[17],[18]. Pour simplifier les notations, nous considérons le cas où l'instant initial et l'état initial sont fixés. Soit le système :

${\displaystyle {\dot {x}}=f\left(t,x,u\right)}$,

${\displaystyle x\left(t_{0}\right)=x_{0},t\in {\mathcal {I}}}$

où ${\displaystyle {\mathcal {I}}}$ est un intervalle compact de la droite réelle contenant ${\displaystyle t_{0}}$ et où ${\displaystyle f}$ est une fonction continue de ${\displaystyle {\mathcal {I}}\times \Omega \times \mathbf {U} }$ dans ${\displaystyle \mathbf {X} }$, ${\displaystyle \mathbf {X} }$ étant un espace de Banach (le lecteur peut supposer que ${\displaystyle \mathbf {X} =\mathbb {R} ^{n}}$), ${\displaystyle \Omega }$ un ouvert de ${\displaystyle \mathbf {X} }$, et ${\displaystyle \mathbf {U} }$ un espace topologique (le plus souvent, un sous-ensemble de ${\displaystyle \mathbb {R} ^{m}}$). La variable ${\displaystyle x}$ est l'état et ${\displaystyle u}$ est la commande (voir l'article Représentation d'état). La fonction ${\displaystyle x\mapsto f(t,x,u)}$ est supposée continûment différentiable pour tout ${\displaystyle (t,u)\in {\mathcal {I}}\times \mathbf {U} }$.

Soit le critère de performance

${\displaystyle J(u)=K\left(t_{f},x_{f}\right)+\int _{t_{0}}^{t_{f}}{\mathcal {L}}\left(t,x\left(t\right),u\left(t\right)\right)dt}$

où le lagrangien ${\displaystyle {\mathcal {L}}}$ vérifie les mêmes conditions que ${\displaystyle f}$ et ${\displaystyle K}$ est continûment différentiable sur ${\displaystyle {\mathcal {V}}_{f}}$.

Soit ${\displaystyle {\mathcal {V}}_{f}}$ une sous-variété différentiable de ${\displaystyle {\mathcal {I}}\mathbf {\times } \mathbf {X} }$^[19], appelée variété finale. Nous dirons qu'une fonction ${\displaystyle u:{\mathcal {I}}\rightarrow \mathbf {U} }$ est admissible si elle est continue par morceaux et transfère le couple ${\displaystyle \left(t,x\right)}$ de la condition initiale ${\displaystyle \left(t_{0},x_{0}\right)}$ à une condition finale ${\displaystyle \left(t_{f},x_{f}\right)\in {\mathcal {V}}_{f}}$ (avec ${\displaystyle x\left(t_{f}\right)=x_{f}}$ et ${\displaystyle t_{f}>t_{0}}$, ${\displaystyle t_{f}\in {\mathcal {I}}}$). L'ensemble des commandes admissibles est noté ${\displaystyle {\mathcal {U}}}$. Les hypothèses impliquent que ${\displaystyle f}$ est localement lipschitzienne, donc si ${\displaystyle u}$ est admissible, ${\displaystyle x}$ est absolument continue, et la notion de solution est donc classique (l'égalité ${\displaystyle {\dot {x}}(t)=f\left(t,x(t),u(t)\right)}$ étant vérifiée presque partout au sens de Lebesgue).

Soit ${\displaystyle u^{\ast }\in {\mathcal {U}}}$, et désignons par ${\displaystyle x^{\ast }}$ et ${\displaystyle t_{f}^{\ast }}$ l'état et l'instant final correspondants. Soit ${\displaystyle \varepsilon >0}$ et ${\displaystyle {\mathcal {U}}_{\varepsilon }}$ le sous-ensemble de ${\displaystyle {\mathcal {U}}}$ formé des commandes ${\displaystyle u\in {\mathcal {U}}}$ vérifiant la condition suivante : l'état ${\displaystyle x}$ et l'instant final ${\displaystyle t_{f}}$ correspondants sont tels que

${\displaystyle \left\vert t_{f}-t_{f}^{\ast }\right\vert <\varepsilon \quad }$ et ${\displaystyle \quad \left\Vert x\left(t\right)-x^{\ast }\left(t\right)\right\Vert <\varepsilon ,\forall t\in \left[t_{0},t_{f}\right]\cap \left[t_{0},t_{f}^{\ast }\right]}$.

La commande ${\displaystyle u^{\ast }}$ est dite optimale localement^[20] s'il existe ${\displaystyle \varepsilon >0}$ tel que ${\displaystyle J(u)\leq J(u^{\ast }),\forall u\in {\mathcal {U}}_{\varepsilon }}$, et optimale globalement si ${\displaystyle J(u)\leq J(u^{\ast }),\forall u\in {\mathcal {U}}}$.

Pour ${\displaystyle \varepsilon }$ petit, on peut considérer ${\displaystyle {\mathcal {U}}_{\varepsilon }}$ comme un « petit voisinage » de ${\displaystyle u^{\ast }}$. On notera que dans un tel voisinage, ${\displaystyle u(t)}$ n'est pas nécessairement proche de ${\displaystyle u^{\ast }(t)}$ à chaque instant t. Si ${\displaystyle \mathbf {U} }$ est un sous-ensemble d'un espace vectoriel, une « petite variation » de u peut notamment être une variation ${\displaystyle \delta u}$ de grande amplitude mais de faible durée, de sorte qu'elle entraîne une « petite variation » de la fonction ${\displaystyle x:t\mapsto x(t)}$. Cette formulation est identique à celle de Weierstrass, et indique que l'on recherche un « extremum fort » (un « extremum faible » serait obtenu avec uniquement des variations de u qui seraient de faible amplitude).

On appelle pseudo-hamiltonien la fonction

${\displaystyle {\mathcal {H}}:{\mathcal {I}}\times \Omega \times \mathbf {U} \times \left\{0,1\right\}\times \mathbf {X} ^{\prime }\rightarrow \mathbb {R} }$

(où ${\displaystyle \mathbf {X} ^{\prime }}$ est le dual de ${\displaystyle \mathbf {X} }$) définie par

${\displaystyle {\mathcal {H}}\left(t,x,u,\lambda ,p^{\prime }\right)=\left\langle p^{\prime }|f\left(t,x,u\right)\right\rangle -\lambda {\mathcal {L}}\left(t,x,u\right)}$.

(où ${\displaystyle \left\langle .|.\right\rangle }$ est le crochet de dualité).

• Dans la grande majorité des applications, ${\displaystyle \mathbf {X} =\mathbb {R} ^{n}}$.

• Néanmoins, on peut supposer que ${\displaystyle \Omega }$ est une variété différentielle (éventuellement banachique), le champ de vecteurs f étant tel que ${\displaystyle f(t,x,u)}$ appartient à l'espace tangent ${\displaystyle T_{x}(\Omega )}$ ; ${\displaystyle p^{\prime }}$ appartient alors au fibré cotangent ${\displaystyle T^{\prime }(\Omega )}$, de sorte que dans le crochet ${\displaystyle \left\langle p^{\prime }|f(x,u,t)\right\rangle }$, ${\displaystyle p^{\prime }}$ est dans l'espace cotangent ${\displaystyle T_{x}^{\prime }(\Omega )}$. Cette formulation est indispensable, par exemple, pour le calcul des géodésiques dans un espace de Riemann.

• Si l'on suppose que ${\displaystyle \mathbf {U} }$ est un sous-ensemble de ${\displaystyle \mathbb {R} ^{m}}$, on peut envisager des commandes admissibles plus générales que des fonctions continues par morceaux, par exemple, des fonctions mesurables au sens de Lebesgue. On peut alors remplacer ${\displaystyle \mathbf {U} }$ par ${\displaystyle \mathbf {U} (t)}$ où ${\displaystyle t\mapsto \mathbf {U} (t)}$ est une fonction de ${\displaystyle {\mathcal {I}}}$ dans l'ensemble des sous-ensembles de ${\displaystyle \mathbb {R} ^{n}}$ (appelée « multifonction ») dont le graphe est ${\displaystyle {\mathcal {L}}\times {\mathcal {B}}}$-mesurable, où ${\displaystyle {\mathcal {L}}}$ est la tribu de Lebesgue de ${\displaystyle {\mathcal {I}}}$, ${\displaystyle {\mathcal {B}}}$ est la tribu borélienne de ${\displaystyle \mathbb {R} ^{n}}$, et ${\displaystyle {\mathcal {L}}\times {\mathcal {B}}}$ est la tribu engendrée par les ensembles ${\displaystyle A\times B,A\in {\mathcal {L}},B\in {\mathcal {B}}}$^[8],[9].

Le dual de ${\displaystyle \mathbb {R} \times \mathbf {X} }$ est identifié avec ${\displaystyle \mathbb {R} \times \mathbf {X} ^{\prime }}$. On note ${\displaystyle KC^{1}\left({\mathcal {I}};\mathbf {X} ^{\prime }\right)}$ l'espace vectoriel des fonctions continues par morceaux de ${\displaystyle {\mathcal {I}}}$ dans ${\displaystyle \mathbf {X} ^{\prime }}$. Soit d'autre part les deux équations canoniques

${\displaystyle {\dot {x}}^{\ast }={\frac {\partial {\mathcal {H}}}{\partial p^{\prime }}}\left(t,x^{\ast },u^{\ast },\lambda ^{\ast },p^{\prime \ast }\right)}$,

${\displaystyle {\dot {p}}^{\prime \ast }=-{\frac {\partial {\mathcal {H}}}{\partial x}}\left(t,x^{\ast },u^{\ast },\lambda ^{\ast },p^{\prime \ast }\right)}$.

Notons ${\displaystyle T_{\left(t_{f}^{\ast },x_{f}^{\ast }\right)}\left({\mathcal {V}}_{f}\right)}$ l'espace tangent à la variété ${\displaystyle {\mathcal {V}}_{f}}$ au point ${\displaystyle \left(t_{f}^{\ast },x_{f}^{\ast }\right)}$ et ${\displaystyle N_{\left(t_{f}^{\ast },x_{f}^{\ast }\right)}\left({\mathcal {V}}_{f}\right)}$ l'orthogonal de ${\displaystyle T_{\left(t_{f}^{\ast },x_{f}^{\ast }\right)}\left({\mathcal {V}}_{f}\right)}$ dans ${\displaystyle \mathbb {R} \times \mathbf {X} ^{\prime }}$, c'est-à-dire l'ensemble des formes linéaires continues ${\displaystyle k^{\prime }\in \mathbb {R} \times \mathbf {X} ^{\prime }}$ telles que ${\displaystyle \left\langle k^{\prime }|h\right\rangle =0,\forall h\in T_{\left(t_{f}^{\ast },x_{f}^{\ast }\right)}\left({\mathcal {V}}_{f}\right)}$. On appelle condition de transversalité la relation

${\displaystyle 0\in \left(\lambda ^{\ast }{\frac {\partial K}{\partial t}}\left(t_{f}^{\ast },x_{f}^{\ast }\right)-{\mathcal {H}}\left(t_{f}^{\ast },x_{f}^{\ast },u^{\ast }\left(t_{f}^{\ast }\right),\lambda ^{\ast },p^{\prime \ast }\left(t_{f}^{\ast }\right)\right),\lambda ^{\ast }{\frac {\partial K}{\partial x}}\left(t_{f}^{\ast },x_{f}^{\ast }\right)+p^{\prime \ast }\left(t_{f}^{\ast }\right)\right)+N_{\left(t_{f}^{\ast },x_{f}^{\ast }\right)}\left({\mathcal {V}}_{f}\right)}$.

Enfin, nous appellerons condition de non trivialité l'inégalité

${\displaystyle \left(\lambda ^{\ast },p^{\prime \ast }\left(t_{f}^{\ast }\right)\right)\neq 0}$.

On montre le résultat suivant^[1],[21] :

La démonstration de ce théorème (avec ${\displaystyle \mathbf {X} }$ de dimension finie) occupe près de 40 pages dans l'ouvrage de Pontriaguine et ses collaborateurs^[1]. Lorsque l'état final est astreint à appartenir à une sous-variété de ${\displaystyle \mathbf {X} }$ de codimension infinie, des variations en aiguille de la commande ne suffisent plus (elles ne donnent pas suffisamment de degrés de liberté) et un contre-exemple construit par Yu Vladimirovich Egorov en 1963 montre que le Principe du maximum est inexact. Il existe une extension du principe du maximum pour les systèmes semi-linéaires dont l'état est à valeurs dans un espace de Banach quelconque ; ce résultat est obtenu en utilisant des « variations diffuses » (« diffuse variations » ou « patch variations ») de la commande^[22].

Une justification du théorème de Pontriaguine-Boltyansky est donnée plus loin, à partir du théorème de Bellman. Voir également l'utilisation du Lemme de Du Bois-Reymond généralisé lorsque ${\displaystyle \mathbf {U} }$ est un ouvert de ${\displaystyle \mathbb {R} ^{m}}$ et qu'on ne fait que des « variations faibles » de la commande.

Supposons que l'instant initial ${\displaystyle t_{0}}$ et l'état initial ${\displaystyle x_{0}}$ ne soient plus fixés, et qu'on ait seulement une condition initiale ${\displaystyle \left(t_{0},x_{0}\right)\in {\mathcal {V}}_{0}}$ où ${\displaystyle {\mathcal {V}}_{0}}$ est une sous-variété différentiable de ${\displaystyle {\mathcal {I}}\mathbf {\times } \mathbf {X} }$ (variété initiale). On doit alors ajouter la condition de transversalité

${\displaystyle 0\in \left(-{\mathcal {H}}\left(t_{0}^{\ast },x_{0}^{\ast },u^{\ast }\left(t_{0}^{\ast }\right),\lambda ^{\ast },p^{\prime \ast }\left(t_{0}^{\ast }\right)\right),p^{\prime \ast }\left(t_{0}^{\ast }\right)\right)+N_{\left(t_{0}^{\ast },x_{0}^{\ast }\right)}\left({\mathcal {V}}_{0}\right)}$.

Nous supposons maintenant que la variété ${\displaystyle {\mathcal {V}}_{f}}$ est de la forme ${\displaystyle {\mathcal {T}}_{f}\times {\mathcal {X}}_{f}}$ où ${\displaystyle {\mathcal {T}}_{f}}$ et ${\displaystyle {\mathcal {X}}_{f}}$ sont des sous-variétés de ${\displaystyle {\mathcal {\mathbb {R} }}}$ et de ${\displaystyle \mathbf {X} }$, respectivement. L'équation de transversalité s'écrit donc

(a) ${\displaystyle 0\in \lambda ^{\ast }{\frac {\partial K}{\partial t}}\left(t_{f}^{\ast },x_{f}^{\ast }\right)-{\mathcal {H}}\left(t_{f}^{\ast },x_{f}^{\ast },u^{\ast }\left(t_{f}^{\ast }\right),\lambda ^{\ast },p^{\prime \ast }\left(t_{f}^{\ast }\right)\right)+N_{t_{f}^{\ast }}\left({\mathcal {T}}_{f}\right)}$,

(b) ${\displaystyle 0\in \lambda ^{\ast }{\frac {\partial K}{\partial x}}\left(t_{f}^{\ast },x_{f}^{\ast }\right)+p^{\prime \ast }\left(t_{f}^{\ast }\right)+N_{t_{f}^{\ast }}\left({\mathcal {X}}_{f}\right)}$.

Dans le cas d'un instant final libre, on a ${\displaystyle {\mathcal {T}}_{f}={\mathcal {\mathbb {R} }}}$, par conséquent ${\displaystyle N_{t_{f}^{\ast }}\left({\mathcal {T}}_{f}\right)=0}$ et (a) devient

(a') ${\displaystyle \lambda ^{\ast }{\frac {\partial K}{\partial t}}\left(t_{f}^{\ast },x_{f}^{\ast }\right)={\mathcal {H}}\left(t_{f}^{\ast },x_{f}^{\ast },u^{\ast }\left(t_{f}^{\ast }\right),\lambda ^{\ast },p^{\prime \ast }\left(t_{f}^{\ast }\right)\right)}$

alors que dans le cas d'un instant final fixé, ${\displaystyle {\mathcal {T}}_{f}=\left\{t_{f}\right\}}$ et ${\displaystyle N_{t_{f}^{\ast }}\left({\mathcal {T}}_{f}\right)=\left\{0\right\}}$, donc (a) est trivialement vérifiée. Dans les deux cas on a une équation: (a') dans le premier, ${\displaystyle t_{f}^{\ast }=t_{f}}$ dans le second.

Dans le cas d'un état final libre, on a ${\displaystyle {\mathcal {X}}_{f}=\mathbf {X} }$, par conséquent ${\displaystyle N_{x_{f}^{\ast }}\left({\mathcal {X}}_{f}\right)=0}$ et (b) devient

(b') ${\displaystyle p^{\prime \ast }\left(t_{f}^{\ast }\right)=-\lambda ^{\ast }{\frac {\partial K}{\partial x}}\left(t_{f}^{\ast },x_{f}^{\ast }\right)}$

et la condition de non trivialité entraîne ${\displaystyle \lambda =1}$. Dans le cas d'un état final fixé, ${\displaystyle {\mathcal {X}}_{f}=\left\{x_{f}\right\}}$ et ${\displaystyle N_{x_{f}^{\ast }}\left({\mathcal {X}}_{f}\right)=\left\{0\right\}}$, donc (b) est trivialement vérifiée. Dans les deux cas on a n équations, si ${\displaystyle \mathbf {X} }$ est de dimension n : (b') dans le premier, ${\displaystyle x_{f}^{\ast }=x_{f}}$ dans le second.

Considérons maintenant le problème de commande en temps minimal. L'espace topologique ${\displaystyle \mathbf {U} }$ est le sous-ensemble de ${\displaystyle \mathbb {R} ^{m}}$ défini par ${\displaystyle {\underline {u_{i}}}\leq u_{i}\leq {\overline {u_{i}}}\left(1\leq i\leq m\right)}$. Le critère est ${\displaystyle J=t_{f}-t_{0}}$, ce qui est un cas particulier de l'expression donnée plus haut avec ${\displaystyle K=0}$ et ${\displaystyle l=1}$. Le problème est évidemment à instant final libre, et il est à état final fixé: ${\displaystyle {\mathcal {X}}_{f}=\left\{0\right\}}$. On suppose que ${\displaystyle x=0}$, ${\displaystyle u=0}$ est un point d'équilibre et que le système est affine en la commande, donc de la forme indiquée avec ${\displaystyle f\left(t,x,u\right)=h\left(t,x\right)+g\left(t,x\right)u}$ où ${\displaystyle h\left(t,0\right)=0}$. Représentons ${\displaystyle p^{\prime }}$ par la ligne d'éléments ${\displaystyle p_{i}\left(1\leq i\leq n\right)}$ et ${\displaystyle g}$ par la matrice d'éléments ${\displaystyle g_{i,j}}$. Il vient

${\displaystyle {\mathcal {H}}\left(t,x,u,\lambda ,p^{\prime }\right)=\left\langle p^{\prime }|h\left(t,x\right)\right\rangle +\sum _{j=1}^{m}\left(\sum _{i=1}^{n}p_{i}g_{ij}\left(t,x\right)\right)u_{j}+\lambda }$.

Si ${\displaystyle \lambda ^{\ast }=0}$, on a également ${\displaystyle p^{\prime \ast }=0}$ d'après (b'), ce qui contredit la condition de non trivialité; donc, ${\displaystyle \lambda =1}$. Le Principe du maximum implique que

${\displaystyle u_{j}^{\ast }\left(t\right)={\overline {u_{j}}}}$ (resp. ${\displaystyle {\underline {u_{j}}}}$) si ${\displaystyle \sum _{i=1}^{n}p_{i}^{\prime \ast }\left(t\right)g_{ij}\left(t,x^{\ast }\left(t\right)\right)>0}$ (resp. <0).

Cette commande toujours égale (dans le cas où elle a une seule composante) à sa valeur minimale ou à sa valeur maximale, avec des commutations. Dans le cas de systèmes linéaires d'ordre 2, on peut trouver des solutions explicites fondées sur le portrait de phase^[1]. D'autre part, supposons le système linéaire stationnaire d'ordre ${\displaystyle n}$ et commandable. Si les valeurs propres de la matrice d'état sont toutes réelles, le nombre de commutations est au plus égal à ${\displaystyle n-1}$. Si ces valeurs propres sont toutes dans le demi-plan gauche et 0 appartient à l'intérieur de ${\displaystyle \mathbf {U} }$, la commande optimale existe et est unique^[1].

Supposons que le système soit linéaire et de dimension finie, soit

${\displaystyle f(t,x,u)=A(t)x+B(t)u}$

où les fonctions ${\displaystyle t\mapsto A(t)}$ et ${\displaystyle t\mapsto B(t)}$ sont continues, et que les fonctions K et l du critère soient continûment différentiables. Supposons également que la variété ${\displaystyle {\mathcal {V}}_{f}}$ soit affine et que l'instant final ${\displaystyle t_{f}}$ soit fixé. Supposons enfin que l'ensemble U et la fonction ${\displaystyle x_{f}\mapsto K(t_{f},x_{f})}$ soient convexes, ainsi que la fonction ${\displaystyle (x,u)\mapsto {\mathcal {L}}(t,x,u)}$ pour tout ${\displaystyle t\in {\mathcal {I}}}$. Dans ce cas, les conditions de Pontriaguine avec ${\displaystyle \lambda ^{\ast }=1}$ sont suffisantes pour que commande ${\displaystyle u^{\ast }}$ soit optimale globalement. Si de plus la fonction ${\displaystyle (x,u)\mapsto {\mathcal {L}}(t,x,u)}$ est convexe, strictement par rapport à u, alors il y a unicité de la commande optimale^[13].

Reprenons le problème de commande optimale, tel qu'il a été posé plus haut.

D'après le principe général de la programmation dynamique, la commande optimale minimise sur ${\displaystyle {\mathcal {U}}}$, pour tout ${\displaystyle \left(\tau ,\xi \right)\in \left[t_{0},t_{f}\right[\times \Omega }$, le critère

${\displaystyle J_{\tau }(u)=K\left(t_{f},x_{f}\right)+\int _{\tau }^{t_{f}}{\mathcal {L}}\left(t,x\left(t\right),u\left(t\right)\right)dt}$

avec

${\displaystyle x\left(\tau \right)=\xi }$.

Désignons par ${\displaystyle \omega \left(\tau ,\xi \right)}$ la valeur optimale de ce critère. En plus des hypothèses précédentes, nous supposons maintenant que les fonctions ${\displaystyle f,{\mathcal {L}}}$ et ${\displaystyle \omega }$ sont continûment différentiables. Nous supposons également que ${\displaystyle \lambda =1}$ et supprimons cette variable des arguments de ${\displaystyle {\mathcal {H}}}$, qui est donc maintenant une fonction

${\displaystyle {\mathcal {H}}:(t,x,u,p^{\prime })\mapsto {\mathcal {H}}(t,x,u,p^{\prime })}$.

L'équation de Hamilton-Jacobi-Bellman est l'équation aux dérivées partielles

(HJB)::${\displaystyle {\frac {\partial \omega }{\partial t}}\left(\tau ,\xi \right)=\max _{u\in U}{\mathcal {H}}\left(\tau ,\xi ,u,-{\frac {\partial \omega }{\partial \xi }}\left(\tau ,\xi \right)\right)}$

avec pour condition aux limites

(CL):: ${\displaystyle \omega \left(t_{f},x_{f}\right)=K\left(t_{f},x_{f}\right),\forall \left(t_{f},x_{f}\right)\in {\mathcal {V}}_{f}}$.

On dit que le pseudo-hamiltonien ${\displaystyle {\mathcal {H}}}$ est régulier si la fonction ${\displaystyle u\mapsto {\mathcal {H}}\left(\tau ,\xi ,u,p^{\prime }\right)}$ admet un maximum unique sur U, atteint pour une valeur ${\displaystyle u^{0}\left(\tau ,\xi ,p^{\prime }\right)}$ de u. Dans ce cas, soit la commande en boucle fermée ${\displaystyle {\hat {u}}\left(t,x\right)=u^{0}\left(t,x,-{\frac {\partial \omega }{\partial \xi }}\left(t,x\right)\right)}$