Direzione di discesa

In ottimizzazione, una direzione di discesa è un vettore $\mathbf {p} \in \mathbb {R} ^{n}$ che, spostandosi nella direzione da esso indicata, permette di avvicinarsi a un minimo locale $\mathbf {x} ^{*}$ della funzione obiettivo $f:\mathbb {R} ^{n}\to \mathbb {R}$.

Definizione

Sia $f:\mathbb {R} ^{n}\to \mathbb {R}$. Si dice che un vettore $\mathbf {p} \in \mathbb {R} ^{n}$, $\mathbf {p} \not =0$ è una direzione di discesa per la funzione $f$ in $\mathbf {x}$ se esiste ${\tilde {t}}>0$ tale che $f(\mathbf {x} +t\mathbf {p} )<f(\mathbf {x} )$, $\forall t\in (0,{\tilde {t}}]$. In modo analogo si definisce la direzione di salita di $f$.

Si supponga di dover calcolare $\mathbf {x} ^{*}$ con un metodo iterativo. Si definisce una direzione di discesa $\mathbf {p} _{k}\in \mathbb {R} ^{n}$ alla $k$-esima iterazione ogni direzione $\mathbf {p} _{k}$ per cui $\langle \mathbf {p} _{k},\nabla f(\mathbf {x} _{k})\rangle <0$, dove $\langle ,\rangle$ rappresenta prodotto scalare. La motivazione per questo approccio è che piccoli spostamenti lungo $\mathbf {p} _{k}$ garantiscono che $\displaystyle f$ venga ridotto, in base al Teorema di Taylor.

In base a questa definizione, l'antigradiente (se non nullo) è sempre una direzione di discesa, visto che $\langle -\nabla f(\mathbf {x} _{k}),\nabla f(\mathbf {x} _{k})\rangle =-\langle \nabla f(\mathbf {x} _{k}),\nabla f(\mathbf {x} _{k})\rangle <0$.

Esistono diversi metodi per calcolare una direzione di discesa, ognuno con meriti specifici, tra cui la discesa del gradiente o il metodo del gradiente coniugato.