Parciální derivace a gradient
Funkce jedné proměnné má jednu derivaci. Funkce dvou proměnných — krajina — jich má tolik, kolik je směrů, kterými se dá jít. Naštěstí stačí dvě a zbytek se z nich složí.
Parciální derivace není nic nového: je to obyčejná derivace funkce jedné proměnné, která vznikne tím, že se ostatní zamrazí. Řez krajinou podél osy.
Gradient je vektor a ví, kudy nahoru
Stoupání ve zvoleném směru je skalární součin:
A z toho plynou tři věty naráz, všechny z kapitoly 4 VectorLabu:
- Největší stoupání je podél gradientu (cos = 1), a jeho hodnota je přesně |∇f|.
- Kolmo na gradient je stoupání nulové — a to je definice vrstevnice. Gradient je tedy vždy kolmý na vrstevnici; není to náhoda ani konvence.
- Nejrychlejší klesání je −∇f, a to je celý algoritmus nejstrmějšího spádu v OptiLabu.
Gradient není směrnice. Je to vektor, jeho jednotky jsou „změna f na jednotku délky“ a jeho velikost něco znamená. Když se změní jednotky jedné osy, gradient se otočí — a to je jeden z důvodů, proč se v optimalizaci proměnné škálují (viz podmíněnost v MatrixLabu).