Mathematik für Informatik 2
Extrema multivariater Funktionen
Prof. Dr. Mario Botsch
Lehrstuhl für Computergraphik, TU Dortmund
Worum geht’s heute?
- Multivariate reellwertige Funktionen \(f\colon \R^n\to\R\)
- Lokale Extrema multivariater Funktionen
- Partielle Ableitungen erster/zweiter Ordnung
- Notwendige und hinreichende Bedingungen für Extrema
- Wofür brauchen wir das?
- Maschinelles Lernen, Model-Fitting
- Optimierung: Kosten-Minimierung, Ertragsmaximierung
- und noch viel mehr…
Multivariate Funktionen
- Funktionen \(f\colon\R^n \to \R\) mit \(n\) Eingaben \[\vec{x} = (x_1, \dots, x_n)\T\] und einer reellwertigen Ausgabe
- Für \(n=2\) lässt sich der Graph von \(f\) \[\vec{\Gamma}_f(x,y) = \vector{x\\ y\\ f(x,y)}\] gut als Höhenfeld visualisieren
Demo: Höhenfeld, Höhenlinien
Lokale Extrema
Definition 7.22: Lokale Extrema im \(\R^n\)
Eine Funktion \(f \colon U \subseteq \R^n \to \R\) nimmt in \(\vec{x} \in U\) ein lokales Maximum \(f(\vec{x})\) an,
wenn ein \(\eps>0\) existiert, sodass \(f(\vec{x}) \geq f(\vec{y})\) für alle \(\vec{y} \in U\) mit \(\norm{\vec{x}-\vec{y}} < \eps.\)Eine Funktion \(f \colon U \subseteq \R^n \to \R\) nimmt in \(\vec{x} \in U\) ein lokales Minimum \(f(\vec{x})\) an,
wenn ein \(\eps>0\) existiert, sodass \(f(\vec{x}) \leq f(\vec{y})\) für alle \(\vec{y} \in U\) mit \(\norm{\vec{x}-\vec{y}} < \eps.\)
Vergleiche die univariate Version
Partielle Ableitung
Definition 7.23: Partielle Ableitung
Eine Funktion \(f \colon U \subseteq \R^n \to \R\) ist im Punkt \(\vec{x} = (x_1, x_2, \dots, x_n)\T \in U\) partiell differenzierbar bezüglich der \(i\)-ten Koordinate, falls der Grenzwert \[ \pdiff{f}{x_i}\of{\vec{x}} \mathrel{:=} \limto{h}{0} \frac{f(x_1, \dots, x_{i-1}, x_i + h, x_{i+1}, \dots, x_n) - f(\vec{x})}{h} \] existiert. In diesem Fall heißt der Grenzwert die \(i\)-te partielle Ableitung von \(f\).
Wenn alle partiellen Ableitungen \(\pdiff{f}{x_1}, \dots, \pdiff{f}{x_n}\) für alle \(\vec{x} \in U\) existieren, heißt die Funktion partiell differenzierbar.
Sind die partiellen Ableitungen zusätzlich stetig, heißt \(f\) stetig partiell differenzierbar oder \(C^1\)-stetig.
Einfach alle Variablen bis auf \(x_i\) als Konstanten auffassen und dann nach \(x_i\) ableiten
Vergleiche univariate Version
Beispiel: Partielle Ableitung
- Für \(f(x,y,z) = 2x^2 + 3xy + z\) lauten die partiellen Ableitungen \[ \begin{align*} \pdiff{f}{x}(x,y,z) &= 4x + 3y \\[0.5em] \pdiff{f}{y}(x,y,z) &= 3x \\[0.5em] \pdiff{f}{z}(x,y,z) &= 1 \end{align*} \]
Gradient
Definition 7.25: Gradient
Für eine partiell differenzierbare Funktion \(f \colon U \subseteq \R^n \to \R\) heißt der Vektor \[ \grad f(x) \;\mathrel{:=}\; \vector{ \pdiff{f}{x_1}\\ \vdots\\ \pdiff{f}{x_n} } \in \R^n \] aus allen \(n\) partiellen Ableitungen der Gradient von \(f\) am Punkt \(\vec{x}\).
Der Gradient hat eine schöne geometrische Bedeutung. Die gibt’s aber erst nächstes Mal 😄
Beispiel: Gradient
- Für \(f(x,y,z) = 2x^2 + 3xy + z\) ist der Gradient \[\grad f(x,y,z) = \vector{4x+3y \\ 3x \\ 1}\]
- Für \(f \colon \R^n \to \R\) mit \(f(\vec{x}) = \norm{\vec{x}}\) ist der Gradient für \(\vec{x} \neq \vec{0}\) \[\grad f(\vec{x}) = \frac{\vec{x}}{\norm{\vec{x}}} \]
Beispiel: Betrag und Norm
Beispiel: Federkraft
- Feder zwischen Punkten \(\vec{x}, \vec{y}\) mit Ruhelänge \(L\)
- Die Federenergie in Abhängigkeit von \(\vec{x}\) ist \[ E(\vec{x}) = \frac{1}{2} \left(\norm{\vec{x}-\vec{y}} - L\right)^2 \]
- Der negative Gradient gibt die auf \(\vec{x}\) wirkende Federkraft \[ \vec{F} = -\grad E(\vec{x}) = -\left( \norm{\vec{x}-\vec{y}} - L \right) \frac{\vec{x}-\vec{y}}{\norm{\vec{x}-\vec{y}}} . \]
1635–1703
Anwendung: Masse-Feder-Systeme
Notwendige Bedingung für Extremum
Satz 7.28: Notwendige Bedingung für lokales Extremum
Sei \(f \colon U \subseteq \R^n \to \R\) eine partiell differenzierbare Funktion.
Besitzt \(f\) in einem inneren Punkt \(\vec{x} \in U\) ein lokales Extremum, dann ist \[
\grad f(\vec{x}) = \vec{0} = (0, \dots, 0)\T .
\]
Vergleiche univariate Version
Beispiel: Notwendige Bedingung
Für \(f(x,y) = x^2 + y^2\) verschwindet
\(\grad f(x,y) = (2x, 2y)\T\) an \((0,0)\).
Für \(f(x,y) = x^2 - y^2\) verschwindet
\(\grad f(x,y) = (2x, -2y)\T\) an \((0,0)\).
Demo: Partielle Ableitung am Extremum
Zweite partielle Ableitungen
Definition 7.30: Zweite Ableitungen im \(\R^n\)
- Sei \(f \colon U \subseteq \R^n \to \R\) eine \(C^1\)-stetige Funktion. Die partielle Ableitung zweiter Ordnung in die Raumrichtungen \(i\) und \(j\) an der Stelle \(\vec{x}\) ist \[ \frac{\partial^2 f}{\partial x_j \, \partial x_i}(\vec{x}) \;\mathrel{:=}\; \frac{\partial \left(\frac{\partial f}{\partial x_i}\right)}{\partial x_j}(\vec{x}) . \]
- Wenn wir zweimal nach derselben Variable \(x_i\) ableiten, schreiben wir auch \[ \frac{\partial^2 f}{\partial x_i^2}(\vec{x}) \;\mathrel{:=}\; \frac{\partial^2 f}{\partial x_i \, \partial x_i}(\vec{x}) . \]
- Existieren alle partiellen zweiten Ableitungen überall, so ist \(f\) zweimal partiell differenzierbar. Sind alle partiellen zweiten Ableitungen zusätzlich stetig, so ist \(f\) zweimal stetig partiell differenzierbar oder \(C^2\)-stetig.
Hesse-Matrix
Definition 7.31: Hesse-Matrix
Sei \(f \colon U \subseteq \R^n \to \R\) eine \(C^2\)-stetige Funktion. Die aus den partiellen Ableitungen zweiter Ordnung gebildete quadratische Matrix \[ \hess{f}(\vec{x}) \;\mathrel{:=}\; \matrix{ \frac{\partial^2 f(\vec{x})}{\partial x_1^2} & \frac{\partial^2 f(\vec{x})}{\partial x_1 \partial x_2} & \ldots & \frac{\partial^2 f(\vec{x})}{\partial x_1 \partial x_n}\\ \frac{\partial^2 f(\vec{x})}{\partial x_2 \partial x_1} & \frac{\partial^2 f(\vec{x})}{\partial x_2^2} & \ldots & \frac{\partial^2 f(\vec{x})}{\partial x_2 \partial x_n}\\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^2 f(\vec{x})}{\partial x_n \partial x_1} & \frac{\partial^2 f(\vec{x})}{\partial x_n \partial x_2} & \ldots & \frac{\partial^2 f(\vec{x})}{\partial x_n^2} }\in \R^{n \times n} \] nennen wir die Hesse-Matrix der Funktion \(f\) an der Stelle \(\vec{x}\).
Beispiel
Die Hesse-Matrix von \(f(x,y) = 2xy + 3x + 4x^2y\) lautet \[ \hess{f}(x,y) = \matrix{ 8y & 2+8x \\ 2+8x & 0 }. \]
Satz von Schwarz
Satz 7.33: Satz von Schwarz
Sei \(f \colon U \subseteq \R^n \to \R\) eine \(C^2\)-stetige Funktion. Dann gilt \[ \frac{\partial^2 f}{\partial x_i \, \partial x_j}(\vec{x}) \;=\; \frac{\partial^2 f}{\partial x_j \, \partial x_i}(\vec{x}) \quad \forall i,j \in \set{1,\ldots,n}. \]
Hinreichende Bedingung für Extrema
Satz 7.35: Hinreichende Bedingung für lokale Extrema
Sei \(f \colon U \subseteq \R^n \to \R\) eine \(C^2\)-stetige Funktion.
- Wenn \(\grad f(\vec{x}) = \vec{0}\) und \(\hess{f}(\vec{x})\) positiv definit ist, dann hat \(f\) in \(\vec{x}\) ein lokales Minimum.
- Wenn \(\grad f(\vec{x}) = \vec{0}\) und \(\hess{f}(\vec{x})\) negativ definit ist, dann hat \(f\) in \(\vec{x}\) ein lokales Maximum.
- Ist \(\hess{f}(\vec{x})\) indefinit, so liegt in \(\vec{x}\) kein Extremum vor.
Vergleiche univariate Version
Definitheit einer Matrix
Definition 7.34: Definitheit einer Matrix
Eine quadratische Matrix \(\mat{A} \in \R^{n \times n}\) ist
- positiv definit, wenn \(\forall \vec{x} \in \R^n\setminus \set{\vec{0}} \gilt \vec{x}\T \mat{A} \vec{x} > 0\)
- positiv semidefinit, wenn \(\forall \vec{x} \in \R^n\setminus \set{\vec{0}} \gilt \vec{x}\T \mat{A} \vec{x} \geq 0\)
- negativ definit, wenn \(\forall \vec{x} \in \R^n\setminus \set{\vec{0}} \gilt \vec{x}\T \mat{A} \vec{x} < 0\)
- negativ semidefinit, wenn \(\forall \vec{x} \in \R^n\setminus \set{\vec{0}} \gilt \vec{x}\T \mat{A} \vec{x} \leq 0\)
- indefinit, wenn \(\vec{x}, \vec{y} \in \R^n\setminus \set{\vec{0}}\) existieren mit \(\vec{x}\T \mat{A} \vec{x} < 0\) und \(\vec{y}\T \mat{A} \vec{y} > 0.\)
Definitheit wird im Exkurs Matrizen des Skripts (und in MafI1) erklärt
Definitheit für 2x2-Matrizen
Satz 7.36: Definitheit für 2×2-Matrizen
Eine symmetrische Matrix \(\mat{A} = \matrix{a & c \\ c & b} \in \R^{2 \times 2}\) ist
- genau dann positiv definit, wenn \(a > 0 \wedge \det{\mat{A}} = ab - c^2 > 0\)
- genau dann negativ definit, wenn \(a < 0 \wedge \det{\mat{A}} = ab - c^2 > 0.\)
- genau dann indefinit, wenn \(\det{\mat{A}} = ab - c^2 < 0.\)
Determinanten \(\det{\mat{A}}\) werden im Exkurs Matrizen des Skripts (und in MafI1) erklärt.
Beispiele
Für \(f(x,y) = x^2 + y^2 + 1\) ergibt sich \[ \small \begin{aligned} \grad f(x,y) &= \vector{2x \\ 2y}, \\[0.5em] \hess{f}(x,y) &= \matrix{ 2 & 0 \\ 0 & 2 }. \end{aligned} \]
Da \(\grad f(0,0)=0\) und \(\hess{f}\) positiv definit, hat \(f\) in \((0,0)\) ein lokales Minimum.
Beispiele
Für \(f(x,y) = 42 - x^2 - y^2\) ergibt sich \[ \small \begin{aligned} \grad f(x,y) &= \vector{-2x \\ -2y}, \\[0.5em] \hess{f}(x,y) &= \matrix{ -2 & 0 \\ 0 & -2 }. \end{aligned} \]
Da \(\grad f(0,0)=0\) und \(\hess{f}\) negativ definit, hat \(f\) in \((0,0)\) ein lokales Maximum.
Beispiele
Für \(f(x,y) = 3 + x^2 - y^2\) ergibt sich \[ \small \begin{aligned} \grad f(x,y) &= \vector{2x \\ -2y}, \\[0.5em] \hess{f}(x,y) &= \matrix{ 2 & 0 \\ 0 & -2 }. \end{aligned} \]
Da \(\grad f(0,0)=0\) und \(\hess{f}\) indefinit ist, hat \(f\) in \((0,0)\) kein lokales Extremum.
Beispiele
Für \(f(x,y) = x^4 + y^4\) ergibt sich \[ \small \begin{aligned} \grad f(x,y) &= \vector{4x^3 \\ 4y^3} \\[0.5em] \hess{f}(x,y) &= \matrix{ 12x^2 & 0 \\ 0 & 12y^2 } \end{aligned} \]
Da \(\grad f(0,0)=0\) und \(\hess{f}(0,0)\) semi-definit ist, liefert das Kriterium keine Entscheidung, obwohl \(f\) in \((0,0)\) ein lokales Minimum hat.
⚠️ Hinreichend vs. notwendig ⚠️
Quiz: Gradient und Extrema
Sei \(f \colon \R^n \to \R\) partiell differenzierbar und \(\vec{x} \in \R^n\) ein Punkt.
Welche Aussage ist richtig?
Quiz: Hesse-Matrix und Extrema
Was gilt für eine \(C^2\)-stetige Funktion \(f \colon \R^2 \to \R\) an einem Punkt \(\vec{x}\) mit \[ \grad f(\vec{x})=\vec{0} \quad\text{und}\quad \hess{f}(\vec{x})=\matrix{4 & 1 \\ 1 & 3} \;? \]
Literatur
- Vorlesungsskript