Machine Learning Grundlagen: Matrix- und Vektor-Normen

Was sind Vektor- und Matrix-Normen?

In der mathematik bezeichnet man eine Norm als eine Abbildung, die einem mathematischen Objekt (bspw. Vektor, Matrix, Tensor) eine Zahl zuordnet. Diese Zahl repräsentiert auf gewisse Weise die Größe dieses mathematischen Objekts.

Dabei hängt die genaue Bedeutung der Größe vom betrachteten Objekt sowie der verwendeten Norm ab. Dabei kann eine Norm bspw. die Länge eines Vektors beschrieben oder den größten Eintrag in einer Matrix.

In der Mathematik wird die Norm eines Objektes $x$ mit zwei senkrechten Strichen $\lVert x \rVert$ gekennzeichnet. Tatsächlich gibt es unterschiedliche Normen und damit unterschiedliche Arten die Größen dieser Objekte zu messen. Die genaue Art der Norm wird meist unten an den Strichen explizit angegeben.

Normen finden insbesondere in der linearen Algebra und der Funktionalanalysis Verwendung. Normen spielen aber auch eine sehr große Rolle in Machine Learning und Deep Learning.

1. Vektor-Normen

In diesem Abschnitt werde ich Ihnen die wichtigsten Normen vorstellen, die auf einem Vektor $\vec{x} \in \mathbb{R}^{n \times 1}$ definiert werden können. Nehmen wir als Beispiel den folgenden Vektor $\vec{x}$ mit 5 Komponenten:

Damit ist dieser Vektor ein Element eines Vektorraums mit 5 Raum Dimensionen oder anders ausgedrückt: $\vec{x} \in \mathbb{R}^{5 \times 1}$ . Im folgenden werde ich diesen Vektor benutzen, um darauf unterschiedliche Normen zu definieren.

1.1 Die p-Norm

In der Mathematik sind die $p$ -Normen eine Klasse von Vektornormen, die für reelle Zahlen $p$ ≥1 definiert sind. Die $p$ -Normen bilden die Grundlage für Normen anderer mathematischer Objekte wie Folgen, Funktionen, Matrizen und Operatoren.

Die $p$ -Norm von einem reelen oder komplexen Vektor $\vec{x} \in \mathbb{K}^{n}$ , mit $\mathbb{K}^{n} = \mathbb{R}^{n}$ oder $\mathbb{K}^{n} = \mathbb{C}$ ist für 1 ≤ $p$ < $\infinity$ durch die folgende Gleichung definiert:

Dabei ist | $x_i$ | der Betrag der Komponenten $x_i$ in dem Vektor $\vec{x}$ . Wichtige Spezialfälle der $p$ -Norm sind dabei die Summennorm ( $p$ =1), due euklidische Norm ( $p$ =2) sowie die Maximumsnorm für $p \rightarrow \infinity$ .

1.2 Summennorm

Die Summennorm, Betragssummennorm oder 1-Norm ist eine Vektornorm in der Mathematik. Die Norm ist definiert als die Summe der Beträge in dem Vektor. Die Summennorm ist ein Spezialfall der $p$ -Norm für $p$ =1. Die Summennorm ergibt für einen gegebenen Vektor den größten Wert aller $p$ -Normen.

Für einen Vektor $\vec{x} \in \mathbb{R}^n$ ist die Summennorm $\lVert . \rVert _{1}$ definiert als:

Bei der Summennorm müssen wir die Summe über die absoluten Werte der Komponenten in einem Vektor bilden. Weil die Summennorm eine Spezialform der $p$ -Form für $p$ =1 ist heißt diese deswegen auch die 1-Norm.

Die Summennorm, angewendet auf den Vektor $\vec{x}$ in Abb.1, beträgt $\lVert \vec{x} \rVert _{1}$ = 38:

Gl. 3 Anwendung der Summen-Norm auf den Vektor x.

1.3 Euklidische Norm

Die euklidische Norm, auch als die Standardnorm bzw. 2-Norm genannt, ist eine in der Mathematik sehr häufig verwendete Vektornorm. Im zwei- und dreidimensionalen euklidischen Raum entspricht die euklidische Norm der Länge oder dem Betrag eines Vektors. Die euklidische Norm kann mit dem Satz des Pythagoras berechnet werden.

Die euklidische Norm für einen Vektor $\vec{x} \in \mathbb{R}^{n}$ ist die Wurzlen aus der Summe der Quadrate der Vektorkomponenten:

Um diese Norm auf einen Vektor $\vec{x}$ anzuwenden, müssen wir also Absolutwerte der Komponenten im Vektor quadrieren, sie summieren und dann die Wurzel der Summe ziehen. Für einen eindimensionalen Vektor ergibt sich als Sonderfall der Absolutwert einer reellen Zahl, für einen zwei- oder dreidimensionalen Vektor seine Länge in der Ebene oder im Raum

In unserem Beispiel beträgt die euklidische Norm von dem Vektor in Abb. 1 $\lVert \vec{x} \rVert _{2}$ = 18.49:

Gl. 4 Berechnung der euklidischen Norm auf dem Vektor x.

1.4 Maximumsnorm

Für den Grenzwert $p \rightarrow \infty$ erhält man die $\infty$ -Norm. Diese wird auch oft als Maximumsnorm oder Tschebyschow-Norm bezeichnet und ist definiert als:

Die erste Norm, die ich Ihnen vorstellen möchte ist die Maximumsnorm. Diese wird auch als die „Unendlichkeits-Norm“ bezeichnet. Die Maximumsnorm wird wird folgt definiert:

Gl. 5 Def. der Maximumsnorm.

Bei der Maximumsnorm betrachten wir den Betrag jedes einzelnen Eintrags im Vektor $\vec{x}$ , auf die wir diese Norm anwenden. Die Komponente des Vektors, die den größten Betrag aufweist, stellt die Maximumsnorm von dem Vektor.

Anders ausgedrückt: Die Maximumsnorm von einem Vektor $\vec{x} \in \mathbb{R}^{n \times 1}$ entspricht dem Betrag der betragsgrößten Komponente des Vektors.

Wenn wir die Maximumsnorm auf den Vektor $\vec{x}$ in Abb. 1 anwenden erhalten eine Norm von 13:

Gl. 6 Maximumsnorm von dem Vektor x.

2. Matrizen-Normen

Neben den Normen für Vektoren können wir auch Normen für Matrizen definieren, um ihre Größe mathematisch zu erfassen. In der Mathematik ist eine Matrixnorm eine Norm auf dem Vektorraum reeller oder komplexer Matrizen. Es gibt mehrere Möglichkeiten, Matrixnormen zu definieren, einschließlich der direkten Verwendung einer Vektornorm, als Operatornorm oder der Verwendung der Singulärwerte der Matrix. Matrixnormen werden insbesondere in der linearen Algebra und der numerischen Mathematik verwendet.

Auch für Matrizen können wir eine p-Norm definieren.

In diesem Fall wird die Summe über alle KOmponenten der Matrix gebildet. Hierbei repräsentiert der Index i die Reihe und der Index j, die Spalte der Matrix.

2.1 Frobenius-Norm

In der Mathematik ist die Frobenius-Norm oder Schurnorm eine Matrixnorm, die auf der euklidischen Norm basiert. Die Norm ist definiert als die Wurzel aus der Summe der Quadrate der Absolutwerte aller Einträge in der Matrix.

Die Froberniusnorm $\lVert A \rVert _{2}$ einer $(m \times n)$ -Matrix $A \in \mathbb{R}^{m \times n}$ ist definiert als:

Damit ist die Frobeniusnorm die Wurzel aus der Summe der Betragsquadrate aller Matrixelemente $a_{ij}$ . Wie sie sehen können entspricht die Frobeniusnorm der euklidischen Norm in einem $n \times m$ dimensionalen Raum.

Sehen wir uns nun ein Beispiel für die Frobeniusnorm einer Matrix an. Gegeben ist die Matrix $A$ :

Die Frobeniusnorm dieser Matrix gemäß Gleichung 7 ist damit:

Gl. 8 Frobeniusnorm von Matrix A.

2.2 Gesamtnorm

In der Mathematik ist die Gesamtnorm eine Matrixnorm, die auf der Maximalnorm basiert. Sie ist definiert als der maximale Betrag des Matrixelements multipliziert mit dem geometrischen Mittel der Anzahl der Zeilen und Spalten in der Matrix.

Die Gesamtnorm $\lVert A \rVert _{G}$ einer $(m \times n)$ -Matrix $A \in \mathbb{R}^{m \times n}$ ist definiert als

Gl. 9 Def. der Gesamtnorm.

Die Gesamtnorm der Matrix $A$ aus Abb. 8 ist gemäß Gl. 9 gegeben als

Gl. 10 Gesamtnorm der Matrix A.