Ψ Die Informatikseite

Menü
Informatik » Master » Neuronale Netze » SVMs (Support Vector Machines) » Feature Space
Linear separierbare Probleme SVMs (Support Vector Machines) Kernel functions

Feature Space

Was aber tun, wenn das Problem nicht linear separierbar ist? Wir betten das Problem in einen hochdimensionalen Feature-Space ein. Dies tun wir mit einer Funktion $\phi$:

\begin{displaymath}\phi:G\rightarrow F\end{displaymath}


\begin{displaymath}\phi:\mathbb{R}^{N}\rightarrow \mathbb{R}^{M}\end{displaymath}

Die Dimension $M$ des Feature Space ist sehr hoch:

\begin{displaymath}M=\frac{(N+d-1)!}{d!(N-1)!}\end{displaymath}

wobei $d$ die Ordnung und $N$ die Dimension des Eingangsraumes. Bei $d=5$ und $N=256$ beispielsweise $M\approx 10^{10}$.

Problem ist nun, dass wir die großen Skalarprodukte, die nun entstehen gar nicht berechnen können:

\begin{displaymath}D(\vec{\alpha})=\sum^{l}_{i=1}\alpha_{i}-\frac{1}{2}\sum^{l}_... ...phi(\vec{x}_{i})\cdot\phi(\vec{x}_{j})}_{\mbox{Skalarprodukt}})\end{displaymath}


\begin{displaymath}f(\vec{z})=sgn\left(\sum^{l}_{i=1}\alpha_{i}y_{i}(\underbrace... ...ec{z})\cdot\phi(\vec{x}_{i})}_{\mbox{Skalarprodukt}})+b \right)\end{displaymath}


Linear separierbare Probleme SVMs (Support Vector Machines) Kernel functions