Vahid Mirjalili - Python Machine Learning

La idea fundamental que hay detrás de los métodos kernel para tratar datos inseparables lineales como estos es crear combinaciones no lineales de las características originales para proyectarlas hacia un espacio de dimensiones mayores, mediante una función de mapeo , donde pasen a ser separables lineales. Como se muestra en la siguiente imagen, podemos transformar, mediante la siguiente proyección, un conjunto de datos bidimensional en un nuevo espacio de características tridimensional donde las clases sean separables:

Esto nos permite separar las dos clases que aparecen en el gráfico mediante un hiperplano lineal que se convierte en un límite de decisión no lineal si lo volvemos a proyectar en el espacio de características original:

El truco de kernel para encontrar hiperplanos separados en un espacio de mayor dimensionalidad

Para resolver un problema no lineal utilizando una SVM, debemos transformar los datos de entrenamiento en un espacio de características de mayor dimensionalidad mediante una función de mapeo y entrenar un modelo de SVM lineal para clasificar los datos en este nuevo espacio de características. Después, podemos utilizar la misma función de mapeo para transformar nuevos datos no vistos y clasificarlos mediante el modelo de SVM lineal.

Sin embargo, un problema con este enfoque de mapeo es que la construcción de nuevas características es computacionalmente muy costosa, especialmente si tratamos con datos de mayor dimensionalidad. Y aquí es donde el denominado truco de kernel entra en juego. No entraremos mucho en detalle sobre cómo resolver la tarea de programación cuadrática para entrenar un SVM, ya que a la práctica todo cuanto necesitamos es sustituir el producto escalar por . Con el fin de ahorrarnos el costoso paso de calcular este producto escalar entre dos puntos explícitamente, definimos la denominada función kernel: .

Uno de los kernels más ampliamente utilizados es la Función de base radial (RBF), también denominada kernel Gaussiana:

Habitualmente se simplifica como:

En este caso, es un parámetro libre que debe ser optimizado.

Más o menos, el término kernel puede ser interpretado como una función de similitud entre un par de muestras. El signo menos invierte la medida de distancia de una puntuación de similitud y, debido al término exponencial, la puntuación de similitud resultante caerá en un rango entre 1 (para muestras exactamente similares) y 0 (para muestras muy diferentes).

Ahora que ya hemos definido a grandes rasgos cuanto hay detrás del truco de kernel, podemos entrenar una SVM kernelizada que sea capaz de dibujar un límite de decisión no lineal que separe correctamente los datos XOR. En este caso, simplemente utilizamos la clase SVC de scikit-learn que importamos anteriormente y sustituimos el parámetro kernel='linear' por kernel='rbf':

>>> svm = SVC(kernel='rbf', random_state=1, gamma=0.10, C=10.0)

>>> svm.fit(X_xor, y_xor)

>>> plot_decision_regions(X_xor, y_xor, classifier=svm)

>>> plt.legend(loc='upper left')

>>> plt.show()

Como podemos ver en el diagrama resultante, la SVM kernelizada separa los datos XOR relativamente bien:

El parámetro , que ajustamos en gamma=0.1, se puede entender como un parámetro de corte para la esfera Gaussiana. Si aumentamos el valor de , aumentamos la influencia o alcance de las muestras de entrenamiento, lo cual nos lleva a un límite de decisión más ajustado y lleno de baches. Para conseguir una intuición mejor para , vamos a aplicar una SVM kernelizada de RBF a nuestro conjunto de datos de flor Iris:

>>> svm = SVC(kernel='rbf', random_state=1, gamma=0.2, C=1.0)

>>> svm.fit(X_train_std, y_train)

>>> plot_decision_regions(X_combined_std,

... y_combined, classifier=svm,

... test_idx=range(105,150))

>>> plt.xlabel('petal length [standardized]')

>>> plt.ylabel('petal width [standardized]')

>>> plt.legend(loc='upper left')

>>> plt.show()

Como hemos elegido un valor para relativamente pequeño, el límite de decisión resultante del modelo SVM kernelizado RBF será relativamente suave, como se muestra en la siguiente figura:

Seguidamente, aumentaremos el valor de y observaremos el efecto en el límite de decisión:

>>> svm = SVC(kernel='rbf', random_state=1, gamma=100.0, C=1.0)

>>> svm.fit(X_train_std, y_train)

>>> plot_decision_regions(X_combined_std,

... y_combined, classifier=svm,

... test_idx=range(105,150))

>>> plt.xlabel('petal length [standardized]')

>>> plt.ylabel('petal width [standardized]')

>>> plt.legend(loc='upper left')

>>> plt.show()

En el gráfico resultante podemos ver que el límite de decisión alrededor de las clases 0 y 1 está mucho más apretado si utilizamos un valor de relativamente grande: