Vahid Mirjalili - Python Machine Learning

... n_iter=1000,

... random_state=1)

>>> lrgd.fit(X_train_01_subset,

... y_train_01_subset)The

>>> plot_decision_regions(X=X_train_01_subset,

... y=y_train_01_subset,

... classifier=lrgd)

>>> plt.xlabel('petal length [standardized]')

>>> plt.ylabel('petal width [standardized]')

>>> plt.legend(loc='upper left')

>>> plt.show()

La gráfica de la región de decisión resultante tiene el aspecto siguiente:

El algoritmo de aprendizaje del descenso del gradiente para regresión logísticaCon el cálculo, podemos mostrar que la actualización de peso en regresión logística mediante el descenso del gradiente es igual a la ecuación que utilizamos en Adaline en el Capítulo 2, Entrenar algoritmos simples de aprendizaje automático para clasificación. Sin embargo, debes tener en cuenta que la siguiente derivación de la regla de aprendizaje del descenso del gradiente va destinada a aquellos lectores que estén interesados en los conceptos matemáticos que hay detrás de la regla de aprendizaje del descenso del gradiente para regresión logística. No es esencial para seguir con el resto de este capítulo.Empezaremos calculando la derivada parcial de la función de probabilidad logarítmica con respecto al peso j: Antes de continuar, calcularemos también la derivada parcial de la función sigmoide:

Ahora, podemos volver a sustituir en nuestra primera ecuación para obtener lo siguiente: Recuerda que el objetivo es encontrar los pesos que maximicen la probabilidad logarítmica, por lo que llevamos a cabo la actualización para cada peso del modo siguiente: Como actualizamos todos los pesos simultáneamente, podemos escribir la regla de actualización general así: Definimos así: Como maximizar la probabilidad logarítmica es igual que minimizar la función de coste J que definimos anteriormente, podemos escribir la regla de actualización del descenso del gradiente del siguiente modo: Esto es igual que la regla del descenso del gradiente para Adaline en el Capítulo 2, Entrenar algoritmos simples de aprendizaje automático para clasificación.

Entrenar un modelo de regresión logística con scikit-learn

En la sección anterior, acabamos de ver algunos ejercicios de matemáticas y de código útiles, que nos han ayudado a ilustrar las diferencias conceptuales entre Adaline y la regresión logística. A continuación, aprenderemos cómo utilizar la implementación más optimizada de regresión logística de scikit-learn, que también soporta ajustes multiclase fuera de la librería (por defecto, OvR). En el siguiente código de ejemplo, utilizaremos la clase sklearn.linear_model.LogisticRegression, así como el ya conocido método fit, para entrenar el modelo en las tres clases en el conjunto de datos de entrenamiento de flores normalizado:

>>> from sklearn.linear_model import LogisticRegression

>>> lr = LogisticRegression(C=100.0, random_state=1)

>>> lr.fit(X_train_std, y_train)

>>> plot_decision_regions(X_combined_std,

... y_combined,

... classifier=lr,

... test_idx=range(105, 150))

>>> plt.xlabel('petal length [standardized]')

>>> plt.ylabel('petal width [standardized]')

>>> plt.legend(loc='upper left')

>>> plt.show()

Después de ajustar el modelo en los datos de entrenamiento, hemos mostrado gráficamente las regiones de decisión, las muestras de entrenamiento y las muestras de prueba, como puedes ver en la siguiente imagen:

Si piensas en el código anterior que utilizamos para entrenar el modelo LogisticRegression, debes estar preguntándote: «¿Qué es este parámetro misterioso C?». Trataremos este parámetro en la siguiente subsección donde, en primer lugar, introduciremos los conceptos de sobreajuste y regularización. Sin embargo, antes de pasar a estos temas, vamos a acabar nuestra discusión sobre las probabilidades de pertenencia a una clase.

La probabilidad de que los ejemplos de entrenamiento pertenezcan a una determinada clase puede ser calculada con el método predict_proba. Por ejemplo, podemos predecir las probabilidades de las tres primeras muestras en la prueba como sigue:

>>> lr.predict_proba(X_test_std[:3, :])

Este fragmento de código devuelve la matriz siguiente:

array([[ 3.20136878e-08, 1.46953648e-01, 8.53046320e-01],

[ 8.34428069e-01, 1.65571931e-01, 4.57896429e-12],

[ 8.49182775e-01, 1.50817225e-01, 4.65678779e-13]])