Vahid Mirjalili - Python Machine Learning

La definición formal de una neurona artificial

De un modo más formal, para simplificar, podemos situar la idea de las neuronas artificiales en el contexto de una tarea de clasificación binaria donde hacemos referencia a nuestras dos clases como 1 (clase positiva) y -1 (clase negativa). También podemos definir una función de decisión ( ) que toma una combinación lineal de determinados valores de entrada x y un vector de peso correspondiente w, donde z es la denominada entrada de red :

Ahora, si la entrada de red de una muestra concreta es mayor que un umbral definido , predecimos de otro modo la clase 1 y la clase -1. En el algoritmo de perceptrón, la función de decisión es una variante de una función escalón unitario:

Para simplificar, podemos traer el umbral al lado izquierdo de la ecuación y definir un peso cero como y , por lo que escribimos z de un modo más compacto:

Y:

En la literatura del aprendizaje automático, el umbral negativo, o peso , se denomina habitualmente «sesgo» (bias, en inglés).

En las siguientes secciones, usaremos con frecuencia notaciones básicas de álgebra lineal. Por ejemplo, abreviaremos la suma de los productos de los valores en x y w con un producto escalar vectorial, donde el superíndice T se refiere a trasposición, que es una operación que transforma una vector columna en un vector fila y viceversa. Por ejemplo: Además, la operación de trasposición también se puede aplicar a matrices para reflejarlas sobre su diagonal, por ejemplo: En este libro, utilizaremos solo conceptos muy básicos de álgebra lineal; sin embargo, si necesitas un repaso rápido, puedes echar un vistazo a la excelente obra de Zico Kolter Linear Algebra Review and Reference [Revisión y referencia de álgebra lineal], disponible de forma gratuita en http://www.cs.cmu.edu/~zkolter/course/linalg/linalg_notes.pdf.

La siguiente figura ilustra cómo la función de decisión del perceptrón (subfigura izquierda) comprime la entrada de red en una salida binaria (-1 o 1) y cómo se puede utilizar para discriminar entre dos clases separables linealmente (subfigura derecha):

La regla de aprendizaje del perceptrón

La idea general que hay detrás de la neurona MCP y del modelo de perceptrón umbralizado de Rosenblatt es utilizar un enfoque reduccionista para imitar cómo trabaja una simple neurona en el cerebro: si se excita o si no. Así, la regla del perceptrón inicial de Rosenblatt es bastante sencilla y se puede resumir en los siguientes pasos:

1.Iniciar los pesos a 0 o a números aleatorios más pequeños.

2.Para cada muestra de entrenamiento :

a.Calcular el valor de salida .

b.Actualizar los pesos.

Aquí, el valor de salida es la etiqueta de clase predicha por la función escalón unitario que hemos definido anteriormente, y la actualización simultánea de cada peso en el vector peso w se puede escribir formalmente como:

El valor de , que se utiliza para actualizar el peso , se calcula mediante la regla de aprendizaje del perceptrón:

donde es el rango de aprendizaje (normalmente una constante entre 0.0 y 1.0), es la etiqueta de clase verdadera de la muestra de entrenamiento i, y es la etiqueta de clase predicha. Es importante observar que todos los pesos en el vector peso han sido actualizados simultáneamente, lo que significa que no podemos volver a calcular el antes de que todos los pesos estén actualizados. Concretamente, para un conjunto de datos de dos dimensiones, podríamos escribir la actualización como: