Tuning La afinación o ajuste (tuning)
De parámetros permite elegir los mejores parámetros para nuestra red neuronal En la ANN, tenemos dos tipos de parámetros: parámetros que se aprenden del modelo durante el entrenamiento y estos son los pesos y tenemos algunos otros parámetros que se mantienen fijos y estos parámetros se denominan hiper parámetros. Así, por ejemplo, estos hiper parámetros son el número de una época, el tamaño del lote, el optimizador o el número de neuronas en las capas.. Y de eso se trata el ajuste de parámetros.
GridSearchCV es una clase disponible en scikit-learn que permite evaluar y seleccionar de forma sistemática los parámetros de un modelo. Indicándole un modelo y los parámetros a probar, puede evaluar el rendimiento del primero en función de los segundos mediante validación cruzada.
Articulo: Aprendizaje supervisado «La idea de esto es que entrenas a una máquina con ejemplos supervisados, para distinguir, por ejemplo, imágenes de coches o aviones», explica Lecun. Después se pone a prueba el sistema. Si no acierta, se ajustan los parámetros de la máquina, de manera que en la siguiente vuelta aumente la precisión. Después de haber estado expuestos a suficientes ejemplos y haber recibido suficientes ajustes, alcanzan rendimientos decentes. «Este sistema es muy exitoso en las áreas para las que hay muchos datos o bien estos son fácilmente recopilables. Por ejemplo, reconocimiento de texto, imágenes, caras, traducciones…». El origen de esta técnica está en el perceptrón, un algoritmo para el aprendizaje supervisado de clasificadores binarios. «Podríamos hacer que el perceptrón aprenda los conceptos de cuadrado y círculo, y que encienda la luz 1 para los cuadrados y la 2 para los círculos. Después procederíamos a mostrar al sistema un amplio conjunto de cuadrados de diferentes tamaños en diferentes entornos al tiempo que mantenemos la luz 1, forzando así al sistema a responder. Después le mostraríamos un conjunto de círculos manteniendo la luz 2». Perceptrón acababa siendo efectivo en lo suyo, pero poco adaptable a formas y conceptos más complejos. «Era lo que hoy llamaríamos una red neuronal de una sola capa», señala Lecun. aprendizaje por refuerzo : El aprendizaje supervisado no es la única aproximación a las máquinas moderadamente inteligentes. Otra posibilidad es lo que se conoce como aprendizaje por refuerzo: «Este sistema es fascinante porque a diferencia de lo que ocurre con el aprendizaje supervisado, no necesitas decir a la máquina cuál es la respuesta correcta», precisa. La estrategia en este caso es que el sistema interactúe un gran número de veces con el entorno en cuestión para lograr el aprendizaje. En que estas cosas llevan tiempo, incluso para conceptos relativamente simples. «Por ejemplo, para entrenar a una red neuronal profunda para jugar a juegos de Atari, la pones a mirar la pantalla y a jugar muchos juegos y va deduciendo qué acciones tomar para maximizar la puntuación, pero toma unas 83 horas alcanzar el rendimiento que cualquier humano puede alcanzar en 15 minutos de juego» Ensayo y error. Aprendizaje autosupervisado la clave para derrumbar la barrera que suponen las limitaciones del aprendizaje por refuerzo. «Los bebés aprenden fundamentalmente a través de la observación. Mi propuesta es lo que llamo aprendizaje autosupervisado. La idea es entrenar a una red neuronal muy grande para entender el mundo a través de la predicción», avanza el experto. Por ejemplo, ante una porción de un vídeo, este sistema tendría que ser capaz de determinar lo que va a ocurrir a continuación. «En este modelo no hay etiquetas externas asignadas por humanos», señala Lecun. Parte del input sirve de entrenamiento para predecir el resto y avanzar en el aprendizaje.Se emplea con cierto éxito en contextos de procesamiento del lenguaje natural, pero pierde fuelle cuando se enfrenta a imágenes. entrenamiento adversarial Para que la máquina aprenda lo que pasa cuando una niña rodeada de niños se inclina sobre una tarta coronada por una vela encendida, necesitamos el trabajo conjunto de dos redes neuronales. Una se encarga de generar escenarios y la otra de determinar cómo de probables o auténticos son. Ambas redes se entrenan mutuamente: una es cada vez más verosímil, la otra es cada vez más difícil de engañar. Estos sistemas también los hemos visto en acción: inventando caras, creando nuevos patrones para estampados de ropa e incluso en los coches autónomos, determinando cuál es la trayectoria más probable para el resto de los vehículos. Esto podría ser la clave para resolver el problema de la incertidumbre en los modelos predictivos.
Training: 1. Muestra de datos etiquetados, 2 forward a través de la neurona, obtiene predicciones, 3.Back propagate errores, 4.Actualziar los pesos de la neurona. Error cuadrático medio MSE= 1/M suma(i=1, M)(real i -estimado i)^2.
Funciones de activación: Indetidad,{-inf,+inf} Escalón{-1,+1, 0,+1}, Lineal o tramos{-1,+1},Sigmoidea{0 +1 -1 +1}, Gaussiana{0 +1}.