Mathematics for Machine Learning – Marc Peter Deisenroth, A. Aldo Faisal, Cheng Soon Ong – 1st Edition

El aprendizaje automático consiste en diseñar algoritmos que extraigan automáticamente información valiosa de los datos. El énfasis aquí está en lo “automático”, es decir, el aprendizaje automático se ocupa de metodologías de propósito general que se puedan aplicar a muchos conjuntos de datos, al mismo tiempo que producen algo que sea significativo. Hay tres conceptos que son la base del aprendizaje automático: datos, un modelo y aprendizaje. Dado que el aprendizaje automático está impulsado inherentemente por los datos, los datos son la base del aprendizaje automático.

El objetivo del aprendizaje automático es diseñar metodologías de propósito general para extraer patrones valiosos de los datos, idealmente sin mucha experiencia específica del dominio. Por ejemplo, dado un gran corpus de documentos $por ejemplo, libros en muchas bibliotecas$, se pueden utilizar métodos de aprendizaje automático para encontrar automáticamente temas relevantes que se comparten en todos los documentos $Hoffman et al., 2010$. Para lograr este objetivo, diseñamos modelos que normalmente están relacionados con el proceso que genera los datos, de manera similar a modelar el conjunto de datos que se nos proporciona. Por ejemplo, en un entorno de regresión, el modelo describiría una función que asigna entradas a salidas de valor real. Parafraseando a Mitchell $1997$: se dice que un modelo aprende de los datos si su desempeño en una tarea dada mejora después de que se toman en cuenta los datos. El objetivo es encontrar buenos modelos que se generalicen bien a datos aún no vistos, que nos pueden interesar en el futuro.

El aprendizaje puede entenderse como una forma de aprendizaje para encontrar automáticamente patrones y estructuras en los datos mediante la optimización de los parámetros del modelo. Si bien el aprendizaje automático ha visto muchas historias de éxito y hay software disponible para diseñar y entrenar sistemas de aprendizaje automático ricos y flexibles, creemos que los fundamentos matemáticos del aprendizaje automático son importantes para comprender los principios fundamentales sobre los que se construyen los sistemas de aprendizaje automático más complejos. Comprender estos principios puede facilitar la creación de nuevas soluciones de aprendizaje automático, la comprensión y depuración de enfoques existentes y el aprendizaje sobre los supuestos y limitaciones inherentes de las metodologías con las que estamos trabajando. Un desafío al que nos enfrentamos regularmente en el aprendizaje automático es que los conceptos y las palabras son escurridizos, y un componente particular del sistema de aprendizaje automático puede abstraerse a diferentes conceptos matemáticos. Por ejemplo, la palabra “algoritmo” se usa en al menos dos sentidos diferentes en el contexto del aprendizaje automático. En el primer sentido, utilizamos la frase “algoritmo de aprendizaje automático” para referirnos a un sistema que realiza predicciones basadas en datos de entrada no previstos por el predictor. Nos referimos a estos algoritmos como predictores.

En el segundo sentido, utilizamos exactamente la misma frase “algoritmo de aprendizaje automático” para referirnos a un sistema que adapta algunos parámetros internos del predictor para que funcione bien con datos de entrada futuros no vistos. Aquí nos referimos a esta adaptación como entrenar un sistema. Este libro no resolverá el problema de la ambigüedad, pero queremos destacar de antemano que, según el contexto, las mismas expresiones pueden significar cosas diferentes. Sin embargo, intentamos hacer que el contexto sea lo suficientemente claro para reducir el nivel de ambigüedad. La primera parte de este libro presenta los conceptos matemáticos y los fundamentos necesarios para hablar sobre los tres componentes principales de un sistema de aprendizaje automático: datos, modelos y aprendizaje. Aquí describiremos brevemente estos componentes y los revisaremos nuevamente en el Capítulo 8 una vez que hayamos discutido los conceptos matemáticos necesarios. Si bien no todos los datos son numéricos, a menudo es útil considerar los datos en formato numérico. En este libro, asumimos que los datos ya se han convertido adecuadamente en una representación numérica adecuada para leerlos como vectores en un programa informático. Por lo tanto, pensamos en los datos como vectores.

Como otra ilustración de lo sutiles que son las palabras, hay $al menos$ tres formas diferentes de pensar en los vectores: un vector como una matriz de números $una visión de la ciencia informática$, un vector como una flecha con una dirección y magnitud $una visión de la física$ y un vector como un objeto que obedece a la adición y la escala $una visión matemática$. modelo Un modelo se utiliza normalmente para describir un proceso de generación de datos, similar al conjunto de datos en cuestión. Por lo tanto, los buenos modelos también pueden considerarse versiones simplificadas del proceso real $desconocido$ de generación de datos, capturando aspectos que son relevantes para modelar los datos y extrayendo patrones ocultos de ellos. Un buen modelo puede utilizarse entonces para predecir lo que sucedería en el mundo real sin realizar experimentos en el mundo real. aprendizaje Ahora llegamos al quid de la cuestión, el componente de aprendizaje del aprendizaje automático. Supongamos que se nos proporciona un conjunto de datos y un modelo adecuado.