¿Cuál es la diferencia entre un parámetro y un hiperparámetro?
Puede resultar confuso iniciarse en el aprendizaje automático aplicado.
Hay muchísimos términos para usar y es posible que muchos de ellos no se usen de manera consistente. Esto es especialmente cierto si proviene de otro campo de estudio que puede usar algunos de los mismos términos que el aprendizaje automático, pero se usan de manera diferente.
Por ejemplo: los términos “parámetro del modelo” y “hiperparámetro del modelo”.
No tener una definición clara de estos términos es una lucha común para los principiantes, especialmente aquellos que provienen del campo de la estadística o la economía.
En esta publicación, analizaremos más de cerca estos términos.
¿Qué es un parámetro de modelo?
Un parámetro de modelo es una variable de configuración interna del modelo y cuyo valor puede estimarse a partir de datos.
- Son requeridos por el modelo al hacer predicciones.
- Estos valores definen la habilidad del modelo en su problema.
- Se estiman o aprenden de los datos.
- A menudo el profesional no los configura manualmente.
- A menudo se guardan como parte del modelo aprendido.
Los parámetros son clave para los algoritmos de aprendizaje automático. Son la parte del modelo que se aprende a partir de datos históricos de entrenamiento.
En la literatura clásica sobre aprendizaje automático, podemos pensar en el modelo como la hipótesis y los parámetros como la adaptación de la hipótesis a un conjunto específico de datos.
A menudo, los parámetros del modelo se estiman mediante un algoritmo de optimización, que es un tipo de búsqueda eficiente a través de posibles valores de parámetros.
- Estadísticas: en estadística, se puede asumir una distribución para una variable, como una distribución gaussiana. Dos parámetros de la distribución gaussiana son la media (mu) y la desviación estándar (sigma). Esto es válido en el aprendizaje automático, donde estos parámetros pueden estimarse a partir de datos y usarse como parte de un modelo predictivo.
- Programación: En programación, puedes pasar un parámetro a una función. En este caso, un parámetro es un argumento de función que podría tener uno de un rango de valores. En el aprendizaje automático, el modelo específico que está utilizando es la función y requiere parámetros para poder hacer una predicción sobre nuevos datos.
El hecho de que un modelo tenga un número fijo o variable de parámetros determina si puede denominarse “paramétrico” o “no paramétrico”.
Algunos ejemplos de parámetros del modelo incluyen:
- Los pesos en una red neuronal artificial.
- Los vectores de soporte en una máquina de vectores de soporte.
- Los coeficientes en una regresión lineal o regresión logística.
¿Qué es un hiperparámetro de modelo?
Un hiperparámetro del modelo es una configuración externa al modelo y cuyo valor no se puede estimar a partir de datos.
- A menudo se utilizan en procesos para ayudar a estimar los parámetros del modelo.
- A menudo los especifica el médico.
- A menudo se pueden establecer mediante heurísticas.
- A menudo se ajustan a un problema de modelado predictivo determinado.
No podemos conocer el mejor valor para un hiperparámetro del modelo en un problema determinado. Podemos usar reglas generales, copiar valores utilizados en otros problemas o buscar el mejor valor mediante prueba y error.
Cuando un algoritmo de aprendizaje automático se ajusta para un problema específico, como cuando se utiliza una búsqueda de cuadrícula o una búsqueda aleatoria, entonces se ajustan los hiperparámetros del modelo o se ordena descubrir los parámetros del modelo que resultan en la solución más hábil. predicciones
Muchos modelos tienen parámetros importantes que no pueden estimarse directamente a partir de los datos. Por ejemplo, en el modelo de clasificación de vecinos más cercanos K... Este tipo de parámetro del modelo se conoce como parámetro de ajuste porque no existe una fórmula analítica disponible para calcular un valor apropiado.
— Páginas 64-65, Modelado predictivo aplicado, 2013
Los hiperparámetros del modelo a menudo se denominan parámetros del modelo, lo que puede generar confusión. Una buena regla general para superar esta confusión es la siguiente:
Si tiene que especificar un parámetro del modelo manualmente,
probablemente sea un hiperparámetro del modelo.
Algunos ejemplos de hiperparámetros del modelo incluyen:
- La tasa de aprendizaje para entrenar una red neuronal.
- Los hiperparámetros C y sigma para máquinas de vectores de soporte.
- La k en k-vecinos más cercanos.
Lectura adicional
- Hiperparámetro en Wikipedia
- ¿Qué son los hiperparámetros en el aprendizaje automático? en Quora
- ¿Cuál es la diferencia entre los hiperparámetros del modelo y los parámetros del modelo? en StackExchange
- ¿Qué se considera un hiperparámetro? en Reddit
Resumen
En esta publicación, descubrió las definiciones claras y la diferencia entre los parámetros del modelo y los hiperparámetros del modelo.
En resumen, los parámetros del modelo se estiman automáticamente a partir de los datos y los hiperparámetros del modelo se configuran manualmente y se utilizan en procesos para ayudar a estimar los parámetros del modelo.
Los hiperparámetros del modelo a menudo se denominan parámetros porque son las partes del aprendizaje automático que deben configurarse y ajustarse manualmente.
¿Esta publicación te ayudó a aclarar la confusión?
Déjamelo saber en los comentarios a continuación.
¿Hay parámetros o hiperparámetros del modelo de los que todavía no estás seguro?
Publícalos en los comentarios y haré todo lo posible para ayudar a aclarar las cosas aún más.