Árboles de decisión

Representación de conocimiento a raíz de árboles de decisión.

Introducción

Los árboles de decisión son del ML supervisado, a partir de instancias que ya conocemos el concepto al que pertenecen. Las entradas pueden ser discretas o continuas, pero las salidas siempre discretas.

Jugar al aire libre

Hay 14 instancias (filas), para saber si podemos o no jugar al aire libre. Hay varios atributos (columnas) en este set de datos. Se quiere aprender cuál es la función objetivo. La entrada será los atributos de las instancias, y la salida será la clase o conceptos.

El resultado final es un árbol de decisión. Hay que definir de qué consta el árbol de decisión. Existen unos nodos (atributos), unos enlaces que conecten los nodos y unas hojas que nos dicen si podemos o no jugar en el exterior. La función objetivo se define como un mapeo de reglas con las funciones AND y OR.

  • Nodos: atributos
  • Arcos: valores de los atributos
  • Hojas: clases
  • Rama: condiciones desde la raíz hasta las hojas.

La clasificación con el AD compara los valores de los atributos de una instancia cuya clase es desconocida con las ramas del AD. De este modo nos dice a qué clase pertenece.

Cómo se hace esta tarea de inducción de conocimiento

Inducción: extraer a partir d

Los AD son adecuados cuando las instancias representadas por pares, cuando los atributos de entrada con valores nominales o numéricos, cuando los valores de salida de la función objetivo discretos, o cuando existen errores o valores de atributos desconocidos en entrenamiento.

Las ventajas de un AD es que son fáciles de comprender y mapear. Trabajan con todo tipo de datos e incluso multidimensionales. No se requiere un conocimiento previo en un dominio. Las desventajas es que los atributos de salida son discretos y no permiten múltiples atributos de salida. Además si los AD pueden ser muy complejos.

Tarea de inducción

La TI se basa en la hipótesis del aprendizaje inductivo de conceptos. Es decir, si la hipótesis que encaje suficientemente bien con un conjunto suficientemente grande de ejemplos de entrenamiento también encajará bien con instancias nuevas.

La TI del AD encuentra el árbol que mejor encaje con los datos de ejemplo ya clasificados. El espacio de hipótesis es el conjunto de todos los AD posibles. El método de selección de atributos es el criterio utilizado para generar diferentes ramas del árbol.

Descripción de la tarea de inducción: algoritmo para construir el AD – 9 Pasos:

Algoritmo básico de aprendizaje de AD: ID3

Es un algoritmo de divide

Método de ganancia de información es el que organiza los atributos a la hora de construir un AD. Están basados en la entropía, que caracteriza la heterogeneidad de un conjunto de ejemplos. La GI mide la efectividad al distribuir los ejemplos de acuerdo a los valores de un atributo.

Se calcula el valor de entropía para cada atributo y con ello la ganancia. El orden de los nodos a la hora de constuir el AD va en relación a estos valores.

Espacio de búsqueda y bias inductivo

El bias inductivo lo que considera cuáles son todas las hiopótesis, para seleccionar las más adecuadas en cada momento. En ID3 teien preferenca por árboles cortos que sitúan los atributos de mayor ganancia cerca de la raíz. Al preferir árboles cortos

Estrategia para evitar el sobreajuste: prepoda y pospoda

Deja un comentario