Datos generales

Tema central: preparación, limpieza, calidad de datos, vista minable, reducción de dimensionalidad y aplicación práctica con regresión logística/lineal.

Actividad asociada: Sumativa 2. Reporte de limpieza de datos organizacionales.

Resumen de la clase

La Semana 4 se centra en la preparación de datos como etapa crítica previa al modelamiento. La idea principal es que un modelo no corrige datos malos: antes de aplicar algoritmos se deben revisar fuentes, estructura, calidad, valores faltantes, ruido, inconsistencias, duplicados y valores atípicos. La clase organiza el flujo de minería de datos desde el problema y la obtención de datos hasta la preparación, modelado, evaluación e implementación. En este flujo, la preparación suele concentrar gran parte del trabajo porque transforma datos brutos en una vista minable: una base limpia, integrada, relevante y lista para aplicar minería de datos.

La clase también introduce la reducción de dimensionalidad mediante PCA, especialmente útil cuando existen muchas variables o variables correlacionadas que aumentan complejidad, tiempo de procesamiento, riesgo de sobreajuste y dificultad de interpretación. En la parte práctica, el notebook trabaja con el dataset Pima para imputación, normalización, partición entrenamiento/prueba, regresión logística, matriz de confusión, métricas de clasificación y regresión lineal múltiple. La evaluación Sumativa 2 exige aplicar estos criterios a un dataset organizacional, documentar decisiones de limpieza y justificar si corresponde aplicar PCA.

Qué aprenderás

• Identificar fuentes de información y tipos de datos según su estructura.
• Diagnosticar calidad de datos mediante EDA, estadísticas y visualizaciones.
• Tratar datos faltantes, ruidosos, inconsistentes y valores atípicos.
• Construir una vista minable para modelamiento posterior.
• Explicar cuándo puede ser pertinente aplicar PCA.
• Interpretar matriz de confusión, exactitud, precisión, sensibilidad y F1-score.
• Conectar notebook, informe y presentación con la Sumativa 2.

Mapa conceptual o flujo principal

El flujo exige justificar cada decisión. Si una columna se elimina, se imputa, se transforma o se conserva, la razón debe quedar documentada en el informe y ser coherente con la evidencia del análisis exploratorio.

Conceptos fundamentales

Desarrollo de la clase

Preparar datos antes de modelar

La preparación no es una etapa administrativa: define la confiabilidad del análisis. Si el dataset contiene duplicados, fechas mal formateadas, faltantes, errores de digitación o valores imposibles, el modelo puede aprender patrones falsos. Por eso, antes de entrenar se debe revisar estructura, calidad y coherencia.

Fuentes y estructura de datos

Una fuente puede ser primaria, secundaria o terciaria según el contexto. Además, los datos pueden ser estructurados, semiestructurados o no estructurados. Esta clasificación condiciona el esfuerzo de limpieza y transformación.

EDA, limpieza y vista minable

El análisis exploratorio debe permitir comprender los datos, detectar errores, encontrar patrones, descubrir relaciones, observar distribuciones y preparar el modelamiento. La vista minable integra limpieza, selección, transformación y variables relevantes.

Reducción de dimensionalidad

PCA se introduce como técnica para conservar gran parte de la información en menos componentes. Es pertinente cuando hay muchas variables, alta correlación, costo computacional o riesgo de sobreajuste. En la Sumativa 2 no basta aplicarlo: se debe justificar si corresponde o no.

Aplicación práctica

Notebook de clase: Pima

El notebook oficial trabaja con imputación por mediana, normalización, partición 80/20, regresión logística para diabetes y regresión lineal múltiple para glucosa.

Notebook de evaluación: Telco Customer Churn

El dataset contiene 7.043 observaciones y 21 variables originales. La variable objetivo es Churn. El notebook detecta que TotalCharges aparece como texto y genera 11 faltantes ocultos al convertirse a variable numérica. Esos casos se imputan como 0 porque corresponden a clientes con tenure = 0.

• customerID se elimina por ser identificador único.
• SeniorCitizen se recodifica como No / Yes.
• Categorías como No internet service y No phone service se conservan porque representan condiciones reales.
• PCA se evalúa después de codificar variables categóricas y escalar variables numéricas, pero se recomienda conservar variables originales en el informe por interpretabilidad.

Fórmulas y notación

Fórmula matemática: estandarización

Variables: $x$ es el valor original; $\mu$ la media; $\sigma$ la desviación estándar. Interpretación: deja las variables en escala comparable y sin unidad.

Fórmula matemática: regresión logística

Uso: estimar probabilidad de una clase binaria, como presencia de diabetes. Supuesto: la relación lineal se da sobre el logit de la probabilidad.

Fórmula matemática: regresión lineal múltiple

Uso: predecir una variable continua, como glucose. Interpretación: cada coeficiente estima el cambio esperado en $Y$, manteniendo constantes las demás variables.

Métricas de clasificación

Variables: $TP$, $TN$, $FP$, $FN$ provienen de la matriz de confusión. Interpretación: exactitud mide aciertos globales; precisión mide confiabilidad de alertas positivas; sensibilidad mide detección de positivos reales; F1 equilibra precisión y sensibilidad.

Regla de decisión: IQR

Los valores fuera de estos límites son candidatos a outliers. No deben eliminarse automáticamente.

Código y notebook

Imputación por mediana

invalid_zero_cols = ['glucose', 'pressure', 'triceps', 'insulin', 'mass']
for col in invalid_zero_cols:
    pima_imputada[col] = pima_imputada[col].replace(0, np.nan)

for col in invalid_zero_cols:
    median_value = pima_imputada[col].median()
    pima_imputada[col] = pima_imputada[col].fillna(median_value)

Entrada: variables clínicas con ceros inválidos. Salida: dataset imputado. Riesgo: no todo cero es inválido en cualquier dominio.

Normalización y partición

X = pima_imputada.drop(columns=['diabetes'])
y = pima_imputada['diabetes']

scaler = StandardScaler()
X_scaled = pd.DataFrame(scaler.fit_transform(X), columns=X.columns)

X_train, X_test, y_train, y_test = train_test_split(
    X_scaled, y, test_size=0.20, random_state=42, stratify=y
)

Interpretación: la semilla permite reproducibilidad y stratify=y conserva proporción de clases.

Faltantes ocultos en Telco

df["TotalCharges_numeric"] = pd.to_numeric(df["TotalCharges"], errors="coerce")
faltantes_totalcharges = df["TotalCharges_numeric"].isna().sum()

telco["TotalCharges"] = telco["TotalCharges_numeric"].fillna(0)
telco = telco.drop(columns=["TotalCharges_numeric"])
telco_analitico = telco.drop(columns=["customerID"])

Interpretación: la conversión revela 11 faltantes ocultos. La imputación a 0 se justifica porque corresponden a clientes con permanencia inicial.

Recomendaciones del profesor

Errores frecuentes

Actividad o evaluación asociada

Sumativa 2. Reporte de limpieza de datos organizacionales. Modalidad grupal, 99 puntos, 15% de la nota de presentación. La entrega solicitada es un archivo comprimido en el buzón de Semana 4.

Productos esperados: informe Word, video de 10 a 15 minutos, script o notebook en R/Python y dataset empleado.

La presentación sugerida incluye información institucional, introducción, objetivos, descripción del dataset, gráficos categóricos, estadísticas descriptivas, histograma, normalidad, outliers, relación numérica-categórica, faltantes, matriz de correlación, conclusiones y referencias APA.

Síntesis

La Semana 4 conecta teoría, práctica y evaluación. La preparación de datos es el puente entre un problema organizacional y un modelo confiable. El estudiante debe demostrar que sabe diagnosticar un dataset, detectar problemas, tomar decisiones justificadas, construir una vista minable y explicar si la reducción de dimensionalidad aporta o no al caso. La parte práctica muestra cómo esas decisiones se traducen en Python: imputar, escalar, separar datos, entrenar modelos, evaluar resultados y documentar salidas.

Preguntas de autoevaluación

Comprensión

1. ¿Por qué la preparación de datos puede determinar la calidad del modelo más que el algoritmo elegido?
2. ¿Cuál es la diferencia entre fuente primaria, secundaria y terciaria?
3. ¿Qué distingue un dato faltante explícito de un faltante oculto?
4. ¿Qué es una vista minable y qué etapas la componen?
5. ¿Por qué PCA puede mejorar eficiencia pero reducir interpretabilidad?

Aplicación

1. Si una variable numérica está guardada como texto, ¿qué revisión harías antes de calcular estadísticas?
2. En un dataset con 5% de faltantes en una variable crítica, ¿qué criterios usarías para decidir entre eliminar e imputar?
3. ¿Cómo usarías un boxplot y la regla IQR para detectar outliers sin eliminarlos automáticamente?

Interpretación

1. Si un modelo tiene exactitud alta pero sensibilidad baja, ¿qué problema puede existir en un contexto médico?
2. Si PCA requiere muchas componentes para explicar 80% de la varianza, ¿qué concluirías sobre su utilidad práctica?

Análisis crítico

1. Mini caso: tu equipo usa un dataset de clientes sin faltantes explícitos. Al convertir una columna de pagos desde texto a número aparecen 20 NaN, todos en clientes nuevos. ¿Cómo documentarías el diagnóstico, la decisión de limpieza y la justificación para el informe?

Checklist de dominio

• Puedo explicar por qué se preparan los datos antes de modelar.
• Puedo clasificar fuentes de información y estructuras de datos.
• Puedo detectar faltantes explícitos y ocultos.
• Puedo justificar una imputación, eliminación o transformación.
• Puedo construir el concepto de vista minable.
• Puedo interpretar una matriz de confusión.
• Puedo calcular exactitud, precisión, sensibilidad y F1.
• Puedo explicar cuándo PCA es pertinente.
• Puedo alinear informe, notebook, video y rúbrica de la Sumativa 2.

Recursos y referencias

• Presentación oficial: Clase 4, Preparación de Datos para Minería de Datos.
• Transcripción de clase: Clase 4.
• Guía institucional: Semana 04. Sumativa 2. Reporte de limpieza de datos organizacionales.
• Notebook oficial: Notebook_2-Semana_04.ipynb.
• Dataset de actividad: Telco Customer Churn.
• Referencias presentes en notebook Telco: IBM Telco Customer Churn; McKinney (2022); Pedregosa et al. (2011); Waskom (2021).