2026-5 · Minería de Datos

Resumen semana 3

Creado: 10-07-2026 · Actualizado: 10-07-2026

Semana 3: Investigación cuantitativa y análisis exploratorio de datos

Asignatura: Minería de Datos · Código: ATDF105 · Unidad: Unidad 1, método científico en la ingeniería e investigación cuantitativa.

Resumen de la clase

La Semana 3 profundiza la investigación cuantitativa como enfoque para transformar datos medibles en evidencia útil para decisiones de ingeniería. La clase conecta una dimensión metodológica, basada en problema, objetivos, hipótesis, recolección, análisis e interpretación, con una dimensión práctica de análisis exploratorio de datos en Python usando el dataset Pima Indians Diabetes. El punto central es que la ingeniería no debe depender solo de intuición o experiencia: requiere métodos que permitan medir, comparar, justificar resultados y reconocer limitaciones.

Desde el enfoque SIRA, esta semana cumple una función puente. Primero, ordena cómo formular una investigación cuantitativa con variables observables, hipótesis verificables e instrumentos válidos. Luego, muestra cómo esa lógica se implementa en un notebook: cargar datos, identificar estructura, detectar valores faltantes ocultos, imputar, visualizar distribuciones, comparar grupos y evaluar normalidad. La clase prepara al estudiante para fundamentar conclusiones con evidencia y para evitar errores típicos como formular hipótesis ambiguas, interpretar gráficos sin contexto o limpiar datos sin justificar la decisión.

Qué aprenderás

Comprender el enfoque de investigación cuantitativa y su utilidad en ingeniería.
Formular problemas, objetivos e hipótesis medibles.
Distinguir variables, tipos de datos y niveles de medición.
Aplicar un análisis exploratorio inicial en Python.
Detectar ceros biológicamente imposibles y tratarlos como faltantes ocultos.
Interpretar histogramas, boxplots, conteos de clase, pruebas de normalidad y Q-Q plots.
Relacionar conclusiones estadísticas con evidencia, no con intuiciones aisladas.

Mapa conceptual o flujo principal

Etapa	Pregunta guía	Producto esperado
Problema	¿Qué fenómeno se quiere explicar o mejorar?	Pregunta investigable y delimitada.
Objetivos	¿Qué se busca lograr y cómo se operacionaliza?	Objetivo general y objetivos específicos.
Hipótesis	¿Qué relación entre variables se espera verificar?	Hipótesis clara, medible y falsable.
Datos	¿Qué variables permiten observar el fenómeno?	Dataset, instrumentos y criterios de medición.
EAD	¿Qué estructura, calidad y patrones tiene la información?	Resumen estadístico, visualizaciones y diagnóstico.
Interpretación	¿Qué evidencia respalda o limita las conclusiones?	Conclusiones prudentes y trazables.

Conceptos fundamentales

Investigación cuantitativa

Enfoque metodológico basado en medición, observación objetiva, hipótesis verificables y análisis estadístico. Su propósito es estudiar fenómenos mediante datos medibles para producir conclusiones fundamentadas.

Planteamiento del problema

Transforma una idea general en una pregunta investigable. Debe delimitar variables, revisar literatura, evaluar disponibilidad de datos y verificar factibilidad.

Objetivo general y objetivos específicos

El objetivo general describe el propósito central de la investigación. Los objetivos específicos descomponen ese propósito en acciones concretas, medibles y evaluables.

Hipótesis

Explicación provisional sobre la relación entre variables. Debe ser clara, específica, medible, teóricamente sustentada y comprobable. Una hipótesis útil permite contrastar evidencia, no solo declarar una opinión.

Recolección de datos

Proceso de obtención de información mediante instrumentos válidos, confiables y objetivos. La calidad de las conclusiones depende de la calidad del dato recolectado.

Análisis exploratorio de datos

Proceso inicial para inspeccionar estructura, calidad, distribución, valores faltantes, valores atípicos y patrones antes de modelar. En la clase se aplica con Python al dataset Pima Indians Diabetes.

Desarrollo de la clase

La clase organiza la investigación cuantitativa como una secuencia lógica: problema, objetivos, hipótesis, recolección de datos, análisis estadístico e interpretación. Esta secuencia evita que el análisis parta desde el algoritmo o desde una conclusión anticipada. Primero se define qué se quiere estudiar; luego se decide qué variables y datos permiten responder esa pregunta.

El profesor enfatiza que varios elementos ya habían sido discutidos en semanas anteriores, pero en Semana 3 se profundizan desde el enfoque cuantitativo. Esta repetición tiene sentido pedagógico: un problema mal formulado arrastra errores hacia los objetivos, la hipótesis, el dataset, el análisis y las conclusiones.

La segunda parte de la semana introduce el análisis exploratorio de datos. El notebook trabaja con datos clínicos Pima y permite observar un caso frecuente en minería de datos: valores que parecen numéricos válidos, pero que en realidad son imposibles o incoherentes según el dominio. En variables como glucosa, presión, pliegue cutáneo, insulina e índice de masa corporal, el valor cero debe revisarse porque puede representar un faltante oculto.

Aplicación práctica

La práctica utiliza Python para estructurar el dataset Pima Indians Diabetes, revisar sus variables, detectar valores problemáticos, imputar faltantes y generar visualizaciones. El objetivo no es entrenar un modelo todavía, sino preparar una base de análisis confiable.

Cargar datos desde un repositorio externo.
Asignar nombres de columnas.
Transformar la variable objetivo diabetes desde 0/1 a categorías neg/pos.
Revisar estructura con head(), info() y estadísticas descriptivas.
Detectar ceros biológicamente imposibles.
Reemplazar esos ceros por NaN.
Visualizar faltantes con heatmap.
Imputar con mediana.
Comparar distribuciones por diagnóstico mediante gráficos.
Evaluar normalidad con Shapiro-Wilk y Q-Q plot.

Fórmulas y notación

Hipótesis estadística: normalidad

H_0: X \sim \mathcal{N}(\mu,\sigma^2)

H_1: X \not\sim \mathcal{N}(\mu,\sigma^2)

p < \alpha \Rightarrow \text{rechazar } H_0

Variables: $X$ es la variable numérica evaluada; $\mu$ es la media; $\sigma$ es la desviación estándar; $p$ es el p-value; $\alpha$ es el nivel de significancia, usualmente 0,05.

Unidades: dependen de la variable evaluada. El p-value no tiene unidad.

Supuesto: la prueba se aplica a variables numéricas y se interpreta con un nivel de significancia definido.

Interpretación: si el p-value es menor que $\alpha$ , se rechaza la hipótesis de normalidad. La conclusión debe complementarse con inspección visual, especialmente cuando el tamaño muestral es grande.

Fórmula matemática: imputación por mediana

x_i^* = \begin{cases} x_i, & \text{si } x_i \text{ es válido} \\ \tilde{x}, & \text{si } x_i \text{ es faltante} \end{cases}

Variables: $x_i$ es el valor original; $x_i^*$ es el valor corregido; $\tilde{x}$ es la mediana de la variable.

Unidades: las mismas de la variable imputada.

Supuesto: la mediana es una medida robusta para reemplazar faltantes cuando existen posibles valores extremos.

Interpretación: permite completar valores faltantes sin desplazar tanto la distribución como podría hacerlo la media en presencia de outliers.

Código y notebook

Configuración y carga de datos

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from scipy.stats import shapiro

url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"
column_names = ["pregnant", "glucose", "pressure", "triceps", "insulin", "mass", "pedigree", "age", "diabetes"]
pima = pd.read_csv(url, names=column_names)
pima["diabetes"] = pima["diabetes"].map({0: "neg", 1: "pos"}).astype("category")

Entrada: URL externa y nombres de columnas. Transformación: lectura del CSV y recodificación de la variable objetivo. Salida: DataFrame estructurado. Riesgo: requiere internet; si la URL cambia, el notebook no se ejecuta.

Tratamiento de faltantes ocultos

invalid_zero_cols = ["glucose", "pressure", "triceps", "insulin", "mass"]

for col in invalid_zero_cols:
    pima[col] = pima[col].replace(0, np.nan)

for col in invalid_zero_cols:
    pima[col] = pima[col].fillna(pima[col].median())

Entrada: columnas clínicas con ceros imposibles o sospechosos. Transformación: ceros a NaN e imputación con mediana. Salida: dataset preparado para análisis exploratorio. Riesgo: no todo cero es inválido en cualquier dataset; la decisión depende del dominio.

Evaluación de normalidad

stat, p_value = shapiro(pima["glucose"])

if p_value < 0.05:
    print("Se rechaza H0: la variable no sigue distribución normal.")
else:
    print("No se rechaza H0: no hay evidencia suficiente contra normalidad.")

Entrada: variable numérica. Transformación: prueba Shapiro-Wilk. Salida: estadístico y p-value. Interpretación: la decisión depende del nivel de significancia y debe contrastarse con gráficos.

Visualizaciones relevantes

Visualización	Qué observar	Decisión asociada
Heatmap de faltantes	Columnas con valores ausentes tras convertir ceros inválidos a `NaN`.	Decidir imputación o tratamiento de faltantes.
Countplot de `diabetes`	Balance entre clases `neg` y `pos`.	Evaluar si el análisis posterior debe considerar desbalance.
Boxplot por diagnóstico	Diferencias de distribución y posibles outliers por grupo.	Comparar variables clínicas sin afirmar causalidad directa.
Q-Q plot	Ajuste visual de una variable a la normalidad.	Complementar la prueba Shapiro-Wilk.

Recomendaciones del profesor

Recomendación del profesor — Para la evaluación
Revisar las indicaciones del primer control y considerar que tiene formato de alternativas, tiempo limitado y plazo comunicado en clase.

Recomendación del profesor — Para el notebook
Ejecutar el notebook, revisar los datos paso a paso y no quedarse solo con el código: se debe entender qué significa cada transformación.

Recomendación del profesor — Para interpretar resultados
No interpretar gráficos o pruebas estadísticas como conclusiones automáticas. Las conclusiones deben vincularse con el problema, las variables y la evidencia.

Interpretación técnica
La semana exige conectar metodología y código: una hipótesis mal formulada o una variable mal tratada puede invalidar el análisis posterior aunque el notebook se ejecute sin errores.

Errores frecuentes

Error	Consecuencia	Cómo evitarlo
Formular objetivos vagos.	No se puede medir el avance ni evaluar resultados.	Usar verbos observables y variables delimitadas.
Confundir hipótesis con opinión.	No existe contraste empírico posible.	Definir relación verificable entre variables.
Tratar ceros imposibles como datos reales.	Distorsiona estadísticas y visualizaciones.	Validar cada variable con criterio de dominio.
Imputar sin justificar.	El análisis pierde trazabilidad.	Explicar por qué se usa mediana, media u otro método.
Interpretar p-value como magnitud del efecto.	Se exagera o malinterpreta el resultado.	Separar significancia estadística de relevancia práctica.
Afirmar causalidad por observar asociación.	Conclusiones metodológicamente débiles.	Usar lenguaje prudente y reconocer límites del EAD.

Actividad o evaluación asociada

Actividad de cierre

La presentación solicita identificar variables, formular una hipótesis, proponer un método de recolección e interpretar inicialmente un conjunto de datos desordenado. Esta actividad refuerza la conexión entre problema, variables, hipótesis y análisis.

Evaluación asociada

La transcripción de clase indica que la Sumativa 1 o primer control fue comunicada con plazo al 7 de julio, 24 puntos, 20 minutos, sin múltiples intentos, peso de 10% y formato de alternativas.

Advertencia temporal: esa información fue comunicada en la clase de Semana 3. El plazo puede haber vencido o haber sido actualizado; verificar siempre la plataforma oficial.

Síntesis

La Semana 3 enseña que la investigación cuantitativa y el análisis exploratorio no son procesos separados. Una buena pregunta define qué variables importan; una hipótesis clara orienta qué relaciones observar; y un EAD riguroso permite conocer la estructura y calidad del dataset antes de modelar. En ingeniería, esta secuencia reduce decisiones intuitivas y aumenta la trazabilidad de las conclusiones.

Preguntas de autoevaluación

Comprensión

¿Qué caracteriza a una investigación cuantitativa?
¿Cuál es la diferencia entre objetivo general y objetivos específicos?
¿Por qué una hipótesis debe ser medible y falsable?
¿Qué significa que un instrumento sea válido, confiable y objetivo?
¿Qué aporta el análisis exploratorio antes del modelamiento?

Aplicación

Si una variable clínica registra ceros imposibles, ¿cómo decidirías si son datos válidos o faltantes?
¿Cómo justificarías el uso de mediana para imputar valores faltantes?
¿Qué gráfico usarías para comparar una variable numérica entre diagnósticos y por qué?

Interpretación

Si Shapiro-Wilk entrega $p < 0.05$ , ¿qué se concluye y qué no se concluye?
¿Por qué un boxplot con diferencias entre grupos no prueba causalidad?

Análisis crítico

Mini caso: tienes un dataset de producción con tiempos de ciclo, costos y defectos. Formula una hipótesis cuantitativa, define dos variables medibles y explica qué análisis exploratorio inicial aplicarías.

Checklist de dominio

Puedo explicar el enfoque cuantitativo.
Puedo formular objetivos medibles.
Puedo distinguir hipótesis nula y alternativa.
Puedo detectar faltantes ocultos en un dataset.
Puedo justificar imputación por mediana.
Puedo interpretar histogramas, boxplots y Q-Q plots.
Puedo interpretar una prueba de normalidad sin exagerar su alcance.
Puedo conectar problema, hipótesis, variables y análisis.

Recursos y referencias

Transcripción principal: Clase 3.docx.
Presentación oficial: Clase_03.pptx.
Guía institucional: ATDF105_U1_T3.pdf.
Notebook: Notebook_01-Semana_03.ipynb.
Material complementario: PDF3_Analisis Exploratorio de Datos EAD.pdf.
Ejemplo metodológico: Tema 3 U1 Ejemplo_ 202615.2691 _ MINERÍA DE DATOS.pdf.
Transcripción complementaria: Transcripcion_video_Fase2_U2_ATDF105.pdf.

Fuentes y trazabilidad

Fuentes procesadas: transcripción de clase, presentación oficial, guía institucional, notebook de Semana 3 y materiales complementarios de EAD e investigación cuantitativa.

Fuentes no procesadas directamente: MP3 y MP4 de la grabación, porque existe transcripción principal disponible en Clase 3.docx.

Criterio editorial: el inventario técnico se mantiene fuera del inicio del HTML para cumplir SIRA v2 y la plantilla HTML importable. La trazabilidad visible queda al final.