El dato que no encaja

Un péndulo y una lectura desconcertante

Imagina que estás midiendo el período de un péndulo. Las primeras lecturas son bastante parecidas: cada oscilación tarda algo menos de 4 segundos. Entonces aparece un resultado de apenas 1.8 segundos que rompe la regularidad. ¿Falló el cronómetro? ¿Anotaste mal? ¿O sucedió algo que todavía no entiendes?

Consideremos seis mediciones del período, expresadas en segundos (Taylor, 2022):

Con las seis lecturas, el promedio es aproximadamente 3.38 segundos. Pero, si excluimos la última, sube a 3.70 segundos. La decisión sobre un único dato cambia de forma considerable nuestra respuesta a una pregunta aparentemente sencilla: ¿cuánto tarda el péndulo en completar una oscilación?

Extraño no significa falso

Un dato atípico (outlier, en inglés) es una observación que se aparta de forma llamativa del patrón de los demás datos. Esa descripción no explica su causa. Puede haber un error de transcripción, una falla del instrumento o una alteración de las condiciones del experimento. También puede tratarse de una fluctuación poco frecuente pero legítima, o de un fenómeno que nuestro modelo no contempla.

Si descubres que el cronómetro se detuvo durante la última medición, tienes una razón experimental para invalidarla. Es distinto de eliminarla porque reduce la elegancia de una gráfica. En el primer caso existe evidencia sobre cómo se obtuvo el dato; en el segundo, solo sabemos que no se parece a sus vecinos.

De ahí surge un dilema: conservar una medición incorrecta puede distorsionar el análisis, pero descartar una medición auténtica puede ocultar lo más interesante del experimento. Una prueba estadística ayuda a examinar la discrepancia, pero no identifica por sí sola lo que ocurrió.

Conviene distinguir entre señalar una observación para investigarla, contrastar su compatibilidad con un modelo y adaptar el análisis para reducir su influencia. Ninguna de esas decisiones implica, por sí misma, borrar el dato (NIST, 2012).

Una regla para medir la sospecha

El criterio de Chauvenet parte de una pregunta: si todas las mediciones procedieran de una misma distribución normal, ¿cuántos resultados tan alejados como el sospechoso esperaríamos encontrar en una muestra de este tamaño?

Primero calculamos la media $\overline{x}$ y la desviación estándar muestral $s$ usando todos los datos, incluido el que nos parece extraño. Para $N$ mediciones:

La media describe el centro del conjunto y la desviación estándar, su dispersión. Con ellas expresamos la distancia del dato sospechoso, $x_{\mathrm{sosp}}$, en unidades de esa dispersión:

Un valor $t=2$ significa que la lectura está a dos desviaciones estándar de la media. No importa si está por arriba o por abajo: el valor absoluto trata ambas posibilidades de la misma manera. Aquí $t$ es una distancia estandarizada, no una prueba de Student.

Después consultamos la distribución normal para estimar la probabilidad de observar una desviación al menos tan grande, contando las dos colas:

donde $\Phi$ es la función de distribución acumulada de una normal estándar. Finalmente multiplicamos por el tamaño de la muestra:

La regla convencional de Chauvenet considera rechazable el dato si el número esperado de observaciones tan extremas es menor que media unidad:

Esto no significa que existan “medias mediciones”. Es una expectativa: al repetir muchas series del mismo tamaño bajo ese modelo, el promedio de resultados tan extremos sería inferior a uno por cada dos series. El umbral de 0.5 es una convención del criterio, no una frontera física entre verdad y error.

¿Qué ocurre con los 1.8 segundos?

Para las seis mediciones del péndulo obtenemos:

La distancia estandarizada del valor sospechoso es:

En el modelo normal, una desviación de esa magnitud o mayor tiene una probabilidad bilateral aproximada de 4.88%. Al considerar las seis lecturas:

Como $0.293<0.5$, la lectura cumple el criterio de rechazo. La conclusión prudente es que merece una revisión y podría considerarse su exclusión, no que hayamos demostrado que el cronómetro falló. En particular, ese 4.88% no es la probabilidad de que la medición sea correcta o errónea: describe resultados extremos bajo el modelo supuesto.

Los cálculos se han realizado sin redondear los valores intermedios; los resultados mostrados se presentan con unas pocas cifras para facilitar su lectura.

Lo raro depende de cuántas veces mires

Encontrar un resultado poco frecuente entre seis intentos no tiene el mismo significado que encontrarlo entre mil. Bajo una normal, aproximadamente 4.55% de las observaciones se apartan al menos dos desviaciones estándar de la media verdadera. En mil mediciones esperaríamos alrededor de 45 con esa característica. No sería razonable tratarlas a todas como equivocaciones.

Por eso Chauvenet ajusta la exigencia al tamaño de la muestra: cuanto mayor sea $N$, más lejos debe encontrarse una observación para cumplir la regla. Estos son algunos umbrales aproximados de $t$:

Los valores provienen de resolver $2N[1-\Phi(t)]=0.5$. Son una ayuda para interpretar el criterio, no una garantía de que el modelo normal describa nuestro experimento.

La cuenta que conviene hacer dos veces

Cuando no hay una causa externa clara, una estrategia útil es realizar el análisis con el dato sospechoso y sin él. En lugar de ocultar una decisión discutible, hacemos visible cuánto depende de ella la conclusión (Taylor, 2022).

Al retirar la lectura, el promedio aumenta unos 0.32 segundos y la dispersión disminuye mucho. Eso describe la influencia del dato, no demuestra que el segundo resultado sea más verdadero. La tabla muestra desviaciones estándar de las lecturas, no incertidumbres de sus medias.

Si una conclusión importante cambia al incluir una sola observación, esa sensibilidad debe aparecer en el informe. Puede indicar que hace falta reunir más evidencia, no que debamos elegir el conjunto que produce la respuesta más conveniente.

También existe otra alternativa a simplemente conservar o eliminar el dato atípico: emplear métodos estadísticos robustos, que limiten la influencia de observaciones extremas. Su elección debe responder al objetivo del análisis y no a la búsqueda de un resultado favorable (NIST, 2012).

La trampa de limpiar hasta que todo encaje

El criterio tiene límites importantes. Con pocas mediciones, la desviación estándar es una estimación poco estable: un pequeño cambio en ella puede modificar bastante la probabilidad calculada. Además, una distribución asimétrica, con colas más largas que las de una normal, o una mezcla de condiciones experimentales puede producir valores alejados sin que exista una falla de medición.

Hay otra tentación: eliminar un punto, recalcular la dispersión y repetir la prueba sobre los que quedan. A medida que el conjunto se estrecha, nuevas observaciones pueden parecer sospechosas. Esa aplicación sucesiva del criterio con estadísticas recalculadas no está justificada. Recalcular el resultado después de una exclusión justificada no equivale a iniciar otra ronda de eliminación (Taylor, 2022).

Si varios puntos resultan extraños, conviene revisar el experimento completo. Quizá hubo un cambio de instrumento, dos regímenes de funcionamiento o una tendencia temporal. El procedimiento para un único sospechoso no debe convertirse en una orden automática para borrar varios.

Además, varios valores extremos pueden “enmascararse” al alterar el centro y la dispersión usados para detectarlos. Un procedimiento mal elegido también puede señalar observaciones legítimas. Por eso las pruebas deben complementarse con una inspección gráfica (NIST, 2012).

Antes de descartar una medición

• Busca una explicación experimental. Revisa unidades, transcripciones, horarios, cambios de instrumento y condiciones de adquisición.
• Repite la medición cuando sea posible. Una nueva observación puede aportar más información que otra regla aplicada a los mismos pocos datos.
• Examina el patrón completo. Representa los datos y comprueba si hay tendencias, grupos o cambios en el tiempo que cuestionen el modelo.
• Compara ambas conclusiones. Explica qué cambia al conservar o excluir la observación y evita elegir el criterio después de ver qué resultado te favorece.
• Conserva el registro original. Excluir un dato del cálculo no requiere borrarlo de la fuente. Documenta cuál se excluyó, la razón y el procedimiento utilizado.

Una alerta, no una sentencia

El valor del criterio de Chauvenet está en reemplazar una impresión vaga por la pregunta cuantificable de ¿qué tan inusual es esta observación bajo nuestros supuestos? Su límite es igualmente importante, porque ninguna operación matemática puede recuperar, por sí sola, lo que ocurrió en el laboratorio.

Ante el dato que no encaja, la mejor primera reacción no es borrarlo, sino prestar atención. Puede ser una equivocación. Puede ser una fluctuación legítima. O puede estar mostrando que nuestra explicación del experimento todavía está incompleta.

Referencias

• NIST. (2012). Detection of outliers. En NIST/SEMATECH e-Handbook of statistical methods (sección 1.3.5.17). National Institute of Standards and Technology (NIST). DOI: 10.18434/M32189
• Taylor, J. R. (2022). An introduction to error analysis: The study of uncertainties in physical measurements (3rd ed.). University Science Books.