Regresión isotónica

En estadística y análisis numérico, la regresión isotónica o regresión monótona es un tipo de regresión no paramétrica para ajustar una línea de forma libre a una secuencia de observaciones de tal manera que la línea ajustada sea no decreciente (o no creciente) en todas partes, y se sitúe lo más cerca posible de las observaciones.

La regresión isotónica tiene aplicaciones en inferencia estadística. Por ejemplo, puede usarse para ajustar una curva isotónica a las medias de un conjunto de resultados experimentales cuando se espera un aumento en esas medias según un orden particular. Una ventaja de la regresión isotónica es que no está restringida por ninguna forma funcional, como la linealidad impuesta por la regresión lineal, siempre que la función sea monótona creciente.

Otra aplicación es el escalamiento multidimensional no métrico,^[1]​ donde se busca un encaje de baja dimensión para puntos de datos tal que el orden de las distancias entre puntos en el encaje coincida con el orden de disimilitud entre puntos. La regresión isotónica se usa iterativamente para ajustar distancias ideales que preserven el orden relativo de disimilitud.

La regresión isotónica también se utiliza en clasificación probabilística para calibrar las probabilidades predichas de modelos de aprendizaje automático supervisado.^[2]​

La regresión isotónica para el caso simplemente ordenado con variables univariadas ${\displaystyle x,y}$ se ha aplicado a la estimación de relaciones dosis-respuesta continuas en campos como la anestesiología o la toxicología. Estrictamente hablando, la regresión isotónica solo proporciona estimaciones puntuales en los valores observados de ${\displaystyle x.}$ La estimación de la curva completa de dosis-respuesta sin suposiciones adicionales generalmente se realiza mediante interpolación lineal entre las estimaciones puntuales. ^[3]​

Se ha desarrollado software para calcular la regresión isotónica (monótona) para R,^[4]​^[5]​^[6]​ Stata y Python.^[7]​

Sean ${\displaystyle (x_{1},y_{1}),\ldots ,(x_{n},y_{n})}$ un conjunto dado de observaciones, donde los ${\displaystyle y_{i}\in \mathbb {R} }$ y los ${\displaystyle x_{i}}$ pertenecen a algún conjunto parcialmente ordenado. Para generalizar, cada observación ${\displaystyle (x_{i},y_{i})}$ puede tener un peso ${\displaystyle w_{i}\geq 0}$, aunque comúnmente ${\displaystyle w_{i}=1}$ para todo ${\displaystyle i}$.

La regresión isotónica busca un ajuste por mínimos cuadrados ponderados ${\displaystyle {\hat {y}}_{i}\approx y_{i}}$ para todo ${\displaystyle i}$, sujeto a la restricción de que ${\displaystyle {\hat {y}}_{i}\leq {\hat {y}}_{j}}$ siempre que ${\displaystyle x_{i}\leq x_{j}}$. Esto da lugar la siguiente suma de cuadrados en las variables ${\displaystyle {\hat {y}}_{1},\ldots ,{\hat {y}}_{n}}$:

${\displaystyle \min \sum _{i=1}^{n}w_{i}({\hat {y}}_{i}-y_{i})^{2}}$ sujeto a ${\displaystyle {\hat {y}}_{i}\leq {\hat {y}}_{j}{\text{ para todo }}(i,j)\in E}$

donde ${\displaystyle E=\{(i,j):x_{i}\leq x_{j}\}}$ especifica el orden parcial de las entradas observadas ${\displaystyle x_{i}}$ (y puede considerarse como el conjunto de aristas de algún grafo acíclico dirigido (DAG) con vértices ${\displaystyle 1,2,\ldots n}$). Problemas de esta forma pueden resolverse con técnicas genéricas de programación cuadrática.

En el caso usual donde los valores ${\displaystyle x_{i}}$ pertenecen a un conjunto totalmente ordenado como ${\displaystyle \mathbb {R} }$, podemos asumir, sin pérdida de generalidad, que las observaciones se han ordenado de modo que ${\displaystyle x_{1}\leq x_{2}\leq \cdots \leq x_{n}}$, y tomar ${\displaystyle E=\{(i,i+1):1\leq i<n\}}$. En este caso, un simple algoritmo iterativo para resolver el programa cuadrático es el algoritmo de violaciones adyacentes agrupadas. Por otro lado, Best y Chakravarti^[8]​ estudiaron el problema como un problema de identificación de conjunto activo y propusieron un algoritmo primal. Estos dos algoritmos pueden verse como duales entre sí, y ambos tienen una complejidad computacional de ${\displaystyle O(n)}$ en datos ya ordenados.^[8]​

Para completar la tarea de regresión isotónica, podemos elegir cualquier función no decreciente ${\displaystyle f(x)}$ tal que ${\displaystyle f(x_{i})={\hat {y}}_{i}}$ para todo i. Cualquier función así obviamente resuelve

${\displaystyle \min _{f}\sum _{i=1}^{n}w_{i}(f(x_{i})-y_{i})^{2}}$ sujeto a que ${\displaystyle f}$ sea no decreciente

y puede usarse para predecir los valores de ${\displaystyle y}$ para nuevos valores de ${\displaystyle x}$. Una elección común cuando ${\displaystyle x_{i}\in \mathbb {R} }$ sería interpolar linealmente entre los puntos ${\displaystyle (x_{i},{\hat {y}}_{i})}$, como se ilustra en la figura, dando lugar a una función continua lineal por tramos:

${\displaystyle f(x)={\begin{cases}{\hat {y}}_{1}&{\text{si }}x\leq x_{1}\\{\hat {y}}_{i}+{\frac {x-x_{i}}{x_{i+1}-x_{i}}}({\hat {y}}_{i+1}-{\hat {y}}_{i})&{\text{si }}x_{i}\leq x\leq x_{i+1}\\{\hat {y}}_{n}&{\text{si }}x\geq x_{n}\end{cases}}}$

Como muestra la primera figura de este artículo, en presencia de violaciones de monotonicidad la curva interpolada resultante tendrá intervalos planos (constantes). En aplicaciones de dosis-respuesta generalmente se sabe que ${\displaystyle f(x)}$ no solo es monótona sino también suave. Los intervalos planos son incompatibles con la forma asumida de ${\displaystyle f(x)}$, y pueden demostrarse sesgados. Una mejora simple para tales aplicaciones, llamada regresión isotónica centrada (CIR), fue desarrollada por Oron y Flournoy y demostró reducir sustancialmente el error de estimación tanto para aplicaciones de dosis-respuesta como de búsqueda de dosis.^[9]​ Tanto CIR como la regresión isotónica estándar para el caso univariado simplemente ordenado están implementadas en el paquete de R "cir".^[4]​ Este paquete también proporciona estimaciones analíticas de intervalos de confianza.

• Robertson, T.; Wright, F. T.; Dykstra, R. L. (1988). Order restricted statistical inference. New York: Wiley. ISBN 978-0-471-91787-8. 
• Barlow, R. E.; Bartholomew, D. J.; Bremner, J. M.; Brunk, H. D. (1972). Statistical inference under order restrictions; the theory and application of isotonic regression. New York: Wiley. ISBN 978-0-471-04970-8. 
• Shively, T.S., Sager, T.W., Walker, S.G. (2009). «A Bayesian approach to non-parametric monotone function estimation». Journal of the Royal Statistical Society, Series B 71 (1): 159-175. S2CID 119761196. doi:10.1111/j.1467-9868.2008.00677.x. 
• Wu, W. B.; Woodroofe, M.; Mentz, G. (2001). «Isotonic regression: Another look at the changepoint problem». Biometrika 88 (3): 793-804. doi:10.1093/biomet/88.3.793.