Ajuste por mínimos cuadrados: Regresión Lineal

En general

El modelo de regresión lineal simple consiste en construir una recta de forma que para cada valor de la variable $$X$$​ el valor de $$Y$$​ en la recta se acerque lo más posible a la $$y$$ real. Para calcular los elementos de esta recta necesitas:

• $$\bar x$$​ e $$\bar y$$: la media de cada variable.
• ​$$s_{x,y}$$: la desviación típica, se calcula $$s_{xy}=\cfrac{\sum x_iy_i}{N}-(\bar x \cdot \bar y)$$.
• ​$$s_x^2$$​ y $$s_y^2$$​: la varianza de cada variable. Se calcula $$s_x^2=\cfrac{\sum x_i^2}{N}-\bar x^2$$​ y $$s_y^2=\cfrac{\sum y_i^2}{N}-\bar y^2$$.
• ​$$r$$​: el coeficiente de correlación, se calcula $$r=\cfrac{s_{xy}}{s_x\cdot s_y}$$​.
  

Método de los mínimos cuadrados ordinarios

La recta de regresión del tipo $$y=a+bx$$​ que minimiza el error cuadrático medio se define como:

​$$ECM=\cfrac{1}{n}\displaystyle\sum_{i=1}^n (y_1-a-bx_1)^2$$​

​

Donde $$a=y-\cfrac{s_{xy}}{s_x^2}\overline x$$​, $$b=\cfrac{s_{xy}}{s_x^2}$$​ y $$y=\overline y +\cfrac{s_{xy}}{s_x^2}(x-\overline x)$$​​

Con esto se llega a la expresión

$$ECM=s_y^2(1-\cfrac{s_{xy}^2}{s_y^2s_x^2})$$​​

Varianza residual

El residuo es la diferencia entre el valor observado y el valor estimado. Cuanto más pequeño sea, más ajustados a la recta están los valores reales.

​$$ECM=\cfrac{1}{n}\displaystyle\sum_{i=1}^n (y_i-\^y_i)^2$$​​

Ejemplo

Calcula la varianza residual de tres puntos que se alejan de la recta de regresión $$2$$, $$4$$ y $$5$$ unidades.

La varianza residual es $$\cfrac{1}{n}\displaystyle\sum_{i=1}^n (y_i-\^y_i)^2=\cfrac{2^2+3^2+5^2}{3}\approx\underline{12,67}$$​​

​

Coeficiente de determinación

Para comparar el nivel de ajuste entre la recta y los valores reales, se usa el coeficiente de determinación $$R^2$$. Mide la proporción de la variabilidad explicada por la recta de regresión. Es el cuadrado del coeficiente de correlación.

​$$R^2=\cfrac{s_{\^y}^2}{s_y^2}=\cfrac{s_{xy}^2}{s_x^2\cdot s_y^2}$$​​

Ejemplo

Una tienda anota el número de paraguas que vende cada día y la precipitación en centímetros de lluvia durante una semana.

Traza una recta de regresión que estime la venta de paraguas según la precipitación del día. ¿Cuántos paraguas se estima que venderán cuando llueva $$3,5\space cm$$? Calcula el error cuadrático medio.

La media de paraguas vendidos es $$\bar y=37,86$$ y la media de lluvia es $$\bar x=1,89$$. La desviación típica es $$s_{xy}=33,74$$ y la varianza de $$x$$ es $$s_x=1,28$$ y la de $$y$$ es $$s_y=26,51$$. La recta de rgresión es:

​$$y-37,86=\cfrac{33,74}{1,28^2}(x-1,89)\implies y=20,59x-38,92+37,86\implies \underline{y=20,59x-1,06}$$​​

​$$\underline{\rm Por \ lo\ tanto,\ un\ día\ que\ llueva\ {3,5\ cm}\ ​ se \ espera\ que\ venda\ {y=20,59\cdot3,5-1,06\approx71}\ paraguas.}$$​​

El error cuadrático medio es $$ECM=s_y^2(1-\cfrac{s_{xy}^2}{s_y^2s_x^2})=\underline{7,96}$$​​

La recta de regresión lineal se representa: