מבוא לשיטות נומריות/התאמת עקומים - רגרסיה

• הקדמה: נרצה להתאים עקום המתאים ביותר לנקודות נתונות. העקום עובר בין ולא בהכרח דרך הנקודות.

• מתי:

- בניית מודלים לקשרים בין משתנים - תוצאות ניסוי וכיוב'.

- מערכות משוואות overdetermined.

- נתונים עם שגיאות משמעותיות.

- אינטרפולציה אינה מתאימה - overfitting.

קובץ:Numeriot (14).png

• הגדרות:

- נקודות נתונות:

$(x_n,y_n)n=1,2,3,...,N$

משתנה בלתי תלוי - $x_n$

משתנה תלוי - $y_n$

- העקום המתאים ביותר לנקודות הנתונות: $\hat{y}(x)$

- שגיאת העקום (שארית): ${ϵ}_n=y_n-\hat{y}(x_n)$ -שגיאה

- קריטריון התאמה: least squares (סכום השגיאות הריבועיות המזערי)

$minSSR={\mathrm{\Sigma }}_{n=1}^N{ϵ}_n^2={\mathrm{\Sigma }}_{n=1}^N(y_n-\hat{y}(x_n){)}^2$

ע"י קריטריון זה קובעים מהו העקום המתאים ביותר. עקום מסדר כלשהו שיתן ערך מינימלי של SSR יהיה המתאים ביותר.

- SSR של קו ישר: רגרסיה לינארית.

${\hat{y}}_n=b_0+b_1{x}_n$

אמידת קו הרגרסיה

• עבור רגרסיה לינארית קריטריון ההתאמה הוא:

$mi{n}_{b_0,b_1}SSR={\mathrm{\Sigma }}_{n=1}^N{ϵ}_n^2={\mathrm{\Sigma }}_{n=1}^N(y_n-b_0-b_1{x}_n{)}^2$

$b_0,b_1$ הם מקדמי הרגרסיה. כדי למצוא אותם, נגזור ונשווה לאפס:

$\frac{\partial SSR}{\partial b_0}=-2{\mathrm{\Sigma }}_{n=1}^N(y_n-b_0-b_1{x}_n)=0$

$\frac{\partial SSR}{\partial b_1}=-2{\mathrm{\Sigma }}_{n=1}^N(y_n-b_0-b_1{x}_n)\cdot x_n=0$

• מתקבלת מערכת משוואות לינאריות עם פתרון יחיד:

$\{\begin{array}{c}N{b}_0+({\mathrm{\Sigma }}_{n=1}^N{x}_n)b_1={\mathrm{\Sigma }}_{n=1}^N{y}_n\\ ({\mathrm{\Sigma }}_{n=1}^N{x}_n)b_0+({\mathrm{\Sigma }}_{n=1}^N{x}_n^2)b_1={\mathrm{\Sigma }}_{n=1}^N{y}_n{x}_n\end{array}$

הפתרון:

$\{\begin{array}{c}{b}_1=\frac{N\mathrm{\Sigma }{x}_n{y}_n-\mathrm{\Sigma }{x}_n\mathrm{\Sigma }{y}_n}{N\mathrm{\Sigma }{x}_n^2-(\mathrm{\Sigma }{x}_n{)}^2}\\ b_0=\frac{\mathrm{\Sigma }{y}_n}{N}-b_1\frac{\mathrm{\Sigma }{x}_n}{N}=\overline{y}-b_1\overline{x}\end{array}$

אלה הם $b_0,b_1$ האופטימליים.

השגיאה במודל הרגרסיה

שגיאה סטטיסטית - לא נומרית. $b_0,b_1$ בעצמם הם חישוב של תוצאות מדגם או ניסוי. תוצאות אלו לכשעצמן אינן מדוייקות באופן מוחלט ולכן קיימת שגיאה סטטיסטית.

סטיית תקן - התפלגות הנקודה סביב הקו.

פיזור רחב יותר של נקודות סביב קו הרגרסיה ייתן סטיית תקן גדולה יותר.

$Se(y)=\sqrt{\frac{SSR}{N-2}}=\sqrt{\frac{\mathrm{\Sigma }(y-\hat{y}{)}^2}{N-2}}$ - שגיאת התקן של y.

איכות התאמת העקום

$SSR=\mathrm{\Sigma }(y_n-{\hat{y}}_n{)}^2$ - השגיאה (ככל שיותר קטנה - המודל מתאים טוב יותר)

=> תמיד $SSR\le SST$

$SST=\mathrm{\Sigma }(y_n-\overline{y}{)}^2$ - שגיאות נתונים במודל הנאיבי. ($\overline{y}$ הוא הממוצע)

$SSE=SST-SSR=\mathrm{\Sigma }({\hat{y}}_n-\overline{y}{)}^2$ - ההפרש

$R^2=\frac{SSE}{SST}=\frac{\mathrm{\Sigma }({\hat{y}}_n-\overline{y}{)}^2}{\mathrm{\Sigma }(y_n-\overline{y}{)}^2}$

כשאר $\frac{SSE}{SST}$ היא השגיאה היחסית בין ההפרש למודל הנאיבי.

ככל ש- $R^2$ גדול יותר - ההתאמה יותר טובה. זה מעיד על כמה המודל שלנו טוב בהשוואה למודל הנאיבי. אם ההתאמה מושלמת אז $R^2=1$ אם אין קשר בין המשתנה התלוי והמשתנים הבלתי תלויים אז $R^2=0$.

קובץ:Numeriot (11).png

רגרסיה במשתנים מרובים

$y_n=b_0+b_1{x}_{n1}+b_2{X}_{n2}+\cdots +b_{k-1}{x}_{nk-1}+{ϵ}_n$

בכתיב מטריציוני: $y_{[Nx1]}=x_{[NxK]}\cdot b_{[kx1]}+{ϵ}_{[Nx1]}$

• Least square:

$mi{n}_{[b]}SSR={ϵ}^{\prime }ϵ=(y-xb{)}^{\prime }(y-xb)$

$\frac{\partial SSR}{\partial b}=-2x^{\prime }(y-xb)=0\Rightarrow x^{\prime }y=x^{\prime }xb$

זהו b האופטימלי בכתיב מטריציוני:  $b=(x^{\prime }x{)}^{-1}{x}^{\prime }y$

• סטיית התקן ו- $R^2$:

$Se=\sqrt{\frac{SSR}{N-K}}=\sqrt{\frac{\mathrm{\Sigma }(y-\hat{y}{)}^2}{n-k}}$

$R^2=\frac{SSE}{SST}=\frac{\mathrm{\Sigma }({\hat{y}}_n-\overline{y}{)}^2}{\mathrm{\Sigma }(y_n-\overline{y}{)}^2}$

• אם מוסיפים משתנים אז $R^2$ גם כן משתנה:

${\overline{R}}^2=1-\frac{SSR/N-K-1}{SSR/N-1}=1-\frac{(1-R^2)(N-1)}{N-K-1}$

התאמת עקומים לא לינאריים

עקום לא לינארי יהיה כזה שהפרמטרים שלו $b_0,b_1,b_2,...,b_n$ אינם בקשר לינארי.

- לינארית: $ln(y)=b_0+b_1\cdot \frac{1}{x}$

- לא לינארית: $y=b_0+b_1\cdot x^{b_2}$

- כשאנו מחפשים עקום מתאים ביותר עלינו למצוא את [b] (הפרמטרים) האופטימליים ולכן הפרמטרים הם הנעלמים שלנו ולא המשתנים x, y .

שיטות פתרון אפשריות:

1) לינאריזציה של משתנים.

2) רגרסיה לא לינארית.

1) לינאריזציה של משתנים

• נשנה את המשתנים כך שהמודל יהיה לינארי בפרמטרים.

דוגמאות:

$y=b_0{x}^{b_1}\iff ln(y)=ln(b_0)+b_{1}ln(x)$

$y=b_0{e}^{b_{1}x}\iff ln(y)=ln(b_0)+b_{1}x$

$y=b_0\frac{x}{b_1+x}\iff \frac{1}{y}=\frac{b_1}{b_0}\cdot \frac{1}{x}+\frac{1}{b_0}$

2) רגרסיה לא לינארית

סכום הריבועים $mi{n}_{b}SSR={ϵ}^{\prime }ϵ=(y-f(x,b)){)}^{\prime }(y-f(x,b))=$

כאשר $(y-f(x,b)){)}^{\prime }$ הוא וקטור עמודה ו- $(y-f(x,b))$ הוא וקטור שורה.

$\frac{\partial SSR}{\partial b}=0$

• מתקבלת מערכת משוואות לא לינאריות. פותרים ע"י:

- פתרון איטרטיבי למערכת משוואות לא לינאריות.

-לינאריזציה של המערכת סביב הפתרון הקיים.