כיצד למצוא פתרונות בריבועים קטנים ביותר באמצעות אלגברה לינארית?

עם זאת, תצפיות בחיים האמיתיים כמעט תמיד מניבות פתרונות לא עקביים למשוואת המטריצה בה נקרא וקטור התצפית, נקראת מטריצת העיצוב, ואנחנו מחפשים ערכים של וקטור הפרמטרים.

בשנת ניתוח נתונים, היא לעתים קרובות מטרה למצוא מתאמים עבור הנתונים שנצפו, קווי מגמה שנקרא. עם זאת, תצפיות בחיים האמיתיים כמעט תמיד להניב פתרונות עקביים המשוואה מטריקס $X {\ boldsymbol {\ beta}} = {\ mathbf {y}},$ שבו ${\ mathbf {y}}$ הוא נקרא וקטור התצפית, $איקס$ נקרא מטריקס העיצוב $M \ פעמים n$ , ואנחנו מחפשים ערכים של ${\ boldsymbol {\ beta}},$ וקטור הפרמטר. באופן אינטואיטיבי קל לראות את זה - שום קו מגמה, למעט מקרים מיוחדים מאוד, אינו יכול לחתוך כל נקודה בנתונים.

קשר את פתרון הריבועים הקטנים למטריצת העיצוב ולווקטור התצפית.

עבור יישומים רבים, הפיתרון לכך הוא למצוא ${\ hat {{\ boldsymbol {\ beta}}}}$ המתקרב בצורה הטובה ביותר למשוואה הנ"ל. ניתן לכתוב זאת במונחים של אי שוויון $|| {\ mathbf {y}} - x {\ hat {{\ boldsymbol {\ beta}}}} || ^ {{2}} \ leq || {\ mathbf {y}} - x {\ boldsymbol { \ beta}} || ^ {{2}},$ שם אנו ממזערים את המרחק בין ${\ mathbf {y}}$ ו- $X {\ boldsymbol {\ beta}}.$ מכיוון שהכמות $|| {\ mathbf {y}} - x {\ boldsymbol {\ beta}} || ^ {{2}}$ הוא סכום ריבועים, הבעיה במציאת ${\ hat {{\ boldsymbol {\ beta}}}}$ מכונה בעיה של פחות ריבועים.

מכיוון שאנו מתאימים קו מגמה ליניארי, אנו יכולים להשתמש בנקודות הנתונים כדי לכתוב מערכת משוואות.

מומלץ שיהיה לך רקע כלשהו באלגברה לינארית כדי להבין את הגזירה.

חלק 1 מתוך 2: גזירת הפתרון הכללי בריבועים קטנים ביותר

1
זוכר את ההגדרה של השלכה. שקול מרחב וקטורי המשתרע על ידי שטח העמודה של X {\ displaystyle X} $איקס$ (Col⁡X∈Rm) {\ displaystyle (\ operatorname {Col} X \ in \ mathbb {R} ^ {m})} $(\ operatorname {col} x \ ב- {\ mathbb {r}} ^ {{m}})$ ו- y ${\ mathbf {y}}.$ נצפה . {\ displaystyle \ mathbf {y}.} מכיוון ש y {\ displaystyle \ mathbf {y}} ${\ mathbf {y}}$ באופן כללי אינו נמצא ב- Col⁡X, {\ displaystyle \ operatorname {Col} X,} $\ operatorname {col} x,$ אנו רוצים למצוא את הקירוב הטוב ביותר y ^ {\ displaystyle {\ כובע {\ mathbf {y}}}} ${\ hat {{\ mathbf {y}}}}$ כדי y, {\ displaystyle \ mathbf {y},} ${\ mathbf {y}},$ אשר הוא ב Col⁡X, {\ displaystyle \ operatorname {Col} X,} $\ operatorname {col} x,$ נקרא השלכה של y. {\ Displaystyle \ mathbf {y}. ${\ mathbf {y}}.$ במילים אחרות, אנו רוצים למצוא y ^ {\ displaystyle {\ hat {\ mathbf {y}}}} ${\ hat {{\ mathbf {y}}}}$ כי ממזער את המרחק בין וקטור במרחב Span⁡ {Col⁡X} {\ displaystyle \ operatorname {Span} \ {\ operatorname {Col} X \}} $\ operatorname {span} \ {\ operatorname {col} x \}$ ו y. {\ displaystyle \ mathbf {y}.} ${\ mathbf {y}}.$
- ${\ hat {{\ mathbf {y}}}} = \ operatorname {proj} _ {{\ operatorname {col} x}} {\ mathbf {y}}$
- אם נאפשר ל- X = (x1x2.. 0,10), {\ displaystyle X = {\ להתחיל {pmatrix} \ mathbf {x} _ {1} & \ mathbf {x} _ {2} &... & \ mathbf {x} _ {p} \ end {pmatrix}},} $X = {\ begin {pmatrix} {\ mathbf {x}} _ {{1}} ו- {\ mathbf {x}} _ {{2}} ו-... ו- {\ mathbf {x}} _ {{ p}} \ end {pmatrix}},$ נוכל לכתוב את ההשלכה באופן הבא, כאשר הסוגריים הזוויתיים מסמנים את המוצר הפנימי.
  - $\ operatorname {proj} _ {{\ operatorname {col} x}} {\ mathbf {y}} = {\ frac {\ langle {\ mathbf {y}}, {\ mathbf {x}} _ {{1} } \ rangle} {\ langle {\ mathbf {x}} _ {{1}}, {\ mathbf {x}} _ {{1}} \ rangle}} {\ mathbf {x}} _ {{1} } + \,... \, + {\ frac {\ langle {\ mathbf {y}}, {\ mathbf {x}} _ {{p}} \ rangle} {\ langle {\ mathbf {x}} _ {{p}}, {\ mathbf {x}} _ {{p}} \ rangle}} {\ mathbf {x}} _ {{p}}$
- ברור שזה לא משהו שאנחנו רוצים להעריך.
2
כתוב את משוואת המטריצה בתחזיות. עכשיו שיש לנו וקטור שנמצא ב- Col⁡X, {\ displaystyle \ operatorname {Col} X,} $\ operatorname {col} x,$ אנחנו יכולים להתחיל למצוא β ^ {\ displaystyle {\ hat {\ boldsymbol {\ beta}}}} ${\ hat {{\ boldsymbol {\ beta}}}}$ שמניב פתרון עקבי למשוואת המטריצה שלמטה, כאשר β ^ ∈Rn. {\ displaystyle {\ hat {\ boldsymbol {\ beta}}} \ in \ mathbb {R} ^ {n}.} ${\ hat {{\ boldsymbol {\ beta}}}} \ ב {\ mathbb {r}} ^ {{n}}.$
- $X {\ hat {{\ boldsymbol {\ beta}}}} = {\ hat {{\ mathbf {y}}}}$
3
התייחס למרחב האפס של $איקס$ עם ${\ hat {{\ mathbf {y}}}}$ . אנו יכולים לקשר את y {\ displaystyle \ mathbf {y}} ${\ mathbf {y}}$ ואת הקרנתו באמצעות z = y − y ^, {\ displaystyle \ mathbf {z} = \ mathbf {y} - {\ hat {\ mathbf {y}}},} ${\ mathbf {z}} = {\ mathbf {y}} - {\ hat {{\ mathbf {y}}}},$ כאשר z {\ displaystyle \ mathbf {z}} ${\ mathbf {z}}$ הוא המרכיב של y {\ displaystyle \ mathbf {y}} ${\ mathbf {y}}$ אורתוגונלי ל- Col⁡X. {\ displaystyle \ operatorname {Col} X.} $\ operatorname {col} x.$
- ${\ mathbf {y}} - {\ hat {{\ mathbf {y}}}} = \ operatorname {col} (X) ^ {{\ perp}}$
- משפט באלגברה לינארית הוא שאם β {\ displaystyle {\ boldsymbol {\ beta}}} ${\ boldsymbol {\ beta}}$ נמצא במרחב האפס של X, {\ displaystyle X,} $איקס,$ אז β {\ displaystyle {\ boldsymbol {\ beta}}} ${\ boldsymbol {\ beta}}$ הוא אורתוגונלי למרחב השורה של X. {\ displaystyle X.} $איקס.$ זה הגיוני, משום שביצוע הכפל של המטריצה עבור כל שורה צריך לשלוח את התוצאה ל- 0, כנדרש מווקטור במרחב האפס של X. {\ displaystyle X. } $איקס.$
  - $\ operatorname {row} (X) ^ {{\ perp}} = \ operatorname {nul} x$
- מכיוון שנוכל בקלות להעביר X, {\ displaystyle X,} $איקס,$ אנו יכולים לומר כי Col⁡ (X) ⊥ = Nul⁡XT. {\ Displaystyle \ operatorname {Col} (X) ^ {\ perp} = \ operatorname {Nul} X ^ {T}.} $\ operatorname {col} (X) ^ {{\ perp}} = \ operatorname {nul} x ^ {{t}}.$ לכן, y − y ^ = Nul⁡XT, {\ displaystyle \ mathbf {y} - {\ hat {\ mathbf {y}}} = \ operatorname {Nul} X ^ {T}, } ${\ mathbf {y}} - {\ hat {{\ mathbf {y}}}} = \ operatorname {nul} x ^ {{t}},$ מוביל אותנו למסקנה שלהלן.
  - $X ^ {{t}} ({\ mathbf {y}} - {\ hat {{\ mathbf {y}}}}) = 0$
4
החלף את xβ ^ {\ displaystyle x {\ hat {\ boldsymbol {\ beta}}}} $x {\ hat {{\ boldsymbol {\ beta}}}}$ עבור y ^ {\ displaystyle {\ hat {\ mathbf {y}}}} ${\ hat {{\ mathbf {y}}}}$ ופשט. מכיוון שאנחנו לא מחפשים y ^, {\ displaystyle {\ hat {\ mathbf {y}}},} ${\ hat {{\ mathbf {y}}}},$ אלא β ^, {\ displaystyle {\ hat {\ boldsymbol {\ beta}}},} ${\ hat {{\ boldsymbol {\ beta}}}},$ אנו מחליפים זאת ל המשוואה ההומוגנית.
- ${\ begin {align} x ^ {{t}} ({\ mathbf {y}} - x {\ hat {{\ boldsymbol {\ beta}}}}) ו- = 0 \\ x ^ {{t}} {\ mathbf {y}} - x ^ {{t}} x {\ hat {{\ boldsymbol {\ beta}}}} ו- = 0 \ end {align}}$
5
פתר עבור ${\ hat {{\ boldsymbol {\ beta}}}}$ . כעת, לאחר שביטאנו את β ^ {\ displaystyle {\ hat {\ boldsymbol {\ beta}}} ${\ hat {{\ boldsymbol {\ beta}}}}$ בכמויות הרצויות לנו, אנו יכולים להעריך משוואה זו.
- ${\ hat {{\ boldsymbol {\ beta}}}} = (x ^ {{t}} x) ^ {{- 1}} x ^ {{t}} {\ mathbf {y}}$
- היזהר שכדי שמשוואה זו תהיה תקפה, $X ^ {{t}} x$ חייב להיות הפיך. אם ישנם משתנים חופשיים בביטוי זה, יהיה מספר אינסופי של קווי מגמה תקפים.

בהינתן סט נתונים, אנו יכולים להתאים לקווי מגמה בריבועים קטנים ביותר שניתן לתאר באמצעות שילובים לינאריים של פונקציות ידועות.

חלק 2 מתוך 2: דוגמה לנתונים נתונים

1
שקול את נקודות הנתונים הבאות. אנו רוצים להתאים אליהם קו מגמה לינארי של ריבועים קטנים = y = β0x + β1 {\ displaystyle y = \ beta _ {0} x + \ beta _ {1}} $Y = \ beta _ {{0}} x + \ beta _ {{1}}$ .
- $(03), \, (14), \, (25), \, (37)$
- מכיוון שאנו מתאימים קו מגמה ליניארי, אנו יכולים להשתמש בנקודות הנתונים כדי לכתוב מערכת משוואות.
  - ${\ begin {align} 3and = \ \ \ \ \ \ \ \ beta _ {{1}} \\ 4and = \ beta _ {{0}} + \ beta _ {{1}} \\ 5and = 2 \ beta _ {{0}} + \ beta _ {{1}} \\ 7and = 3 \ beta _ {{0}} + \ beta _ {{1}} \ end {align}}$
2
הגדר את וקטור התצפית ואת מטריצת העיצוב. וקטור התצפית הוא פשוט וקטור עמוד המורכב מהתצפיות, או מערכי ה- y. האלמנטים במטריצה העיצובית מסתמכים על מקדמי המשוואה של קו המגמה כפי שהיא נוגעת לכל נקודה. במקרה שלנו, העמודה הראשונה כוללת מקדמי β0, {\ displaystyle \ beta _ {0}, $\ beta _ {{0}},$ ואילו העמודה השנייה מורכבת ממקדמי β1. {\ Displaystyle \ beta _ {1}.} $\ beta _ {{1}}.$
- $X = {\ begin {pmatrix} 0and1 \\ 1and1 \\ 2and1 \\ 3and1 \ end {pmatrix}}, \ {\ mathbf {y}} = {\ begin {pmatrix} 3 \\ 4 \\ 5 \\ 7 \ end {pmatrix}}$
3
קשר את פתרון הריבועים הקטנים למטריצת העיצוב ולווקטור התצפית.
- ${\ hat {{\ boldsymbol {\ beta}}}} = (x ^ {{t}} x) ^ {{- 1}} x ^ {{t}} {\ mathbf {y}}$
4
הערך את הצד הימני בכל אמצעי אפשרי.
- ${\ begin {align} x ^ {{t}} xand = {\ begin {pmatrix} 14and6 \\ 6and4 \ end {pmatrix}} \\ (x ^ {{t}} x) ^ {{- 1}} ו = {\ frac {1} {10}} {\ התחל {pmatrix} 2and-3 \\ - 3and7 \ end {pmatrix}} \\ x ^ {{t}} {\ mathbf {y}} ו- = { \ התחל {pmatrix} 35 \\ 19 \ end {pmatrix}} \\ (x ^ {{t}} x) ^ {{- 1}} x ^ {{t}} {\ mathbf {y}} ו- = {\ frac {1} {10}} {\ begin {pmatrix} 13 \\ 28 \ end {pmatrix}} \ end {align}}$
5
כתוב את קו המגמה בצורה סטנדרטית. זהו השורה המתאימה ביותר לנקודות הנתונים שנצפו. האינטואיציה שלנו בודקת שזו התשובה הנכונה, מכיוון שציפינו שהשיפוע יהיה מעט גדול מ -1 ויירוט ה- y יהיה מעט פחות מ -3, בגלל החריגה (37). {\ Displaystyle (37).} $(37).$
- $Y = {\ frac {13} {10}} x + {\ frac {28} {10}}$

טיפים

הדוגמה שהראנו בחלק 2 עסקה בהתאמת קו ישר למכלול תצפיות. עם זאת, הריבועים הקטנים יותר חזקים מזה. בהינתן מערך נתונים, אנו יכולים להתאים לקווי מגמה בריבועים קטנים ביותר שניתן לתאר באמצעות שילובים לינאריים של פונקציות ידועות. לדוגמה, ניתן להתאים עקומות ריבועיות, מעוקבות ואפילו מעריכיות לנתונים, אם זה מתאים.

קרא גם: איך ללמוד ביניים תגובתי?

כיצד למצוא פתרונות בריבועים קטנים ביותר באמצעות אלגברה לינארית?

צעדים

חלק 1 מתוך 2: גזירת הפתרון הכללי בריבועים קטנים ביותר

חלק 2 מתוך 2: דוגמה לנתונים נתונים

טיפים

קרא גם: