הבחירות לכנסת ה- 19 (בשנת 2013) – איפה הסקרים הצליחו ואיפה הם כשלו?

 

הבחירות הסתיימו, אני הצבעתי, ועכשיו כשהאבק מתחיל לשקוע אנו יכולים להתרווח ולבדוק את הקשר בין תחזיות הסקרים לתוצאות בשטח. יש דרכים רבות לדון בשאלות הללו, מה שבחרתי לעשות היום זה לקחת את הסקר של פרופסור קמיל פוקס (דיאלוג), שהתפרסם חמישה ימים לפני הבחירות לכנסת ה- 19 (אשר התקיימו ב- 22.01.2013), בעיתון הארץ (קישור לתוצאות הסקר) ולענות על כמה שאלות:

1. עד כמה קרובים היו תחזיות הסקר לתוצאות האמת?
2. האם 19 המנדטים שקיבלה "יש עתיד" היו בתוך טווח הטעות הסבירה או לא?
3. האם לארץ חדשה היה סיכוי לעבור את אחוז החסימה?
4. האם יש עדות מובהקת לכך שהסקרים של הארץ מוטים לכיוון השמאל-מרכז?

הפוסט הזה יכלול את עיקרי הדברים (אפשר לקפוץ לסוף הפוסט לריכוז המסקנות), ואם תרצו לראות את החישובים המדוייקים, אתם מוזמנים להוריד את המסמך מהקישור שכאן.

כמה מילים על הסקר: הוא כלל 712 משיבים (מתוכם 612 בסקר טלפוני קווי, ו- 100 משיבים בטלפונים ניידים) הסקר כלל את מספר המנדטים עבור כל מפלגה שעברה את אחוז החסימה, ואחוז המצביעים המשוער עבור המפלגות שלא עברו את אחוז החסימה. לפני שנתחיל, כמה סייגים לגבי הנתונים שברשותינו והניתוח שנבצע עליהם:

1)      נשים לב שמדובר רק בסקר אחד מבין סקרים רבים. היו אנשים שניסו לתת תחזית שמבוססת על כמה סקרים (ראו את הפוסט של "בטל ב-60"), אבל כדי לשמור על רמה סטטיסטית ברורה יחסית לא ננסה להתמודד עם השאלה כיצד לשלב את המידע מסקרים שונים.

2)      הד"וח סקר הארץ מתאריך אחר (22.12.2012), אשר הופיע כאן, נכתב שמתוך הסקר שבוצע על 1641 איש, רק 491 (כ- 30% בלבד) מתוכם הסכימו להשתתף.
זה אומר לנו שסביר שהנתונים שבסקר שלנו מבוססים על מדגם לא אקראי של האוכלוסיה, ועל כן שהמדגם לא בהכרח מייצג את האוכלוסייה בנקודת הזמן שבו הסקר בוצע. בנוסף, זה אומר שייתכן והתוצאות הסופיות של המנדטים אשר מוצגות בעיתון הן כאלו שמגיעות לאחר שיקלול מרכיבים נוספים (מבוססי דמוגרפיה, ודעות), כדי לשנות את משקל התצפיות שבמדגם.
לסיכום: המדגם המקורי היה כנראה עם הטייה. התוצאות שאנו רואים הם (קרוב לוודאי) לאחר מישקול שונה של הנתונים, אשר מטרתם לגרום לנתונים להתנהג כאילו הם כן היו מדגם מקרי של האוכלוסיה. ולכן נתייחס אל התוצאות ככאלו.

3)      בתוצאות הסופיות של הבחירות יש הסכמי עודפים והתמודדות עם אחוזי חסימה. בכל מיני מקרים ברחבי הטקסט אני אתעלם מהדקויות שזה היה דורש מאיתנו.

4)      הסטטיסטיקה שאבצע היא יחסית פשוטה ומטרתה לחשוף את המורכבות (של חיזוי על בסיס סקרים), אך לא להתמודד באופן מקיף עם המורכבות. כלומר, לדוגמא, אינני מתיימר לומר שהייתי יודע לעשות עבודה יותר טובה בביצוע הסקרים האלה – למעשה, אני מעריך עד מאד את המקצועיות, ידע, וניסיון של פרופסור קמיל פוקס בביצוע סקרים.

ועדיין, למרות כל הסייגים החשובים הללו, הבא נראה על איזה שאלות ביכולתנו לענות:

עד כמה "טוב" חזה הסקר את התוצאות הסופיות? (ניתוח "נאיבי")

יש דרכים רבות לענות על השאלה הזו. הדרך הכי פשוטה (גם אם לא הכי נכונה) היא לבדוק את הקורלציה שבין תוצאות הסקר לבין תוצאות האמת (ניתוח מעמיק יותר מופיע בהמשך). לשם כך ניצור טבלה אשר כוללת את שניהם:

 (נתוני תוצאות האמת נלקחו מווינט, וייתכן שיעברו עוד שינויים קלים בהמשך השבוע בשל קולות שעוד לא נספרו והסכמי עודפים)

 נבחין שהממוצעים של שתי הקבוצות הן בדיוק 10, האם זה מפתיע? לא במיוחד, כיוון שאנו יודעים שסכום המנדטים צריך תמיד להתסכם ל- 120, ומכיוון שאנו משווים את אותו מספר מפלגות, זה לא מפליא שהמספר יצא בדיוק אותו הדבר בין הסקר לבין המציאות.

נחשב ראשית את מדד הקורלציה של פירסון ונקבל ש- r=0.9493. כלומר, "אחוז השונות המוסברת" שהסקר מעניק לנו הוא של 90% (ה- r בריבוע)

כעת נסתכל על תרשים הפיזור ונראה מה יצא "סביר" ומה יצא "חריג" (הקליקו על התמונה לגירסה מוגדלת):

 

הסבר על הגרף: כל נקודה שנמצאת מעל לקו הכחול היא מפלגה שקיבלה יותר ממה שהסקר צפה. וכל נקודה מתחת לקו הכחול, היא מפלגה שקיבלה פחות ממה שהסקר חזה.

אפשר לראות שמלבד מרצ וקדימה, הסקר לא הצליח לקלוע במדויק בתחזית שלו לאף מפלגה. אבל שבאופן כללי, התחזיות של הסקר היו מאד קרובות לקו עם שיפוע 1 (כלומר, שהתחזיות היו יחסית קרובות למציאות).

הנקודה שנראית הכי רחוקה מהתחזיות היא זו (אשר נצבעה בסגול) של "יש עתיד", אשר קיבלה 19 קולות במקום ה-12 שהסקר חזה עבורה. עוד מעט נבדוק עד כמה התוצאה של "יש עתיד" באמת הייתה חריגה.

האם מספר המנדטים שקיבלה "יש עתיד" היא בתוך "טווח הטעות הסבירה" או שמדובר כאן במשהו אחר?

בסקר קיבלה "יש עתיד" 19 מנדטים מתוך 120. כלומר, כ- 15.83% מהאוכלוסייה הצביעו בעדם (אנו מתעלמים מאחוזי הצבעה מכלל האוכלוסיה ומהסכמי עודפים). לעומת זאת, בסקר קיבלה המפלגה רק 12 מנדטים. האם ההבדל הזה בתוצאות הוא תוצאה של שגיאה סבירה באמידה?

כדי לענות על שאלה זו, נבחין ש- 12 מנדטים זה 10% מהבוחרים. זה אומר ש- 10% מהאנשים בסקר שלנו (שזה יוצא כ- 71 איש מתוך 712) אמרו שיצביעו ליאיר לפיד.

מה היה טווח אחוזי ההצבעה שהיינו מצפים לראות, על סמך המדגם של הסקר?

כדי לענות על השאלה נבנה רווח סמך של 99% לפרופורציית האנשים שהיו מצביעים ליאיר לפיד ונקבל טווח של 7.1% עד 12.9%.

כעת נכפיל את רווח הסמך שקיבלנו ב- 120 כדי לקבל מספר המנדטים המשוער, ברמת סמך של 99%, עבור "יש עתיד" ונקבל טווח מנדטים של: 8.5 ועד 15.5

זה אומר שהמקסימום שהיינו מצפים לראות את המפלגה מקבלת (על סמך הסקר) הוא כ- 16 מנדטים. 19 מנדטים היה מעל ומעבר לטווח הסביר, ומכאן שאפשר להסיק שבנושא של יאיר לפיד, הסקר שגה בגדול (ולמען ההגינות, כל הסקרים מלפני הבחירות ביצעו את אותה השגיאה).

עד כמה "לא סבירות" היו התוצאות של "יש עתיד"?

לשם כך אפשר לבצע מבחן השערות (חד צדדי)ולבדוק מה היה קורה אם מישהו היה מציע שיאיר לפיד יקבל 12 מנדטים או פחות (כפי שאכן הציע קמיל פוקס), עד כמה סבירה הייתה הטענה הזו תחת ההנחה שתוצאות האמת שהתקבלו ביום הבחירות הן אכן היו העדפת הבוחרים ביום שבו בוצע הסקר. הערך p-value מתקבל להיות שואף ל-0.

המסקנה מהבדיקה הזו היא שהסיכוי שקיבלנו את המדגם שקיבלנו, תחת ההנחה שהמדגם נלקח מאוכלוסיה עם אותה התפלגות העדפות כמו זו שבאה לידי ביטוי ביום הבחירות, שואפת ל-0. כיצד אפשר להסביר את זה?

אז יש 3 הסברים עיקריים:

1)      התרחש נס! (ותאכלס, ה- P-value שקיבלנו זו ההגדרה הכי מתמטית ל"נס" שאני מכיר) אבל ל"נס" הזה צריך להכניס גם את העובדה שתוצאות דומות התקבלו בסקרים אחרים. כלומר, צריך להיות מדובר בנס מ-א-ד גדול.

2)      ה"קולות הצפים" צפו באופן מאד דרמטי בחמשת הימים הללו שלפני הבחירות. כפי שהסביר הבלוגר הפוליטי ד"ר יובל דרור בפוסט "על יאיר לפיד ואלדד יניב"

בואו נשים רגע בצד את 8-11 המנדטים "הקשים" של לפיד, המנדטים שהלכו איתו כמעט לאורך כל הדרך. אלו מצביעי לפיד שבאמת ובתמים מאמינים ללפיד ולאג'נדה שלו. אבל מה עם החצי השני, זה שהופיע בין לילה? […]

האנשים האלו הם קול צף קלאסי, הם המתלבטים ששומעים עליהם בחדשות. מצד אחד חלקם יצאו לרחובות במחאה של 2011 כי גם להם נמאס ומצד שני נמאס להם מהפוליטיקה עצמה[…]

לפיד קיבל כעשרה מנדטים של אנשים שלא ידעו למי להצביע והבחירה בלפיד נראתה להם שפויה. אלו המנדטים שביקרו אצל אמסלם, אצל בנט, אצל לבני, מנדטים שחיפשו בית ובסוף נחתו אצל לפיד. יהיה מעניין לראות לאן המנדטים האלו יתפזרו בעוד מערכת בחירות אחת או שתיים.

מדוע שהקולות הצפים ילכו לכיוון של יאיר לפיד? זו שאלה של פרשנות פוליטית/פסיכולוגית/תקשורתית שהיא מעבר להיקף המחקר הסטטיסטי.  הבלוגר זאב גלילי (גילוי נאות: אבא שלי) כתב פרשנות אפשרית מסויימת בפוסט "הפוליטיקה כתכנית ריאליטי – יאיר לפיד כגיבור מסרטי וודי אלן"

3)      הטייה שיטתית בסקרים. יכול להיות שבגלל שרק 30% מהאוכלוסיה מוכנים לענות לסקרים, יש לנו הטייה בסקרים כך שהם אינם משקפים את המציאות. לדוגמא, אם היה ריכוז גבוה מאד של אנשים שלא אוהבים לענות על סקרים בתוך ה"קולות הצפים", אזי לא הייתה לסוקרים שום דרך לגלות את מה שהתרחש מראש, בגלל שהאנשים שהובילו לשינוי הם בדיוק אותם אנשים שלא יסכימו לענות לסקרים.

בהסתמך על הנתונים שלפנינו בלבד, לא ברור לי כיצד נוכל להבדיל בין אופציה 2 (קולות צפים ששינו דעה בימים האחרונים לבחירות) לאופציה 3 (הטייה שיטתית שנמשכה לאורך כל תקופת הבחירות). את הפתרון של הבעיה הזו נאלץ להשאיר לחוקרים שיאספו עוד נתונים, ויבנו הסבר יותר מקיף לתופעה.

חוסר הסבירות של התוצאות שקיבלנו (ניתוח מורכב יותר)

אזהרה: תדלגו לחלק הבא אם אתם לא מבינים את הכתוב.

דרך מורכבת יותר לבדוק האם הסקר הצליח לנבא טוב את תוצאות הבחירות  (כפי שהציע הסטטיסטיקאי יוסי לוי בתגובות) היא להתייחס לתוצאות המדגם שלנו ככאלו שהגיעו ממדגם מולטינומי עם התפלגות הסתברויות של תוצאות הבחירות.

לשם כך, נשתמש בתוצאות הבחירות בתור התפלגויות הבסיס שלנו, ותחת ההשערה שהתפלגות הקולות ביום הבחירות היה זהה לזה שביום הסקר, נבדוק את מבחן החי-בריבוע לטיב התאמה. נקבל שהסיכוי לקבל את תוצאות הסקר שקיבלנו (תחת ההשערה שביום הסקר האזרחים תיכננו להצביע כפי שהם אכן הצביעו ביום הבחירות), הוא p-value = 0.00008467  כלומר, שואף ל-0.

המסקנה: הסקר לא הצליח לחזות טוב את תוצאות הבחירות.

אבל אם נסיר מהנתונים שלנו את "יש עתיד", נקבל p-value=0.05386. שזה רק כמעט מובהק (כלומר, אין לנו עדות מאד חזקה לכך שהסקר, למעט המקרה של "יש עתיד" הגיע מהתפלגות שונה של הצבעות מאשר זו שהייתה ביום הבחירות עצמן).

האם לארץ-חדשה היה סיכוי לעבור את אחוז החסימה?

 בסקר התקבל שארץ חדשה קיבלה 0.5% מהקולות. האם היה לה סיכוי (ברמת סמך של 99%) לעבור את 2% של אחוז החסימה?

לשם כך נבנה רווח סמך כמו מקודם ונקבל טווח של 0% עד 1.1% מהקולות (רווח-סמך מדוייק יותר, מבוסס קלופר-פירסון, נותן 0.09% ועד 1.75%).

כלומר, גם במקרה האופטימי ביותר מבחינתם, ארץ-חדשה היו אמורים לקבל 1.1% מהקולות. בסופו של דבר, הם קיבלו 0.74% מהקולות (כפי שניתן לראות כאן), תוצאה שהיא עיקבית/הגיונית לחלוטין על סמך הסקר.

שימו לב שבגלל האופן שבו השונות (אי-הוודאות ) של הפרופורציה מתנהגת, הרי שעבור הסתברות יחסית נמוכה התחזית על מה יקרה בסוף דווקא יוצאת יותר מדוייקת. (הכי אי וודאות מתקבלת עבור פרופורציה שנמצאת סביב ה- 50%)

אפשר היה גם לטעון להגנתם שהם קיוו שכל הקולות הצפים (או לחילופין, ההטייה הלא ידוע של אנשים שלא משיבים לסקרים), הייתה נעה לכיוונם. קטונתי מלשפוט את הלגיטימיות של הטיעון הזה, וכל אחד מוזמן להחליט לעצמו האם הטיעון הזה משכנע אותו או לא.

האם הסקרים של הארץ מוטים שמאלה-מרכז?

אחת הטענות ששומעים לפעמים מאנשים עם נטיות פוליטיות ימניות הן שהסקרים של הארץ מוטים לכיוון השמאל-מרכז. האם אפשר לראות עדות לכך על סמך הנתונים שלפנינו?

היות ויש לנו את התצפית המאד חריגה של יאיר לפיד, נשתמש במבחן הכי שמרני לסטיות בהתפלגות, נשתמש במבחן הסימן. הנה הטבלה שיצרנו לשם כך:

נבחין שאו מתעלמים ממרצ ומקדימה, בגלל שבשני המקרים הסקר נתן תחזית מדוייקת (ולא הייתה הטייה לשום כיוון).

זה משאיר לנו 10 מפלגות עם תחזיות שונות מאשר מה שהתרחש בפועל. מתוכן 6 פעמים הייתה הטייה לכיוון השמאל-מרכז, ו- 4 פעמים הייתה הטייה דווקא לטובת הימין. חישוב באמצעות מבחן הסימן מניח שמספר ההטיות לכיוון השמאל-מרכז יתפלג בינומי עם 10 והסתברות חצי להטייה לטובת השמאל-מרכז. על כן, מה הסיכוי לקבל את התוצאה שקיבלנו או קיצונית ממנה? (השערה חד צדדית)  p-value= 0.625.

אנחנו מקבלים שהערך p-value הוא מאד גבוה, רחוק מכל סף דחיה הגיוני (של 10% או 5% או 1%). ומכך אנו מסיקים שאין לנו עדות להטייה שיטתית בסקר הזה לטובת מפלגות שמאל-מרכז.

כמובן שאפשר היה לחשוב על מבחנים יותר מתוחכמים, ואולי להסתכל על התוצאות על פני הרבה סקרים, ולהשוות זאת לסוקרים אחרים. אבל כל זאת מעבר להיקף האנליזה הנוכחית.

סיכום המסקנות

1)      סך הכל, הסקר נתן תחזיות מאד קרובות (גם אם לא מדוייקות) של פיזור הקולות הסופיים למעט חריג אחד

2)      המפלגה של "יש עתיד" זכתה למספר קולות שהוא הרבה מעבר למקריות. ניתן להסביר זאת באמצעות התנהגות בלתי ניתנת לחיזוי של "הקולות הצפים", או לבעיה מהותית באופן שבו סקרים מתנהגים (לפחות בנסיונם לחזות התנהגות של אנשים שאינם נוהגים להשיב לסקרים). אך לא ברור מה המקרה שלפנינו.

3)      למפלגת "ארץ חדשה" לא היה סיכוי ריאלי לעבור את אחוז החסימה (כל עוד מתעלמים מהקולות הצפים/הטיות-סקרים).

4)      אין עדות מובהקת לנטיית שמאלה-מרכז בסקר של הארץ (לפחות לא על בסיס הנתונים שלפנינו)

נהניתם? תשתפו את הפוסט עם חבריכם. יש לכם מחשבות? הרחבות? תיקונים? קישורים?  התגובות עומדות לרשותכם…

אני מאחל לכולנו בהצלחה עם הממשלה הנוכחית!