למה אנחנו רוצים סקר עם "מדגם מייצג"? (פוסט על שגיאות שאפשר ושאי-אפשר להציג)

תשובה: כי סקר עם מדגם לא מייצג צפוי לתת תוצאה לא אמינה לגבי תוצאות האמת של הבחירות.

לפני שנמשיך לדווח על סקרים ומטא-סקרים, ברשותכם רציתי לעשות קצת סדר בנושא של "מדגם מייצג ואקראי" ולנסות להסביר אותו (מה שמכונה בשפה הסטטיסטית "הטייה"). נתחיל בקריקטורה מתאימה מהבלוג המקסים דברים שקרו באמת:

Servey1500

מעבר לכך שהקריקטורה מאד חמודה, היא מציגה מצב שבו הסקר מבוצע על האוכלוסייה שלא מייצגת את אזרחי ישראל (אלא רק את חתולי ישראל).

גם בסקרי בחירות עלול מצב כזה (של דגימת אוכלוסיה לא מייצגת) להתרחש, אם הסוקר מתקשה להגיע לאוכלוסייה הצעירה, הערבית, החרדית וכן הלאה (לדוגמא, כי אין לו אפשרות לחייג לטלפונים סלולרים של צעירים, או כי קשה לראיין את האוכלוסיה הערבית ללא סוקר שדובר ערבית).

באופן כללי, בסקרי בחירות יש שני סוגים עיקריים של טעויות סטטיסטיות: טעויות "הטייה" (bias) וטעויות "שונות" (variance). המצב שמוצג בקריקטורה הוא של טעות הטייה. כעת נרחיב קצת על שתי הטעויות.

להמשיך לקרוא למה אנחנו רוצים סקר עם "מדגם מייצג"? (פוסט על שגיאות שאפשר ושאי-אפשר להציג)

האם העבודה תקבל יותר מנדטים מהליכוד? לא ברור…

היום (28/12/2014) חברת הכנסת ציפי ליבני פירסמה בפייסבוק תמונה עם הכיתוב "ראש בראש. ביחד ואיתכם נלחמים על עתיד המדינה". והנה צילום של התרשים שהופיע:

2014-12-28 16_13_24-Clipboard

 

ובכיתוב למטה נרשם שמדובר בממוצע התוצאות של 3 סקרים מוואלה, מעריב וחדשות 10.

האם התרשים מלמד אותנו שהמחנה הציוני מובילה בסקרים? התשובה (האולי מפתיעה), היא שלא. אם נניח שבכל אחד מהסקרים השתתפו 500 נשאלים (מה שמביא אותנו ל- 1500 נשאלים), אז הטווח של הפרש המנדטים (ברמת סמך של 95%), היא של בין 4.7 מנדטים לטובת המחנה הציוני ועד 2.7 מנדטים לטובת הליכוד.

לטובת ליבני יאמר שהיא לא כתבה בסטטוס שלה "אנחנו מנצחים בסקרים". אבל רק רציתי לוודא שאף אחד לא בטעות קיבל את הרושם הזה מהתרשים שהופץ (לפחות לא על סמך הנתונים שעל בסיסם יצרו את התרשים).

להמשיך לקרוא האם העבודה תקבל יותר מנדטים מהליכוד? לא ברור…

סוקרים שלא יעמדו בחוק הבחירות ייאסרו ל- 6 חודשים – אבל איך גם אנחנו נקבל את הנתונים?

ישראל היום פירסם בחמישי האחרון (עמוד 17), שועדת הבחירות המרכזית הזכירה השבוע לעורכי הסקרים כי בתקופת 90 הימים שלפני הבחירות (שכבר התחילו), סוקרים חייבים להעביר לעיון ועדת הבחירות את ממצאי הסקר לפני פרסומם הפומבי, וכן פרטים על שיטת הדגימה, מספר הנשאלים, שם הגוף המזמין ושל עורך הסקיר, תאריך הסקר, האוכלוסיה שנדגמה, ומרווח הטעות לגבי הנתונים שהושגו.

מה שנשאר לשאול הוא מה צריך לקרות כדי שועדת הבחירות המרכזית תפרסם מאגר מרכזי של כל סקרי הבחירות שבוצעו עם המידע הזה, בפורמט אחיד. (בדומה למה שנחמיה עושה, אבל ממשלתי, מאורגן – ושלם!)

האם ישראל ביתנו איבדה מנדטים בסקרים מהיום שאחרי חשיפת "פרשת השחיתות"?

 

העיתון האינטרנטי Times of Israel פירסם היום את הכותרת הבאה:

"In wake of graft scandal, Liberman down one mandate"
תירגום: בעקבות שערורית השוחד, ליברמן איבד מנדט אחד

ובתוך הטקסט נכתב:

The Maariv survey showed […] Yisrael Beytenu received 5 seats, down from 8, following a massive graft scandal affecting the party which was exposed this week.
תירגום: סקר מעריב הראה שישראל ביתנו ירדה ל-5 מושבים, מתוך ה- 8 שהיו לה קודם לכן, בעקבות השערוריה שנחשפה השבוע.

האם זה מה שהסקרים מלמדים? האם נראה שמפלגת ישראל ביתנו איבדה מנדטים בעקבות פרשת השחיתות שפורסמה השבוע ב- 24 לדצמבר?

אם נסתכל אך ורק על סקר מעריב לפני ואחרי, אז זה אכן נכון שבסקר מעריב משבוע שעבר (ה- 16 לדצמבר), ישראל ביתנו קיבלה 8 מנדטים, ומהסקר השבוע (שפורסם היום, שישי ה- 26 לדצמבר) הם קיבלו 5 מנדטים. האם הירידה הזו "מובהקת"? כלומר – האם יש לנו עדות לכך שהפרש המנדטים הזה הוא מעבר לטעות מקרית?

כן ולא.

אם מסתכלים רק על התוצאות של מעריב מהיום למול התוצאות של שבוע שעבר, אז אכן רואים ירידה מ- 8 ל- 5 מנדטים (ירידה "מובהקת" סטטיסטית). אבל אם מסתכלים על הנתונים של 3 סקרים לפני פריצת הפרשה ו-3 סקרים ביום שאחריה, מקבלים שלפני הפרשה מספר המנדטים היה 8 ואחריה הוא היה (בממוצע) 7.6 (ירידה שאיננה יותר מובהקת).

הנה החישוב המדוייק שבוצע:

להמשיך לקרוא האם ישראל ביתנו איבדה מנדטים בסקרים מהיום שאחרי חשיפת "פרשת השחיתות"?

מטא-סקר בחירות: 4,609 איש מ-9 סקרים (מה-16 עד ה- 25 בדצמבר 2014)

 

מטא-סקר הוא סקר של סקרים (או "סופר סקר").

בעשרת הימים האחרונים נסקרו כ- 4,609 איש על פני 9 סקרים, בשאלה למי הם יצביעו בבחירות הקרובות. בפוסט זה אני מאחד את תוצאות הסקרים הללו לכדי מטא-סקר (עם סייגים חשובים וקרדיטים רלוונטיים).

אם לסכם, אין שינויים גדולים ביחס לתוצאות המטא-סקר מלפני שבועיים. הדבר העיקרי שלמדנו הוא שהאיחוד של העבודה עם התנועה כנראה היה צעד נבון, ושהחלוקה של ש"ס מובילה להרבה בילבול שעוד לא ברור לאן הוא יתפתח.

נתחיל בתוצאות (הקליקו לתמונה בגודל מלא):
כרגע (כתום) = חלוקת המנדטים כרגע בכנסת.
תחזית (כחול) = צפי המנדטים על סמך איחוד 5 הסקרים.

meta2-2014-12-26 12_10_25-Clipboard-fixed

פרשנות על התוצאות

סייגים: כשבאים לפרש את התוצאות חשוב לזכור שלמרות הכמות הגדולה של הנבדקים, ייתכן והמדגם שהופיע בסקרים איננו מייצג היטב את האוכלוסיה (לדוגמא, בגלל הקושי לסקור אזרחים/ות מהאוכלוסיה החרדית והערבית), אז קחו את הפרשנות בערבון מוגבל! כמו כן, אני מתעלם מהנושא של אחוז חסימה והסכמי עודפים. התחזיות הן של מספר מנדטים כולל שברי מנדטים. הנושא הזה הוא קשה במיוחד במפלגות שהן על סף אחוז החסימה (כמו "העם איתנו" של אלי ישי).

אם נניח שאין הטיות מדגם (וסביר שיש, בעיקר באוכלוסיות קשות לדגימה!), מידת הדיוק של המטא-סקר הוא פלוס מינוס 1.7 מנדטים לכל היותר (ב"רמת סמך" של 95%). בגרף אני מציג רווחי סמך יותר "אופטימיים".

בחרתי להסתכל על עשרת הימים האחרונים כתקופת זמן "יציבה" יחסית בזירה הפוליטית. הסקרים הללו בוצעו אחרי ההכרזה על הקמת המחנה-הציוני (האיחוד של העבודה והתנועה), ולאחר הפירוד בין ש"ס ל"העם איתנו". בשבוע האחרון כן פרצה פרשה בישראל ביתינו, ועוד לא ברור עד כמה הם השפיעו על התוצאות שאנו רואים. בכל מקרה, הבחירות עוד צעירות.

מסקנות ביניים:

  • המחנה הציוני – כנראה אכן הרוויח מנדטים בזכות האיחוד (בין 0 מנדטים ל- 4). זאת לעומת התוצאות שראינו במטא סקר הקודם לפני האיחוד (שם נראה היה שבנפרד, המפלגות מפסידות מנדטים). אז כנראה שהרצוג ולבני ביצעו מהלך נבון.
  • הליכוד – ירוויח מנדטים לעומת המצב הנוכחי (בין 2 ל- 6 מנדטים)
  • הבית היהודי – ירוויח מנדטים (בין 1 ל- 5)
  • יש עתיד – תפסיד מנדטים (בין 10 ל- 8)
  • כולנו – תחזית של בין 8 ל- 10 מנדטים!
  • ישראל ביתנו – תפסיד מנדטים (בין 6 ל- 4) (למרות שכנראה שעדיין אין עדות לירידה במספר המנדטים בעקבות פרסומים על פרשת שחיתות)
  • יהדות התורה – אין עדות לשינוי במספר המנדטים
  • מרצ – אין עדות לשינוי במספר המנדטים
  • רע"מ תע"ל – יש מצב שהם ירוויחו בערך מנדט אחד
  • ש"ס – יפסידו מנדטים (בין 4 ל- 6)
  • חד"ש – ירוויחו כנראה מנדט אחד
  • העם איתנו – קשה לתת תחזית מדוייקת בשלב זה. בגלל שהם כל כך קרובים לאחוז החסימה, חלק מהסקרים מראים שהם לא עוברים וחלק כן, מה שמקשה לדעת מה היה מספר האנשים שהצביעו להם (בסקרים שבהם הם לא עברו את אחוז החסימה). כך שפה יש הרבה אי וודאות.

נחמיה גרשוני-איילהו במסגרת פרוייקט 61 מביא ניתוח משלו לתוצאות. התוצאות דומות למדי עם הבדלים של מנדט אחד לפה או לשם לחלק מהמפלגות.

פרטים טכניים על יצירת המטא-סקר

להמשיך לקרוא מטא-סקר בחירות: 4,609 איש מ-9 סקרים (מה-16 עד ה- 25 בדצמבר 2014)