העיתון האינטרנטי Times of Israel פירסם היום את הכותרת הבאה:
"In wake of graft scandal, Liberman down one mandate"
תירגום: בעקבות שערורית השוחד, ליברמן איבד מנדט אחד
ובתוך הטקסט נכתב:
The Maariv survey showed […] Yisrael Beytenu received 5 seats, down from 8, following a massive graft scandal affecting the party which was exposed this week.
תירגום: סקר מעריב הראה שישראל ביתנו ירדה ל-5 מושבים, מתוך ה- 8 שהיו לה קודם לכן, בעקבות השערוריה שנחשפה השבוע.
האם זה מה שהסקרים מלמדים? האם נראה שמפלגת ישראל ביתנו איבדה מנדטים בעקבות פרשת השחיתות שפורסמה השבוע ב- 24 לדצמבר?
אם נסתכל אך ורק על סקר מעריב לפני ואחרי, אז זה אכן נכון שבסקר מעריב משבוע שעבר (ה- 16 לדצמבר), ישראל ביתנו קיבלה 8 מנדטים, ומהסקר השבוע (שפורסם היום, שישי ה- 26 לדצמבר) הם קיבלו 5 מנדטים. האם הירידה הזו "מובהקת"? כלומר – האם יש לנו עדות לכך שהפרש המנדטים הזה הוא מעבר לטעות מקרית?
כן ולא.
אם מסתכלים רק על התוצאות של מעריב מהיום למול התוצאות של שבוע שעבר, אז אכן רואים ירידה מ- 8 ל- 5 מנדטים (ירידה "מובהקת" סטטיסטית). אבל אם מסתכלים על הנתונים של 3 סקרים לפני פריצת הפרשה ו-3 סקרים ביום שאחריה, מקבלים שלפני הפרשה מספר המנדטים היה 8 ואחריה הוא היה (בממוצע) 7.6 (ירידה שאיננה יותר מובהקת).
הנה החישוב המדוייק שבוצע:
ניתוח של נתוני מעריב בלבד
להלן הנתונים ממעריב:
תאריך | גוף מזמין | גוף מבצע | סוג הסקר | כמות נסקרים | ישראל ביתנו |
25/12/2014 | מעריב-סופהשבוע | פאנלס פוליטיקס | פאנל | 534 | 5 |
16/12/2014 | מעריב-סופהשבוע | פאנלס פוליטיקס | פאנל | 500 | 8 |
לפי הנתונים של מעריב בלבד, מתקבל שיש ירידה מובהקת (p-value = 0.037) במספר המנדטים (כאשר עושים מבחן השערות על הפרש פרופורציות). הנה הטבלה איתה בוצע החישוב:
במעריב בלבד | סה"כ | תומכי ישראל ביתנו | פרופורציה | מנדטים | שונות משותפת | הפרש פרופורציה | ערך Z | p-value | |
לפני | 500.0 | 33.3 | 0.067 | 8 | |||||
אחרי | 534.0 | 22.3 | 0.042 | 5.0 | |||||
מאוחדת | 1034.0 | 55.6 | 0.054 | 0.014035 | 0.025 | 1.781237 | 0.037437 |
אבל אם נסתכל על הנתונים מסקרים אחרים, התמונה שנקבל תהיה הרבה פחות ברורה.
שיקלול נתוני מעריב עם סקרים אחרים
נקח כעת את הנתונים שהופיעו ב-3 סקרים מהימים שלפני חשיפת הפרשה (כלומר לפני ה- 24 בדצמבר), ומולם 3 סקרים ביום שלאחר החשיפה (ב- 25 בדצמבר), כולל הסקר של מעריב. הנה הנתונים:
תאריך | גוף מזמין | גוף מבצע | סוג הסקר | כמות נסקרים | ישראל ביתנו |
25/12/2014 | רשת ב | רפי סמית | מדגם | 570 | 8 |
25/12/2014 | וואלה | טלסקר | מדגם | 500 | 10 |
25/12/2014 | מעריב-סופהשבוע | פאנלס פוליטיקס | פאנל | 534 | 5 |
23/12/2014 | ערוץ 10 | דיאלוג – קמיל פוקס | מדגם | 500 | 9 |
21/12/2014 | ערוץ הכנסת | פאנלס פוליטיקס | פאנל | 500 | 7 |
18/12/2014 | רשת ב | רפי סמית | מדגם | 500 | 8 |
(הנתונים נלקחו מעמוד ריכוז הסקרים של נחמיה)
כעת אם נחזור על המבחן הסטטיסטי, נקבל שהתוצאה כבר אינה מובהקת:
בכמה מהסקרים | סה"כ | תומכי ישראל ביתנו | פרופורציה | מנדטים | שונות משותפת | הפרש פרופורציה | ערך Z | p-value | |
לפני | 1500.0 | 100.0 | 0.067 | 8 | |||||
אחרי | 1604.0 | 101.9 | 0.064 | 7.6 | |||||
3104.0 | 201.9 | 0.065 | 0.008858 | 0.003 | 0.353084 | 0.362013 |
נסכם
מה אפשר לומר מזה? שהירידה שראינו בסקר מעריב לא שוחזרה כאשר שיקללנו סקרים אחרים. אז האם פרשת השחיתות השפיעה או שלא? התשובה שלי כרגע היא שאני עוד לא יודע. זה המקום להזכיר את הציטוט שפירסמתי אתמול מפרופסור קמיל פוקס:
אני מציע להתיחס פחות לתוצאות של כל סקר בנפרד ולבדוק במקום זה מגמות ותוצאות של מספר סקרים ביחד. כי הרי בכל סקר ישנן סטיות מקריות. כאשר מזהים תנודות בין סקר אחד לשני התנודות יכולות להיות עדות למגמה אמיתית או לנבוע מסטיה מקרית.
אין לנו אלא לחכות לסקרים הבאים…