22/12/2014 – סקר ערוץ הכנסת – העיתונות מדווחת על שינויים שאינם מובהקים בנתונים

 

היום פורסם במאקו, ערוץ 2, גלובס (וכנראה עוד) – תוצאות סקר שערך מכון "פאנלס פוליטיקס" עבור ערוץ הכנסת. הנה התוצאות:

seker_01_2014-12-22

כרגיל, אני אניח שהסקר בוצע באופן תקין ומקצועי. עם זאת, ההצגה שלו בתקשורת מתעלמת מטווח המנדטים הסביר של כל תחזית מנדטים. הנה הגרף שכולל את טווח המנדטים הסביר:

2014-12-22 16_08_39-Clipboard

(טווח המנדטים מתבסס על כך שבסקר היו 500 נשאלים. לצערי, בדיווחים שהופיעו בעיתונות, לא נרשם מספר הנשאלים שנסקרו)

כיצד הסקרים דווחו

במאקו וגם בערוץ 2:

…עולה כי הרשימה המאוחדת של העבודה והתנועה זוכה ב-23 מנדטים, הליכוד עם 21 בלבד. יש עתיד של לפיד מתחזקת מעט ועולה ל-11 מנדטים. וגם: דרעי מנצח את ישי בקרב של ש"ס מול מפלגתו החדשה

אני מציע את הטקסט המדוייק יותר הבא:

…עולה כי הרשימה המאוחדת של העבודה והתנועה זוכה ב-23 בין 18 ל- 27 מנדטים, הליכוד עם 21 בלבד בין 17 ל- 24. יש עתיד של לפיד מתחזקת מעט ועולה ל-11 מנדטים בין 8 ל- 14. וגם: דרעי מנצח את ישי בקרב של ש"ס מול מפלגתו החדשה בין 3 ל- 7 מנדטים בעוד שישי מקבל בין 2 ל- 6 מנדטים.

הטענות שמופיעות בתקצירי הכתבות אינן "עולות" מהסקר. חשוב להדגיש – זה שיש עתיד של לפיד "התחזקה" ל- 11 מנדטים (מה שנכתב גם בגלובס), איננו מעיד על התחזקות. האפשרות שיש לו 11 מנדטים הייתה בתוך טווח האפשרויות של הסקר הקודם של גלובס, כמו כן גם הסקר הנוכחי לא להבדיל האם יש עתיד תקבל (אילו הבחירות היו מתקיימות היום) 8 מנדטים או 14 (בגלל שטווח האפשרויות הזה הוא מה שנוצר בגלל שיש לנו מדגם של רק 500 איש, ולא מדגם גדול יותר).

כנ"ל לגבי דרעי מול ישי – אין עדות לכך שהאחד יקבל יותר מנדטים מהאחר. בשניהם טווח המנדטים הסביר מאפשר שבסוף ישי יקבל יותר מדרעי וגם ההיפך.

בשפה סטטיסטית – הטענות שמופיעות בכתבות אינן מובהקות (כלומר, הן עלולות להיות תוצאה של טעות דגימה, ואם היו מבצעים את הסקר שוב, היו מתקבלות תוצאות שסותרות את הטענות המוצגות בכותרות העיתונים).

פרטים טכניים

כשאני כותב "טווח המנדטים הסביר" הכוונה היא לרווח בר-סמך מבוסס Wald לפרופורציה על סמך הקירוב הנורמלי, ברמת סמך של 95%. התעלמתי בתרשים מעל מסוגיות הקירוב של רווח הסמך עבור המפלגות הקטנות יותר (אז אם זה חשוב לכם, תצטרכו לבצע חישוב מדוייק יותר).

נ.ב: הייתי מעדיף שלא יציגו את הגרף כתרשים עמודות תלת מימדי. זה לא עוזר (ואף מקשה) על ההשוואה הוויזואלית של העמודות.

 

יצחק (בוז'י) הרצוג משתף: סקר ערוץ 2 מהערב

(הגרף המתוקן בסוף הפוסט)

ב- 12/12/2014, פורסם בעמוד של יצחק (בוז'י) הרצוג, שיתוף של סקר ערוץ 2. הנה הגרף שהוצג:

2014-12-12 13_48_15-Clipboard

הגרף הזה שוגה בשתי נקודות עיקריות: (כפי שגם תואר בבלוג "שקרים יפים")

  • סידור העמודות איננה בסדר עולה
  • העמודה של "ישראל ביתנו", אשר קיבלה בסקר 8 מנדטים, גבוהה יותר מזו של "כולנו" (9 מנדטים) ושל הבית היהודי (15 מנדטים)!

מאז פירסמו ערוץ 2 גרף אשר מתקן את שתי השגיאות הללו:

2014-12-12 14_08_01-Clipboard

אך גם התיקון הזה משאיר על הקורא רושם שגוי. זאת משום שהגרפים מציגים את מספר המנדטים אך ללא הצגת אי-הוודאות אשר צפויה להיות במדגם של 500 אנשים. לצורך כך, עבדכם הנאמן יצר גרף מתאים (הקווים מסביב לכל עמודה נותנים את "טווח המנדטים הסביר" שכל מפלגה תקבל, על סמך נתוני הסקר):

2014-12-12 14_29_11-Clipboard

כאשר חישוב ישיר של ההפרש בין מספר המנדטים של העבודה-והתנועה לבין הליכוד, נותן טווח הפרש (ברמת דיוק של 95%) של בין (4, 2-) מנדטים (כלומר, הכל עוד פתוח…).

חשוב להדגיש שזה שההצגה הגרפית שהופיעה בערוץ 2 רעה, לא אומר שהסקר עצמו היה רע. אני מוכן להניח ולהאמין שחברת הסקרים עשתה עבודה מקצועית וטובה.

 

להמשיך לקרוא יצחק (בוז'י) הרצוג משתף: סקר ערוץ 2 מהערב