"נענע 10" פירסמו תוצאות סקר עם טווח מנדטים!

 

התרגשתי כעת לגלות שבערוץ החדשות בנענע פירסמו היום סקר לבחירות 2015 אשר כלל על העמודות שלו מקלות המציגים את טווח המנדטים של הסקר. כל הכבוד!

2014-12-23 22_12_17-Clipboard

אני מוריד את הכובע בפני TRI על שצירפו טווח טעות מנדטים לתוצאות הסקר שהם פירסמו. מהסתכלות בדף החדשות שלהם, אפשר לראות שהם מפיצים מצגת עם מידע מפורט על תוצאות הסקר שפורסם. מה שמעניין הוא שבמסמכים הקודמים שלהם (דוגמאות: 1, 2) תרשימי תוצאות הסקר לא כללו את טווח המנדטים, מה שאומר שמדובר (אולי) בתופעה חדשה (שאני מקווה שרק תלך ותגבר).

הערה קצת מורכבת (סטטיסטית), אך מעניינת, לגבי המשפט בכתבה בנענע חדשות שמתאר את תוצאות הסקר. שם נאמר: "קיים כמעט תיקו משולש בפסגה", המשפט הזה הוא נכון! אומנם טווח המנדטים שמוצג בגרף של המפלגות לא מאפשר לומר שהבית היהודי יקבל בהכרח פחות מהליכוד, כחלון-לפיד, והעבודה+התנועה – אבל, אפשר עם הנתונים לבנות טווח מנדטים להפרש בין הליכוד לבית היהודי, והטווח הזה יוצא להיות בין 1.3 ל- 6.7 מנדטים. זוהי תופעה שחשוב לזכור – טווח המנדטים הוא טוב בשביל לחשוב על טווח התוצאות של מפלגה אחת. אם טווח המפלגות של שתי מפלגות לא חופף, אז אפשר להסיק שאחת המפלגות תקבל יותר מנדטים מהאחרת (ברמת הטעות של הסקר, בדרך כלל 95%). אבל, אם טווח המנדטים כן חופף, עדיין ייתכן ואפשר לגלות מהנתונים שהאחת תקבל יותר מנדטים מהשניה. ספציפית, כאשר רוצים להשוות את התוצאות של שתי מפלגות אפשר לבנות טווח הפרש מנדטים סביר, אשר עונה לנו באופן ישיר (ויותר מדוייק), לגבי שאלת ההשוואה של המנדטים בשתי מלפגות.

סייג שכדאי להתחיל לכתוב כבר עכשיו: טווח המנדטים הסביר משקלל (לרוב) רק את מגבלות ההסקה מהסקר בגלל כמות הנשאלים שהשתתפו בסקר. בעיה נוספת היא מידת הייצוגיות של אנשי הסקר את שאר אזרחי ישראל (מה שמכונה בסטטיסטיקה "הטייה"). הסכנה של הטייה היא לא משהו שיש לנו איך להציג בגרף של תוצאות הסקר, אך חשוב שנזכור שהסכנה ממנו מרחפת מעלינו (אכתוב על זה עוד בפוסטים הבאים).

22/12/2014 – סקר ערוץ הכנסת – העיתונות מדווחת על שינויים שאינם מובהקים בנתונים

 

היום פורסם במאקו, ערוץ 2, גלובס (וכנראה עוד) – תוצאות סקר שערך מכון "פאנלס פוליטיקס" עבור ערוץ הכנסת. הנה התוצאות:

seker_01_2014-12-22

כרגיל, אני אניח שהסקר בוצע באופן תקין ומקצועי. עם זאת, ההצגה שלו בתקשורת מתעלמת מטווח המנדטים הסביר של כל תחזית מנדטים. הנה הגרף שכולל את טווח המנדטים הסביר:

2014-12-22 16_08_39-Clipboard

(טווח המנדטים מתבסס על כך שבסקר היו 500 נשאלים. לצערי, בדיווחים שהופיעו בעיתונות, לא נרשם מספר הנשאלים שנסקרו)

כיצד הסקרים דווחו

במאקו וגם בערוץ 2:

…עולה כי הרשימה המאוחדת של העבודה והתנועה זוכה ב-23 מנדטים, הליכוד עם 21 בלבד. יש עתיד של לפיד מתחזקת מעט ועולה ל-11 מנדטים. וגם: דרעי מנצח את ישי בקרב של ש"ס מול מפלגתו החדשה

אני מציע את הטקסט המדוייק יותר הבא:

…עולה כי הרשימה המאוחדת של העבודה והתנועה זוכה ב-23 בין 18 ל- 27 מנדטים, הליכוד עם 21 בלבד בין 17 ל- 24. יש עתיד של לפיד מתחזקת מעט ועולה ל-11 מנדטים בין 8 ל- 14. וגם: דרעי מנצח את ישי בקרב של ש"ס מול מפלגתו החדשה בין 3 ל- 7 מנדטים בעוד שישי מקבל בין 2 ל- 6 מנדטים.

הטענות שמופיעות בתקצירי הכתבות אינן "עולות" מהסקר. חשוב להדגיש – זה שיש עתיד של לפיד "התחזקה" ל- 11 מנדטים (מה שנכתב גם בגלובס), איננו מעיד על התחזקות. האפשרות שיש לו 11 מנדטים הייתה בתוך טווח האפשרויות של הסקר הקודם של גלובס, כמו כן גם הסקר הנוכחי לא להבדיל האם יש עתיד תקבל (אילו הבחירות היו מתקיימות היום) 8 מנדטים או 14 (בגלל שטווח האפשרויות הזה הוא מה שנוצר בגלל שיש לנו מדגם של רק 500 איש, ולא מדגם גדול יותר).

כנ"ל לגבי דרעי מול ישי – אין עדות לכך שהאחד יקבל יותר מנדטים מהאחר. בשניהם טווח המנדטים הסביר מאפשר שבסוף ישי יקבל יותר מדרעי וגם ההיפך.

בשפה סטטיסטית – הטענות שמופיעות בכתבות אינן מובהקות (כלומר, הן עלולות להיות תוצאה של טעות דגימה, ואם היו מבצעים את הסקר שוב, היו מתקבלות תוצאות שסותרות את הטענות המוצגות בכותרות העיתונים).

פרטים טכניים

כשאני כותב "טווח המנדטים הסביר" הכוונה היא לרווח בר-סמך מבוסס Wald לפרופורציה על סמך הקירוב הנורמלי, ברמת סמך של 95%. התעלמתי בתרשים מעל מסוגיות הקירוב של רווח הסמך עבור המפלגות הקטנות יותר (אז אם זה חשוב לכם, תצטרכו לבצע חישוב מדוייק יותר).

נ.ב: הייתי מעדיף שלא יציגו את הגרף כתרשים עמודות תלת מימדי. זה לא עוזר (ואף מקשה) על ההשוואה הוויזואלית של העמודות.

 

18/12/2014 – סקר גלובס – הסקר לא מצליח לגלות האם הציבור מעדיף את נתניהו לעומת הרצוג כראש ממשלה

 

ב – 18/12/2014, גלובס פירסמו סקר בחירות (הנתונים רוכזו בדף הסקרים של נחמיה).

הנה תרשים תוצאות הסקר לאחר הוספת טווח-מנדטים "סביר":

2014-12-20 11_30_27-Clipboard

לזכות הכתבת, לילך ויסמן, יאמר שלא מצאתי בכתבה טענות בלתי סבירות ממה שמשתמע מתוצאות הסקר (אין לי מושג לגבי הפרשנות הפוליטית שהיא מציעה, אבל מבחינת פרשנות לנתונים היא לא מבצעת שום חטא בו הבחנתי) – אז כל הכבוד.

נתניהו או הרצוג?

בנוסף הכתבה כוללת השוואה בין נתניהו להרצוג לגבי השאלה "מי מתאים להיות רה"מ הבא?". נתניהו מקבל 39% מול הרצוג עם 35%. האם אז אפשר לומר שבציבור יש יותר אחוז שמעדיפים את נתניהו על פני הרצוג?
סך הכל יש לנו 74% בעלי העדפה לגבי ראש ממשלה (370 נשאלים). זה אומר שמתוך הנשאלים הללו, 52.7% תומכים בנתניהו ושאר ה- 47.3% בהרצוג. טווח אפשרויות (דהיינו, רווח בר סמך) להפרש בין אחוז התומכים בנתניהו מול הרצוג נותן טווח של 4.7% בעד הרצוג ועד 15.5% בעד נתניהו. כלומר, מהנתונים שבסקר, אין עדות לכך שהציבור מעדיף את נתניהו מול הרצוג או ההיפך!

שלוש כותרות (נכונות) שאפשר היה להוציא מהתוצאה הזו הן:

  • הרצוג לא מצליח לעקוף את נתניהו בסקרים
  • נתניהו לא מצליח לעקוף את הרצוג בסקרים
  • סקר בחירות לא מצליח לגלות האם הציבור מעדיף את נתניהו לעומת הרצוג כראש ממשלה, בגלל שכנראה שאחוז התומכים בכל אחד הוא יחסית דומה (ביחס לגודל המדגם של הסקר).

זה שסקר לא מצליח לגלות לנו משהו שחשוב לנו לדעת לא אומר שמדובר בסקר רע. ובכל זאת, זה חשוב שיהיה לנו, הקוראים, ברור מה הסקר הצליח ומה הוא לא הצליח לגלות לנו.

פרטים טכניים

כשאני כותב "טווח המנדטים הסביר" הכוונה היא לרווח בר-סמך מבוסס Wald לפרופורציה על סמך הקירוב הנורמלי, ברמת סמך של 95%. התעלמתי בתרשים מעל מסוגיות הקירוב של רווח הסמך עבור המפלגות הקטנות יותר (אז אם זה חשוב לכם, תצטרכו לבצע חישוב מדוייק יותר).

עבור חישוב רווח הסמך של נתניהו מול הרצוג, בניתי רווח סמך לאחוז התומכים בנתניהו, אבל הרווח סמך שאני רוצה בו הוא ההפרש בין התומכים בנתניהו לתומכים בהרצוג. כלומר:  p – (1-p). השתמשתי באינוואריאנטיות של רווחי סמך, על סמך רווח הסמך לתומכים בנתניהו, בשביל לקבל את התוצאה שהוצגה למעלה.

סקר מעריב – המספר 10 שווה ל- 23 וגדול מ-10

 

היום (19/12/2014) פרסמו מעריב סקר בחירות חדש. בהצגה הגרפית של הסקר הזה בעיתון אין (כמעט) קשר בין גובה העמודות למספר המנדטים. הבולט מכולם היא ההחלטה להציג את יש עתיד (עם 10 מנדטים) בתור עמודה בגובה של 23 מנדטים. להלן התרשים:

seker_maariv

התרשים הזה שופע עיוותים נוספים של קשר בין מספרים לעמודות:

  • סכום המנדטים שבגרף הוא 122 (במקום 120).
  • יש עתיד (10) בגובה של העבודה (23), וגבוהה מהליכוד (21) והבית היהודי (16).
  • כולנו (10) נמוכה מיש עתיד (10), אבל בגובה של הבית היהודי (16).
  • רעם תעל (7) בגובה של חד"ש (5), אבל נמוכים ממרצ (7), וכולם נמוכים מיהדות התורה (7) ונמוכים בסידרי גודל מישראל ביתנו (8).
  • הגובה של הסיפרה מספר המנדטים של אלי ישי גבוה מהמספר של ש"ס (למרות שהעמודות באותו הגובה)

וואו.

לצערי הגרף שמעל פורסם גם בעיתון המודפס (תודה לצ'יקו מנשה על הפירסום בטוויטר):

B5M4uE0CAAAvpYY

חשוב להדגיש שזה שההצגה הגרפית שהופיעה בעיתון רעה, לא אומר שהסקר עצמו היה רע. אני מוכן להניח ולהאמין שחברת הסקרים עשתה עבודה מקצועית וטובה. למעשה, אני שמח להציע תרשים מתוקן (בו יש קשר עיקבי בין גובה עמודות למספר המנדטים). התרשים כולל את טווח המנדטים ה"סביר" על סמך גודל המדגם של הסקר:

2014-12-19 11_11_23-Clipboard

 

להמשיך לקרוא סקר מעריב – המספר 10 שווה ל- 23 וגדול מ-10

17/12/2014 – סקר הארץ

 

ב – 17/12/2014, הארץ פירסמו סקר בחירות (בפיקוחו של פרופסור קמיל פוקס מחברת דיאלוג). והנתונים רוכזו בדף הסקרים של נחמיה.

הנה תרשים תוצאות הסקר לאחר הוספת טווח-מנדטים "סביר":

2014-12-17 22_48_38-Clipboard

המשפט בתקציר של הכתבה היה:

"לפי תוצאות הסקר, רשימה משותפת של "יש עתיד" ו"כולנו" תקבל 24 מנדטים ותשאיר את הליכוד מאחור עם 21 מנדטים, ואת רשימתם של יצחק הרצוג וציפי לבני עם 20 בלבד"

(לא ברור לי למה בנתונים של נחמיה הרצוג וליבני מקבלים 21, ובטקסט רשום 20 – זה ייבדק בהמשך)

ברשותכם, להלן משפט מעודכן כך שיתחשב בטווח-המנדטים ה"סביר":

"לפי תוצאות הסקר, רשימה משותפת של "יש עתיד" ו"כולנו" תקבל בין 20 ל – 28 מנדטים ואולי תשאיר את הליכוד מאחור עם בין 17 ל- 25 מנדטים (אבל גם אולי לא!), ואת רשימתם של יצחק הרצוג וציפי לבני עם בין 16 ל- 24 מנדטים (אשר עשויים באותה המידה להשאיר מאחור את יש-עתיד-כולנו והליכוד, או שלא)"

אני מודה שהמשפט המעודכן הרבה פחות קולח, ומשאיר הרבה ערפל באוויר. זיכרו: סקר בחירות נותן לנו טווח מנדטים סביר אשר כל אחד מהם סביר (פחות או יותר) באותה המידה.

פרטים טכניים: כשאני כותב "טווח המנדטים הסביר" הכוונה היא לרווח בר-סמך מבוסס Wald לפרופורציה על סמך הקירוב הנורמלי, ברמת סמך של 95%. התעלמתי בתרשים מעל מסוגיות הקירוב של רווח הסמך עבור המפלגות הקטנות יותר (אז אם זה חשוב לכם, תצטרכו לבצע חישוב מדוייק יותר).