22/12/2014 – סקר ערוץ הכנסת – העיתונות מדווחת על שינויים שאינם מובהקים בנתונים

 

היום פורסם במאקו, ערוץ 2, גלובס (וכנראה עוד) – תוצאות סקר שערך מכון "פאנלס פוליטיקס" עבור ערוץ הכנסת. הנה התוצאות:

seker_01_2014-12-22

כרגיל, אני אניח שהסקר בוצע באופן תקין ומקצועי. עם זאת, ההצגה שלו בתקשורת מתעלמת מטווח המנדטים הסביר של כל תחזית מנדטים. הנה הגרף שכולל את טווח המנדטים הסביר:

2014-12-22 16_08_39-Clipboard

(טווח המנדטים מתבסס על כך שבסקר היו 500 נשאלים. לצערי, בדיווחים שהופיעו בעיתונות, לא נרשם מספר הנשאלים שנסקרו)

כיצד הסקרים דווחו

במאקו וגם בערוץ 2:

…עולה כי הרשימה המאוחדת של העבודה והתנועה זוכה ב-23 מנדטים, הליכוד עם 21 בלבד. יש עתיד של לפיד מתחזקת מעט ועולה ל-11 מנדטים. וגם: דרעי מנצח את ישי בקרב של ש"ס מול מפלגתו החדשה

אני מציע את הטקסט המדוייק יותר הבא:

…עולה כי הרשימה המאוחדת של העבודה והתנועה זוכה ב-23 בין 18 ל- 27 מנדטים, הליכוד עם 21 בלבד בין 17 ל- 24. יש עתיד של לפיד מתחזקת מעט ועולה ל-11 מנדטים בין 8 ל- 14. וגם: דרעי מנצח את ישי בקרב של ש"ס מול מפלגתו החדשה בין 3 ל- 7 מנדטים בעוד שישי מקבל בין 2 ל- 6 מנדטים.

הטענות שמופיעות בתקצירי הכתבות אינן "עולות" מהסקר. חשוב להדגיש – זה שיש עתיד של לפיד "התחזקה" ל- 11 מנדטים (מה שנכתב גם בגלובס), איננו מעיד על התחזקות. האפשרות שיש לו 11 מנדטים הייתה בתוך טווח האפשרויות של הסקר הקודם של גלובס, כמו כן גם הסקר הנוכחי לא להבדיל האם יש עתיד תקבל (אילו הבחירות היו מתקיימות היום) 8 מנדטים או 14 (בגלל שטווח האפשרויות הזה הוא מה שנוצר בגלל שיש לנו מדגם של רק 500 איש, ולא מדגם גדול יותר).

כנ"ל לגבי דרעי מול ישי – אין עדות לכך שהאחד יקבל יותר מנדטים מהאחר. בשניהם טווח המנדטים הסביר מאפשר שבסוף ישי יקבל יותר מדרעי וגם ההיפך.

בשפה סטטיסטית – הטענות שמופיעות בכתבות אינן מובהקות (כלומר, הן עלולות להיות תוצאה של טעות דגימה, ואם היו מבצעים את הסקר שוב, היו מתקבלות תוצאות שסותרות את הטענות המוצגות בכותרות העיתונים).

פרטים טכניים

כשאני כותב "טווח המנדטים הסביר" הכוונה היא לרווח בר-סמך מבוסס Wald לפרופורציה על סמך הקירוב הנורמלי, ברמת סמך של 95%. התעלמתי בתרשים מעל מסוגיות הקירוב של רווח הסמך עבור המפלגות הקטנות יותר (אז אם זה חשוב לכם, תצטרכו לבצע חישוב מדוייק יותר).

נ.ב: הייתי מעדיף שלא יציגו את הגרף כתרשים עמודות תלת מימדי. זה לא עוזר (ואף מקשה) על ההשוואה הוויזואלית של העמודות.

 

18/12/2014 – סקר גלובס – הסקר לא מצליח לגלות האם הציבור מעדיף את נתניהו לעומת הרצוג כראש ממשלה

 

ב – 18/12/2014, גלובס פירסמו סקר בחירות (הנתונים רוכזו בדף הסקרים של נחמיה).

הנה תרשים תוצאות הסקר לאחר הוספת טווח-מנדטים "סביר":

2014-12-20 11_30_27-Clipboard

לזכות הכתבת, לילך ויסמן, יאמר שלא מצאתי בכתבה טענות בלתי סבירות ממה שמשתמע מתוצאות הסקר (אין לי מושג לגבי הפרשנות הפוליטית שהיא מציעה, אבל מבחינת פרשנות לנתונים היא לא מבצעת שום חטא בו הבחנתי) – אז כל הכבוד.

נתניהו או הרצוג?

בנוסף הכתבה כוללת השוואה בין נתניהו להרצוג לגבי השאלה "מי מתאים להיות רה"מ הבא?". נתניהו מקבל 39% מול הרצוג עם 35%. האם אז אפשר לומר שבציבור יש יותר אחוז שמעדיפים את נתניהו על פני הרצוג?
סך הכל יש לנו 74% בעלי העדפה לגבי ראש ממשלה (370 נשאלים). זה אומר שמתוך הנשאלים הללו, 52.7% תומכים בנתניהו ושאר ה- 47.3% בהרצוג. טווח אפשרויות (דהיינו, רווח בר סמך) להפרש בין אחוז התומכים בנתניהו מול הרצוג נותן טווח של 4.7% בעד הרצוג ועד 15.5% בעד נתניהו. כלומר, מהנתונים שבסקר, אין עדות לכך שהציבור מעדיף את נתניהו מול הרצוג או ההיפך!

שלוש כותרות (נכונות) שאפשר היה להוציא מהתוצאה הזו הן:

  • הרצוג לא מצליח לעקוף את נתניהו בסקרים
  • נתניהו לא מצליח לעקוף את הרצוג בסקרים
  • סקר בחירות לא מצליח לגלות האם הציבור מעדיף את נתניהו לעומת הרצוג כראש ממשלה, בגלל שכנראה שאחוז התומכים בכל אחד הוא יחסית דומה (ביחס לגודל המדגם של הסקר).

זה שסקר לא מצליח לגלות לנו משהו שחשוב לנו לדעת לא אומר שמדובר בסקר רע. ובכל זאת, זה חשוב שיהיה לנו, הקוראים, ברור מה הסקר הצליח ומה הוא לא הצליח לגלות לנו.

פרטים טכניים

כשאני כותב "טווח המנדטים הסביר" הכוונה היא לרווח בר-סמך מבוסס Wald לפרופורציה על סמך הקירוב הנורמלי, ברמת סמך של 95%. התעלמתי בתרשים מעל מסוגיות הקירוב של רווח הסמך עבור המפלגות הקטנות יותר (אז אם זה חשוב לכם, תצטרכו לבצע חישוב מדוייק יותר).

עבור חישוב רווח הסמך של נתניהו מול הרצוג, בניתי רווח סמך לאחוז התומכים בנתניהו, אבל הרווח סמך שאני רוצה בו הוא ההפרש בין התומכים בנתניהו לתומכים בהרצוג. כלומר:  p – (1-p). השתמשתי באינוואריאנטיות של רווחי סמך, על סמך רווח הסמך לתומכים בנתניהו, בשביל לקבל את התוצאה שהוצגה למעלה.

סקר מעריב – המספר 10 שווה ל- 23 וגדול מ-10

 

היום (19/12/2014) פרסמו מעריב סקר בחירות חדש. בהצגה הגרפית של הסקר הזה בעיתון אין (כמעט) קשר בין גובה העמודות למספר המנדטים. הבולט מכולם היא ההחלטה להציג את יש עתיד (עם 10 מנדטים) בתור עמודה בגובה של 23 מנדטים. להלן התרשים:

seker_maariv

התרשים הזה שופע עיוותים נוספים של קשר בין מספרים לעמודות:

  • סכום המנדטים שבגרף הוא 122 (במקום 120).
  • יש עתיד (10) בגובה של העבודה (23), וגבוהה מהליכוד (21) והבית היהודי (16).
  • כולנו (10) נמוכה מיש עתיד (10), אבל בגובה של הבית היהודי (16).
  • רעם תעל (7) בגובה של חד"ש (5), אבל נמוכים ממרצ (7), וכולם נמוכים מיהדות התורה (7) ונמוכים בסידרי גודל מישראל ביתנו (8).
  • הגובה של הסיפרה מספר המנדטים של אלי ישי גבוה מהמספר של ש"ס (למרות שהעמודות באותו הגובה)

וואו.

לצערי הגרף שמעל פורסם גם בעיתון המודפס (תודה לצ'יקו מנשה על הפירסום בטוויטר):

B5M4uE0CAAAvpYY

חשוב להדגיש שזה שההצגה הגרפית שהופיעה בעיתון רעה, לא אומר שהסקר עצמו היה רע. אני מוכן להניח ולהאמין שחברת הסקרים עשתה עבודה מקצועית וטובה. למעשה, אני שמח להציע תרשים מתוקן (בו יש קשר עיקבי בין גובה עמודות למספר המנדטים). התרשים כולל את טווח המנדטים ה"סביר" על סמך גודל המדגם של הסקר:

2014-12-19 11_11_23-Clipboard

 

להמשיך לקרוא סקר מעריב – המספר 10 שווה ל- 23 וגדול מ-10

17/12/2014 – סקר הארץ

 

ב – 17/12/2014, הארץ פירסמו סקר בחירות (בפיקוחו של פרופסור קמיל פוקס מחברת דיאלוג). והנתונים רוכזו בדף הסקרים של נחמיה.

הנה תרשים תוצאות הסקר לאחר הוספת טווח-מנדטים "סביר":

2014-12-17 22_48_38-Clipboard

המשפט בתקציר של הכתבה היה:

"לפי תוצאות הסקר, רשימה משותפת של "יש עתיד" ו"כולנו" תקבל 24 מנדטים ותשאיר את הליכוד מאחור עם 21 מנדטים, ואת רשימתם של יצחק הרצוג וציפי לבני עם 20 בלבד"

(לא ברור לי למה בנתונים של נחמיה הרצוג וליבני מקבלים 21, ובטקסט רשום 20 – זה ייבדק בהמשך)

ברשותכם, להלן משפט מעודכן כך שיתחשב בטווח-המנדטים ה"סביר":

"לפי תוצאות הסקר, רשימה משותפת של "יש עתיד" ו"כולנו" תקבל בין 20 ל – 28 מנדטים ואולי תשאיר את הליכוד מאחור עם בין 17 ל- 25 מנדטים (אבל גם אולי לא!), ואת רשימתם של יצחק הרצוג וציפי לבני עם בין 16 ל- 24 מנדטים (אשר עשויים באותה המידה להשאיר מאחור את יש-עתיד-כולנו והליכוד, או שלא)"

אני מודה שהמשפט המעודכן הרבה פחות קולח, ומשאיר הרבה ערפל באוויר. זיכרו: סקר בחירות נותן לנו טווח מנדטים סביר אשר כל אחד מהם סביר (פחות או יותר) באותה המידה.

פרטים טכניים: כשאני כותב "טווח המנדטים הסביר" הכוונה היא לרווח בר-סמך מבוסס Wald לפרופורציה על סמך הקירוב הנורמלי, ברמת סמך של 95%. התעלמתי בתרשים מעל מסוגיות הקירוב של רווח הסמך עבור המפלגות הקטנות יותר (אז אם זה חשוב לכם, תצטרכו לבצע חישוב מדוייק יותר).

מטא-סקר בחירות: כ-7,671 איש מ-14 סקרים (תחילת דצמבר 2014)

 

מטא-סקר הוא סקר של סקרים.

בשבועיים האחרונים נסקרו למעלה מ- 7,671 איש על פני 14 סקרים, בשאלה למי הם יצביעו בבחירות הקרובות. בפוסט זה אני מאחד את תוצאות הסקרים הללו לכדי מטא-סקר (עם סייגים חשובים וקרדיטים רלוונטיים).

נתחיל בתוצאות (הקליקו לתמונה בגודל מלא):
כרגע (כתום) = חלוקת המנדטים כרגע בכנסת.
תחזית (כחול) = צפי המנדטים על סמך איחוד 14 הסקרים.

corrected_2014-12-26 11_44_30-Clipboard

פרשנות על התוצאות

סייגים: כשבאים לפרש את התוצאות חשוב לזכור שלמרות הכמות הגדולה של הנבדקים, ייתכן והמדגם שהופיע בסקרים איננו מייצג את האוכלוסיה (לדוגמא, בגלל הקושי לסקור אזרחים/ות מהאוכלוסיה החרדית והערבית), אז קחו את הפרשנות בערבון מוגבל! כמו כן, אני מתעלם מהנושא של אחוז חסימה והסכמי עודפים. התחזיות הן של מספר מנדטים כולל שברי מנדטים.

בהנחה שאין הטיות מדגם (וסביר שיש, בעיקר באוכלוסיות קשות לדגימה!), מידת הדיוק של המטא-סקר הוא פלוס מינוס מנדט 1.4 מנדטים.

גם חשוב לזכור שבתקופה שבוצעו חלק מהסקרים הללו הייתה ההכרזה על הקמת המחנה-הציוני (האיחוד של העבודה והתנועה), כך שהסקרים השונים לא מציגים בדיוק את אותו הדבר. את ההשלכות המלאות של זה נגלה בשבועות הבאים. כמו כן, חלק מהסקרים בוצעו לפני הפיצול הסופי של ש"ס, ולפני שראינו את הרשימה של כחלון. בקיצור, יהיה עוד הרבה אקשן…

מסקנות ביניים:

  • המחנה הציוני – יפסיד מנדטים (בערך מנדט אחד לעומת המצב הנוכחי כ- 19 לעומת 21 – המאוחד של העבודה והתנועה – זכרו שברוב הסקרים עוד לא הוכרז האיחוד, ועל כן המשמעות של הנתונים היא קצת שונה מהמשמעות שלהן בסקרים הבאים שייסקרו!)
  • הליכוד – ירוויח מנדטים (בערך 6)
  • יש עתיד – תפסיד מנדטים (בערך 9)
  • ישראל ביתנו – תפסיד מנדטים (בערך 3)
  • הבית היהודי – ירוויח מנדטים (בערך 4)
  • ש"ס – יפסידו מנדטים (בערך 4)
  • יהדות התורה – לא ברור שיהיה הבדל במספר המנדטים
  • רע"מ תע"ל בל"ד – אולי תפסיד מנדט אחד
  • מרצ וחד"ש – אין עדות לשינוי במספר המנדטים
  • כולנו – תחזית של כ- 10 מנדטים!

אם משווים את התוצאות למטא סקר שמבצע נחמיה גרשוני-איילהו במסגרת פרוייקט 61 (קישור לתוצאותיו כאן), התוצאות דומות למדי, הבדלי התחזיות הן בטווח השגיאה של מנדט אחד למעט המחנה הציוני שמקבל 23 מנדטים אצל נחמיה ויש עתיד שמקבלים רק 8 מנדטים.

פרטים טכניים על יצירת המטא-סקר

להמשיך לקרוא מטא-סקר בחירות: כ-7,671 איש מ-14 סקרים (תחילת דצמבר 2014)