היום פורסם במאקו, ערוץ 2, גלובס (וכנראה עוד) – תוצאות סקר שערך מכון "פאנלס פוליטיקס" עבור ערוץ הכנסת. הנה התוצאות:
כרגיל, אני אניח שהסקר בוצע באופן תקין ומקצועי. עם זאת, ההצגה שלו בתקשורת מתעלמת מטווח המנדטים הסביר של כל תחזית מנדטים. הנה הגרף שכולל את טווח המנדטים הסביר:
(טווח המנדטים מתבסס על כך שבסקר היו 500 נשאלים. לצערי, בדיווחים שהופיעו בעיתונות, לא נרשם מספר הנשאלים שנסקרו)
כיצד הסקרים דווחו
…עולה כי הרשימה המאוחדת של העבודה והתנועה זוכה ב-23 מנדטים, הליכוד עם 21 בלבד. יש עתיד של לפיד מתחזקת מעט ועולה ל-11 מנדטים. וגם: דרעי מנצח את ישי בקרב של ש"ס מול מפלגתו החדשה
אני מציע את הטקסט המדוייק יותר הבא:
…עולה כי הרשימה המאוחדת של העבודה והתנועה זוכה
ב-23בין 18 ל- 27 מנדטים, הליכודעם 21 בלבדבין 17 ל- 24. יש עתיד של לפידמתחזקת מעט ועולה ל-11 מנדטיםבין 8 ל- 14. וגם: דרעימנצח את ישי בקרב של ש"ס מול מפלגתו החדשהבין 3 ל- 7 מנדטים בעוד שישי מקבל בין 2 ל- 6 מנדטים.
הטענות שמופיעות בתקצירי הכתבות אינן "עולות" מהסקר. חשוב להדגיש – זה שיש עתיד של לפיד "התחזקה" ל- 11 מנדטים (מה שנכתב גם בגלובס), איננו מעיד על התחזקות. האפשרות שיש לו 11 מנדטים הייתה בתוך טווח האפשרויות של הסקר הקודם של גלובס, כמו כן גם הסקר הנוכחי לא להבדיל האם יש עתיד תקבל (אילו הבחירות היו מתקיימות היום) 8 מנדטים או 14 (בגלל שטווח האפשרויות הזה הוא מה שנוצר בגלל שיש לנו מדגם של רק 500 איש, ולא מדגם גדול יותר).
כנ"ל לגבי דרעי מול ישי – אין עדות לכך שהאחד יקבל יותר מנדטים מהאחר. בשניהם טווח המנדטים הסביר מאפשר שבסוף ישי יקבל יותר מדרעי וגם ההיפך.
בשפה סטטיסטית – הטענות שמופיעות בכתבות אינן מובהקות (כלומר, הן עלולות להיות תוצאה של טעות דגימה, ואם היו מבצעים את הסקר שוב, היו מתקבלות תוצאות שסותרות את הטענות המוצגות בכותרות העיתונים).
פרטים טכניים
כשאני כותב "טווח המנדטים הסביר" הכוונה היא לרווח בר-סמך מבוסס Wald לפרופורציה על סמך הקירוב הנורמלי, ברמת סמך של 95%. התעלמתי בתרשים מעל מסוגיות הקירוב של רווח הסמך עבור המפלגות הקטנות יותר (אז אם זה חשוב לכם, תצטרכו לבצע חישוב מדוייק יותר).
נ.ב: הייתי מעדיף שלא יציגו את הגרף כתרשים עמודות תלת מימדי. זה לא עוזר (ואף מקשה) על ההשוואה הוויזואלית של העמודות.
מתוך הנחה שההתפלגות בתוך טווח הסמך היא לא אחידה אז לכתוב שמפלגה מקבלת "בין X לY מנדטים" היא מטעה כי היא מניחה שלכל תוצאה בטווח יש הסתברות שווה. בסוף היום אם הסקר נערך כראוי אז אז הmean אמור להיות הערך בעל ההסתברות הגבוהה ביותר. נכון שלכתוב שהוא התוצאה היא חד משמעית זה מטעה אבל זה גם מטעה לטעון שסקר חדש שמראה תוצאה בתוך טווח הסמך של סקר קודם לא הוסיף מידע.
בקצרה – אני לא מסכים.
לכתוב שמפלגה מקבלת "בין X ל-Y מנדטים" איננה מניחה שלכל תוצאה בטווח יש הסתברות שווה, היא נותנת אמירה לגבי כל הטווח כמיקשה אחת.
אם הטווח שלנו הוא בין 10 ל- 14 מנדטים, אז אנחנו מרגישים טוב לטעון שהמפלגה הזו תקבל מעל ל- 9 מנדטים (לרוב ב- 95% "וודאות").
זה נכון שכל מיני מצבים הערך 12 מנדטים הוא יותר "סביר", אבל מה זה עוזר לי שהסבירות שלו היא (נאמר) 40% לעומת האחוזים של כל מה שסביבו? מדוע שאני ארצה לרשום הבחנות שיהיו נכונות רק ב- 40% מהמקרים?
זו הסיבה שבספרות המדעית (לדוגמא, ברפואה) נותנים מספר שאומר עד כמה משהו הוא "מסוכן", אבל תמיד גם נותנים את טווח הטעות שלו, כדי לוודא שהוא בהחלט יותר או פחות מסוכן מרף מסויים. וכל הדיון הזה מתקיים סביב הטווח, ולא סביב האומד הנקודתי.
בכל מקרה, אני מסכים איתך ששילוב מידע עבר עם מידע מסקר נוכחי זה דבר טוב, והמידע בסקר הנוכחי משפר את ידיעתנו לגבי המצב.
הערה נוספת לגבי צורת הכתיבה שאתה משתמש בה (תשובה קצת כבדה סטטיסטית) – צורת הכתיבה שלך היא של "הסקה בייזיאנית". דהיינו, מצב שבו אחוז התומכים במפלגה באוכלוסיה הוא לא מספר יחיד, אלא יש עליו התפלגות (פרשנות חביבה: יש התפלגות על הידיעה שלנו על המספר הזה). הסקה כזו דורשת התפלגות א-פריורית ובעזרת הנתונים מרכיבים התפלגות א-פוסטריורית. ואכן ברווחי סמך א-פוסטריורית (Credible interval) הם כאלו שנבנים על גבי התפלגות (שבה לאיזור מסויים יש יותר "סבירות" מאשר לאחר, לגבי הפרמטר האמיתי – והפרמטר הנאמד הוא, לרוב, התוחלת האפוסטריורית).
במצב כזה, זה נכון לומר שיש "איזורים" בתוך טווח המנדטים שהם "יותר סבירים". א-ב-ל, האם מעניין אותנו לדבר על איזור המנדטים שיש לנו 15% סיכוי שהוא נכון? או אפילו 50% שהוא נכון? התשובה היא כנראה שלא. אנחנו רוצים לדבר על טווח המנדטים שעבורם 95% שהמספר שלנו נמצא בתוכם (אני כותב זאת בשיח בייזיאני), כי אנחנו רוצים לדבר על משהו (עכשיו אני כותב ב"שכיחותנית") שברוב (95%) מהמצבים שנאמר לגביו משהו זה יהיה נכון (ולא משהו שרק ב- 50% מהמצבים הוא יהיה נכון).
ולסיום – בכל צורת הצגה שיש בה הפשטה של המציאות יהיה משהו "מטעה", השאלה היא איפה יש יותר הטעיה – בלהציג מספר בודד, או טווח מספרים. אני חושד שאתה כבר יודע את דעתי בנושא 🙂
בברכה,
טל
יש סיבה למה אני מעדיף הסקה ביסיינית לסקרים:
א) זה ההסתכלות המקובלת היום בהרבה מודלים לאגרגציית בחירות:
http://election.princeton.edu/
http://fivethirtyeight.com/
http://www.centerforpolitics.org/crystalball/
כי היא שימושית למתודולוגית אגרגצית סקרים שהתגלתה ככל כך שימושית בשנים האחרונות
ב) כי אנשים עושים אגרגצייה בראש. כי אם תראה להם סקר אחד שבו העבודה מקבלת 18 מנדטים, ועוד אחד שבו היא מקבלת 20 ועוד אחד שבו היא מקבלת 22 הם כבר יעשו את האגרגציה בראש. התוצאה כנראה לא תהיה מדוייקת (כי זה לא נכון לתת משקל שווה לכל סקר) אבל היא תהיה יותר נכונה מכל סקר בנפרד. את זה כמובן הרבה יותר קשה לעשות כשאתה מראה להם טווחים כי הקיטון בטווח הטעות בארגרגצייה הוא לא אינטואיטיבי
טוב, זה יצא קצת ארוך וטכני, אני מתנצל מראש:
בעיני יש חשיבה שכיחותנית מול בייזיאנית, ופרקטית מה מחשבים. ושניהם סבבה בעיני.
במקרה של סקר יחיד, לא יהיה הבדל משמעותי (אם ההתפלגות הא-פריורית היא לא אינפורמטיבית) בין שכיחותני לבייזיאני.
במקרה של הרבה סקרים, אני משער שיש שיטות שכיחותניות ובייזיאניות שיעבדו אותו הדבר, אבל יש מצב שבביזיאניות יהיה יותר קל לחשב אותם (אבל לא בהכרח). לדוגמא, במטא סקר שפירסמתי שבוע שעבר, השתמשתי בשיטה שכיחותנית, אבל אני משער שהיא תהיה דומה/שקולה לשיטה בייזיאנית עם פריור מסויים…
מבחינת המשמעות, אני מאמין שלאנשים יותר קל לחשוב בביזיאנית מאשר שכיחותנית, אבל בכל מקרה אני לא מנסה להפליג במשמעות של "טווח מנדטים", אז כל עוד זה כך, אין הבדל משמעותי בין האם אישית אני חושב שכיחותנית או בייזיאנית.
פרופסור אחד אמר לי לאחרונה שעדיף לבצע את החישובים שיפורסמו באופן שכיחותני, אבל כשאדם מקבל את ההחלטה עם הנתונים שפורסמו, הוא צריך להיות בייזיאני. הגותית זה די הגיוני בעיני (מעשית, אני לא חושב שרוב האנשים יכולים ליישם את ההצעה באופן מעשי 🙂 )
אתה באמת מצפה שעיתון יכתוב שמפלגה מסוימת תקבל "בין 18 ל-27 מנדטים"? זה ממש מגוחך.
היי מיל,
אני אכן לא מצפה לזה מעיתון, מצד שני – הניסיון לטעון לכך ש(לדוגמא) אריה דרעי עוקף את ישי, הוא פשוט לא טענה שאפשר לומר מהסקר. או במילים אחרות, תריץ את הסקר שוב, ואתה עשוי לקבל נתונים הפוכים. אני מעדיף לקבל בעיתון טענות שבמידה טובה של סבירות הן נכונות, לא כאלו שבמידה לא מבוטלת של מקרים אינן נכונות.
אז השאלה היא מה אנו רוצים – טענה מורכבת ומדוייקת, או קצרה ולא מבוססת. במצב כזה, אני מעדיף לוותר על לבצע טענות כאלו, ולשמור את הטענות רק לדברים שהסקר מביא באופן מבוסס (או שיחכו עד שיצטברו 14 סקרים, ירכזו את התוצאות שלהן, וידברו עליהן).
טל, מה צריך להיות מספר הנדגמים בשביל שטווח הטעות יהיה לכל היותר מנדט (עבור מפלגה עם 25 מנדטים)?
היי אדם, צריך 7,203 נשאלים (או בערך 14 סקרים עם 500 נשאלים כל אחד).