סקר וואלה! חדשות – חסרים "טווחי מנדטים סבירים" והמסקנות שבכתבה אינן (לדעתי) ברמת בטחון מספקת

ביום שישי ה- 02/01/2015 פורסם בוואלה! חדשות סקר בחירות עדכני. ראשית נציג את תוצאות הסקר בשילוב עם "טווח המנדטים הסביר" לכל תחזית מנדטים, ואחרי זה נתייחס לכמה דברים טובים ופחות טובים בסיקור:

(טווח המנדטים הסביר שמוצג הוא ברמת בטחון של 95%, אך מניח שהמדגם של הסקר הוא חסר הטיות, כלומר אנו מניחים שהוא אכן מדגם מייצג של האוכלוסיה)

שני מונחים שלפחות אחד משניהם אינו ברור לי

בסוף הכתבה נכתב (הדגשה שלי):

חישוב המנדטים נעשה על בסיס סקר טלפוני בקרב מדגם כלל ארצי ומייצג של 500 נשאלים מכלל אוכלוסיית ישראל. טעות הדגימה המרבית היא שני מנדטים, לכאן או לכאן. לגבי השאלות שאינן נוגעות למנדטים, נעשה מדגם ארצי אקראי ומייצג של 400 מרואיינים מקרב האוכלוסייה היהודית הבוגרת. מרווח הטעות המקסימאלית: 4.5%.

אז אני מרוצה בכך שטעות הדגימה מתוארת במנדטים ולא באחוזים. אך לצערי אני לא מבין את ההבדל בין "טעות הדגימה המרבית" לבין "מרווח הטעות המקסימאלית" ומדוע המספרים שמופיעים בשני אלו הם שונים. הייתי שמח אם בכתבה היו מקשרים להגדרה הברורה של שניהם.

אני משער ש"מרווח הטעות המקסימאלית" היא מה שמדווח בסקרים אחרים (שזה בערך פעמיים שורש אחד חלקי 4 פעמים גודל המדגים). אציין שבעזרת טווח המנדטים שבניתי (שהוא פחות מדוייק, אך "סביר"), מדובר בכ- 4.3 מנדטים לכאן או לכאן (מספר המנדטים במרווח הטעות של 4.5% יהיה 5.4 מנדטים לכאן או לכאן).
בכל מקרה, לא ברור לי מהי "טעות הדגימה המרבית" שהיא שני מנדטים לכאן או לכאן.

ניתוח הטקסט שבתקציר הכתבה

נעבור כעת על הטענות שנאמרו בתקציר הכתבה (הדגשה שלי):

על פי נתוני סקר מכון TNS, הרשימה המאוזנת שנקבעה בבחירות המקדימות מועילה למפלגת השלטון, שמוסיפה לעצמה שני מנדטים. פרשת השחיתות משפיעה על מפלגתו של ליברמן, שמאבדת שלושה מושבים בכנסת. ומה חושב הציבור על האפשרות שמירי רגב תהיה שרה?

האם הליכוד באמת הוסיפה לעצמה 2 מנדטים? אכן בסקר נוספו לליכוד 2 מנדטים מאז הסקר בפעם שעברה, אך כשעושים מבחן סטטיסטי להפרש, ההבדל לא מובהק סטטיסטית (כלומר, ייתכן שהעלייה שראינו בסקר היא פשוט במקרה).

האם מפלגתו של ליברמן איבדה 3 מנדטים? ובכן, כבר דנו בנושא הזה לפני כמה ימים. ראינו שבסקרים שפורסמו ביומיים שאחרי פירסום פרשת השחיתות, ממוצע המנדטים של ישראל ביתנו לפי סוקרים שונים היה 6.6, ולפני הפירסומים על הפרשה הממוצע היה של 7 מנדטים. כך שאם מסתכלים על תוצאות הסקר לאור הסקרים האחרים שפורסמו באותה התקופה, נראה שאין פה (עדיין) עדות לשינוי משמעותי במספר המנדטים.

אני אדגיש שייתכן והטענות שבכתבה הן במקרה נכונות. אבל אין בנתוני הסקר שהובא בכתבה מספיק "מידע" כדי להסיק את המסקנות שנטענו, ברמת בטחון גבוהה מספיק (נאמר, 95%). כדי להסיק את המסקנה שהליכוד אכן התחזק, צריך להסתפק ברמת בטחון של טענה שהיא בערך של 50%.

הכתבה הזו מדגימה את הקושי בקביעת טענות בעלי רמת בטחון גבוהה כאשר מנתחים תוצאות של רק סקר אחד או שניים. אי לכך, אני מעודד את הקוראים שלא להסתמך על התוצאות של סקר בודד ולחפש ניתוחים פוליטיים אשר מתייחסים לשיקלול תוצאות ממספר רב יותר של סקרים (דהיינו, כאלו שמסתמכים על מטא-סקרים, או על ניתוחי מגמות של סקרים).

כדי להסיק על המגמה של מצב המפלגה בסקרים (לדוגמא, של ישראל ביתנו), נרצה לבצע ניתוחים סטטיסטיים קצת שונים ממה שבוצעו עד כה. אני מאמין שאעשה כאלה עד לבחירות (אבל קודם אני רוצה שיצטברו יותר נתונים).

פרטים טכניים נוספים

כשאני כותב "טווח המנדטים הסביר" הכוונה היא לרווח בר-סמך מבוסס Wald לפרופורציה על סמך הקירוב הנורמלי, ברמת סמך של 95%. אני מניח שמדובר במדגם מייצג של האוכלוסיה.

אילו שני הסקרים שבוצעו היו נעשים על אותם האנשים, והיינו יודעים לכל אדם מה הייתה התשובה שלו לפני שבוע והשבוע, אזי היה ניתן להגיע למסקנות הרבה יותר מדוייקות. אך אין פרטים בכתבה אשר גורמים לי לחשוב שזה היה המקרה.