פוסט מורטם – מרחק הסקרים מתוצאות האמת

התחלתי את האתר סקר רע לפני כשלושה חודשים במטרה לעודד הצגה תקינה של סקרים בתקשורת, ולדון ביתרונות והמגבלות של כלי זה בפוליטיקה הישראלית. בפוסט זה אני לא אדון בפוליטיקה של הדבר, אלא אציג את הסקרים ברגע האחרון למול תוצאות האמת, כדי שנראה מה בהם יצא דומה ושונה.

אתמול אזרחי ישראל יצאו להצביע בהמוניהם (71.8%, אחוז ההצבעה הגבוה מאז 1999). ביום שישי פירסמתי פוסט שמסכם את תוצאות הסקרים בשבועיים של עד לפני הבחירות, כדי להדגים מה הסקרים "רואים" נכון ללפחות מועד פירסומם האחרון. הנה הצגה של תוצאות האמת (נכון ל- 99% קלפיות שנספרו), למול חציון תחזיות הסוקרים על פני השבועיים שלפני הבחירות:

אפשר להבחין בשלושה הבדלים משמעותיים:

1. הליכוד זינק מ- 22 מנדטים ל- 30. סביר שאלו 4 המנדטים של הבית היהודי ושאר ה-4 מנדטים, זה כנראה פיזור יותר מרוכזהיו הליכוד זכה היה סחף משמעותי של קולות מהבית היהודי לליכוד.
2. הבית היהודי איבד 4 מנדטים מ- 12 ל- 8
3. מפלגת יחד לא הצליחה לעבור את אחוז החסימה וקרסה מ-4 ל-0 מנדטים (היא זכתה רק ל- 2.98%, כשסף המטרה היה 3.25%). זה פיזר עוד 4 מנדטים מסביב (כאשר יותר מריכוז הקולות שנותרו הלך כנראה לליכוד).

למרות ההבדלים – התוצאות יצאו קרובות מאד. דרך פשוטה לתאר את הקשר זה עם הקורלציה של פירסון (נתעלם מסוגיות התלות וכו' של נתונים מנדטים), מקבלים קורלציה של 0.949 (זה כמעט זהה לתוצאות של תחזית אחד הסקרים עבור תוצאות הבחירות ב-2013 – שם הקורלציה הייתה 0.949). דרך נוספת היא לקחת את ממוצע הפרש הערך המוחלט של המנדטים – שהוא 1.8. להלן תרשים פיזור המציג את הקשר הלינארי בין תחזיות הסקרים לבין תוצאות האמת (סימנתי את שלושת המקרים הקיצוניים בנקודות אדומות):

האם יכולנו לחזות מראש את התוצאות שקיבלנו?

כן ולא.

כן:

מצד אחד, את התוצאות של רוב המפלגות הסקרים הצליחו לחזות מאד מדוייק.

במקרה של מפלגת יחד, היה ברור שהיא כל הזמן על סף החסימה (4 מנדטים), ולכן הסיכון שהיא לא תיכנס היה ברור (למרות שבכל הסקרים בשבועיים שלפני היא הצליחה להכנס לכנסת).

לא:

את מעבר הקולות מהבית היהודי לליכוד היה אפשר להתחיל לראות בשבוע שלפני הבחירות, אם היינו מסתכלים על מגמות הסקרים של השבוע האחרון:

אבל אני לא יכול לטעון שהמגמה שראינו הייתה כל כך קיצונית שמראש היה ברור שלשם אנו הולכים (היו מגמות עליה גם למחנה הציוני ולכולנו של כחלון – והם בסוף נשארו בטווח שנחזה מראש).

האם הסקרים פיספסו תופעה שכבר הייתה קיימת? אישית, קשה לי להאמין בזה. יותר סביר בעיני שהקמפיין של נתניהו בימים האחרונים הוא זה שעשה את העבודה.

עבורי, תוצאות כאלה הן תזכורת רועמת על כך שכאשר משתדלים לחזות את התנהגותם של אנשים, תמיד יש מקום לענווה רבה.

והערה קטנה לגבי סקרי דעת הקהל ביציאה מהקלפיות: אין לי מושג מדוע בהן היה 27 לליכוד ולמחנצ, כשבפועל היה כזה פער. את זה אני באמת שלא מבין, ומחכה להארות מהסוקרים.