הבחירות לכנסת ה- 19 (בשנת 2013) – איפה הסקרים הצליחו ואיפה הם כשלו?

 seker_vs_reality_elections2013

הבחירות הסתיימו, אני הצבעתי, ועכשיו כשהאבק מתחיל לשקוע אנו יכולים להתרווח ולבדוק את הקשר בין תחזיות הסקרים לתוצאות בשטח. יש דרכים רבות לדון בשאלות הללו, מה שבחרתי לעשות היום זה לקחת את הסקר של פרופסור קמיל פוקס (דיאלוג), שהתפרסם חמישה ימים לפני הבחירות לכנסת ה- 19 (אשר התקיימו ב- 22.01.2013), בעיתון הארץ (קישור לתוצאות הסקר) ולענות על כמה שאלות:

  1. עד כמה קרובים היו תחזיות הסקר לתוצאות האמת?
  2. האם 19 המנדטים שקיבלה "יש עתיד" היו בתוך טווח הטעות הסבירה או לא?
  3. האם לארץ חדשה היה סיכוי לעבור את אחוז החסימה?
  4. האם יש עדות מובהקת לכך שהסקרים של הארץ מוטים לכיוון השמאל-מרכז?

הפוסט הזה יכלול את עיקרי הדברים (אפשר לקפוץ לסוף הפוסט לריכוז המסקנות), ואם תרצו לראות את החישובים המדוייקים, אתם מוזמנים להוריד את המסמך מהקישור שכאן.

להמשיך לקרוא הבחירות לכנסת ה- 19 (בשנת 2013) – איפה הסקרים הצליחו ואיפה הם כשלו?

הפער בתחזית הפער: 3 או 12 (על סקרי בחירות ומיגבלותיהן)

המאמר שלפניכם הוא פרי מקלדתו של פרופסור יואב בנימיני מאוניברסיטת תל אביב. קריאה מהנה:

* * *

ביום רביעי שעבר פורסמו בשני ערוצי טלביזיה שני סקרי בחירות. לפי הסקר שפורסם בערוץ 10 היה לליכוד יתרון של 3 מנדטים על קדימה. לפי הסקר שפורסם בתוכניתו של נסים משעל בערוץ 2 היתרון היה 12 מנדטים. כיצד אפשר להגיע לפערים שכאלה? האם בכלל יש אמינות לסקרים בטרם בחירות, וכיצד למנוע את ההשפעות השליליות על ציבור הבוחרים?

סקר הבחירות שמפורסם במוצאי יום הבחירות הוא בגדר שעשוע תקשורתי ואינטלקטואלי – התוצאות האמיתיות כבר נקבעו, ויודעו בתוך יום. לעומת זאת לסקר בטרם בחירות השפעה רבה. הבוחרים יכולים ללמוד דרכו על התוצאה המסתמנת ומתוך כך לבחור לחזק או להחליש גוש מפלגות על ידי תמיכה במפלגה מסוימת, כמו גם לתמוך במפלגה שהיא בסביבת אחוז החסימה או להימנע מכך. המחוקקים בישראל הכירו בחשיבותם והשפעתם של סקרי בחירות בתקופה הסמוכה לבחירות, וקבעו כללים מיוחדים לפירסום תוצאותיהם.

כיצד יכולים להופיע פערים גדולים כל כך בתוצאות סקרים? נלך מהחשוב פחות אל החשוב יותר: למי שמממן את הסקר עלולה להיות השפעה אפשרית, על ידי הטיות קטנות במהלכו, כמו בחירת האוכלוסיה המיוצגת בסקר, סדר השאלות, או אפילו השפעה על נוסח השאלה שנשאלה. כך ניתן לצפות לשינוי ניכר בתשובה באם השאלה היא: "כידוע יש חשיבות בימים סוערים אלו לעמידה איתנה. מי לדעתך…" וזאת לעומת הפתיחה "כידוע גם בימים בוערים אלו יש לשמור על אופק של שלום. מי לדעתך…". לכן, כאשר דובר מפלגה מסוימת מדווח בשידור "לפי סקר בידינו", הזהירות צריכה להיות רבה. אם המממן ועורך הסקר הם גופים חסרי פניות אין לצפות להטיה מכוונת בהקשר זה.

חשוב מכך להבין מה גודל המדגם אליו פנו, איזה חלק ממנו סירב להשיב, ואיזה חלק מהמשיבים עדיין מתלבטים ומהווים קולות צפים. טעות הדגימה הניתנת בחלק מפרסומי הסקרים עונה על השאלה עד כמה יכולה להיות תוצאת הסקר שונה לו אנשים אחרים היו עולים במדגם. כך למשל, נתוני הסקר שפורסם בערוץ 10 פורסמו למחרת ב"הארץ" ומהם ניתן היה ללמוד שטעות הדגימה אינה מבוטלת: 3.2% שהם קרוב ל4 מנדטים. (עבור הפער בין שתי המפלגות הטעות גדלה לכ-6 מנדטים)

אולם לטעות זו מתווספות שתי בעיות שיכולות להיות חמורות יותר. המסרבים להשיב – שמעידים אולי על הטייה שיטתית שכיוונה אינה ידוע כלל, ואלו שטרם החליטו. כך למשל, המספר הגבוה של המסרבים להשיב הפיל כנראה בפח את סוקרי הפריימריז. הבלתי מחליטים מאתגרים תמיד את הסוקרים השונים כאשר לכל אחד שיטות שונות לפלח את דפוס הצבעתם העתידי, כמו גם לחזות באם ילכו לקלפי, על מנת לתת תחזית מנדטים. כמובן שהשיטה נשמרת בסודיות על ידי כל סוקר, אבל כל בוחר יכול לעמוד על גודל הטעות האפשרית מתוך אחוז הבלתי מחליטים. אם האחוז גדול, כמו בבחירות הנוכחיות בהן הוא עדיין קרוב ל30%, ההבדל שנובע משיטות הפילוח השונות יכול להיות גדול. במקרה זה צריך להתייחס בספקנות ראויה לכל התוצאות. כאשר אחוז זה יקטן, בטחוננו בתוצאות החיזוי יגדל.

לכן, בראותכם סקר בחירות שאלו מי מימן, מי ערך ומתי; מי נשאלו ומה; כמה סרבו להשיב, מהי טעות הדגימה וכמה עדיין מתלבטים; זאת על מנת להעריך את ערכו.
איך תדעו? לצערנו הדבר בלתי אפשרי. למרות שחוק תעמולת הבחירות מחייב לתת כמעט את כל המידע הזה עם פירסום או דיווח על תוצאות הסקר בעיתונות הכתובה והמשודרת, המציאות רחוקה מכך. במעקב חלקי של קבוצת מתנדבים מהאיגוד הישראלי לסטטיסטיקה התקבלה תמונה עגומה ביותר. לדוגמא, שני פרסומי הסקרים בטלביזיה שהזכרנו נתנו רק את המידע על עורכי הסקר ותחזית המנדטים ואפילו טעות הדגימה הושמטה, למרות שבאחד מהערוצים דנו בפער בין התחזיות. אפילו עיתון זה, שמתקרב ביותר לפירסום מלוא המידע הדרוש, לא נותן מידע על אחוז המסרבים להשיב.

על אמצעי התקשורת לשנות את דרך פירסום תוצאות הסקרים כבר במערכת בחירות זו. גם לוועדת הבחירות המרכזית תפקיד להבהיר את החובה במילוי החוק. עד אז, וגם לאחר מכן, התייחסו בזהירות הדרושה להשענות על תוצאות הסקרים בקביעת החלטתכם למי להצביע.

פרופ' יואב בנימיני
נשיא האיגוד הישראלי לסטטיסטיקה