משפט שאנשים רבים מצטטים הוא שקרים, שקרים ארורים, וסטטיסטיקה. הבלוג הזה לא מאמין במשפט הזה. הבלוג הזה מאמין שנכון שקל לשקר עם סטטיסטיקה, אך זה קשה מאד למצוא את האמת בלעדיה.
התשובה לשאלת הבלוג "סקר רע?" היא "לא, אבל…".
סקרים אינם רעים, אבל פעמים רבות ההצגה שלהם בתקשורת היא רעה בכך שהסקר לא מגיע עם מידע חשוב לגבי איך שהוא בוצע, וההצגה הוויזואלית שלו מקשה על הקורא להבין את מגבלות הסקר.
הבלוג הזה לא צפוי לעסוק בסקרים אשר שוגים במתודולוגיה הסטטיסטית שלהם (כותב הבלוג הזה מאמין שעד שלא הוכח אחרת, חברות הסקרים הן מקצועיות, אתיות, אמינות ועושות עבודה טובה), אלא בעיקר בסקרים שההצגה שלהם בתקשורת היא "רעה".
היות והמילה "רע" היא מילה טעונה ריגשית שאנשים שונים צפויים לפרש ולקשר בדרכים מאד שונות לפי ההקשר. בבלוג הזה, הרשו לי לדבר על כמה משמעויות שונות.
מתודולוגיה
סקר יכול להיות רע מתודולוגית. סקר רע מתודולוגית הוא סקר שנכשל בתיאור האוכלוסיה שמעניינת אותנו (אוכלוסיית הבוחרים בישראל) בגלל שהשיטות הסטטיסטיות אשר שימשו אותו אינן מתאימות. לדוגמא, סקר שהדגימה בו אינה אקראית אלא רק של החברים שלנו הוא סקר שסביר שייכשל בייצוג אוכלוסיית הבוחרים. דוגמא אחרת היא סקר שבו יש אחוז גבוה של אי-השבה, ושהתוצאות היחידות שמוצגות הן של האנשים שהשיבו לשאלון (ללא התייחסות לאי-ההשבה), סביר שיהיה סקר מוטה. כמובן שסקר שנעשה באופן לא אתי, ומציג רק את הדעות של מזמין הסקר צפוי להיות סקר מוטה ורע ביותר.
עלי להדגיש שבבלוג הזה יהיה מאד נדיר שאדבר על סקרים שהם רעים מתודולוגית. זה משום שלרוב אין לנו את המידע הדרוש בשביל לזהות סקרים שגויים מתודלוגית. אי לכך, בבלוג זה, נניח שהסוקרים הם אנשים מקצועיים ואתיים שעושים עבודה איכותית וטובה.
תוצאות
סקר יכול להיות תקין לחלוטין מתודולוגית, אבל עדיין להביא תוצאות לא מספקות (להביא תוצאות רעות). תוצאות רעות הן תוצאות אשר "רחוקות" מהמציאות, למרות שתיכנון הסקר היה חכם ותקין מקצועית.
זה יכול לקרות אם אין לסקר מספיק נבדקים בשביל לענות על השאלה שמעניינת אותנו (בשפה מקצועית זה אומר שהשונות של הסקר גדולה), או שהנבדקים שלסוקר יש אפשרות לדגום אינם מייצגים את האוכלוסיה בגלל אופן הדגימה (בשפה מקצועית – הטייה. לדוגמא, אם לסוקר אין יכולת לדגום מהאוכלוסיה הערבית או החרדית). גם ייתכן שלמרות מאמצי הסוקר המדגם של הסקר יצא במקרה רחוק מהעמדות של האוכלוסיה (דבר שתמיד עלול לקרות כאשר דוגמים תת קבוצה של אוכלוסיה).
בכל המצבים הללו, הסקר לא מביא תוצאות נכונות, אפילו שהסוקר הקפיד על שיטות סטטיסטיות נכונות. עם זאת, כאשר הסוקר עושה עבודה טובה, הסיכוי לתוצאות רעות הוא יחסית נמוך (ועל איך מודדים תוצאה רבה אפשר לדבר הרבה, וכרגע לא נרחיב על כך)
שקיפות
סקר הוא רע מבחינת שקיפות כאשר הוא מפורסם ללא מידע מספק על הדרך שבה הוא בוצע. לדוגמא: מה היו השאלות שהופיעו בסקר, כמה אנשים בסקר נמנעו מלהשיב לסקר, מידע על הדמוגרפיה של המשיבים שהופיעו בסקר, מי הזמין את הסקר, האם היו אוכלוסיות שלא נדגמו (לדוגמא, ערבים או חרדים) וכן הלאה.
לצערי, סקרים רבים שמוצגים בתקשורת מגיעים ללא המידע הזה. אציין לטובה את פרופסור קמיל פוקס אשר מפרסם סקרים עם הרבה מהמידע הרלוונטי על אופן ביצוע הסקר, ואופי האוכלוסיה ותשובותיה. (הערה לקוראים: אם יש לכם דוגמאות לסוקרים אחרים שעונים לכללי השקיפות, אשמח לקישורים ולציין אותם לטובה)
למען הגילוי הנאות: אני מכיר את פרופסור פוקס דרך לימודי באוניברסיטת תל אביב, אך אין לי איתו יחסי עבודה.
תקשורתית
סקר יכול להיות תקין מתודולוגית, להגיע לתוצאות סבירות ולהיות שקוף – ובכל זאת לא להיות מוצג טוב בתקשורת. זה יכול להתרחש בגלל טעויות בשלב יצירת הגרפים (לדוגמא שהעמודות לא קשורות למספר המנדטים), אבל גם אם המידע החשוב איננו מוצג בצורה נגישה לציבור הרחב (לדוגמא – על ידי הצגת טווח המנדטים בהתאם למידת הדיוק של הסקר) אז הצגת הסקר היא, לדעת כותב הבלוג, רעה.
צורך סובייקטיבי
הדבר החשוב ביותר בהסתכלות על סקר הוא האם אנו מאמינים שהסקר מצליח לענות על השאלה שחשובה לנו. סקר הוא רע (סובייקטיבית) אם הוא סקר שלא עונה על שאלות שמעניינות אותנו.
לדוגמא, אפשר לבנות סקר על סמך 10 אנשים. הסקר יכול להיות תקין לחלוטין מתודולוגית, ולהיות מוצג עם כל השיטות התקפות, ובאופן מדוייק ושקוף בתקשורת. אבל רוב הסיכויים שהסקר לא יהיה בעל מספיק מידע כדי לענות על שאלות שמעניינות אותנו לגבי מצב הבחירות.
לפי זה, כל מיני סקרים שנראה לקראת הבחירות צפויים להיות סקרים רעים סובייקטיבית. לא בגלל שהם לא נעשים באופן תקין סטטיסטית (נהפוך הוא, חברות הסקרים העיקריות הן מקצועיות ומעולות!), אלא בגלל שאף אחד מהסקרים בפני עצמן לא יעזרו לענות לנו על השאלות שמעניינות אותנו.
לדוגמא, במערכת הבחירות הקרובה היינו רוצים לדעת למי יהיו יותר מנדטים, לעבודה או לליכוד. וכבר בפוסט הקודם ראינו שההפרש בין המפלגות (על סמך רמת הדיוק של הסקר) יכול להיות בין 2 מנדטים לטובת הליכוד ועד 4 מנדטים לטובת העבודה. שאלה נוספת שתעניין אותנו היא האם יהיה רוב לגוש "שמאל-מרכז", אבל בשביל זה היינו רוצים שתוצאות הסקר שמוצגות יכללו את כל המפלגות, ולא רק את הגדולות ביותר.
מה היו הופך את סקרי הבחירות לסקרים טובים? (הרשימה הבאה היא שאיפה לא ריאלית, אבל זה מה שהיינו רוצים לדמיין שיקרה)
- אם הסקרים היו כוללים מספיק נשאלים: צריך כ- 10,000 נבדקים בשביל טעות מדידה של כ- 1.2 מנדטים. אבל בשביל שאלות יותר ממוקדות אפשר להסתפק גם בפחות נבדקים.
- אם הסוקרים יצליחו לתקן הטיות שונות: החל מנשאלים שלא משיבים, וכלה במשיבים שמשקרים לסוקר (וידוע שהסוקרים עושים הרבה מאמצים להצליח בכך)
- אם הסקר יוצג באופן מלא ומדוייק: עם כל המפלגות וגרפים שכוללים (לפחות) את טווחי השגיאה הצפויים של המנדטים לכל מפלגה (מה שאפשר לכנות קווי-שגיאה)
- שהסקר יגיע עם מידע על מידת האמינות שלו: (לכל הפחות) מה היה אחוז הלא משיבים, ובאיזה מידע השתמשו בשביל להתמודד עם זה.
- שהסקר יתייחס לאחוז המתלבטים, ולסוגים השונים של אופציות שהם רואים לעצמם (מה שיאפשר לנפח את אי הוודאות לגבי המפלגות הללו).
- שהסוקר יודיע לגבי האם הוא "תיקן" את תוצאות הסקר בהתאם לסקרים אחרים. ואם כן, באיזה סקרים הוא השתמש. המידע הזה חשוב כשעושים מטא-סקר, כדי שנדע איך להגדיל את טווח השגיאה שלנו (בהתאם לכך שיש תלות בנתונים)
- שהסקר יגיע עם מידע על האינטרסים של הסוקר (מי הזמין את הסקר, מי היו הלקוחות בשנה האחרונה וכו').
זה טיבעי להחליט האם להצביע למפלגה לפי האם היא תהיה המפלגה המובילה בכנסת או האם היא תעבור את אחוז החסימה. גם כשעושים הכל "לפי הספר", קשה מאד לענות על השאלות הללו. בשבועות הקרובים ננסה לעשות כמיטב יכולתנו עם הנתונים שיגיעו, ואני מזהיר מראש שכל התשובות שלנו יתבססו על הרבה הנחות (שלא סביר שנוכל לדעת אם הן נכונות או לאו).
סקר רע הוא סקר שתוצאותיו אינן עונות על הציפיות של מזמין הסקר. סקר טוב הוא סקר שהמזמין קובע מראש את תוצאותיו.