העלייה ה"מרשימה" (אך לא מובהקת סטטיסטית!) בקוראי מעריב

פוסט משותף עם עידו קינן.

בסופ"ש האחרון פנה אלי עידו וביקש ממני התייעצות קטנה. הוא נתקל בידיעה בעיתון מעריב, המדווחת על "עלייה מרשימה בחשיפה לעיתון" בהתאם לסקר TGI.
עליה מרשימה בחשיפה לעיתון מעריב

היות ועמדו לרשותו קובץ הנתונים של סקר TGI (להנתאכם, הנה הוא: TGI-media ), הוא התייעץ איתי האם המסקנה של עיתונאי מעריב תקפה או לא. מהסתכלות זריזה בקובץ, ראיתי שהתשובה היא חד משמעית – לא.

הנתונים בקובץ מספרים לנו שבמדד החצי שנתי, יש ירידה הדרגתית מ-16.6% (חציון 2 2007) ל-15.1% (ח1 2008) ל-13.8% (ח2 2008), ואז עליה קלה ל-14.4% (ח1 – 1 200). גם העליה הקלה בחציון האחרון נמצאת בטווח הטעות של הנתונים, היות שרווחי הסמך הם של אחוז אחד לכל אחד מהמספרים, בעוד שהעלייה הייתה של פחות מאחוז.

הנתונים שבעיתון מציגים את השינוי באחוזים, אבל לא את מידת הוודאות שבהבדלים (כלומר, את מידת הוודאות שלנו שאם נקח מדגם אחר נקבל תוצאות דומות). הגרף שלפניכם (אשר נוצר בעזרת התוכנה הסטטיסטית R), מציג את השינוי שנעשה באחוזי הקוראים אך משלב בתוכו את רווחי הסמך:

the big non rise

הגרף מדגים היטב שההבדל באחוזים איננו מובהק סטטיסטית, היות ורווחי הסמך "עולים" האחד על גבי השני. ואינם ניפרדים ממש בגובהם.

כדי לעשות מבחן סטטיסטי תקף, צריך להשתמש בנתונים הגולמיים ולבצע עליהם מבחן סטטיסטי מתאים (אפשר מבחן להפרש פרופורציות או מבחן חי בריבוע, הם שקולים מבחינת הערך P/רמת-המובהקות שהם יפיקו). הנה הטבלה של הנתונים (לקוחה מהנתונים של הסקר):

קוראים מעריב לא קוראים מעריב
יולי-דצמבר 2008 690.966 4316.034
ינואר-יוני 2009 721.008 4285.992

הפעלה של מבחן חי בריבוע על הנתונים מביא לערך P של 0.40.
או במילים אחרות – אין שינוי מובהק באחוז הקוראים בין התקופה האחת לאחרת.

לסיכום: מעבר לבעיות המובנות בסקר TGI (כפי שעידו מציין בפוסט שלו), הבעיה אותה חשפנו כאן היא דיווח על מספר (אומדן לאחוז החשיפה לעיתון), מבלי התחשבות במידת הרעש של הנתונים (רווחי הסמך של האומד). חוסר התחשבות כזו מאפשרת להגיע למסקנות שגויות ביותר, ועל זה קיבלנו דיווח ממעריב. מזכיר קצת את הדיווח הלקוי שהתקשורת סיפקה לסקרי הבחירות האחרונות.

ועל זה כבר אמר מרק טווין הרברט וולס (H. G. Wells) – "החשיבה הסטטיסטית בעידן המודרנית היא מיומנות הכרחית לאזרחות טובה"

התפקיד של צבע בהשפעה על קבלת החלטות (תוצאות מחקר של חברת HP)

כסטטיסטיקאים, אנו נדרשים לעיתים קרובות לייצר גרפים שמטרתם להעביר מסרים ללקוח. מסיבה זו ראוי לסטטיסטיקאי לרכוש ידע על אופן העברת המסרים דרך גרפים. אחת המיומנויות הדרושות היא ההבנה של צבעים והשפעתם על הצופה, מסיבה זו החלטתי לחלוק איתכם את המחקר הבא של חברת HP אשר חקר את ההשפעה של שימוש בצבעים שונים על ההיענות של הנבדקים לאיגדים שונים. אני מציג את טקסט המחקר (כמעט) ללא עריכה משלי.

*     *     *     *     *     *     *

"חודש מאי הוא החביב עלי ביותר בשנה" –   "אני מרגיש מלא השראה היום"

המוטיבציה למחקר: המעצב ברוך נאה מציין כי לצבע תפקיד משמעותי בקביעת מידת ההסכמה, רמת המעורבות, יכולת יצירת היענות ואפילו משפיע על תהליך קבלת ההחלטות של אנשים

התוצאות: לפי מחקר שערכה קבוצת ההדמיה וההדפסה של HP באזור אירופה, המזה"ת ואפריקה (EMEA), אנשים מגיבים ביתר חיוב למשפטים המוצגים להם בירוק, בעוד שאדום מעורר את תגובות מנוגדות החזקות ביותר.

מסקנות: לצבע הירוק השפעה חיובית טובה יותר לעומת אדום כחול ושחור

פרטי המחקר:
שני המשפטים שהוצגו לקבוצת הנשאלים היו "חודש מאי הוא החביב עלי ביותר בשנה". "אני מרגיש מלא השראה היום".
המחקר, שנערך בקרב עובדים בתשע מדינות (מבוסס על מחקר שבוצע בהשתתפות 2,000 עובדים בין הגילאים 16-55 בבריטניה, צרפת, גרמניה, איטליה, הולנד, שבדיה, דרום אפריקה ורוסיה על-ידי חברת מחקר אינטרנט בלתי-תלויה (ToLuna. התבסס על סדרת "היגדים ניטראליים" שהודפסו בגופנים במספר צבעים- ירוק, אדום, כחול ושחור לקבוצות שונות של משיבים, שהתבקשו לציין את מידת הסכמתם להיגדים אלו.
הסכמה: מבחינת יכולת יצירת היענות וליצור הסכמה עם משפט כלשהו, הממצאים מצביעים שצבע ממלא תפקיד בתהליך קבלת ההחלטות. יותר ממחצית המשיבים (53%) ששתי השאלות שלהם היו בגופן ירוק הסכימו מאד עם ההיגדים, בהשוואה ל-36% מהמשתתפים שהשאלות שלהם הודפס בשחור.
עמדות קיצוניות: בנוסף, המחקר מצא מתאם בין עמדות מוקצנות ולבין הצבע אדום, כאשר כמעט פי 3 שאלות אדומות (29%) הניבו תגובות קיצוניות ("מסכים מאד" או "מאד לא מסכים") בהשוואה לשאלות הכתובות בצבע שחור (10%).
חוסר החלטיות: בחירת "לא יודע" נמצאה קשורה לצבעים כחול ושחור, וצבעים אלו יצרו שיעור חוסר החלטיות של 47% ו-43%, בהתאמה, בהשוואה ל-28% עבור ירוק ו-19% עבור אדום.

colors-agreement

ההיגדים: "חודש מאי הוא החביב עלי ביותר בשנה". "אני מרגיש מלא השראה היום". התוצאות הן לכל אזור EMEA משולב
הגרמנים הנינוחים ביותר: בניתוח של מדינות, רמת ההסכמה הגבוהה ביותר התקבלה בגרמניה, עם 60% מהמשיבים שהסכימו או הסכימו מאד עם משפטים שהוצגו בגופן ירוק, בעוד הנתון המקביל בהולנד היה 45% בלבד.
האנגלים הכי קיצונים: המשיבים בבריטניה היו בעלי שיעור התשובות הקיצוניות הגבוה ביותר (עם 35% שהסכימו מאד או לא הסכימו מאד עם המשפטים), בהשוואה ל-24% בלבד באיטליה.
הבדלים בין המינים: הסקר חשף גם כי פי שניים יותר גברים השיבו לסקר בקיצוניות (24%) בהשוואה ל-11% בין הנשים. אדום התברר כצבע הגורם לשונות הגדולה ביותר בתשובות. צבע זה עורר בשני המינים תגובות חזקות (34% מהגברים ו-24% מהנשים) בהשוואה להבדל נשים-גברים של 16% ו-3%, בהתאמה כאשר השאלון הודפס בדיו שחורה.

המעצב ברוך נאה מציין כי השימוש שנעשה היום בצבע הוא עדיין בגדר אומנות, יותר מאשר מדע מדויק אך לצבע תפקיד משמעותי בקביעת מידת ההסכמה, רמת המעורבות, יכולת יצירת היענות ואפילו משפיע על תהליך קבלת ההחלטות. ההשלכות בהקשר העסקי מעניינות מאד. הצבע חשוב במיוחד לחברות שמנסות לעורר תגובה מסוימת אצל קהל היעד או אפילו רק לבלוט בהשוואה למתחרים", הוסיף נאה.
עוד הוסיף נאה כי הסקר מאשר את האינטואיציה שלנו, ששימוש נבון בצבע יכול לשדרג מותג לרמת אפקטיביות גבוהה בהרבה ולחזק באופן דרמטי את השפעתו מבחינת ערך נתפס, מידת והתגובות שלהם לצבעים יכולות להיות שונות מאד וקשות מאד לניתוח או לחיזוי.

הפער בתחזית הפער: 3 או 12 (על סקרי בחירות ומיגבלותיהן)

המאמר שלפניכם הוא פרי מקלדתו של פרופסור יואב בנימיני מאוניברסיטת תל אביב. קריאה מהנה:

* * *

ביום רביעי שעבר פורסמו בשני ערוצי טלביזיה שני סקרי בחירות. לפי הסקר שפורסם בערוץ 10 היה לליכוד יתרון של 3 מנדטים על קדימה. לפי הסקר שפורסם בתוכניתו של נסים משעל בערוץ 2 היתרון היה 12 מנדטים. כיצד אפשר להגיע לפערים שכאלה? האם בכלל יש אמינות לסקרים בטרם בחירות, וכיצד למנוע את ההשפעות השליליות על ציבור הבוחרים?

סקר הבחירות שמפורסם במוצאי יום הבחירות הוא בגדר שעשוע תקשורתי ואינטלקטואלי – התוצאות האמיתיות כבר נקבעו, ויודעו בתוך יום. לעומת זאת לסקר בטרם בחירות השפעה רבה. הבוחרים יכולים ללמוד דרכו על התוצאה המסתמנת ומתוך כך לבחור לחזק או להחליש גוש מפלגות על ידי תמיכה במפלגה מסוימת, כמו גם לתמוך במפלגה שהיא בסביבת אחוז החסימה או להימנע מכך. המחוקקים בישראל הכירו בחשיבותם והשפעתם של סקרי בחירות בתקופה הסמוכה לבחירות, וקבעו כללים מיוחדים לפירסום תוצאותיהם.

כיצד יכולים להופיע פערים גדולים כל כך בתוצאות סקרים? נלך מהחשוב פחות אל החשוב יותר: למי שמממן את הסקר עלולה להיות השפעה אפשרית, על ידי הטיות קטנות במהלכו, כמו בחירת האוכלוסיה המיוצגת בסקר, סדר השאלות, או אפילו השפעה על נוסח השאלה שנשאלה. כך ניתן לצפות לשינוי ניכר בתשובה באם השאלה היא: "כידוע יש חשיבות בימים סוערים אלו לעמידה איתנה. מי לדעתך…" וזאת לעומת הפתיחה "כידוע גם בימים בוערים אלו יש לשמור על אופק של שלום. מי לדעתך…". לכן, כאשר דובר מפלגה מסוימת מדווח בשידור "לפי סקר בידינו", הזהירות צריכה להיות רבה. אם המממן ועורך הסקר הם גופים חסרי פניות אין לצפות להטיה מכוונת בהקשר זה.

חשוב מכך להבין מה גודל המדגם אליו פנו, איזה חלק ממנו סירב להשיב, ואיזה חלק מהמשיבים עדיין מתלבטים ומהווים קולות צפים. טעות הדגימה הניתנת בחלק מפרסומי הסקרים עונה על השאלה עד כמה יכולה להיות תוצאת הסקר שונה לו אנשים אחרים היו עולים במדגם. כך למשל, נתוני הסקר שפורסם בערוץ 10 פורסמו למחרת ב"הארץ" ומהם ניתן היה ללמוד שטעות הדגימה אינה מבוטלת: 3.2% שהם קרוב ל4 מנדטים. (עבור הפער בין שתי המפלגות הטעות גדלה לכ-6 מנדטים)

אולם לטעות זו מתווספות שתי בעיות שיכולות להיות חמורות יותר. המסרבים להשיב – שמעידים אולי על הטייה שיטתית שכיוונה אינה ידוע כלל, ואלו שטרם החליטו. כך למשל, המספר הגבוה של המסרבים להשיב הפיל כנראה בפח את סוקרי הפריימריז. הבלתי מחליטים מאתגרים תמיד את הסוקרים השונים כאשר לכל אחד שיטות שונות לפלח את דפוס הצבעתם העתידי, כמו גם לחזות באם ילכו לקלפי, על מנת לתת תחזית מנדטים. כמובן שהשיטה נשמרת בסודיות על ידי כל סוקר, אבל כל בוחר יכול לעמוד על גודל הטעות האפשרית מתוך אחוז הבלתי מחליטים. אם האחוז גדול, כמו בבחירות הנוכחיות בהן הוא עדיין קרוב ל30%, ההבדל שנובע משיטות הפילוח השונות יכול להיות גדול. במקרה זה צריך להתייחס בספקנות ראויה לכל התוצאות. כאשר אחוז זה יקטן, בטחוננו בתוצאות החיזוי יגדל.

לכן, בראותכם סקר בחירות שאלו מי מימן, מי ערך ומתי; מי נשאלו ומה; כמה סרבו להשיב, מהי טעות הדגימה וכמה עדיין מתלבטים; זאת על מנת להעריך את ערכו.
איך תדעו? לצערנו הדבר בלתי אפשרי. למרות שחוק תעמולת הבחירות מחייב לתת כמעט את כל המידע הזה עם פירסום או דיווח על תוצאות הסקר בעיתונות הכתובה והמשודרת, המציאות רחוקה מכך. במעקב חלקי של קבוצת מתנדבים מהאיגוד הישראלי לסטטיסטיקה התקבלה תמונה עגומה ביותר. לדוגמא, שני פרסומי הסקרים בטלביזיה שהזכרנו נתנו רק את המידע על עורכי הסקר ותחזית המנדטים ואפילו טעות הדגימה הושמטה, למרות שבאחד מהערוצים דנו בפער בין התחזיות. אפילו עיתון זה, שמתקרב ביותר לפירסום מלוא המידע הדרוש, לא נותן מידע על אחוז המסרבים להשיב.

על אמצעי התקשורת לשנות את דרך פירסום תוצאות הסקרים כבר במערכת בחירות זו. גם לוועדת הבחירות המרכזית תפקיד להבהיר את החובה במילוי החוק. עד אז, וגם לאחר מכן, התייחסו בזהירות הדרושה להשענות על תוצאות הסקרים בקביעת החלטתכם למי להצביע.

פרופ' יואב בנימיני
נשיא האיגוד הישראלי לסטטיסטיקה

אנחנו צועדים לקראת מגיפה ניורולוגית בעשורים הקרובים

בזכות השיפור ברפואה יותר ויותר אנשים זקנים נשארים בחיים. מצד אחד זה נהדר (אנחנו נקבל לראות את הורינו לעוד שנים). אך מצד שני, זה אומר שיותר אנשים חיים "יזכו" לחלות במחלות ניורולוגיות. בסרטון הבא (פחות מ- 4 דקות) מוצגות סטטיסטיקות המראות איך עד שנת 2050 אנחנו בדרך למגפה חסרת תקדים של מחלות ניורלוגיות:

לראות עד כמה החדשות לא מראות לנו

אליסה מילר הרצתה בטד (פחות מ- 4:30 דקות), והציגה את מפת העולם, לפי כמות הדקות של סיקור תקשורתי שכל מדינה קיבלה.
רק כ- 12% מזמן החדשות של ערוצים בארה"ב מוקדש לחדשות מהעולם. ערוצי החדשות בארה"ב הורידו ב- 50% את המחלקות של חדשות החוץ.
אלו, ועוד ערימה של מספרים, מוצגים בדרך וויזיואלית שמעבירה היטב את השאלה: האם התקשורת יוצרת את "ידע-העולם" שהיינו רוצים, בתרבות האמריקאית (שמתגאה בהיותה החזקה בעולם, ובעלת המודעות הגדולה ביותר ליחסים בינלאומיים).
ובכן, התשובה היא כמובן שלא, אבל מה שמעניין זה ההעברה של התשובה הזו.
צפייה נעימה: