מאמרים
הקצאת משאבים למחקר ופיתוח חדשני על ידי קרנות הון סיכון, משקיעים פרטיים וממלכתיים, או בתוך חברה, היא משימה מורכבת, הדורשת קבלת החלטות במצב של אי-ודאות ניכרת. אחד הקשיים העיקריים שמקבלי החלטות השקעה נדרשים להתמודד איתם הוא הערכת ההיתכנות הטכנולוגית/ביולוגית של התגלית/המצאה. בדרך כלל הטכנולוגיה או הממצאים המוצגים הם בשלב ראשוני ונדרשות עוד שנים של עבודה עד להבאת המוצר לשוק. במצב כזה הערכה אמינה של איכות העבודה המדעית ורמת הביטחון במימצאים משחקת תפקיד קריטי ויקר ערך.
שגיאות במחקרי ביוטכנולוגיה בגלל רזולוציה גבוהה מדי
הערכת איכותה של עבודה מדעית מודרנית נסמכת רבות על המושג הסטטיסטי p-value, שהוא הסיכוי לקבל את תוצאת המבחן במקרה, בהנחה שהתוצאה נכונה. ברוב המחקרים הביולוגיים p-value של 0.05 יחשב לטוב, ויסמן תוצאה מובהקת סטטיסטית. עם זאת, בשנים האחרונות גוברת ההבנה בקרב הקהילה המדעית שההסתמכות על p-value בלבד סובלת ממגבלות חמורות ושאין להתייחס לערך בפני עצמו.
במאמר מ 2005 הציג ג'ון לואנידיס (John P. A. Ioannidis) גורמים התורמים לקבלת שגיאות חיוביות במחקר מדעי וכן תשתית חישובית וראייתית לאומדנן. בהמשך אציג את הגורמים הלו, כמו גם המלצות לעקוף אותם ולוודא את תקפות המחקר.
הגורמים לשגיאות חיוביות
חלק מהגורמים לתוצאות חיוביות שגויות מוכרים וזוכים לרוב להתייחסות הולמת. לדוגמה, מדגם קטן מדי של האוכלוסייה, שמחליש את חוזק המבחן, עלול להניב תוצאות חיוביות שגויות בהסתברות גבוהה יותר (חוזק של מבחן הוא הסיכוי לדחות את השערת המבחן כאשר ההנחה החלופית נכונה). דוגמה אחרת היא חיפוש גורם לאפקט ביולוגי חלש. כלומר, כאשר מחפשים גורם לתופעה חלשה, קל ליחס את התופעה לגורם שגוי שבמקרה עלה יחד עם התופעה הנלמדת. השגיאה הזאת שכיחה בעיקר בחיפוש אחר הגורמים למחלות המושפעות ממספר גנים, שלכל אחד מהם תרומה קטנה.
אבל ישנם גורמים אחרים שזוכים בדרך כלל לפחות התייחסות. הנה כמה מהם:
1. רזולוציה גבוהה מדי: ככל שישנן יותר אפשרויות לבחור מתוכן תשובה נכונה, ומספר התשובות הנכונות קטן יותר, כך עולה הסיכוי שתשובה חיובית שנמצאה היא תשובה חיובית שגויה. במילים אחרות, אם חוקר צריך למצוא תשובה אחת נכונה מתוך מיליון תשובות אפשריות, רוב הסיכויים הם שהתשובה שימצא תהיה שלילית. אם הוא מצא תשובה חיובית, היא כנראה שגויה (false positive). לדוגמה, אם חוקר מחפש מספר מצומצם של גנים עם השפעה קריטית על מחלה מסויימת, והוא סורק עשרות אלפי גנים, רוב התשובות החיוביות שיקבל יהיו שגויות. וביתר פירוט, אם ניקח שתי קבוצות קטנות של אנשים מתוך אותה אוכלוסיה, ולכל אחד מהאנשים נמדוד התבטאות של אותם 30,000 גנים, יש סיכוי גבוה מאוד שנמצא הבדלים מובהקים בהתבטאות של כמה גנים בין שתי הקבוצות, אפילו רק בגלל השונות הטכנית במדידת התוצאות.
סריקת עשרות אלפי גנים והשוואת התוצאות של חולים מול בריאים שכיחה מאוד במחקר הרפואי. המחיר הגבוה של כל סריקה שכזאת בדרך כלל גורם לכך שיש מעט מאוד, לרוב לא יותר מכמה עשרות, אנשים בכל קבוצה. עניין זה כמעט תמיד יהפוך את כל הניסוי לחסר כל משמעות ביולוגית, או אף גרוע יותר, יטעה את החוקרים הבאים אחריו.
גם מדידה של מספר מצומצם של גנים נבחרים מתוך אותם עשרות אלפים באמצעים מדוייקים יותר בשלב הבא של הניסוי, אינה פותרת את הבעייה, מכיוון שהשגיאה כבר נעשתה.
2. עודף גמישות: ככל שגדלה הגמישות בתכנון הניסוי, בהגדרות, בתוצאות ובאפשרויות הניתוח בתחום המחקר, כך עולה הסיכוי לקבל תשובה חיובית שגויה. כשמתחילים להמציא מודלים אד הוק, ה"תופרים" הסברים לתצפיות שלא מתאימות למודל, כשמפתחים מבחנים סטטיסטיים חדשים, מגדירים סוגים חדשים של ממצאים על פי הדרישה ועוד כהנה וכהנה – כנראה שהמימצאים לא היו מספיק טובים בשביל להופיע בניתוח סטנדרטי. לכן, במקום שבו מופיעה וירטואוזיות סטטיסטית יש להקפיד הקפדה יתרה.
3. טבחים רבים מדי מקדיחים את התבשיל: ככל שיותר קבוצות עובדות על אותה שאלת מחקר, כך גדל הסיכוי שתשובה חיובית שתתקבל תהייה שגויה. ברגע הראשון הדבר נשמע מוזר, שאכן אם תחום מחקר הוא חם הוא דווקא אמור להיות מקור טוב לתגליות חדשות וטובות. אבל אם מסתכלים על השאלה באופן הסתברותי מקבלים תשובה אחרת. נניח שהסיכוי למצוא תשובה חיובית לשאלת המחקר היא 0.05, ויש 100 קבוצות מחקר בעולם שעובדות על אותה שאלת מחקר, רק מספר קטן מהן יגיע לתשובה חיובית אמיתית, כל השאר שהגיעו לתשובה חיובית – קיבלו תשובה שגויה.
4. הכסף מדבר: ככל שמעורבים במחקר אינטרסים כלכליים גדולים וברורים יותר כך עולה הסיכוי לקבל תשובות חיוביות שגויות. אינטרסים כלכליים יכולים להופיע במגוון צבעים וצורות. החל מתוספת שכר לחוקר שעכשיו גם מייעץ לחברה, דרך השגת פרסומים לקידום אקדמי/מקצועי וכלה בפסילת הצעות מחקר של עמיתים מתחרים.
פיצול אישיות מדעי
הגורמים להופעת שגיאות חיוביות במחקר שהוצגו כאן רלוונטים לתחומים רבים במחקר הביו-רפואי. שניים מהבולטים שבהם הם מחקרים שבודקים קשר בין גנטיקה למחלות ומחקרים בתזונה. הראשונים בודקים עשרות אלפי אלמנטים גנטיים בו זמנית והאחרונים מושפעים ממספר גדול מאוד של גורמים. דוגמה מעוררת מחשבה למספר השגיאות החיוביות של מחקרים גנטיים התפרסמה ב 2008 ב Nature Genetics בעבודה שסרקה למעלה מאלף פרסומים שטענו לבסיס גנטי למחלת הסכיזופרניה. החוקרים, שביצעו מטה-אנליזה מפרכת, טוענים שמתוך אלפי הגנים שהוכרזו כתורמים למחלה יש עדויות מוצקות וחוזרות במאמרים שונים, רק לארבעה בלבד (כמה סימבולי שדווקא בסכיזופרניה יש כל כך הרבה דעות…).
קנס רגולטורי
המערכת הרגולטורית מודעת להטיות שעלולות לגרום לתוצאות שגויות חיוביות, במיוחד במחקרים גנטיים. בראיון שנתן ד"ר אלן ד. רוזס (Allen D. Roses), מומחה בעל שם עולמי בפארמקוגנטיקה, ויועץ לתעשיית הפארמה, למחקר שוק של חברת Insight Pharma Report, אמר רוזס "כשאתה עושה את זה [חוקר קשרים גנטיים לממצאים רפואיים] במערכת מבוקרת על ידי ה-FDA, אתה יכול לשגות בהיפותזה שלך, ולא להיענש. אבל אם אתה צודק, וזיהית את זה [את הקשר הגנטי] רק בדיעבד, יש על כך קנס ענק". הקנס של הרגולטור הוא בדרישה למצוא את אותו הקשר הגנטי במחקר גדול הרבה יותר ובאוכלוסיה שונה. הבדיקה על האוכלוסיה הגדולה תהיה מוגבלת למספר מצומצם מאוד של גנים, רק לאלו החשודים מהניסוי הראשון.
המלצות
אז כיצד מוצאים בכל זאת מחקר טוב? אין דרך בטוחה במאה אחוז לדעת מראש אם תוצאות המחקר הן שגיאות חיוביות, אבל יש מספר קווים מנחים שאפשר להיצמד אליהם על מנת להפחית את הסיכוי לייצר תוצאות כאלו, או לזהות אותן כשהן נקרות בפנינו.
- יש להשתמש בראיות המבוססות על מבחנים חזקים. מחקרים עם מדגם גדול יכולים לעזור. אבל גם למחקרים עם מדגם גדול יש הטיות, ולכן יש להיות מודעים להם ולהימנע, או לצמצם אותן, עד כמה שניתן.
- יש להפנות מחקרים עם מדגם גדול לשאלות מחקר עם הסתברות גבוהה מראש לממצאים חיוביים. אם אתה בוחן עבודה מדעית, מחקרים כאלו יזכו להעדפה בבחינה.
- יש להעדיף מחקרים הבודקים קונספטים מרכזיים ולא כאלו הממוקדים בשאלה ספציפית וצרה.
- מחקרים גדולים במיוחד עלולים למצוא הבדלים מובהקים עבור שאלות שלא שונות באופן משמעותי מהיפותזת אפס.
- העדיפו מחקר העוסק בשאלה פורצת דרך, שאין הרבה קבוצות שעובדות עליה.
- כדאי לדבוק במחקרים בהם ניתוח התוצאות נעשה לפי סטנדרט מקובל בתחום ואופן ניתוח התוצאות נקבע מראש (ניתן לודא דרך התעוד והרישום של המחקר).
- אספו מידע, עד כמה שניתן, על כמות העבודה שנעשתה מלבד התוצאות שהוצגו בדו"ח. ככל שנעשתה יותר עבודה על הנתונים, קרי, נוסו יותר שיטות ניתוח נתונים ועיבוד מידע, כך עולה הסיכוי לתשובה חיובית שגויה.
- החשוב ביותר: שפרו את הבנתכם בתחום המחקר כדי שתוכלו לאמוד את הסיכוי לקבלת תשובה חיובית באופן מקרי. ניתן להיעזר לצורך כך בנתונים על התחום בו אתה עובד מתחומים קרובים.
בהצלחה!
המחבר הוא יזם ודירקטור בחברת לאבונט, מבקר מאמרים עבור מספר מגזינים מדעיים, וחוקר ישימות טכנולוגית.
מעניין וחשוב; לא רק למהנדסים ומדענים, אלא לכל מי שרוצה להתקרב אל מהותם של דברים.