פרק 33 — כיצד בודקים אסטרטגיה בלי לרמות את עצמנו

Backtest הוא ניסוי היסטורי שבו אנחנו מנסים להפעיל אסטרטגיה כאילו בכל רגע ידענו רק את המידע שהיה זמין אז. לפני הבדיקה צריך להגדיר מה רוצים לגלות ומה נשאר קבוע, משום שמבחן ההון, מבחן החשיפה הממוצעת השווה ומבחן החשיפה הממומנת עונים על שאלות שונות. במבחן ההון הכסף שאינו חשוף הוא חלק מתוצאת VE, ואילו מבחן החשיפה הממוצעת מספק מבט אבחוני על תרומת התזמון מעבר לכמות החשיפה. במבחן הממומן אותה חוקיות של מחיר החשיפה חלה על CE ועל VE, ולכן ההבדל ביניהן נשאר בהחלטות החשיפה. חץ הזמן מחייב שכל החלטה תשתמש רק במידע שהיה קיים במועד שבו התקבלה, והפרת הכלל יוצרת Look-ahead. בחירת פרמטרים לאחר ניסיונות רבים עלולה ליצור Overfitting, ולכן יש חשיבות ליציבות, ל־OOS ולבדיקות Walk Forward. לבסוף, גם צורת הבדיקה וגם השופט צריכים להיקבע לפני שרואים את התוצאה, משום שאי אפשר לבדוק אסטרטגיה ביושר אם מזיזים לאחר מעשה את השאלה או את קו הסיום.