Backtesting Erklärt: 10 Fehler, Die Ergebnisse Besser Aussehen Lassen

Ein Backtest ist das überzeugendste Diagramm in allen Investitionen. Sie nehmen eine Handelsregel, wenden sie über zehn Jahre historischer Preise an, und heraus kommt eine glatte Equity-Kurve, die von der unteren linken Ecke zur oberen rechten Ecke steigt. Es sieht aus wie ein Beweis. Es fühlt sich an wie ein Beweis. Und mehr als oft ist es eine Illusion, die Sie sich selbst aufgebaut haben, ohne es zu bemerken.

Das ist die unangenehme Wahrheit über das Backtesting einer Anlagestrategie: Der Prozess ist so gestaltet, dass er Ihnen eine ermutigende Antwort gibt, weil Sie die Regel so lange anpassen, bis die Antwort Sie ermutigt. Die Mathematik ist real; die Disziplin ist das, was normalerweise fehlt. Ein Backtest kann Ihnen etwas wirklich Nützliches sagen — aber nur, wenn Sie genau wissen, was er beweisen kann und was nicht, und nur, wenn Sie aktiv nach den Fehlern suchen, die Ergebnisse viel besser aussehen lassen, als es ein echter Markt jemals für Sie bezahlen würde.

Dieser Leitfaden behandelt beides. Zuerst, was ein Backtest tatsächlich demonstriert. Dann zehn Möglichkeiten, wie ein Aktien-Backtest sich heimlich aufbläht — von Look-Ahead-Bias bis hin zur Behandlung einer historischen Kurve als Vorhersage — mit der Falle und der Lösung für jede. Lesen Sie es, bevor Sie der nächsten schönen Equity-Kurve vertrauen, die Ihnen jemand zeigt, einschließlich einer, die Sie selbst gezeichnet haben.

Was ein Backtest beweisen kann — und was nicht#

Ein Backtest ist ein Hypothesentest, kein Kristallball. Richtig durchgeführt, kann er Ihnen sagen, dass eine Regel bestimmte Ergebnisse in einem bestimmten Abschnitt der Geschichte unter einer bestimmten Annahme hätte produzieren können. Das ist wirklich wertvoll — es ist eine kostengünstige Möglichkeit, schlechte Ideen abzulehnen, bevor sie Ihnen echtes Geld kosten. Aber es ist eine Aussage über die Vergangenheit, formuliert im Konjunktiv, und das bleibt so, egal wie zuversichtlich das Diagramm aussieht.

Der nützliche mentale Wandel ist von Leistung zu Kalibrierung. Sie versuchen nicht zu beweisen, dass eine Strategie "Geld verdient." Sie versuchen zu verstehen, wie sie sich verhält: wie tief ihre Drawdowns sind, wie oft sie falsch liegt, wie viel sie handelt und unter welchen Marktbedingungen sie zusammenbricht. Ein Backtest, der Ihnen zeigt, wo eine Regel Schwierigkeiten hat, ist mehr wert als einer, der eine Zahl verspricht, denn die Zahl wird den Kontakt mit der Zukunft nicht überstehen, das Verhalten jedoch oft schon.

Was es Ihnen wirklich sagt#

• Ob die Regel überhaupt kohärent und umsetzbar mit Daten ist, die Sie tatsächlich zu diesem Zeitpunkt gehabt hätten.
• Ein grobes Gefühl für ihr Risikoprofil — Volatilität, Worst-Case-Drawdown, Umsatz und die Zeiträume, in denen sie schlecht abschneidet.
• Eine kostengünstige Möglichkeit, Ideen zu falsifizieren: Wenn eine Regel die Geschichte nicht übersteht, wird sie sicherlich auch die Zukunft nicht überstehen.

Was es Ihnen nicht sagen kann#

• Was die Strategie in Zukunft zurückbringen wird. Punkt.
• Dass das Muster, das Sie gefunden haben, eine echte Ursache und kein Zufall in einem Datensatz ist.
• Wie Sie sich tatsächlich verhalten werden, wenn der echte Drawdown eintritt und das Diagramm nicht mehr glatt ist.

Halten Sie an dieser Unterscheidung fest, denn jeder Fehler unten ist eine Möglichkeit, "das ist einmal passiert, unter meinen Annahmen" in "das wird wieder passieren, für mich" umzuwandeln.

Die 10 Fehler, die einen Backtest schmeicheln#

1. Look-ahead-Bias#

Look-ahead-Bias ist die schwerwiegende Sünde des Aktien-Backtestings: Ihre Strategie "sieht" Informationen, die sie zum Zeitpunkt des Handels unmöglich hätte wissen können. Die klassische Version ist die Verwendung der Jahresgewinne eines Unternehmens am 1. Januar, während diese Zahlen in Wirklichkeit erst Wochen oder Monate später eingereicht wurden. Oder Aktien nach einer Kennzahl zu bewerten, die nachträglich berichtigt wird, und den berichteten Wert zu verwenden.

Das Ergebnis ist eine Strategie, die prophetisch aussieht, weil sie mit der Zeit schummelt. Die Lösung ist strikte Point-in-Time-Daten — zu jedem simulierten Zeitpunkt darf die Regel nur das verwenden, was bis zu diesem Datum tatsächlich öffentlich und endgültig war, einschließlich aller Verzögerungen. Wenn Sie nicht bestätigen können, dass Ihre Daten den Zeitrahmen respektieren, gehen Sie davon aus, dass sie es nicht tun.

2. Survivorship-Bias#

Testen Sie eine Strategie an "den Aktien im Index heute" über die letzten zwanzig Jahre, und Sie haben sie bereits manipuliert. Die Unternehmen, die pleite gingen, aus dem Handel genommen wurden oder zusammenbrachen, sind stillschweigend aus Ihrem Universum verschwunden — Sie testen nur an den Überlebenden. Natürlich sehen die Ergebnisse großartig aus; Sie haben die Verlierer gelöscht, bevor Sie begonnen haben.

Echte historische Aktienanalysen beinhalten die Toten. Ihr Testuniversum muss jedes Unternehmen enthalten, das zu jedem Zeitpunkt existierte, einschließlich derjenigen, die später gescheitert sind, oder Ihr Backtest misst "wie gut ich abgeschnitten hätte, wenn ich nur die Gewinner besessen hätte, von denen ich bereits weiß, dass sie gewonnen haben."

3. Overfitting#

Backtest-Overfitting ist das, was passiert, wenn Sie immer mehr Regeln hinzufügen und Parameter anpassen, bis die Strategie perfekt zu den historischen Daten passt — einschließlich des zufälligen Rauschens. Eine Regel mit fünfzehn Bedingungen, die jeden vergangenen Wendepunkt trifft, ist keine Entdeckung; es ist eine ausgeklügelte Beschreibung eines spezifischen Datensatzes, der auswendig gelernt wurde.

Das Zeichen ist Fragilität: Ändern Sie die Parameter leicht oder verschieben Sie das Testfenster, und die schönen Ergebnisse verschwinden. Eine robuste Regel funktioniert über einen Bereich von Einstellungen und Zeiträumen, nicht über eine magische Kombination. Einfachheit ist hier eine Verteidigung — jeder zusätzliche Parameter ist eine weitere Chance, Rauschen statt Signal anzupassen.

4. Ignorieren von Transaktionskosten und Slippage#

Ein Backtest, der annimmt, dass Sie zum genauen Schlusskurs, kostenlos kaufen und verkaufen, beschreibt einen Markt, der nicht existiert. Echte Trades zahlen Provisionen, überqueren den Bid-Ask-Spread und leiden unter Slippage — der Unterschied zwischen dem Preis, den Sie erwartet haben, und dem Preis, den Sie erhalten haben, der genau dann größer wird, wenn Sie am meisten handeln möchten.

Die Mathematik ist brutal für aktive Strategien. Angenommen, eine Regel dreht ihr Portfolio 50 Mal im Jahr und jeder Hin- und Rückhandel kostet 0,2%, sobald Sie Spread und Slippage hinzuzufügen. Das sind 50 × 0,2% = 10 Prozentpunkte Rendite, die jedes Jahr an den Markt abgegeben werden — oft genug, um einen backtesteten Star in einen Live-Geld-Verlierer zu verwandeln. Modellieren Sie immer realistische Kosten und seien Sie besonders skeptisch gegenüber Hochfrequenzstrategien, deren Vorteil dünner ist als ihre Handelsrechnung.

5. Schlechte Datenqualität#

Müll rein, wunderschön aussehender Müll raus. Inkonsistent angewandte Split-Anpassungen, ignorierte Dividenden, fehlerhafte Ticks, falsch beschriftete Ticker und Preise, die keine Unternehmensaktionen berücksichtigen, verderben einen Backtest stillschweigend — normalerweise in schmeichelnder Richtung, weil Sie die Fehler, die Ihre Ergebnisse viel mehr schädigen, viel eher bemerken und entfernen als die, die helfen.

Bevor Sie irgendein Ergebnis vertrauen, überprüfen Sie die Daten selbst: Woher sie stammen, wie sie mit Splits und Dividenden umgehen und ob sie gegen eine primäre Quelle geprüft wurden. Eine Strategie ist nur so vertrauenswürdig wie die Zahlen, die ihr zugrunde liegen, und "die Daten sahen gut aus" ist nicht dasselbe wie eine Überprüfung.

6. Cherry-Picking von Start- und Enddaten#

Starten Sie einen Backtest im März 2009, sieht fast alles, was Aktien kauft, brillant aus, weil Sie an einem generationalen Tiefpunkt begonnen haben. Beenden Sie ihn kurz vor einem Crash, den Ihre Regel mit voller Kraft erfasst hätte, und es sieht defensiv aus. Verschieben Sie eine der Grenzen um ein paar Monate, und die Geschichte kann sich umkehren.

Ehrliches Testen verwendet lange, repräsentative Zeitfenster, die mehrere Marktzyklen umfassen — Bullenmärkte, Crashs, unruhige seitwärts gerichtete Jahre — nicht einen handverlesenen Abschnitt, der zufällig die Regel schmeichelt. Wenn eine Strategie nur zwischen zwei sehr spezifischen Daten funktioniert, erledigen die Daten die Arbeit, nicht die Strategie.

7. Testen zu vieler Strategien (p-hacking)#

Führen Sie genug Experimente durch, und der Zufall wird Ihnen allein einen Gewinner bescheren. Dies ist die Falle des Mehrfachtestens, und sie ist überall in der quantitativen Forschung zu finden. Testen Sie 20 nicht verwandte Strategien gegen eine Signifikanzgrenze von 5% und erwarten Sie im Durchschnitt, dass 20 × 0,05 = 1 von ihnen rein zufällig "statistisch signifikant" aussieht — selbst wenn jede einzelne wertlos ist.

Stellen Sie sich nun vor, Sie versuchen Hunderte von Parameterkombinationen und berichten nur über die besten. Das ist keine Forschung; es ist eine Lotterie mit den verlorenen Tickets, die versteckt sind. Die Disziplin besteht darin, im Voraus zu entscheiden, was Sie testen, jeden Versuch zu zählen und eine Strategie, die nur nach tausend Versuchen glänzt, als Rauschen zu behandeln, bis das Gegenteil bewiesen ist.

8. Keine Out-of-Sample- oder Walk-Forward-Validierung#

Wenn Sie eine Regel entwerfen und sie an denselben Daten testen, an denen Sie sie entworfen haben, passt sie natürlich — Sie haben sie so gebaut. Die einzige bedeutende Frage ist, ob sie auf Daten standhält, die sie noch nie gesehen hat. Das ist der gesamte Punkt des Out-of-Sample-Testings: Reservieren Sie einen Teil der Geschichte, gegen die die Strategie nie abgestimmt wurde, und sehen Sie, ob der Vorteil überlebt.

Noch besser ist die Walk-Forward-Analyse — wiederholt auf einem Zeitraum anpassen, im nächsten unberührten Zeitraum testen und dann vorwärts rollen, um zu simulieren, wie Sie die Regel im Laufe der Zeit tatsächlich verwenden würden. Eine Strategie, die im Sample gedeiht und außerhalb des Samples zusammenbricht, hat kein Signal gefunden; sie hat Ihre Daten gefunden. Dieses Schritt zu überspringen, ist, wie die meisten beeindruckenden Backtests entstehen.

9. Ignorieren von Regimewechseln#

Märkte sind keine einzige stabile Maschine. Zinsumgebungen ändern sich, Volatilitätsregime wechseln, Korrelationen, die ein Jahrzehnt gehalten haben, brechen, und eine Regel, die unter einem bestimmten Satz von Bedingungen gedeiht hat, kann stillschweigend aufhören zu funktionieren, wenn sich die Bedingungen ändern. Ein Backtest, der über alles hinweg durchschnittet, kann verbergen, dass alle Renditen aus einem Regime stammen, das jetzt vorbei ist.

Achten Sie darauf, wann Ihre Strategie Geld verdient hat. Wenn der gesamte Vorteil beispielsweise aus einer langen Nullzinsphase oder dem historischen Lauf eines Sektors stammt, fragen Sie sich, ob diese Bedingungen noch existieren. Robustheit bedeutet, dass die Regel unter verschiedenen Regimen sinnvoll funktioniert — oder zumindest, dass Sie genau wissen, von welchem Regime sie abhängt.

10. Historische Leistung als Vorhersage behandeln#

Der letzte und verführerischste Fehler ist der, vor dem jeder Haftungsausschluss warnt und den jeder trotzdem begeht: einen backtesteten Ertrag als Prognose zu lesen. "Das hat über ein Jahrzehnt 18% pro Jahr zurückgebracht" ist eine Tatsache über die Vergangenheit unter Ihren Annahmen. Es ist kein Versprechen, kein Durchschnitt, auf den Sie Anspruch haben, oder ein Boden, auf den Sie zählen können.

Ein Backtest setzt Erwartungen für das Verhalten, nicht ein Ziel für die Renditen. Verwenden Sie ihn, um den Charakter einer Strategie zu verstehen und ihre Schwachstellen zu testen — halten Sie dann Ihre Schlussfolgerungen locker, denn die Zukunft hat ein Mitspracherecht und war noch nie verpflichtet, mit der Vergangenheit zu reimen.

Die Disziplin, die Forschung von Wunschdenken trennt#

Beachten Sie, dass fast jeder Fehler oben eine Variation des gleichen Themas ist: einer Strategie zu erlauben, Informationen zu sehen, die sie nicht gehabt hätte, oder sie anhand der Daten zu beurteilen, die zu ihrer Erstellung verwendet wurden. Das Gegenmittel ist eine Denkweise — Kalibrierung über Leistung und Disziplin bei der Verwendung von Daten außerhalb der Probe als nicht verhandelbare Gewohnheit.

Das ist keine Randmeinung. Akademiker und Praktiker, die quantitative und KI-gesteuerte Investitionen studieren, kehren immer wieder zu derselben kurzen Liste von Leitplanken zurück — bestehen Sie auf Tests außerhalb der Probe, modellieren Sie Transaktionskosten ehrlich, respektieren Sie das Timing von Signalen, damit Sie nicht mit Daten handeln, die Sie nicht hatten, und beseitigen Sie den Look-Ahead-Bias, wo immer er sich versteckt. Die Einzelheiten variieren; die Botschaft ist bemerkenswert konsistent, und sie steht im Gegensatz zu "vertrauen Sie der Kurve." Wenn Sie die tiefere Version dieses Arguments auf KI-generierte Signale angewendet sehen möchten, zeigt unser Backtest-Modus-Durchlauf, wie disziplinierte Validierung in der Praxis aussieht.

Wo dies in die echte Forschung passt#

Backtesting steht neben, nicht über, dem Verständnis eines Unternehmens. Eine Regel kann jeden statistischen Test oben bestehen und dennoch auf Unternehmen abzielen, über die Sie nichts wissen — weshalb quantitative Validierung nur ein Eingangsparameter ist, der am besten mit der Art von fundamentaler Arbeit in unserer 12-Schritte-Forschungscheckliste kombiniert wird. Die Zahlen sagen Ihnen, wie sich ein Signal verhalten hat; das Unternehmen sagt Ihnen, ob die Geschichte dahinter nachhaltig ist.

So geht Valarn ungefähr vor, als Bildungsforschungswerkzeug. Anstatt eine einzige selbstbewusste Antwort zu geben, befragt es bis zu etwa 25 spezialisierte KI-Analysten in fünf Kategorien — Kernforschung, Marktstruktur, ein spezielles Debatten- und Risikokomitee, Finanzqualitätsprüfer sowie Ereignisse, Sektor- und Makroabdeckung — und inszeniert dann eine strukturierte Bullen-gegen-Bären-Debatte und synthetisiert eine neutrale Forschungsansicht (Bullish, Cautious Bullish, Neutral, Cautious oder Bearish — niemals eine Kauf- oder Verkaufsanweisung). Jede faktische Behauptung ist auf eine Einreichung oder eine lizenzierte Quelle mit einem Stichtag zurückverfolgbar, was die gleiche Punkt-in-Zeit-Disziplin ist, die den Look-Ahead-Bias aus einem Backtest heraushält. Ein Qualitätssicherungs-Gate läuft, bevor der Bericht Sie jemals erreicht.

Entscheidend ist, dass der Bericht die Sprache der Kalibrierung spricht, nicht der Vorhersage. Anstelle eines einzelnen Preisziels erhalten Sie einen Szenario-Bereich — Bären-, Basis- und Bullen-Referenzniveaus — plus einen Referenzpreis und ein Risikoniveau. Zwei separate 0–100-Punkte halten die Ehrlichkeit sichtbar: ein Vertrauens-Score, der die Vollständigkeit und Zuverlässigkeit der Daten widerspiegelt (nicht eine Preisprognose), und ein Zustimmungs-Score, der zeigt, wie sehr die Analysten tatsächlich konvergiert sind. Und da ein einzelner Lauf seine eigene Art von kleiner Stichprobe ist, können Ensemble Runs die gesamte Analyse bis zu dreimal wiederholen, um eine stabilere Lesart zu erhalten — das Forschungsäquivalent dazu, einem einzelnen Datenzugriff nicht zu vertrauen. Wenn Sie einen breiteren Rahmen für das Drucktesten von KI-Ausgaben wünschen, haben wir auch zehn Prüfungen für das Vertrauen in die KI-Aktienanalyse verfasst.

Sie können all dies an einem echten Unternehmen in einem vollständigen Musterforschungsbericht sehen oder eine Unternehmensforschungsseite durchsuchen, um sich zu orientieren, bevor Sie sich in die Einreichungen vertiefen. Wenn ein Begriff Ihnen auf dem Weg Schwierigkeiten bereitet, ist das Valarn-Glossar genau dafür erstellt.

Die Quintessenz#

Ein Backtest ist ein Werkzeug, um eine disziplinierte Frage zur Vergangenheit zu stellen, nicht eine Maschine zur Vorhersage der Zukunft. Gut eingesetzt hilft es Ihnen, schlechte Ideen kostengünstig abzulehnen und zu verstehen, wie sich eine Strategie verhält, wenn etwas schiefgeht. Unachtsam verwendet — mit Look-Ahead-Bias, Überlebensbias, Überanpassung, ignorierten Kosten, ausgewählten Daten und ohne Überprüfung außerhalb der Probe — wird es zu einer aufwendigen Art, sich selbst mit einem sehr überzeugenden Diagramm zu belügen.

Behandeln Sie daher jede Aktienkurve, einschließlich Ihrer eigenen, als eine Behauptung, die verifiziert werden muss, anstatt als ein Ergebnis, das geglaubt werden soll. Bestehen Sie auf sauberen Punkt-in-Zeit-Daten, realistischen Kosten und Validierung mit Daten, die die Strategie nie gesehen hat. Streben Sie nach Kalibrierung, nicht nach Leistung. Tun Sie das, und das Backtesting einer Anlagestrategie wird das, was es sein sollte: eine Möglichkeit, weniger getäuscht zu werden, nicht mehr. Neugierig, wie eine überprüfbare, ehrlich abgesicherte Analyse aussieht? Erforschen Sie einen vollständigen Musterbericht oder führen Sie Ihren eigenen kostenlosen Forschungsbericht aus und bewerten Sie ihn anhand alles oben Genannten.

Valarn ist ein Bildungsforschungswerkzeug, keine Anlageberatung. Es sagt Ihnen nicht, etwas zu kaufen, zu verkaufen oder zu halten, und nichts hier ist eine Empfehlung oder ein Versprechen von Ergebnissen. Machen Sie immer Ihre eigene Recherche und ziehen Sie in Betracht, einen lizenzierten Finanzprofi zu konsultieren.