Wenn Banken neue Anlageprodukte auf den Markt bringen, haben sie meistens ein Problem: Es gibt keine erfolgreiche Wertentwicklung in der Vergangenheit, auf die sie beim Verkauf verweisen können. Diesen Makel des Unbewährten umschiffen die Anbieter mit Backtests. Auf Basis von historischen Marktdaten simulieren sie, wie sich das Produkt entwickelt hätte, wenn es schon lange auf dem Markt gewesen wäre. Da die zurückliegenden Zeiträume willkürlich gewählt und die Produkte an die Daten angepasst werden können, sind Backtests in der Regel reine Augenwischerei. Aus ihnen lassen sich keine zuverlässigen Aussagen zur künftigen Wertentwicklung eines Finanzproduktes ableiten.
Auch sogenanntes Data Mining ist ein Problem, sowohl in der Finanzindustrie als auch in der Wissenschaft. Konstrukteure von Finanzprodukten und Finanzmarktforscher stochern so lange in historischen Daten herum, bis sie vermeintliche Muster entdecken, aus denen sich überlegene Anlagestrategien ableiten lassen. Die Industrie will sie verkaufen, Forscher wollen sie karrierefördernd in möglichst renommierten Fachzeitschriften publizieren.
Doch Anlagestrategien, die das Ergebnis von Data Mining sind, funktionieren nur in dem verwendeten historischen Datensatz. In der Praxis brechen sie wie Kartenhäuser zusammen.
Wegen solcher Tricks ist in der Wissenschaft inzwischen ein sogenannter Out-of-sample-Test Standard. Man nimmt die historischen Daten und teilt sie in zwei Teile. Mit dem einen wird die Untersuchung durchführt und an dem anderen werden die Ergebnisse auf ihre Validität getestet. Doch auch bei diesem Verfahren kann durch die Wahl, an welcher Stelle der Datensatz geteilt wird, Einfluss auf das Ergebnis genommen werden.