Over-fitting: che cosa significa?
Articolo a cura di Corrado Fantini & Luca Pirazzoli
Over-fitting
L’over-fitting, o eccesso di ottimizzazione, è un fenomeno per il quale si tende a forzare i parametri di un sistema al punto di trovare la combinazione di questi che produce le migliori performances possibili. Andando ad ottimizzare un periodo cosiddetto in-sample, ovvero un periodo noto al sistema, di cui la strategia ne conosce le peculiarità, andiamo ad adattare i parametri in modo da ottenere il miglior risultato possibile; ciò che ne deriva è un’ equity line che sarà quindi tendenzialmente crescente e molto performante.
Questo processo di validazione di una strategia non è tuttavia corretto ai fini della valutazione della sua robustezza ed affidabilità. Ogni qualvolta andiamo ad approcciarci ad un metodo fondato su uno o più parametri, dobbiamo far si che la risultante validazione sia veritiera, severa ed effettiva. Per questa ragione è spesso indispensabile passare da un back-test dei dati osservati in passato, con relativa interpolazione dei risultati. E’ nell’ambito di questo processo che si nota la vera differenza qualitativa fra le varie tecniche di back-test e validazione. Facciamo un esempio concreto e prendiamo il titolo Alcoa Inc. (ticker AA) dal 1990 ad oggi, applicandogli un banalissimo sistema.
Lanciamo l’ottimizzazione dei parametri “esaustiva” su tutto il periodo 1990-2013 ed andiamo a scegliere la combinazione che produce il massimo guadagno di periodo. Costruiamo così l’equity line prodotta da questo set di parametri (dominante su tutti gli altri); graficandola otteniamo l’equity line che possiamo osservare nel grafico in alto a sinistra.
Come si può vedere questa presenta un andamento eccezionale: ottimo rendimento e bassissimo draw-down. Colpo di genio ? Nient’affatto: si tratta semplicemente dell’ OVER-FITTING. Abbiamo cioè ottenuto queste performances non tanto perché la strategia è solida, bensì perchè non poteva non guadagnare, in quanto per definizione l’ottimizzazione su tutta la banca dati trova la migliore delle equity lines possibili. Niente di più sbagliato che fare previsioni sulla profittabilità di una strategia basandosi sui risultati frutto di processi di over-fitting.
Diverso è quando si ricorre all’equity line out-of-sample, ovvero quando si va ad osservare le prestazioni del sistema in una finestra temporale successiva al termine del processo di ottimizzazione, tracciando i risultati limitatamente a questo periodo. Ripetendo periodicamente il processo di riottimizzazione dei parametri e andando a controllare le performances SOLO nel periodo successivo (out-of-sample), si può ottenere un’equity line veritiera che misura realmente le prestazioni della nostra strategia quando questa opera in un mercato sconosciuto fino un attimo prima. Nei grafici esemplificativi riportiamo alcune evidenze in tal senso.
Una volta definite le linee guida che caratterizzano il tipo di “validazione”, esistono molte altre sfumature che possono indurre a scelte non corrette nel giudicare l’efficienza di una strategia. Un secondo esempio di over-fitting riguarda la discrezionalità sulla scelta dei sottostanti da inserire in un trading system. Quando infatti disponiamo di una strategia testata ed ottimizzata con gli accorgimenti di cui sopra, ed andiamo a decretare su quali sottostanti andrà ad operare, è sempre buona regola non scegliere i sottostanti che hanno performato meglio nei back tests, ma cercare sempre di prendere un paniere nella sua interezza (ad esempio tutti i titoli del Dow Jones, o dell’S&P100 o, meglio ancora, dell’S&P500). Andando invece a scegliere discrezionalmente le equities out-of-sample più belle, è scontato che l’andamento del portafoglio risultante sarà perfettamente lineare, ma non è assolutamente scontato che sarà tale anche in futuro. Per necessità, quando si è costretti a fare dei tagli ad un paniere è consigliabile modificarlo con eliminazioni o aggiunte non selettive ma random (andando a colpire i vari settori per non rischiare di sbilanciarsi), in modo da agire freddamente ed indistintamente, senza cadere nel rischio di affezionarsi a specifiche equity lines.
Riassumendo quanto detto, tutto ciò che è figlio in qualche misura di una forzatura dei parametri o di una scelta eccessivamente selettiva dei sottostanti su cui far girare la strategia porta, o può portare, ad una interpretazione falsata dei risultati e quindi è in qualche misura riconducibile ad OVER-FITTING. Questo eccesso di ottimizzazione, come tutti gli eccessi, non porta mai a nulla di buono.
Vedi anche:
Contributi in Traderpedia
- R-squared o coefficiente di determinazione
- Peak to peak (PTP) e Peak to valley (PTV)
- Over-fitting: che cosa significa?