Blog

Data journalism, o l’arte dell’intelligenza

Nate Silver è diventato grande e ha lasciato il New York Times. Ha seguito le orme di Andy Sullivan e di Ezra Klein, che hanno lasciato le testate prestigiose in cui erano ospitati i loro blog per intraprendere una vita autonoma. Solo che a differenza dei suoi predecessori illustri non è un giornalista, e non nasconde nemmeno di disprezzare il mestiere dei suoi colleghi quando le loro indicazioni non coinvolgono un’analisi di dati e una valutazione quantitativa del loro significato. Il grafico che riporto qui sotto illustra i criteri che Silver adotta per la selezione dei redattori che dovranno collaborare con lui, e chiarisce le difficoltà che deve aver incontrato nel periodo di convivenza con la testata più importante del mondo.
Le regole di assunzione dei giornalisti di Nate Silver
Il quadrante in basso a sinistra denota il profilo professionale non gradito in FiveThirtyEight nella sua versione rigenerata e finanziata da ESPN: quello dei commentatori politici ed economici, i cui pezzi sono connotati dall’assenza di qualunque sostegno empirico di numeri, di dati e di previsioni circostanziate. Oltre ad essere il sintomo di uno scontro ideologico, questa impostazione spiega la migrazione di Silver da una testata come il New York Times verso il principale network sportivo del mondo: chi si è formato sulla matematica delle probabilità e un’anima nerd si sente compreso meglio da un canale abituato alla chiarezza dei risultati delle partite e alle statistiche sui giocatori, come ESPN, piuttosto che dalla redazione più influente (e più prescrittiva) sulla politica americana.
In Il segnale e il rumore, il suo best seller pubblicato nel 2013, Silver spiega la visione del mondo che gli ha permesso di raggiungere il risultato che lo ha reso famoso in tutto il mondo. Nel corso delle elezioni presidenziali del 2012, sull’allora blog di data journalism interno al New York Times, il suo talento di analisi dei dati gli aveva permesso di compiere una previsione corretta sul risultato della sfida tra Obama e Romney. Ma l’energia della sfera di cristallo non si era limitata alla predizione corretta a livello federale; non si era placata fino al termine dell’elenco dell’esito in tutti i cinquanta Stati dell’Unione. Una furia divinatoria che aveva attratto molti clic sul sito del New York Times, troppi per non suscitare l’invidia dei colleghi che interpretavano il ruolo di portabandiera della testata, in ambito politico da anni, se non da decenni.
Il problema, spiega Silver, è che non c’è nessuna sfera di cristallo. Il guru non è uno stregone e non ha segreti da nascondere. Il trucco consiste nel ricordare sempre che le buone previsioni sono quelle che anticipano gli eventi del futuro e non si limitano a vaticinare i fenomeni già accaduti nel passato. Sembra una banalità, ma è la prima buona notizia per chi stima il data journalism e l’onestà intellettuale come valori non negoziabili.
I sistemi di predizione molto preoccupati di adattare il loro algoritmo di calcolo al decorso storico (già compiuto) del fenomeno che stanno analizzando, rischiano di eccedere inprecisione e di fallire l’obiettivo dell’accuratezza. In altre parole, sono troppo preoccupati di inseguire la tortuosità delle serie storiche, senza essere in grado di distinguere i fattori che stabiliscono correlazioni davvero causali nel produrre gli effetti che si verificheranno anche in futuro. Senza questa separazione, le interferenze residuali e le inserzioni del caso finiscono per dirottare il focus dell’attenzione dai fattori rilevanti, e impedendo l’elaborazione di previsioni corrette nel futuro.
Silver ha imparato la lezione rischiando in prima persona il proprio capitale nelle scommesse sul campionato di baseball e nel gioco d’azzardo. Nessuna scuola è migliore di questa per chi vuole davvero occuparsi di teoria della probabilità e calcolo statistico: la storia di questa scienza, dai suoi primi vagiti con Galileo e Pascal, passando per Leibniz e arrivando a Bernoulli, si è sempre occupata di giochi e di scommesse come terreno privilegiato. Contro la sentenza di Einstein, Pascal reputava che Dio gioca a dadi, e invita anche noi a partecipare al divertimento: la fede e l’esistenza dell’intero apparato teologico devono essere trattati come una scommessa la cui posta è il senso della vita della sua complessità. È una di quelle mani che si consiglia di non perdere. D’altra parte, in generale, se si rischiano i propri soldi, la tensione emotiva nei riguardi del metodo di previsione che si è adottato impone onestà e premura di correzione molto più e molto meglio di quanto capiti a chi formula previsioni arbitrarie in un dibattito televisivo sull’orientamento dell’elettorato alle prossime politiche. E anche di chi lo fa sulle colonne di un giornale, prestigioso a piacere.
L’incapacità di distinguere tra i segnali significativi e il rumore di fondo rappresenta una condizione vitale per il proprio miglioramento come giocatore al tavolo del poker: si arriva a stimare quale grado di probabilità si può assegnare alla combinatoria di carte in mano all’avversario, sospettare con buona approssimazione la legittimità dell’attribuzione di un bluff. Questo non significa diventare padroni infallibili della vittoria; equivale solo a coltivare il talento e crescere nella bravura del gioco.
Il successo non è un indice affidabile della bravura di un giocatore: questo è il primo insegnamento di Silver. L’eliminazione delle mitologie è il compito essenziale che il giornalista modello diFiveThirtyEight si attribuisce: il data journalism inaugura una nuova epoca di Illuminismo. Non esiste né una forma di infallibilità del calcolo, né una situazione di assoluta oggettività . Un giocatore fortunato può continuare a vincere per una sera intera, o addirittura per un torneo – senza comunque poter fare affidamento su questa circostanza casuale per avere un reddito continuativo. L’incertezza è una misura della probabilità che non può essere aggirata né tolta di mezzo, ma che deve sempre essere riconosciuta e dichiarata da chi si impegna a tradurre i dati in informazione. Al contempo, anche l’indagine scientifica più asettica include sempre una dose di pregiudizio, che non può essere filtrata ed eliminata dal calcolo.
La predilezione che Silver professa per la formula bayesiana di probabilità dipende dalla sua capacità di assegnare un valore all’inclinazione verso cui il ricercatore propende a priori. Le credenze di chi conduce l’indagine devono essere consapevoli, e devono ottenere il loro posto nel processo di calcolo. La colpa del metodo di Bernoulli (e degli adattamenti che la tesi frequentista ha acquisito nel corso dei due secoli di vita) è quella di illudere che sia possibile escludere il caso e il pregiudizio dall’orizzonte della conoscenza che possiamo ottenere del mondo.
Silver è, a suo modo un Illuminista, quindi ci tiene a restituire alla scienza un suo orizzonte di avanzamento. Le carte del poker e la passione per i numeri dei giocatori di baseball finiscono per risollevare la fiducia nelle magnifiche sorti e progressive dell’umanità, con buona pace di Leopardi. Silver ha imparato dall’esperienza del tacchino di Russell, che tutte le mattine vede una sequenza di fenomeni che inchioda (ingenuamente) in una legge di natura: sorge il sole, arriva il contadino, compare il cibo nel pollaio. Se il povero volatile assumesse tutti i giorni della sua vita, incluso l’ultimo, come base del suo esperimento frequentista, la sua legge risulterebbe verificata per un  intervallo di casi ben superiore al 95% richiesto dagli eredi di Bernoulli. Il problema è che l’ultimo giorno ai primi due eventi della legge segue una triste deviazione che gli costa le penne. In America di solito l’alba fatidica è quella del Giorno del Ringraziamento.
Dal punto di vista della ragione scientifica, il sacrificio del tacchino sarebbe del tutto inutile in un ambito di teoria frequentista, perché l’eccezione non modificherebbe la validità della legge e non potrebbe insegnare nulla a tutti i successivi tacchini dediti al calcolo della probabilità. Al contrario, la regola di calcolo di Bayes insegnerebbe a modificare sia l’attesa a priori del tacchino ricercatore, che includerebbe un margine di scetticismo maggiore, e soprattutto trasformerebbe le variabili note per il calcolo, assegnando alla convinzione di dedicarsi ad un lauto pasto dopo il sorgere del sole, una percentuale significativamente inferiore al 100%.
I tacchini di Silver sanno che le previsioni migliori, e il data journalism con loro, si fondano su un sano giudizio di rilevanza. Tocca a questo ingredienti scovare gli elementi che intervengono nelle correlazioni in grado di attribuire un significato ai dati. Tra i segni che devono far riflettere, non c’è spazio solo per il sole e per il becchime, ma deve apparire qualche interrogativo sul motivo della generosità del contadino. Senza questo stimolo dell’intelligenza ci sono cumuli di dati e curve che cercano di collegare tutti i punti in modo indiscriminato. Ma un groviglio di curve non dice nulla di più del semplice accumulo di numeri.
Alla fine, quindi, una sfera di cristallo è comparsa. Dietro il coraggio di fronte al rischio, l’onestà nel riconoscimento dell’incertezza e del pregiudizio, l’umiltà dell’apprendimento e la fiducia nel progresso, dietro tutto si disegna un’arte che ha un milione di anni, ma che nessuno ha ancora capito come insegnare: o c’è o non c’è, e non esiste un algoritmo che la inietti dove manca. L’intelligenza, o l’arte del distinguere quello che è rilevante da quello che non lo è.

Leave a reply