Che cos'è la data science?

Gli scienziati dei dati seguono un processo simile per completare i progetti:

1. Definire il problema aziendale

Lo scienziato dei dati collabora con gli stakeholder per definire chiaramente il problema che vogliono risolvere o la domanda a cui devono rispondere, insieme agli obiettivi e ai requisiti della soluzione del progetto.

2. Definire l'approccio analitico
In base al problema aziendale, lo scienziato dei dati decide quale approccio analitico seguire:

• Descrittivo per altre informazioni sullo stato corrente.
• Diagnostico per comprendere cosa accade e perché.
• Predittivo per prevedere cosa accadrà.
• Prescrittivo per capire come risolvere il problema.

3. Ottenere i dati

Lo scienziato dei dati identifica e acquisisce i dati necessari per ottenere il risultato desiderato. Ciò può comportare l'esecuzione di query sui database, l'estrazione di informazioni dai siti Web (web scraping) o l'acquisizione di dati dai file. I dati potrebbero essere disponibili internamente o il team potrebbe dover acquistare i dati. In alcuni casi, le organizzazioni potrebbero dover raccogliere nuovi dati per poter eseguire correttamente un progetto.

4. Pulire i dati, procedura nota anche come scrubbing

In genere, questo passaggio è il più dispendioso in termini di tempo. Per creare il set di dati per la modellazione, lo scienziato dei dati converte tutti i dati nello stesso formato, organizza i dati, rimuove gli elementi non necessari e sostituisce i dati mancanti.

5. Esplorare i dati

Dopo aver pulito i dati, uno scienziato dei dati esplora i dati e applica tecniche analitiche statistiche per rivelare le relazioni tra le caratteristiche dei dati e le relazioni statistiche tra di essi e i valori stimati (noti come etichetta). L'etichetta stimata può essere costituita da un valore quantitativo, ad esempio il valore finanziario di un evento futuro o il ritardo di un volo in minuti.

L'esplorazione e la preparazione dei dati richiedono in genere molte attività interattive di visualizzazione e analisi, che vengono solitamente eseguite tramite linguaggi come Python e R in strumenti e ambienti interattivi appositamente progettati per queste attività. Gli script usati per esplorare i dati vengono generalmente ospitati in ambienti specializzati, quali notebook di Jupyter. Questi strumenti consentono agli scienziati dei dati di esplorare i dati a livello di programmazione, nonché di documentare e condividere le informazioni approfondite che trovano.

6. Modellare i dati

Lo scienziato dei dati compila e addestra modelli prescrittivi o descrittivi, quindi testa e valuta il modello per assicurarsi che risponda alla domanda o risponda al problema aziendale. Nella forma più semplice, un modello è un frammento di codice che accetta un input e produce output. La creazione di un modello di machine learning prevede di selezionare un algoritmo, fornirgli dei dati e ottimizzare gli iperparametri. Gli iperparametri sono parametri regolabili che consentono agli scienziati dei dati di controllare il processo di training del modello. Ad esempio, con le reti neurali, lo scienziato dei dati decide il numero di livelli nascosti e il numero di nodi in ogni livello. L'ottimizzazione degli iperparametri, denominata anche ottimizzazione degli iperparametri, è il processo di ricerca della configurazione degli iperparametri che garantisce prestazioni ottimali.

Una domanda comune è "Quale algoritmo di machine learning devo usare?" Un algoritmo di machine learning trasforma un set di dati in un modello. L'algoritmo selezionato dallo scienziato dei dati dipende principalmente da due diversi aspetti dello scenario di data science:

• Qual è la domanda aziendale a cui lo scienziato dei dati vuole rispondere apprendendo dai dati passati?
• Quali sono i requisiti dello scenario di data science, tra cui accuratezza, tempo di addestramento, linearità, numero di parametri e numero di funzionalità?

Per rispondere a queste domande, Azure Machine Learning fornisce un portfolio completo di algoritmi, ad esempio foreste di decisioni multiclasse, sistemi di raccomandazione, regressione della rete neurale, rete neurale multiclasse e clustering K-Means. Ogni algoritmo è progettato per risolvere un tipo diverso di problema di machine learning. Inoltre, il foglio informativo sugli algoritmi di Azure Machine Learning consente agli scienziati dei dati di scegliere l'algoritmo giusto per rispondere alla domanda aziendale.

7. Distribuire il modello

Lo scienziato dei dati fornisce il modello finale con la documentazione e distribuisce il nuovo set di dati in produzione dopo il test, in modo che possa svolgere un ruolo attivo in un'azienda. Le stime effettuate da un modello distribuito possono essere usate per prendere decisioni aziendali.

8. Visualizzare e comunicare i risultati

Strumenti di visualizzazione come Microsoft Power BI, Tableau, Apache Superset e Metabase consentono allo scienziato dei dati di esplorare facilmente i dati e generare visualizzazioni accattivanti che mostrano i risultati in modo da semplificare la comprensione da parte dei destinatari non tecnici.

Gli scienziati dei dati possono anche usare notebook di data science basati sul Web, ad esempio Zeppelin Notebook, durante la maggior parte del processo per l'inserimento dei dati, l'individuazione, l'analisi, la visualizzazione e la collaborazione.

Metodi di data science

Gli scienziati dei dati usano metodi statistici come il test di ipotesi, l'analisi dei fattori, l'analisi di regressione e il clustering per trovare informazioni statistiche valide.

Documentazione di data science

Anche se la documentazione di data science varia in base al progetto e al settore, include in genere la documentazione che mostra da dove provengono i dati e come sono stati modificati. Ciò consente ad altri membri del team di dati di usare in modo efficace i dati in futuro. Ad esempio, la documentazione aiuta gli analisti aziendali a usare gli strumenti di visualizzazione per interpretare il set di dati.

I tipi di documentazione di data science includono:

• Piani del progetto per definire gli obiettivi aziendali, le metriche di valutazione, le risorse, la sequenza temporale e il budget del progetto.
• Storie utente di data science per generare idee per progetti di data science. Lo scienziato dei dati scrive la storia dal punto di vista dello stakeholder, descrivendo cosa vuole ottenere lo stakeholder e il motivo per cui lo stakeholder richiede il progetto.
• Documentazione del modello di data science per documentare il set di dati, la progettazione dell'esperimento e gli algoritmi.
• Documentazione dei sistemi di supporto incluse le guide utente, la documentazione dell'infrastruttura per la manutenzione del sistema e la documentazione del codice.