Hva er datavitenskap?

Dataforskere følger en lignende prosess for å fullføre prosjektene sine:

1. Definere forretningsproblemet

Dataforskeren samarbeider med interessenter for å tydelig definere problemet de ønsker å løse, eller stille spørsmål som de trenger å svare på, sammen med prosjektets målsettinger og løsningskrav.

2. Definere den analytiske tilnærmingen
Basert på forretningsproblemet bestemmer dataforskeren hvilken analytisk tilnærming som skal følges:

• Beskrivende for mer informasjon om gjeldende status.
• Diagnostisk for å forstå hva som skjer og hvorfor.
• Prediktiv for å forutsi hva som vil skje.
• Beskrivende for å forstå hvordan man løser problemet.

3. Hente dataene

Dataforskeren identifiserer og henter dataene som kreves for å oppnå ønsket resultat. Dette kan innebære spørring av databaser, uttrekking av informasjon fra nettsteder (nettskraping) eller henting av data fra filer. Dataene kan være internt tilgjengelige, eller teamet må kanskje kjøpe dataene. I noen tilfeller kan det hende at organisasjoner må samle inn nye data for å kunne kjøre et prosjekt.

4. Rengjøre dataene, også kalt skyvespoling

Dette trinnet er vanligvis det mest tidkrevende. For å opprette datasettet for modellering konverterer dataforskeren alle dataene til samme format, organiserer dataene, fjerner det som ikke er nødvendig og erstatter eventuelle manglende data.

5. Utforske dataene

Når dataene er renset, utforsker en dataforsker dataene og bruker statistiske analytiske teknikker for å avsløre relasjoner mellom datafunksjoner og statistiske relasjoner mellom dem og verdiene de forutser (kjent som en etikett). Den forutsagte etiketten kan være en kvantitativ verdi, for eksempel den økonomiske verdien av noe i fremtiden eller varigheten av et forsinket fly i minutter.

Utforskning og forberedelse involverer vanligvis mye interaktiv dataanalyse og visualisering—som vanligvis bruker språk som Python og R i interaktive verktøy og miljøer som er spesielt utformet for denne oppgaven. Skriptene som brukes til å utforske dataene, driftes vanligvis i spesialiserte miljøer som Jupyter Notebooks. Disse verktøyene gjør det mulig for dataforskere å utforske dataene programmatisk mens de dokumenterer og deler innsiktene de finner.

6. Modellere dataene

Dataforskeren bygger og trener opp preskriptive eller beskrivende modeller, tester og evaluerer modellen for å sikre at den svarer på spørsmålet eller løser forretningsproblemet. På sitt enkleste er en modell en kodedel som tar inndata og produserer utdata. Oppretting av en maskinlæringsmodell innebærer å velge en algoritme, gi den data og justere hyperparametere. Hyperparametere er justerbare parametere som lar dataforskere kontrollere modellopplæringsprosessen. Med nevrale nettverk bestemmer dataforskeren for eksempel antall skjulte lag og antall noder i hvert lag. Hyperparameterjustering av en modellHyperparameterjustering, også kalt hyperparameteroptimalisering, er prosessen med å finne konfigurasjonen av hyperparametere som resulterer i best ytelse.

Et vanlig spørsmål er "Hvilken maskinlæringsalgoritme bør jeg bruke?" En maskinlæringsalgoritme gjør et datasett om til en modell. Algoritmen dataforskeren velger, avhenger hovedsakelig av to ulike aspekter av datavitenskapsscenariet:

• Hva er forretningsspørsmålet som dataforskeren ønsker å svare på ved å lære fra tidligere data?
• Hva er kravene til datavitenskapsscenariet, inkludert nøyaktighet, opplæringstid, linearitet, antall parametere og antall funksjoner?

For å svare på disse spørsmålene gir Azure Machine Learning en omfattende portefølje av algoritmer, for eksempel Komponent for flerklasses beslutningsskogflerklasses beslutningsskog, anbefalingssystemer, nevral nettverksregresjon, flerklasses nevralt nettverk, og K-Means-klynging. Hver algoritme er utformet for å løse ulike typer maskinlæringsproblemer. I tillegg hjelper Azure Machine Learning Algorithm Cheat Sheet dataforskere med å velge den riktige algoritmen for å svare på forretningsspørsmålet.

7. Distribuere modellen

Dataforskeren leverer den endelige modellen med dokumentasjon og distribuerer det nye datasettet i produksjon etter testing, slik at den kan spille en aktiv rolle i en bedrift. Prediksjoner fra en distribuert modell kan brukes til forretningsbeslutninger.

8. Visualisere og formidle resultatene

Visualiseringsverktøy som Microsoft Power BI, Tableau, Apache Superset og Metabase gjør det enkelt for dataforskeren å utforske dataene og generere vakre visualiseringer som viser resultatene på en måte som gjør det enkelt for ikke-tekniske målgrupper å forstå.

Dataforskere kan også bruke nettbaserte notatblokker innen datavitenskap, for eksempel Zeppelin Notebooks, i store deler av prosessen med datainntak, oppdagelse, analyse, visualisering og samarbeid.

Metoder innen datavitenskap

Dataforskere bruker statistiske metoder som hypotesetesting, faktoranalyse, regresjonsanalyse og klynging for å avdekke statistisk lydinnsikt.

Dokumentasjon for datavitenskap

Selv om dokumentasjonen for datavitenskap varierer etter prosjekt og bransje, inneholder den vanligvis dokumentasjon som viser hvor dataene kommer fra, og hvordan de ble endret. Dette hjelper andre medlemmer av datateamet med å effektivt bruke dataene fremover. Dokumentasjonen hjelper for eksempel forretningsanalytikere med å bruke visualiseringsverktøy til å tolke datasettet.

Typer av dokumentasjon for datavitenskap inkluderer:

• Prosjektplaner for å definere prosjektets mål, evalueringsmåledata, ressurser, tidslinje og budsjett.
• Brukerhistorier om datavitenskap for å generere ideer for datavitenskapsprosjekter. Dataforskeren skriver historien fra interessentens synspunkt, som beskriver hva interessenten ønsker å oppnå, og grunnen til at interessenten ber om prosjektet.
• Dokumentasjon for datavitenskapsmodell for å dokumentere datasettet, eksperimentets utforming og algoritmene.
• Dokumentasjon for støttesystemer som inkluderer brukerveiledninger, infrastrukturdokumentasjon for systemvedlikehold og kodedokumentasjon.