Vad är datavetenskap?

1. Definiera affärsproblemet

   Dataforskaren arbetar med intressenter för att tydligt definiera det problem de vill lösa eller fråga de behöver svara på, tillsammans med projektets mål och lösningskrav.

2. Definiera analysmetoden

   Baserat på affärsproblemet bestämmer dataforskaren vilken analysmetod som ska följas:

   • Beskrivande om du vill ha mer information om aktuell status.
   • Diagnostik för att förstå vad som händer och varför.
   • Förutsägande för att förutsäga vad som kommer att hända.
   • Beskrivande för att förstå hur du löser problemet.

3. Hämta data

   Dataforskaren identifierar och hämtar de data som behövs för att uppnå önskat resultat. Detta kan innebära att du frågar databaser, extraherar information från webbplatser (webbskrot) eller hämtar data från filer. Data kan vara internt tillgängliga, eller så kan teamet behöva köpa data. I vissa fall kan organisationer behöva samla in nya data för att kunna köra ett projekt.

4. Rensa data, kallas även skrubbning

   Vanligtvis är det här steget mest tidskrävande. Om du vill skapa datauppsättningen för modellering konverterar dataforskaren alla data till samma format, ordnar data, tar bort det som inte behövs och ersätter eventuella data som saknas.

5. Utforska data

   När data har rensats utforskar en dataexpert data och använder statistiska analystekniker för att visa relationer mellan datafunktioner och de statistiska relationerna mellan dem och de värden som de förutsäger (kallad etikett). Den förutsagda etiketten kan vara ett kvantitativt värde, till exempel det ekonomiska värdet för något i framtiden, eller varaktigheten för en flygfördröjning i minuter.

   Utforskning och förberedelse omfattar vanligtvis en hel del interaktiv dataanalys och visualisering – som vanligtvis använder språk som Python och R i interaktiva verktyg och miljöer som är särskilt utformade för den här uppgiften. Skripten som används för att utforska data finns vanligtvis i specialiserade miljöer som Jupyter Notebooks. De här verktygen gör det möjligt för dataexperter att utforska data programmatiskt samtidigt som de dokumenterar och delar de insikter de hittar.

6. Modellera data

   Dataforskaren bygger och tränar beskrivande modeller och testar sedan och utvärderar modellen för att se till att den besvarar frågan eller åtgärdar affärsproblemet. När det är som enklast är en modell en kodbit som tar indata och producerar utdata. När du skapar en maskininlärningsmodell måste du välja en algoritm, förse den med data och justera hyperparametrar. Hyperparametrar är justerbara parametrar som låter dataforskare styra modellträningsprocessen. Med t.ex. neurala nätverk bestämmer dataforskaren antalet dolda lager och antalet noder i varje lager. Hyperparameter-justering, även kallat hyperparameteroptimering, är processen att hitta konfigurationen av hyperparametrar som ger bäst prestanda.

   En vanlig fråga är "Vilken maskininlärningsalgoritm ska jag använda?" En maskininlärningsalgoritm omvandlar en datamängd till en modell. Algoritmen som dataforskaren väljer beror främst på två olika aspekter av datavetenskapsscenariot:

   • Vilken affärsfråga vill dataforskaren besvara genom att lära sig från tidigare data?
   • Vilka är kraven för datavetenskapsscenariot, inklusive noggrannhet, utbildningstid, linjäritet, antal parametrar och antal funktioner?

   För att hjälpa dig att besvara dessa frågor, innehåller Azure Machine Learning en omfattande portfölj med algoritmer, t.ex. Multiclass Decision Forest,Rekommendationssystem, Neurala nätverksregression, med multiklass-neurala nätverk och K-Means Clustering. Varje algoritm är utformad för att åtgärda olika typer av maskininlärningsproblem. Dessutom hjälper Azure Machine Learning- dataforskare att välja rätt algoritm för att besvara affärsfrågan.

7. Distribuera modellen

   Dataforskaren levererar den slutliga modellen med dokumentation och distribuerar den nya datauppsättningen till produktion efter testning, så att den kan spela en aktiv roll i ett företag. Förutsägelser från en distribuerad modell kan användas för affärsbeslut.

8. Visualisera och kommunicera resultaten

   Visualiseringsverktyg som Microsoft Power BI, Tableau, Apache Superset och Metabase gör det enkelt för dataforskaren att utforska data och generera snygga visualiseringar som visar resultaten på ett sätt som gör det enkelt för icke-tekniska målgrupper att förstå.

Dataforskare kan också använda webbaserade anteckningsböcker för datavetenskap, till exempel Zeppelin Notebooks, under hela processen för datainmatning, identifiering, analys, visualisering och samarbete.

Datavetenskapsmetoder

Dataexperter använder statistiska metoder som hypotestestning, faktoranalys, regressionsanalys och klustring för att analysera statistiskt bra insikter.

Dokumentation om datavetenskap

Även om datavetenskapsdokumentationen varierar efter projekt och bransch, innehåller den vanligtvis dokumentation som visar var data kommer från och hur de ändrades. Detta hjälper andra medlemmar i datateamet att effektivt använda data framöver. Dokumentationen hjälper till exempel affärsanalytiker att använda visualiseringsverktyg för att tolka datamängden.