Vad är data science?

Dataforskare följer en liknande process för att genomföra sina projekt:

1. Definiera affärsproblemet

Dataforskaren samarbetar med intressenter för att tydligt definiera problemet som ska lösas eller frågan som ska besvaras, samt projektets mål och lösningskrav.

2. Definiera analysmetoden
Baserat på affärsproblemet bestämmer dataforskaren vilken analysmetod som ska användas:

• Beskrivande analys för att få mer information om det aktuella läget.
• Diagnostisk analys för att förstå vad som händer och varför.
• Prediktiv analys för att förutsäga vad som kommer att hända.
• Preskriptiv analys för att förstå hur problemet ska lösas.

3. Hämta data

Dataforskare identifierar och hämtar de data som behövs för att uppnå önskat resultat. Det kan handla om att köra frågor mot databaser, extrahera information från webbplatser (webbskrapning) eller hämta data från filer. Data kan vara internt tillgängliga eller så kan teamet behöva köpa data. I vissa fall kan organisationer behöva samla in nya data för att kunna genomföra ett projekt.

4. Rensa data

Vanligtvis är det här steget det mest tidskrävande. För att skapa datamängden för modellering konverterar dataforskaren alla data till samma format, ordnar data, tar bort det som inte behövs och ersätter eventuella saknade data.

5. Utforska data

När data har rensats utforskar dataforskaren data och använder statistiska analystekniker för att identifiera relationer mellan datafunktioner och de statistiska relationerna mellan dem och de värden som de förutsäger (kallas en etikett). Den förutsagda etiketten kan vara ett kvantitativt värde, till exempel vad det ekonomiska värdet för en viss sak kommer att vara i framtiden, eller hur länge ett flyg är försenat i minuter.

I utforskningen och förberedelserna ingår vanligtvis en hel del interaktiv dataanalys och visualisering, vanligtvis med hjälp av språk som Python och R i interaktiva verktyg och miljöer som är särskilt utformade för den här uppgiften. Skripten som används för att utforska data finns vanligtvis i specialiserade miljöer som Jupyter Notebooks. Med de här verktygen kan dataforskare utforska data programmatiskt och dokumentera och dela de insikter de hittar.

6. Modellera data

Dataforskare skapar och tränar preskriptiva eller beskrivande modeller och testar och utvärderar sedan modellen för att se till att den besvarar den aktuella frågan eller åtgärdar affärsproblemet. I sin enklaste form är en modell lite kod som tar indata och genererar utdata. Att skapa en maskininlärningsmodell innebär att välja en algoritm, förse den med data och justera hyperparametrar. Hyperparametrar är justerbara parametrar som gör att dataforskare kan styra modellträningsprocessen. Med neurala nätverk bestämmer dataforskare till exempel antalet dolda lager och antalet noder i varje lager. Justering av hyperparametrar, även kallat optimering av hyperparametrar, är processen att hitta den hyperparameterkonfiguration som ger bästa prestanda.

En vanlig fråga är "Vilken maskininlärningsalgoritm ska jag använda?" En maskininlärningsalgoritm omvandlar en datamängd till en modell. Vilken algoritm som dataforskare väljer beror främst på två olika aspekter av data science-scenariot:

• Vilken affärsfråga vill dataexperten besvara med lärdomar från tidigare data?
• Vilka är kraven för data science-scenariot, inklusive noggrannhet, träningstid, linjäritet, antal parametrar och antal funktioner?

För att besvara dessa frågor tillhandahåller Azure Machine Learning en omfattande portfölj med algoritmer, till exempel beslutsskog med två klasser, rekommendationssystem, regression med neuralt nätverk, neuralt nätverk med flera klasser och K-Means-klustring. Varje algoritm är utformad för att hantera en viss typ av maskininlärningsproblem. Dataforskare kan också använda översiktsbladet för Azure Machine Learning-algoritmer till att välja rätt algoritm för att besvara den aktuella affärsfrågan.

7. Distribuera modellen

Dataforskaren levererar den slutliga modellen med dokumentation och distribuerar den nya datamängden till produktion efter testning, så att den kan spela en aktiv roll i företaget. Förutsägelser från en distribuerad modell kan användas för att fatta affärsbeslut.

8. Visualisera och förmedla resultat

Visualiseringsverktyg som Microsoft Power BI, Tableau, Apache Superset och Metabase gör det enkelt för dataforskare att utforska data och generera snygga visualiseringar som visar resultat på ett sätt som är enkelt att förstå även för målgrupper som saknar tekniska kunskaper.

Dataforskare kan också använda webbaserade notebooks för data science, till exempel Zeppelin Notebooks, under stora delar av processen för datainsamling, identifiering, analys, visualisering och samarbete.

Data science-metoder

Dataforskare använder statistiska metoder som hypotesprövning, faktoranalys, regressionsanalys och klustring för att utvinna statistiskt korrekta insikter.

Data science-dokumentation

Även om data science-dokumentationen varierar beroende på projekt och bransch innehåller den vanligtvis information om var data kommer från och hur de har ändrats. Det gör att andra i datateamet kan använda data på ett effektivt sätt. Dokumentationen hjälper till exempel affärsanalytiker att använda visualiseringsverktyg för att tolka datamängden.

Typer av data science-dokumentation:

• Projektplaner för att definiera projektets affärsmål, utvärderingsmått, resurser, tidslinje och budget.
• Användarberättelser för att generera idéer för data science-projekt. Dataforskare skriver berättelsen ur intressenternas perspektiv och beskriver vad intressenten vill uppnå och orsaken till att intressenten vill genomföra projektet.
• Modelldokumentation för att dokumentera datamängden, experimentets design och algoritmerna.
• Dokumentation om supportsystem, till exempel användarhandböcker, infrastrukturdokumentation för systemunderhåll och koddokumentation.