Wat is datawetenschap?

Datawetenschappers volgen een vergelijkbaar proces om hun projecten te voltooien:

1. Het bedrijfsprobleem definiëren

De datawetenschapper werkt samen met belanghebbenden om het probleem dat ze willen oplossen of de vraag die ze moeten beantwoorden duidelijk te definiëren, samen met de doelstellingen en oplossingsvereisten van het project.

2. De analysebenadering definiëren
Op basis van het bedrijfsprobleem bepaalt de datawetenschapper welke analysebenadering moet worden gevolgd:

• Beschrijvend voor meer informatie over de huidige status.
• Diagnostisch om te begrijpen wat er gebeurt en waarom.
• Voorspellend om te voorspellen wat er zal gebeuren.
• Prescriptief om te begrijpen hoe je het probleem kunt oplossen.

3. De gegevens ophalen

De datawetenschapper identificeert en verkrijgt de gegevens die nodig zijn om het gewenste resultaat te bereiken. Dit kan het uitvoeren van query's op databases, het extraheren van informatie van websites (web scraping) of het ophalen van gegevens uit bestanden omvatten. De gegevens zijn mogelijk intern beschikbaar of het team moet de gegevens mogelijk aanschaffen. In sommige gevallen moeten organisaties mogelijk nieuwe gegevens verzamelen om een project te kunnen uitvoeren.

4. De gegevens opschonen, ook wel 'data scrubbing' genoemd

Normaal gesproken is deze stap het meest tijdrovend. Om de gegevensset voor modellering te maken, converteert de datawetenschapper alle gegevens naar dezelfde indeling, organiseert de gegevens, verwijdert wat niet nodig is en vervangt eventuele ontbrekende gegevens.

5. De gegevens verkennen

Zodra de gegevens zijn opgeschoond, verkent een datawetenschapper de gegevens en past statistische analytische technieken toe om relaties tussen gegevensfuncties, de statistische relaties tussen deze functies en de waarden die ze voorspellen (ook wel een label genoemd) te onthullen. Het voorspelde label kan een kwantitatieve waarde zijn, zoals de financiële waarde van iets in de toekomst of de duur van een vluchtvertraging in minuten.

Bij verkenning en voorbereiding wordt doorgaans veel interactieve gegevensanalyse en -visualisatie gebruikt, meestal met behulp van talen zoals Python en R in interactieve tools en omgevingen die speciaal voor deze taak zijn ontworpen. De scripts die worden gebruikt om de gegevens te verkennen, worden meestal gehost in gespecialiseerde omgevingen zoals Jupyter Notebooks. Met deze tools kunnen datawetenschappers de gegevens programmatisch verkennen terwijl ze de gevonden inzichten documenteren en delen.

6. De gegevens modelleren

De datawetenschapper bouwt en traint prescriptieve of beschrijvende modellen en test en evalueert het model vervolgens om er zeker van te zijn dat het de vraag beantwoordt of het bedrijfsprobleem oplost. Op zijn eenvoudigst is een model een stukje code dat invoer accepteert en uitvoer produceert. Het maken van een machine learning-model omvat het selecteren van een algoritme, het leveren van gegevens en het afstemmen van hyperparameters. Hyperparameters zijn aanpasbare parameters waarmee datawetenschappers het modeltrainingsproces kunnen beheren. Met neurale netwerken bepaalt de datawetenschapper bijvoorbeeld het aantal verborgen lagen en het aantal knooppunten in elke laag. Hyperparameterafstemming van een modelHyperparameterafstemming, ook wel hyperparameteroptimalisatie genoemd, is het proces van het vinden van de configuratie van hyperparameters die leiden tot de beste prestaties.

Een veelgestelde vraag is "Welk machine learning-algoritme moet ik gebruiken?" Met een machine learning-algoritme wordt een gegevensset omgezet in een model. Het algoritme dat de datawetenschapper selecteert, is voornamelijk afhankelijk van twee verschillende aspecten van het datawetenschapsscenario:

• Wat is de bedrijfsvraag die de datawetenschapper wil beantwoorden door te leren van eerdere gegevens?
• Wat zijn de vereisten van het datawetenschapsscenario, inclusief de nauwkeurigheid, trainingstijd, lineariteit, het aantal parameters en het aantal functies?

Om deze vragen te helpen beantwoorden, biedt Azure Machine Learning een uitgebreid portfolio met algoritmen, zoals component Beslissingsforest met meerdere klassenbeslissingsforest met meerdere klassen, aanbevelingssystemen, regressie neuraal netwerk, component Neuraal netwerk met meerdere klassenneuraal netwerk met meerdere klassen en K-Means-clustering. Elk algoritme is ontworpen om een ander type machine learning-probleem op te lossen. Daarnaast helpt de cheatsheet voor Azure Machine Learning-algoritmen datawetenschappers het juiste algoritme te kiezen om de bedrijfsvraag te beantwoorden.

7. Het model implementeren

De datawetenschapper levert het uiteindelijke model met documentatie en implementeert de nieuwe gegevensset na het testen in productie, zodat deze een actieve rol kan spelen in een bedrijf. Voorspellingen van een geïmplementeerd model kunnen worden gebruikt voor bedrijfsbeslissingen.

8. De resultaten visualiseren en communiceren

Met visualisatietools zoals Microsoft Power BI, Tableau, Apache Superset en Metabase kan de datawetenschapper de gegevens gemakkelijk verkennen en prachtige visualisaties genereren die de bevindingen zodanig laten zien dat een niet-technisch publiek ze eenvoudig kan begrijpen.

Datawetenschappers kunnen ook webgebaseerde datawetenschap-notebooks, zoals Zeppelin Notebooks, in vrijwel het hele proces gebruiken voor gegevensopname, ontdekking, analyse, visualisatie en samenwerking.

Datawetenschapsmethoden

Datawetenschappers gebruiken statistische methoden zoals hypothesetests, factoranalyse, regressieanalyse en clustering om statistisch waterdichte inzichten te krijgen.

Datawetenschapsdocumentatie

Hoewel datawetenschapsdocumentatie verschilt per project en branche, omvat het over het algemeen documentatie die laat zien waar de gegevens vandaan komen en hoe deze zijn gewijzigd. Dit helpt andere leden van het gegevensteam om de gegevens effectief te gebruiken. Dankzij documentatie kunnen bedrijfsanalisten bijvoorbeeld visualisatietools gebruiken om de gegevensset te interpreteren.

Typen datawetenschapsdocumentatie zijn onder meer:

• Projectplannen om de bedrijfsdoelen, metrische evaluatiegegevens, resources, tijdlijn en budget van het project te definiëren.
• Verhalen van datawetenschapsgebruikers om ideeën voor datawetenschapsprojecten te genereren. De datawetenschapper schrijft het verhaal vanuit het oogpunt van de belanghebbende, en beschrijft wat de belanghebbende wil bereiken en de reden waarom de belanghebbende het project aanvraagt.
• Documentatie voor datawetenschapsmodellen om de gegevensset, het ontwerp van het experiment en de algoritmen te documenteren.
• Documentatie voor ondersteunende systemen, waaronder gebruikershandleidingen, infrastructuurdocumentatie voor systeemonderhoud, en codedocumentatie.