Hvad er datalogi?

Dataloger følger en lignende proces for at fuldføre deres projekter:

1. Definer virksomhedsproblemet

Datalogen arbejder sammen med interessenter for tydeligt at definere det problem, de vil løse, eller stille spørgsmål, de skal besvare, sammen med projektets mål og løsningskrav.

2. Definer analysemetoden
Baseret på forretningsproblemet beslutter datalogen, hvilken analysetilgang der skal følges:

• Beskrivende for at få flere oplysninger om den aktuelle status.
• Diagnosticering for at forstå, hvad der sker og hvorfor.
• Forudsigende for at forudsige, hvad der sker.
• Præskriptiv for at forstå, hvordan du løser problemet.

3. Hent dataene

Datalogen identificerer og henter de data, der er nødvendige for at opnå det ønskede resultat. Dette kan omfatte forespørgsler om databaser, udtrækning af oplysninger fra websteder (webskrotning) eller hentning af data fra filer. Dataene kan være tilgængelige internt, eller teamet skal muligvis købe dataene. I nogle tilfælde skal organisationer muligvis indsamle nye data for at kunne køre et projekt.

4. Rengør dataene, også kaldet scrubbing

Dette trin er typisk det mest tidskrævende. Hvis du vil oprette datasættet til modellering, konverterer datalogen alle dataene til det samme format, organiserer dataene, fjerner det, der ikke er nødvendigt, og erstatter eventuelle manglende data.

5. Udforsk dataene

Når dataene er renset, udforsker en datalog dataene og anvender statistiske analyseteknikker til at afsløre relationer mellem datafunktioner og de statistiske relationer mellem dem og de værdier, de forudsiger (kendt som en mærkat). Den forudsagte mærkat kan være en kvantitativ værdi, f.eks. den økonomiske værdi af noget i fremtiden eller varigheden af en flyforsinkelse i minutter.

Udforskning og forberedelse involverer typisk en stor del interaktiv dataanalyse og visualisering – der normalt bruger sprog som Python og R i interaktive værktøjer og miljøer, der er specifikt designet til denne opgave. De scripts, der bruges til at udforske dataene, hostes typisk i specialiserede miljøer, f.eks. Jupyter Notebooks. Disse værktøjer gør det muligt for dataloger at udforske dataene programmeringsmæssigt, mens de dokumenterer og deler den indsigt, de finder.

6. Modellér dataene

Datalogen bygger og træner præskriptive eller beskrivende modeller og tester og evaluerer derefter modellen for at sikre, at den besvarer spørgsmålet eller løser forretningsproblemet. Den nemmeste er, at en model er et stykke kode, der kræver input og producerer output. Oprettelse af en model til maskinel indlæring omfatter valg af en algoritme, levering af data og justering af hyperparametre. Hyperparametre er justerbare parametre, der giver dataloger mulighed for at styre modeltræningsprocessen. Med neurale netværk bestemmer datalogen f.eks. antallet af skjulte lag og antallet af noder i hvert lag. Tilpasning af en model for hyperparametreJustering af hyperparametre, også kaldet optimering af hyperparametre, er processen med at finde konfigurationen af hyperparametre, der resulterer i den bedste ydeevne.

Et almindeligt spørgsmål er "Hvilken algoritme til maskinel indlæring skal jeg bruge?" En algoritme til maskinel indlæring omdanner et datasæt til en model. Den algoritme, som datalogen vælger, afhænger primært af to forskellige aspekter af datavidenskabsscenariet:

• Hvad er det virksomhedsspørgsmål, som datalogen vil besvare ved at lære af tidligere data?
• Hvilke krav er der til datalogiscenariet, herunder nøjagtighed, oplæringstid, linearitet, antal parametre og antallet af funktioner?

Som en hjælp til at besvare disse spørgsmål tilbyder Azure Machine Learning en omfattende portefølje af algoritmer, f.eks. beslutningsområde i flere klasser, anbefalingssystemer, neural netværksregression, neuralt netværk i flere klasser og K-Means-clustering. Hver algoritme er designet til at håndtere hver sin type problem med maskinel indlæring. Derudover hjælper oversigtsarket til Azure Machine Learning-algoritmen dataloger med at vælge den rette algoritme til at besvare virksomhedsspørgsmål.

7. Udrul modellen

Datalogen leverer den endelige model med dokumentation og udruller det nye datasæt i produktion efter test, så det kan spille en aktiv rolle i en virksomhed. Forudsigelser fra en udrullet model kan bruges til virksomhedsbeslutninger.

8. Visualiser og kommuniker resultaterne

Visualiseringsværktøjer som Microsoft Power BI, Tableau, Apache Superset og Metabase gør det nemt for datalogen at udforske dataene og generere flotte visualiseringer, der viser resultaterne på en måde, der gør det nemt for ikke-tekniske målgrupper at forstå dem.

Dataloger kan også bruge webbaserede notesbøger til datalogi, f.eks. Zeppelin Notebooks, i hele processen for dataindtagelse, registrering, analyse, visualisering og samarbejde.

Metoder inden for datalogi

Dataloger bruger statistiske metoder som hypotesetest, faktoranalyse, regressionsanalyse og klynger til at afdække statistisk solid indsigt.

Dokumentation inden for datalogi

Selvom dokumentationen til datalogi varierer efter projekt og branche, indeholder den generelt dokumentation, der viser, hvor dataene kommer fra, og hvordan de blev ændret. Dette hjælper andre medlemmer af datateamet med effektivt at bruge dataene fremadrettet. Dokumentationen hjælper f.eks. virksomhedsanalytikere med at bruge visualiseringsværktøjer til at fortolke datasættet.

Typer af dokumentation inden for datalogi inkluderer:

• Project-planer at definere projektets forretningsmål, evalueringsdata, ressourcer, tidslinje og budget.
• Brugerhistorier om datalogi til at generere ideer til datalogiprojekter. Datalogen skriver historien fra interessenternes synspunkt og beskriver, hvad interessenterne gerne vil opnå, og årsagen til, at interessenterne anmoder om projektet.
• Dokumentation til datalogimodel til at dokumentere datasættet, eksperimentets design og algoritmerne.
• dokumentation til understøttende systemer herunder brugervejledninger, dokumentation til infrastruktur til systemvedligeholdelse og kodedokumentation.