O que é a ciência de dados?

Os cientistas de dados seguem um processo semelhante para concluir os seus projetos:

1. Definir o problema do negócio

O cientista de dados trabalha com intervenientes para definir claramente o problema que pretendem resolver ou a pergunta que precisam de responder, juntamente com os objetivos do projeto e os requisitos da solução.

2. Definir a abordagem analítica
Com base no problema do negócio, o cientista de dados decide qual a abordagem analítica a seguir:

• Descritiva para obter mais informações sobre o estado atual.
• Diagnóstica para compreender o que está a acontecer e porquê.
• Preditiva para prever o que irá acontecer.
• Prescritiva para compreender como resolver o problema.

3. Obter os dados

O cientista de dados identifica e adquire os dados necessários para obter o resultado desejado. Isto pode envolver a consulta de bases de dados, a extração de informações de sites (extração na Web) ou a obtenção de dados de ficheiros. Os dados podem estar disponíveis internamente ou a equipa pode ter de comprar os dados. Em alguns casos, as organizações podem ter de recolher dados novos para conseguirem executar um projeto com êxito.

4. Limpar os dados, também conhecido como limpeza

Normalmente, este passo é o mais demorado. Para criar o conjunto de dados para modelação, o cientista de dados converte todos os dados no mesmo formato, organiza os dados, remove o que não é necessário e substitui os dados em falta.

5. Explorar os dados

Assim que os dados estão limpos, um cientista de dados explora os mesmos e aplica técnicas analíticas e de estatísticas para revelar as relações entre as caraterísticas de dados e as relações estatísticas entre os mesmos e os valores previstos (conhecido como uma etiqueta). A etiqueta prevista pode ser um valor quantitativo, como o valor financeiro de algo no futuro ou a duração do atraso de um voo em minutos.

Normalmente, a exploração e preparação envolvem uma grande quantidade de análise e visualização interativas de dados, que costumam ocorrer através de linguagens como o Python e R em ferramentas e ambientes interativos concebidos especificamente para esta tarefa. Normalmente, os scripts utilizados para explorar os dados são alojados em ambientes especializados, como o Jupyter Notebooks. Estas ferramentas permitem que os cientistas de dados explorem os dados através de programação enquanto documentam e partilham as informações que encontram.

6. Modelar os dados

O cientista de dados cria e prepara modelos prescritivos ou descritivos e, em seguida, testa e avalia o modelo para se certificar de que responde à pergunta ou aborda o problema do negócio. Na sua forma mais simples, um modelo é uma parte de um código que obtém uma entrada e produz resultados. A criação de um modelo de machine learning envolve a seleção de um algoritmo, o fornecimento do mesmo com dados e o ajuste de hiperparâmetros. Os hiperparâmetros são parâmetros ajustáveis que permitem que os cientistas de dados controlem o processo de preparação dos modelos. Por exemplo, com as redes neurais, o cientista de dados decide o número de camadas ocultas e o número de nós em cada camada. O Ajuste de hiperparâmetros num modeloajuste de hiperparâmetros, também denominado otimização de hiperparâmetros, é o processo de encontrar a configuração de hiperparâmetros que resultam no melhor desempenho.

Uma pergunta comum é "Qual é o algoritmo de machine learning que devo utilizar?" Um algoritmo de machine learning transforma um conjunto de dados num modelo. O algoritmo que o cientista de dados seleciona depende principalmente de dois aspetos diferentes do cenário de ciência de dados:

• Qual é a pergunta sobre o negócio que o cientista de dados quer responder ao aprender com dados anteriores?
• Quais são os requisitos do cenário de ciência de dados, incluindo a precisão, o tempo de preparação, a linearidade, o número de parâmetros e o número de funcionalidades?

Para ajudar a responder a estas perguntas, o Azure Machine Learning fornece um portefólio abrangente de algoritmos, como a floresta de decisão multiclasse, sistemas de recomendação, regressão da rede neural, rede neural multiclasse e clustering K-Means. Cada algoritmo foi concebido para abordar um tipo de problema de machine learning diferente. Além disso, a Referência Rápida de Algoritmos do Azure Machine Learning ajuda os cientistas de dados a escolher o algoritmo certo para responder à pergunta do negócio.

7. Implementar o modelo

O cientista de dados fornece o modelo final com documentação e implementa o novo conjunto de dados para produção após os testes, para que possa desempenhar um papel ativo numa empresa. As predições de um modelo implementado podem ser utilizadas para decisões empresariais.

8. Visualizar e comunicar os resultados

Ferramentas de visualização como o Microsoft Power BI, Tableau, Apache Superset e Metabase facilitam a exploração dos dados por parte do cientista de dados e a geração de visualizações elegantes que mostram as descobertas de uma forma que facilita a compreensão para audiências não técnicas.

Os cientistas de dados também podem utilizar blocos de notas de ciência de dados baseados na Web, como o Zeppelin Notebooks, ao longo de todo o processo de ingestão, descoberta, análise, visualização e colaboração de dados.

Métodos de ciência de dados

Os cientistas de dados utilizam métodos estatísticos como testes de hipóteses, análise de fatores, análise de regressão e clustering para descobrir informações estatisticamente sólidas.

Documentação de ciência de dados

Embora a documentação de ciência de dados varie de acordo com o projeto e a indústria, geralmente inclui documentação que mostra de onde os dados provêm e a forma como foram modificados. Isto ajuda outros membros da equipa de dados a continuar a utilizar os dados de forma eficaz. Por exemplo, a documentação ajuda os analistas de negócio a utilizar ferramentas de visualização para interpretar o conjunto de dados.

Os tipos de documentação de ciência de dados incluem:

• Planos do projeto para definir os objetivos, métricas de avaliação, recursos, linha cronológica e orçamento do projeto.
• Histórias de utilizadores de ciência de dados para criar ideias para projetos de ciência de dados. O cientista de dados escreve a história do ponto de vista do interveniente ao descrever o que este gostaria de alcançar e o motivo pelo qual o mesmo está a pedir o projeto.
• Documentação do modelo de ciência de dados para documentar o conjunto de dados, a estrutura da experimentação e os algoritmos.
• Documentação sobre sistemas de suporte, incluindo guias de utilizador, documentação sobre a infraestrutura para a manutenção do sistema e documentação do código.