¿Qué es la ciencia de datos?

Los científicos de datos siguen un proceso similar para completar sus proyectos:

1. Definir el problema empresarial

Los científicos de datos trabajan con las partes interesadas para definir claramente el problema que quieren resolver o la pregunta que necesitan responder, junto con los objetivos y los requisitos de la solución del proyecto.

2. Definir el enfoque analítico
En función del problema empresarial, el científico de datos decide qué enfoque analítico debe seguir:

• Descriptivo, más obtener más información sobre el estado actual.
• Diagnóstico, para comprender lo que sucede y por qué.
• Predictivo, para predecir lo que ocurrirá.
• Prescriptivo, para comprender cómo resolver el problema.

3. Obtener los datos

El científico de datos identifica y adquiere los datos necesarios para lograr el resultado deseado. Esto puede implicar la consulta de bases de datos, la extracción de información de sitios web (extracción web) o la obtención de datos de archivos. Es posible que los datos estén disponibles internamente o que el equipo tenga que comprar datos. En algunos casos, es posible que las organizaciones necesiten recopilar datos nuevos para poder ejecutar correctamente un proyecto.

4. Limpiar los datos

Normalmente, este paso es el más lento. Para crear el conjunto de datos para el modelado, el científico de datos convierte todos los datos al mismo formato, los organiza, elimina los que no son necesarios y reemplaza los que faltan.

5. Explorar los datos

Una vez que se limpian los datos, un científico de datos los explora y aplica técnicas analíticas estadísticas para revelar las relaciones entre sus características, las relaciones estadísticas entre ellos y los valores que predicen (lo que se conoce como la etiqueta). La etiqueta predicha puede ser un valor cuantitativo, por ejemplo, el valor financiero de algo en el futuro o la duración en minutos del retraso de un vuelo.

La preparación y la exploración suelen implicar una gran cantidad de análisis y visualización de datos interactivos, normalmente utilizando lenguajes como Python y R en herramientas y entornos interactivos que están especialmente diseñados para esta tarea. Los scripts que se usan para explorar los datos suelen hospedarse en entornos especializados como Jupyter Notebooks. Estas herramientas permiten a los científicos de datos explorar los datos mediante programación mientras documentan y comparten la información que encuentran.

6. Modelar los datos

El científico de datos crea y entrena modelos prescriptivos o descriptivos y, a continuación, los prueba y evalúa para asegurarse de que responden a la pregunta o abordan el problema empresarial. En su forma más simple, un modelo es un fragmento de código que utiliza una entrada y genera una salida. El hecho de crear un modelo de Machine Learning implica seleccionar un algoritmo, proporcionarle datos y ajustar los hiperparámetros. Los hiperparámetros son parámetros ajustables que permiten a los científicos de datos controlar el proceso de entrenamiento de un modelo. Por ejemplo, con las redes neuronales, el científico de datos decide el número de capas ocultas y el número de nodos de cada capa. El ajuste de hiperparámetros, también denominado optimización de hiperparámetros es el proceso de encontrar la configuración de hiperparámetros que produzcan el mejor rendimiento.

Una pregunta habitual es "¿Qué algoritmo de Machine Learning debo usar?" Un algoritmo de Machine Learning convierte un conjunto de datos en un modelo. El algoritmo que el científico de datos selecciona depende principalmente de dos aspectos diferentes del escenario de ciencia de datos:

• ¿Cuál es la cuestión empresarial a la que desea dar respuesta el científico de datos aprendiendo de datos anteriores?
• ¿Cuáles son los requisitos del escenario de ciencia de datos, incluida la precisión, el tiempo de entrenamiento, la linealidad, el número de parámetros y el número de características?

Para responder a estas preguntas, Azure Machine Learning proporciona una completa gama de algoritmos, como bosque de decisión multiclase, sistemas de recomendación, regresión de red neuronal, red neuronal multiclase y agrupación en clústeres k-means. Cada algoritmo está diseñado para solucionar un tipo distinto de problema de Machine Learning. Además, la Hoja de características de los algoritmos de Azure Machine Learning ayuda a los científicos de datos a elegir el algoritmo adecuado para responder a la pregunta empresarial.

7. Implementar el modelo

El científico de datos entrega el modelo final con documentación e implementa el nuevo conjunto de datos en producción después de las pruebas, para que pueda desempeñar un papel activo en una empresa. Las predicciones a partir de un modelo implementado pueden usarse en las decisiones empresariales.

8. Visualizar y comunicar los resultados

Las herramientas de visualización como Microsoft Power BI, Tableau, Apache Superset y Metabase facilitan a los científicos de datos la exploración de los datos y la generación de visualizaciones atractivas, que muestran los resultados de una manera que facilita la comprensión a audiencias no técnicas.

Los científicos de datos también pueden usar cuadernos de ciencia de datos basados en web, como Zeppelin Notebooks, durante gran parte del proceso de ingesta, detección, análisis, visualización y colaboración de datos.

Métodos de ciencia de datos

Los científicos de datos usan métodos estadísticos como las pruebas de hipótesis, el análisis de factores, el análisis de regresión y la agrupación en clústeres para extraer información estadísticamente sólida.

Documentación de ciencia de datos

Aunque la documentación de ciencia de datos varía según el proyecto y el sector, por lo general incluye documentación que muestra de dónde proceden los datos y cómo se han modificado. Esto ayuda a otros miembros del equipo de datos a usar los datos de forma eficaz en el futuro. Por ejemplo, la documentación ayuda a los analistas de negocios a usar herramientas de visualización para interpretar el conjunto de datos.

Los tipos de documentación de ciencia de datos incluyen:

• Planes de proyecto, para definir los objetivos empresariales, las métricas de evaluación, los recursos, la escala de tiempo y el presupuesto del proyecto.
• Casos de usuarios de ciencia de datos, para generar ideas para proyectos de ciencia de datos. El científico de datos escribe la historia desde el punto de vista de la parte interesada, que describe lo que le gustaría lograr a la parte interesada y el motivo por el que la parte interesada solicita el proyecto.
• Documentación del modelo de ciencia de datos, para documentar el conjunto de datos, el diseño del experimento y los algoritmos.
• Documentación de sistemas auxiliares, por ejemplo, guías de usuario, documentación de infraestructura para el mantenimiento del sistema, y documentación de código.