什么是数据科学？

数据科学家遵循类似的过程来完成项目：

1. 定义业务问题

数据科学家与利益干系人合作，明确地界定他们要解决或需要回答的问题，以及项目目标和解决方案需求。

2. 定义分析方法
数据科学家根据业务问题来决定要采用的分析方法：

• 用于详细了解当前状态的描述性方法。
• 用于了解发生的情况和发生原因的诊断方法。
• 用于预测将发生的情况的预测性方法。
• 用于了解如何解决问题的规范性方法。

3. 获取数据

数据科学家标识并获取取得理想结果所需的数据。这可能涉及查询数据库、从网站提取信息（Web 擦除）或从文件中获取数据。数据可能在内部可用，或者团队可能需要购买数据。在某些情况下，组织可能需要收集新数据才能成功运行某个项目。

4. 清理数据，也称为清理

通常，这一步最耗费时间。为了创建用于建模的数据集，数据科学家会将所有数据转换为相同的格式、整理数据、删除不需要的数据，并替换任何缺少的数据。

5. 浏览数据

清理数据后，数据科学家会对数据进行探索，并应用统计分析技术来揭示数据特征之间的关系，以及数据特征与预测值（称为标签）之间的统计关系。预测得到的标签可以是一个量值，例如未来某物的财物价值或航班延误时长（以分钟为单位）。

探索和准备工作通常涉及到大量交互式数据分析和可视化 - 通常是在专门为此任务设计的交互式工具和环境中使用 Python 和 R 等语言。用于探索数据的脚本通常托管在 Jupyter Notebook 等专用环境中。借助这些工具，数据科学家能够以编程方式探索数据，同时记录和共享他们发现的见解。

6. 建立数据模型

数据科学家生成并训练规范性或描述性模型，然后测试和评估模型以确保模型能够回答问题或解决业务问题。最简单的情况下，模型是一段提取输入然后生成输出的代码。创建机器学习模型将涉及到选择算法、为其提供数据以及优化超参数。超参数是允许数据科学家控制模型训练过程的可调参数。例如，数据科学家可以决定神经网络每个层中隐藏层的数目和节点数。对模型进行超参数调优超参数调优（也称为超参数优化）是查找超参数的配置以获得最佳性能的过程。

一个常见的问题是：“我应使用哪种机器学习算法?” 机器学习算法可将数据集转换为模型。数据科学家选择的算法主要取决于数据科学方案的两个不同方面：

• 数据科学家通过学习过去的数据想要解决哪些业务问题？
• 数据科学方案有哪些要求？（包括正确性、训练时间、线性、参数数目和特征数目）

为了帮助解决这些问题，Azure 机器学习提供全面的算法组合，例如多类决策林组件多类决策林、建议系统、神经网络回归、多类神经网络组件多类神经网络和 K-Means 群集。每种算法都旨在解决不同类型的机器学习问题。此外，Azure 机器学习算法速查表可帮助数据科学家选择正确的算法来解答业务问题。

7. 部署模型

数据科学家负责交付包含文档的最终模型，并在测试后将新数据集部署到生产环境中，以便模型可以在业务中起作用。已部署模型提供的预测可用于制定业务决策。

8. 可视化并传达结果

数据科学家可使用可视化工具（例如 Microsoft Power BI、Tableau、Apache wSuperset 和 Metabase）轻松地浏览数据并生成精美的可视化效果，让非技术受众更容易地理解他们的发现成果。

在数据引入、发现、分析、可视化和协作的整个过程中，数据科学家还可使用基于 Web 的数据科学笔记本（例如 Zeppelin Notebooks）。

数据科学方法

数据科学家使用统计方法（如假设测试、因素分析、回归分析和聚类分析）来揭示在统计学上具有可靠依据的见解。

数据科学文档

虽然数据科学文档因项目和行业而异，但它通常包括文档，用于显示数据来源以及数据的修改方式。文档有助于数据团队的其他成员有效地使用数据继续推进项目进度。例如，文档可帮助业务分析人员使用可视化工具来解释数据集。

数据科学文档的类型包括：

• 项目计划，用于确定项目的业务目标、评估指标、资源、日程表和预算。
• 数据科学用户案例，可为数据科学项目提供想法。数据科学家从利益干系人的角度撰写案例，描述利益干系人想要实现的目标，以及利益干系人请求项目的原因。
• 数据科学模型文档，用于记录数据集、试验的设计和算法。
• 支持系统文档，包括用户指南、用于进行系统维护的基础结构文档和代码文档。