什麼是資料科學？

資料科學家會遵循類似的程序來完成他們的專案：

1. 定義商務問題

資料科學家會與專案關係人共同合作，明確定義他們要解決或者要回答的問題，並討論專案的目標和解決方案的需求。

2. 定義分析方式
根據不同的商務問題，資料科學家會決定要遵循下列哪種分析方式：

• 可根據當前狀態取得更多資訊的描述性方式。
• 可了解情況和成因的診斷性方式。
• 可預測未來狀況的預測性方式。
• 可了解問題解決方法的規範性方式。

3. 取得資料

資料科學家會識別並取得所需資料來達成預期結果。這可能涉及查詢資料庫、從網站上擷取資料 (網頁抓取) 或從檔案中取得資料。這些資料可能可供內部使用，但小組也有可能需要購買該資料。在某些情況下，組織可能需要收集新的資料，才能成功執行專案。

4. 清理資料，也稱為資料洗滌

一般而言，這個步驟最為耗時。為了建立可用於模型化的資料集，資料科學家會將所有資料轉換成相同的格式、整理資料、移除不需要的部分，並取代所有遺失的資料。

5. 探索資料

資料清理乾淨後，資料科學家會探索資料，並使用統計分析技術來揭露資料特性之間的關係，以及與預測值 (也稱為標籤) 之間的統計關係。預測的標籤可以是量化值，例如某些事物的未來財務價值，或班機誤點的持續時間 (以分鐘為單位)。

探索及準備工作通常牽涉到大量的互動式資料分析和視覺化，這通常是在特地根據此工作所設計的互動式工具和環境中，使用 Python 和 R 等語言進行。用來探索資料的指令碼通常會裝載在特製環境中，例如 Jupyter Notebook。這些工具可讓資料科學家以程式設計方式探索資料，同時記錄及共用他們所發現的判讀結果。

6. 將資料模型化

資料科學家會建置並訓練規範性或描述性的模型，然後測試和評估該模型以確保它能回答問題或處理商務問題。簡單來說，模型是可接受輸入並產生輸出的一段程式碼。機器學習模型的建立作業涉及選取演算法、提供資料給演算法，以及調整超參數。超參數是可調整的參數，可讓資料科學家控制模型化訓練程序。例如，使用神經網路時，資料科學家可以決定隱藏層的數目和每個層級中的節點數目。超參數微調 (也稱為超參數最佳化) 是尋找可產生最佳效能之超參數設定的過程。

有個常見的問題：「我應該使用哪一種機器學習演算法？」 機器學習演算法能將資料集轉換為模型。資料科學家所選取的演算法主要取決於資料科學案例的兩個不同層面：

• 資料科學家學習過去的資料，是為了解決什麼業務問題？
• 資料科學案例的需求為何？(包括正確性、訓練時間、線性、參數數目和特徵數目)

為了協助回答這些問題，Azure Machine Learning 提供了完整的演算法組合，例如 多類別決策樹系、建議系統、神經網路迴歸、多元神經網路和 K-Means 叢集。每種演算法的設計都是用來處理不同類型的機器學習問題。除此之外，Azure Machine Learning 演算法速查表也可協助資料科學家選擇正確的演算法來回答業務問題。

7. 部署模型

資料科學家會提交最終模型與相關文件，並在經過測試之後，將最新的資料集部署到生產環境中，讓它在業務中扮演主動角色。已部署模型的預測可用於商業決策。

8. 視覺化並傳達結果

Microsoft Power BI、Tableau、Apache Superset 和 Metabase 這類視覺化工具可讓資料科學家輕鬆探索資料並產生美觀的視覺效果，這樣的結果呈現方式可讓非技術背景的受眾也能輕鬆理解。

資料科學家也可能會在資料擷取、探索、分析、視覺化和共同作業的大部分過程中，使用 Web 型資料科學筆記本，例如 Zeppelin Notebook。

資料科學方法

資料科學家會使用統計方法來發掘統計上的合理見解，這些方法包括假說測試、因素分析、迴歸分析和叢集化等等。

資料科學文件

雖然資料科學文件因專案和產業而異，它通常都包括可以呈現資料來源和模型化方法的文件。這可以協助資料小組的成員有效運用往後的資料。例如，可協助商務分析師使用視覺化工具來解讀資料集的文件。

資料科學文件類型包括：

• 專案計畫：用來定義專案的商務目標、評估指標、資源、時間軸和預算。
• 資料科學使用者故事：可產生資料科學專案的構想。資料科學家會從專案關係人的角度來撰寫故事，描述專案關係人想要達成的目標，以及專案關係人要求執行專案的原因。
• 資料科學模型文件：可記錄資料集、實驗設計和演算法。
• 支援系統文件：包括使用者指南、系統維護基礎結構文件，以及程式碼文件。