什麼是平行運算？

要了解平行運算的運作方式，首先要認知到，並非所有的平行化都一樣。系統的結構、軟體，以及工作如何切分，都會影響系統能多有效地利用多個處理器協同運作。

在硬體層面上，有三種主要記憶體模型用來定義平行系統中的處理器如何通訊與共用資訊：

• 共用記憶體系統讓所有處理器都能存取共同的記憶體集區。這讓處理器之間的通訊變得相對簡單，但當更多處理器爭用相同資源時，也可能造成效能瓶頸。
• 分散式記憶體系統會為每個處理器配置專屬的私人記憶體。處理器透過彼此傳遞訊息來通訊，這雖然增加了複雜度，卻更能有效擴展到更大的工作負載。
• 混合式模型結合了兩種方式，兼具共用記憶體的通訊簡易性與分散式記憶體的可擴縮性。大多數現代高效能運算環境都依賴某種形式的混合式結構。

除了記憶體結構之外，平行運算在「工作本身如何被分割」這一點上也存在差異。最常見的兩種方法是工作平行化和資料平行化。 

• 工作平行化會將不同作業指派給不同處理器，程式中的不同部分可以同時執行。 例如，能同時處理多個使用者要求的網頁伺服器，會將每個要求視為獨立工作來處理。這樣一來，每個要求都不需要等待其他要求完成。
• 資料平行化會將相同作業分散到大型資料集上，讓每個處理器同時處理不同部分的資料。在雲端環境中，這通常代表將工作分散到虛擬機器或容器上，並各自獨立處理分配到的工作負載。

IT 領導者和開發人員都應記住一個重要現實：軟體不會自動從平行結構中受益。應用程式必須經過特別設計或調整，才能有效地將工作分散到多個處理器。為循序運算所建置的舊版系統通常需要大幅重新設計，才能充分運用平行基礎結構。這個現實是任何現代化策略中都必須重視的重要考量。

平行運算的技術機制 (指工作如何在多個處理器之間分配與執行) 所帶來的優勢遠遠不僅止於原始處理速度的提升。

• 速度與效能：在循序系統上要花數小時甚至數天才能完成的工作，在平行系統上可在短時間內完成。對於仰賴即時洞察來建立競爭優勢的組織而言，這是非常重要的差異化優勢。
• 可擴縮性：平行系統可以隨著您的工作負載一起成長。無論您是在處理 10 筆交易還是 1,000 萬筆交易，平行結構都能讓您依需求彈性擴大或縮減資源規模。
• 成本效率：處理速度越快，消耗的計算資源時間就越少。當工作負載針對平行執行進行最佳化時，組織通常會發現自己能以更低的基礎結構成本完成更多工作。
• 可靠性與錯誤容忍度：將工作分散到多個處理器代表如果其中一個元件失效，系統其餘部分仍可繼續運作。這種韌性在任務關鍵性工作負載中特別重要，因為任何停機都可能帶來實際的商業損失。

對於想要善用這些優勢，但又不想承擔管理實體基礎結構複雜度的組織來說，像 Microsoft Azure 這類雲端平台提供平行運算能力，包括專為高效能運算與大規模批次處理設計的解決方案，讓企業等級的平行處理更容易取得，而不必自行建置所需環境。

平行運算不是只適用於政府研究實驗室超級電腦的利基技術。如今，它支撐著幾乎所有主要產業中一些最具關鍵性影響的工作。

AI 和機器學習模型訓練

訓練 AI 模型需要透過複雜的數學運算處理大量資料，通常一次就要處理數十億個參數。 平行運算透過將計算負載分散到多個處理器同時執行，讓這一切變得可行，讓資料科學家與工程師能更快進行重複運算，並建置更複雜的模型。

金融服務業

金融機構仰賴平行運算來執行風險評估、詐騙偵測演算法和即時交易處理，這種規模是循序系統根本無法支援的。許多這類工作負載都在關聯式資料庫上執行，這些資料庫專為結構化交易資料所打造。正是平行運算，讓它們能滿足企業級的效能需求。在毫秒必爭的情況下，平行結構往往就是競爭平台和過時平台的分水嶺。

生命科學與醫療保健

基因定序、藥物發現和醫學影像分析都會產生規模龐大且極為複雜的資料集。 平行運算讓研究人員與臨床醫師能夠以過去難以實現的方式處理這些資料，進而加速從癌症研究到疫苗開發等各個領域的進展。

氣候與工程模擬

模擬天氣系統、模擬基礎設施的結構應力，或預測複雜環境中的流體動力行為，都需要只有平行系統才能可靠提供的運算能力。這些模擬能幫助科學家與工程師在決策時獲得更充分的資訊，並以更高的信心做出判斷。

巨量資料分析

各行各業的組織都擁有大量的資料。對許多組織來說，這些資料都存放在資料倉儲中，這是一個專為大規模查詢和分析而建置的集中式存放庫。 像資料庫分區化這類策略會將資料分散到多個節點，並與平行運算自然搭配，即使資料量持續成長，也能維持快速的查詢效能。 平行運算讓分析平台能以極高速度對這些龐大資料存放庫進行查詢、處理並產出深入解析，讓即時商業智慧從過去的理想目標，成為實際可行的現實。

這些使用案例的共同核心在於「可及性」。雲端基礎結構讓各種規模的企業都能使用平行運算，消除了對專用內部部署硬體的依賴門檻，並讓組織能夠按需存取龐大的運算資源。

平行運算已經改變現代企業的可能性，但這項技術仍在快速演進中。未來幾年，多項新興趨勢將進一步提升其能力與商業價值。

AI 加速運算

AI 和平行運算之間的關係正變得更加緊密。圖形處理器 (GPU) 和張量處理器 (TPU) 等專用硬體，就是專門設計來處理 AI 訓練與推論所需的大規模平行工作負載。隨著 AI 在企業中的採用持續成長，能以高效率和大規模支援 AI 的平行基礎結構也變得越來越重要。

量子運算與平行性的關係

量子運算代表一種截然不同的資訊處理方式，它運用量子力學原理，同時評估多種可能的解決方案。雖然量子運算技術仍在成熟發展中，但它有潛力補足並擴展平行運算的能力，對密碼學、材料科學以及複雜最佳化問題等領域帶來深遠影響。

Edge 計算

隨著越來越多的處理工作靠近資料產生的地方，平行運算原理也隨之發展。邊緣環境越來越仰賴平行結構來處理即時處理需求，而不必把所有資料都路由回集中式資料中心。這個趨勢在製造、物流和醫療保健等產業特別重要，因為這些產業常使用邊緣裝置，且延遲是關鍵因素。

百萬兆級運算

百萬兆級運算系統每秒可執行萬兆次計算。這些系統代表了平行運算的尖端技術，也正在為科學研究、國家安全和大規模模擬開拓新的領域。隨著百萬兆級運算能力逐步進入商業雲端環境，企業工作負載的效能上限將大幅提升。

雲端服務提供者正在大力投資支援這些下一代平行運算能力所需的基礎結構，讓企業越來越能實際取得尖端運算能力，而無需自行建置或維護相關系統。 隨著這些能力逐漸成熟，它們也正在重塑組織處理資料整合的方式，讓企業更容易即時整合並處理來自整個企業的資料。例如，Microsoft Azure 持續擴充其高效能運算產品組合，以滿足 AI 支援、資料密集型世界的需求。