平行運算

平行運算是指同時使用多種計算資源快速解決大型且複雜的計算問題的過程，克服了單個計算機上存在的存儲器限制。

平行運算 又名 並行計算（Parallel Computing）
並行計算（Parallel Computing）是指同時使用多種計算資源解決計算問題的過程。為執行並行計算，計算資源應包括一台配有多處理機（並行處理）的計算機、一個與網路相連的計算機專有編號，或者兩者結合使用。並行計算的主要目的是快速解決大型且複雜的計算問題。此外還包括：利用非本地資源，節約成本 ― 使用多個“廉價”計算資源取代大型計算機，同時克服單個計算機上存在的存儲器限制。
傳統地，串列計算是指在單個計算機（具有單箇中央處理單元）上執行軟體寫操作。CPU 逐個使用一系列指令解決問題，但其中只有一種指令可提供隨時並及時的使用。並行計算是在串列計算的基礎上演變而來，它努力仿真自然世界中的事務狀態：一個序列中眾多同時發生的、複雜且相關的事件。
為利用並行計算，通常計算問題表現為以下特徵：
將工作分離成離散部分，有助於同時解決；
隨時並及時地執行多個程式指令；
多計算資源下解決問題的耗時要少於單個計算資源下的耗時。
下面的矩陣列出了計算結構的4種可能性分類：
S I S D S I M D M I S D M I M D
單指令流單數據流 單指令流多數據流 多指令流單數據流 多指令流多數據流
在下面的站點上有相關的圖片和示意圖