並行減速

並行減速（Parallel slowdown）是並行計算中的一種現象，當中並行算法的並行化超過一定程度後，會導致運行變慢（需要更多時間運行）。^[1]

採用次優並行化的實際程序的運行時間（藍）與程序加速（紅）示意圖。虛線表示最優並行化，速度線性增加，程序運行時間線性減少。注意，最終運行時間實際上會隨處理器數量增加（速度提升會減少），這就是並行減速。

並行減速通常是通信瓶頸造成的。處理器節點花費在通信上的時間將隨處理器數量的增加，逐漸超過有效的處理時間。增加處理器節點產生的通信開銷一旦超過節點的處理能力，就產生了並行減速。

算法若需要大量通信、特別是中間結果的通信時，就會出現並行減速。有些問題（稱作過易並行問題）不需要這類通信，因此不會受到並行減速影響。