Паралельне сповільнення

Паралельне сповільнення — явище у паралельному обчисленні, де розпаралелювання  паралельного алгоритму на певному рівні змушує програму працювати повільніше (займе більше часу для його обчислення).

Діаграма виконання програми (показана синім) та діаграма прискорення (показана червоним) реальної програми з суб-оптимальним розпаралелюванням. Пунктирні лінії вказують на оптимальне розпаралелювання–лінійне збільшення прискорення і лінійне падіння програми під час виконання. Зверніть увагу, що в кінцевому результаті час виконання збільшується з більшим числом процесорів (швидкість також зменшується). Це паралельне уповільнення.

Паралельне сповільнення зазвичай є результатом браку комунікацій. Як додаткова обробка після додавання вузлів, кожен вузол обробки витрачає все більше часу утворюючи комунікації, ніж на саму обробку. В якийсь момент витрати на зв'язок створений шляхом додавання ще одного вузла обробки перевершує споживання обчислювальної потужності яку забезпечує вузол, і як результат утворюється паралельне сповільнення.

Паралельне сповільнення відбувається, коли алгоритм потребує великих зв'язків, особливо проміжних результатів. Деякі проблеми, відомі як Приголомшлива паралельність, не потребують таких зв'язків, і таким чином не впливають на уповільнення.