Алгоритмічна упередженість

Алгоритмічна упередженість — систематичне або структурне викривлення результатів роботи автоматизованих інформаційних систем і моделей машинного навчання через недосконалість алгоритмів, однобокість чи обмеженість тренувальних даних та через упередження розробників і користувачів^[1].

Визначення

Алгоритмічна упередженість полягає в упередженому або несправедливому відборі, класифікації чи прогнозуванні об'єктів за допомогою алгоритмів. Вона проявляється через помилкове виключення певних груп осіб, систематичне завищення або заниження ризиків, а також нерівномірний розподіл ресурсів і послуг.

Причини виникнення

Алгоритмічна упередженість може виникнути внаслідок недостатнього або однобокого представництва даних у тренувальних множинах, упереджень самих розробників, які закладають стереотипи в дизайн системи, використання застарілих чи непридатних моделей, а також побічних ефектів оптимізаційних цілей (наприклад, максимізації прибутку).

Приклади прояву

Серед найпоширеніших прикладів алгоритмічної упередженості — системи підбору персоналу, які застарілі історичні дані змушують відкидати резюме жінок або представників національних меншин^[2], технології розпізнавання облич, що гірше ідентифікують осіб із темнішою шкірою^[3], та кредитні скорингові моделі, які завищують ризик неповернення коштів певних демографічних груп.

Наслідки

Алгоритмічна упередженість призводить до порушення прав людини й дискримінації в працевлаштуванні, страхуванні та кредитуванні, знижує довіру до систем ШІ й уповільнює їхнє впровадження в критичних галузях, а також посилює соціальну нерівність.

Методи протидії

Серед основних підходів до подолання алгоритмічної упередженості — аудит алгоритмів і тестування на різних підгрупах даних, збирання та очищення тренувальних множин для збалансованості, використання прозорих або відкритих моделей із можливістю пояснення прийнятих рішень, а також розробка етичних і правових стандартів щодо застосування ШІ.

Див. також

• Дискримінація
• Етика штучного інтелекту
• Машинне навчання
• Цифрові права