Bezbednost veštačke inteligencije je interdisciplinarna oblast koja se bavi sprečavanjem nesreća, zloupotreba ili drugih štetnih posledica koje bi mogle biti rezultat sistema veštačke inteligencije (VI). Ona obuhvata mašinsku etiku i usklađivanje veštačke inteligencije, koji imaju za cilj da sisteme veštačke inteligencije učine moralnim i korisnim. Bezbednost veštačke inteligencije obuhvata tehničke probleme, uključujući sisteme za praćenje rizika, čineći ih visoko pouzdanim. Osim istraživanja veštačke inteligencije, ova oblast obuhvata razvoj normi i politika koje promovišu bezbednost.
Istraživači veštačke inteligencije imaju veoma različita mišljenja o ozbiljnosti i primarnim izvorima rizika koje predstavlja tehnologija veštačke inteligencije[3][4][5] – iako ankete sugerišu da stručnjaci ozbiljno shvataju rizike velikih posledica. U dve ankete istraživača veštačke inteligencije, središnji ispitanik je bio optimista po pitanju veštačke inteligencije u celini, ali je dao 5% verovatnoće za „izuzetno loš (npr. izumiranje ljudi)“ ishod napredne veštačke inteligencije.[3] U anketi zajednice za obradu prirodnog jezika (NLP) iz 2022. godine, 37% se složilo ili se donekle složilo da je verovatno da odluke veštačke inteligencije mogu dovesti do katastrofe koja je „bar toliko loša kao sveopšti nuklearni rat“.[6] Naučnici raspravljaju o trenutnim rizicima od kritičnih grešaka sistema,[7] pristrasnosti,[8] i nadzoru omogućenom veštačkom inteligencijom;[9] novim rizicima od tehnološke nezaposlenosti, digitalnih manipulacija[10] i naoružavanja;[11] i spekulativnim rizicima od gubitka kontrole nad budućim agenatima opšte veštačke inteligencije (AGI).[12]
Neki su kritikovali zabrinutost zbog AGI, kao što je Endru Ng koji ih je 2015. uporedio sa „brigom o prenaseljenosti Marsa kada još nismo ni kročili na planetu“.[13]Stjuart Dž. Rasel sa druge strane poziva na oprez, tvrdeći da je „bolje predvideti ljudsku domišljatost nego je potceniti“.[14]
Zhang, Baobao; Anderljung, Markus; Kahn, Lauren; Dreksler, Noemi; Horowitz, Michael C.; Dafoe, Allan (05. 05. 2021). „Ethics and Governance of Artificial Intelligence: Evidence from a Survey of Machine Learning Researchers”. Journal of Artificial Intelligence Research. 71. arXiv:2105.02117. doi:10.1613/jair.1.12895.
Michael, Julian; Holtzman, Ari; Parrish, Alicia; Mueller, Aaron; Wang, Alex; Chen, Angelica; Madaan, Divyam; Nangia, Nikita; Pang, Richard Yuanzhe; Phang, Jason; Bowman, Samuel R. (26. 08. 2022). „What Do NLP Researchers Believe? Results of the NLP Community Metasurvey”. Association for Computational Linguistics. arXiv:2208.12852.
Anderson, Michael; Anderson, Susan Leigh, eds. „„Special Issue on Machine Ethics”. July/August 2006. Архивирано из оригинала 26. 11. 2011. г. Проверите вредност парамет(а)ра за датум: |date= (помоћ)CS1 одржавање: Неподобан URL (веза)”. IEEE Intelligent Systems. 21 (4): 10—63. Спољашња веза у |title= (помоћ).
Bendel, Oliver (2016). „Considerations about the relationship between animal and machine ethics”. AI & Society. 31: 103—108. doi:10.1007/s00146-013-0526-3.
Gardner, A (1987). An Artificial Approach to Legal Reasoning.. Cambridge, MA: MIT Press.
Georges, T. M (2003). Digital Soul: Intelligent Machines and Human Values.. Cambridge, MA: Westview Press.
Singer, P.W. (December 29, 2009). Wired for War: The Robotics Revolution and Conflict in the 21st Century: Penguin.
Winfield, Alan F.; Michael, Katina; Pitt, Jeremy; Evers, Vanessa (2019). „Machine Ethics: The Design and Governance of Ethical AI and Autonomous Systems [Scanning the Issue]”. Proceedings of the IEEE. 107 (3): 509—517. doi:10.1109/JPROC.2019.2900622.