可解释人工智能

可解释人工智慧（英语：Explainable AI，缩写为XAI）指的是让专家能够理解人工智慧之成果的方法与技术。它相对于黑箱式的机器学习，因为黑箱式的机器学习的设计者本身也无法解释为什么人工智慧能达到某些成果^[1]。可解释人工智慧被认为是“要求解释的权利（英语：right to explanation）”（right to explanation）的一种实践^[2]。

要求人工智慧解释它的决定是一种可解释性问题（interpretability problem）^[3]。人工智慧的优化行为是一种为了满足数理上特定目标的行为。其目标由设计者规划，比如一个设计者要求“在资料集里面精准分析电影如何被正面评价”。此时，人工智慧可能会找到一些通则，像是“评价中包含‘烂’这个字眼表示是负面评价”。或是可能找到一些不正确的规则，比如“评价中包含‘李小龙’这个字眼表示是正面评价”；这些规则可能难以解释，甚至很可能在其他资料集得到错误的判断，比如你很可能无法在《教父》的电影评价里看到“李小龙”的字眼，但这不表示它是部烂片。针对这类问题，人类就能透过可解释人工智慧的技术来监督人工智慧系统所找到的规则，并且判断这些规则在真实的世界里是否适用^[3]。

目的

在智能体之间的合作上（这里的智能体之间指的是演算法构成的人工智慧同人类之间），信任是至关重要的事。如果人们要接受演算法的判断就必须得先相信演算法。信任标的之不完整会成为方法优化的障碍。因此，可解释性（interpretability）与可阐述性（explainability）是达成其他标的之前的一个中程标的^[4]。

人工智慧有时会学到一些无法解释的技巧，在用来训练的资料上做到一些最佳的结果，满足明确设定的目标；但是，有时候它却没有满足人类设计者所隐含的需求。比如在2017年的实验里，有一个图像识别的人工智慧在辨识马的照片时作了弊。实验结果里有一组人工智慧系统确实辨识出了马的特征，比如长型的脸，细长的四条腿之类的；但是有另一组系统则依据图片左下角是否有“Copyright”的标记来判断那是不是一张马的照片，这个结果达到的准确性是因为许多实验用的照片来自马术协会，而协会在照片上打入了版权（Copyright）宣告的字样^[1]。2017年的另一个系统里，被训练在虚拟世界中抓取物品的人工智慧学会了通过将操纵器放置在目标和监督者之间的方式来作弊，以便让监督者误以为它抓到了目标^[5][6]。

美国国防部国防高等研究计划署亦进行了可解释人工智慧的专案。目标是建立“玻璃盒”（glass box）模型，除了可解释性外，更要求人们始终都能监管机器的行为（human-in-the-loop），并且不会大幅度的牺牲人工智慧的运算效能。人类使用者能即时或是事后理解人工智慧的认知是什么，并且能决定何时信任人工智慧，又何时不信任人工智慧^[7][8]。其他的可解释人工智慧应用则著重于从黑盒子的模型里面抽取出知识，或是让不同的模型之间能进行比对^[9]。“玻璃盒”一词亦被用来表示那种输入与输出受到监控的人工智慧系统。为的是确保系统遵守道德与社会法律的价值，并且提出以价值为基础的解释。另外，这一词也被用在智慧型个人助理说明反事实陈述时的解释^[10]。

监管法令

以各国的监管单位的角度来看，官方机构与一般使用者对人工智慧的应用来说，必需清楚的为它的决策过程定义究责的规则，以确保其可信任性与透明度。这部份的需求受到愈来愈多的重视，并开始有全球性会议中讨论这个新兴科技，像是2017年的国际人工智慧联合会议（International Joint Conference on Artificial Intelligence）中就有针对可解释人工智慧的研讨会^[11]。

在2018年修定的欧盟一般资料保护规范（GDPR）里宣布了“要求解释的权力”，希望以此来解决这些愈来愈受重视的演算法可能带来的问题。然而，GDPR只要求局部的解释。而在美国，保险公司甚至被要求解释他们的费率与决策之间的关系^[12]。