可解释、可审计、透明的AI系统才是我们需要的

原标题:可解释、可审计、透明的AI系统才是我们需要的

每个父母都担心他们孩子会受到潜在影响。 比如,他们的老师是谁? 他们正在看什么电影? 他们在玩什么电子游戏? 他们在和合适的人群闲逛吗? 父母们会仔细检查这些事情带来潜在影响,无论是好是坏,因为他们知道这些会影响孩子成长和判断。

正如我们关注谁在教我们的孩子一样,我们也需要注意谁在教我们的算法。 像人类一样,人工智能系统从其所处的环境中学习,并根据其发展的偏见做出决策。 和我们的孩子一样,我们应该期望我们的模型能够随着他们的成长来解释他们的决定。

正如Cathy O’Neil在《数学毁灭性武器》中所解释的那样,算法通常决定着我们上的大学,是否被录用以寻找工作,是否有资格获得贷款以购买房屋,甚至谁入狱以及持续多长时间。 与人为决定不同,这些数学模型很少受到质疑。 它们只是出现在某些人的计算机屏幕上,命运就已确定。

Image result for Weapons of Math Destruction"

在某些情况下,算法的错误是显而易见的,例如当道琼斯报道谷歌以90亿美元收购苹果公司,而机器人为此而屈服时,或者微软的Tay聊天机器人在Twitter上发疯时;但通常不是这样,有些错误并非这么明显。更隐蔽和普遍的是那些细微的小错误,这些细微的小错误虽然未被注意到,但却对人们的生活产生了非常实际的影响。

一旦遇到错误的算法,您的生活就会立即变得更加困难。 无法入读一所好学校或找不到一份工作,您的收入将会减少,生活在更差的社区。 这些事实被引入新算法中,您的情况会进一步恶化。 你的每一次决定,每一个行动,都会被记录下来,然后被进行测量和评估。

以莎拉·怀索克(Sarah Wysocki)为例,她是一名五年级老师,尽管受到父母,学生和管理人员的称赞,但还是被哥伦比亚特区学区开除,原因是一种算法认为她的成绩不及标准。 为什么? 目前尚不清楚,因为系统太复杂了,开除她的人也无法理解。

Image result for sarah wysocki teacher"

毫无疑问,随着我们越来越多地将决策外包给算法,这个问题有可能变得更加严重。 当务之急是,我们必须开始认真对待人工智能偏差问题,并采取措施使我们的系统更加透明,可解释和可审计来减轻其影响。

人工智能系统中的偏差有两个主要来源:训练模型所依据的数据集和模型本身的设计。 训练算法的数据集中的偏差可能很细微,例如,当使用智能手机应用程序监视坑洼并提醒当局与维护人员联系时。 这可能是有效的方法,但在偏远地区一定是行不通的,这是因为那里拥有智能手机的人比较少。

在其他情况下,未收集的数据可能会影响结果。 分析人士怀疑,当Google对2013年流感趋势进行预测的时候,预估病例数几乎是实际数量的两倍时,就会发生这种情况。 似乎已经发生的事情是,媒体报道的增加导致没有生病的人进行更多的搜索。

Image result for Google Flu Trends 2013"

当人类的偏见延续到AI系统中时,就会产生数据偏见的另一个来源。 例如,司法系统中的偏见会影响谁因犯罪被起诉和判刑。 如果将这些数据用于预测谁可能犯罪,那么这些偏见将继续存在。 在其他情况下,人类被用来标记数据,并可能将输入偏差引导到系统中。

这种偏见普遍存在,难以消除。 实际上,亚马逊被迫放弃了由人工智能驱动的招聘工具,因为他们无法消除结果中的性别偏见。 他们不公平地偏爱男性,因为他们使用的培训数据告诉系统,该公司以前雇用的大多数被视为成功的员工都是男性。 即使他们消除了对性别的任何具体提及,系统仍将某些单词出现在男性简历中而不是女性简历中,这是性别的代理。

解决方案

由于存在多种多样的偏见,我们认为完全消除甚至根本消除偏见是不现实的。 但是,我们可以做的是使我们的AI系统更具可解释性,可审计性和透明度。 我们建议领导者可以采取三个实际步骤来减轻偏见的影响。

首先,必须对AI系统进行严格的人工审查。 例如,奥巴马政府在白宫的一份报告中引用的一项研究发现,虽然机器在读取放射线图像时有7.5%的错误率,而人类有3.5%的错误率,但是当人们将工作与机器结合起来时,错误率下降至0.5%。

其次,就像法律要求银行“了解客户”一样,构建系统的工程师也需要了解其算法。 例如,Experian数据实验室负责人埃里克·哈勒(Eric Haller)告诉我们,与几十年前不同,当他们使用的模型相当简单时,在AI时代,他的数据科学家需要更加谨慎。 他说:“过去,我们只需要保留准确的记录,这样,如果犯了一个错误,我们可以回去,找到问题并加以解决。” “现在,当我们有这么多模型都由人工智能提供支持时,这并不容易。 我们不仅可以下载开源代码并运行它。 我们需要非常深入地了解我们算法中的每一行代码,并能够向外部利益相关者进行解释。”

Image result for Eric Haller Experian"

第三,人工智能系统以及用于训练它们的数据源必须透明且可用于审核。 欧洲的GDPR之类的立法框架已迈出了一些有希望的第一步,但显然还需要做更多的工作。 我们认为人类在没有任何监督的情况下做出决定是不可接受的,因此没有理由在机器做出决定时我们应该接受它。

也许最重要的是,我们需要从自动化文化转变为增强文化。 人工智能的效果最好不是用作替代人类并降低成本的魔盒,而是用作创造新价值的助推器。 通过使AI系统更具可解释性,可审计性和透明度,我们不仅可以使我们的系统更加公平,而且可以使它们更有效,更有用。

本文由@AI科普吴军宁 原创翻译,英文原文发表于哈弗商业评论,链接:

https://hbr.org/2019/10/we-need-ai-that-is-explainable-auditable-and-transparent返回搜狐,查看更多

责任编辑:

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
免费获取
今日搜狐热点
今日推荐