>科技>>正文

凯西·奥尼尔:盲目信仰大数据的时代必须结束 | 算法密码

原标题:凯西·奥尼尔:盲目信仰大数据的时代必须结束 | 算法密码

图:在TED演讲中的凯西·奥尼尔

* 此文为科学新媒体“知识分子”(ID:The-Intellectual)发起的科学新闻实验室写作项目之“算法密码”第 5 篇。

撰文 | 叶伟民

编辑 | 黄永明

上一篇“算法相亲”的故事发表后,我被争吵包围。因为它触及了一个既美好又虐心的话题——爱情。算法的介入,就像怪咖闯进了伊甸园,技术派和浪漫派的意见迥异得仿佛来自两个星球,前者信奉“万物可算”,后者则捍卫人类宝贵的“自由意志”。

这个碰撞早就被科幻作家列入思索之列,从而诞生了众多反乌托邦电影。《少数派报告》便是其中之一。它的故事发生在2054年的华盛顿特区,谋杀在这里已经绝迹。一支预防犯罪小组依赖“先知系统”准确预测所有罪行,并在发生前逮捕“罪犯”。如果你被盯上,是绝无可能抗议和挣脱的,因为“先知”是不容置疑的最高权威。

数据科学家凯西·奥尼尔很欣赏这部电影,还把它写进了畅销书《数学毁灭性武器》。凯西是约翰逊实验室的高级科学顾问,哈佛大学数学博士,还曾任巴纳德学院教授和华尔街量化分析师。她现居纽约,染着一头蓝发。

2008年以前,凯西过着标准的曼哈顿技术新贵生活,但金融海啸让她惊醒。她看到了疯狂的财富游戏背后所隐藏的技术深渊。此后,她参与发起“占领华尔街”运动,并且要告诉人们更多真相——算法和大数据在光环之外,还是更多歧视、偏见、不公的源泉,纵使其进行得相当隐蔽。

过去一个月,凯西通过邮件向我分享了她的故事。离开华尔街后,她从技术缔造者的身份抽离出来,聚焦那些被技术统治却无力抵抗的角落,例如被算法解雇的中学教师、被犯罪预警系统过度执法的有色公民、被基金模型盘剥却浑然不知的底层……她把背后的始作俑者称为“weapons of math destruction”,谐音布什政府当年针对伊拉克的“大规模杀伤性武器”[1]。

也恰如其谐义,算法在解决越来越多难题的同时,也接管人类让渡的部分裁决权。它不断进化,逐渐在教育、执法、金融、社会保障等领域占据统治地位。它不靠暴力维持,而是凭神秘的科技外衣加持,树立起普通民众无法穿透的隐形权威。它所蕴含的新奴役关系,已引起科学界和思想界的注意,甚至被形容为“最安静的恐怖主义”。

2017年4月,凯西登上TED,向公众坦陈了这些鲜为人知的“黑盒子”和并不乐观的未来。惊愕过后,人们报以持久的掌声、欢呼和口哨,包围了她已重复过无数次的警示——

“盲目信仰大数据的时代必须结束。”

算法黑洞

麦法兰中学是位于华盛顿的一所平民社区高中,拥有如茵的草坪、联排红墙教学楼和多种族学生。女教师莎拉·韦索奇2009年来到这里,她对教育非凡的热忱很快感染了同事和家长。

“她是我见过最好的老师之一。”麦法兰中学家长教师协会负责人布莱恩·多尔西说,他的女儿是莎拉的学生,“每次见她,她不是在辅导孩子,就是与他们谈心。”

学校2011年5月对莎拉的评估报告也佐证了这一点:“我们很欣慰看到这么一个教与学互动积极、运转高效的课堂。”莎拉还被推荐到其他学校分享经验。

然而仅两个月后,莎拉被解雇了。一套叫“IMPACT”的教师评价系统认为她相当失败,原因是她任教班级的阅读和数学成绩没有实现预期增长。

这次教学评价源自华盛顿特区自2007年推行的教育改革方案,时任教育局局长李洋姬将这里低迷的高中升学率归咎于教师的失职。这位作风凌厉的女士决心炒掉数百名表现差劲的教员。为了让落刀更加精准高效,她引入一套计算机算法系统,即“IMPACT”,它通过琳琅满目的指标和一个极其复杂的回归方程,组成一个“增值模型”,自动为每位教师打分并决定其命运。

纵使莎拉的其他指标非常优秀,但“增值模型”的得分却异常低。她很愤怒,写信质询教育局:“我想知道,这些数据是怎样计算出来的?”

没有人理会她。《华盛顿邮报》为此写了一个报道,标题充满黑色调侃和同情——《我激情,我创造,我被炒了》。很快,莎拉收到一封来自纽约的邮件,是凯西。

凯西被这个案例吸引,她给莎拉打电话,掌握更多细节,逐渐看清其中的猫腻。两位女士还共同查阅莎拉班上一些转学学生的过往成绩,发现他们在前一所学校的阅读分数都异常高,是所在学区平均分的五倍。

莎拉在实际教学中却发现相反的事实,这些学生连阅读简单句子都困难。凯西又查阅媒体,发现该学区涂改测验成绩的现象非常普遍。也就是有人作恶了,然后把这些虚高的成绩交到老实人莎拉手上,并通过算法让其受到不公惩罚。

莎拉将这一发现向管理部门举报,得到的回复是:必须明确指出作弊老师和学生的名字,还要有充足的证据反驳“IMPACT”的打分。这几乎是一个黑客级的难题,而莎拉只是一个社区中学五年级的老师。

随着研究的深入,凯西发现了“IMPACT”系统更多的底层逻辑漏洞。“学生的成绩受很多因素影响,要量化一个教师在其中的作用非常困难,也非常复杂。”她说,“而且仅凭二三十个学生的成绩来决定一个人的去留,在统计学上也是靠不住的。”

“IMPACT”系统最终解雇了两百多名教师,主导者却没有获得期望中的支持。当地工会的民意调查显示,民众对教师清洗行动“非常不满意”,一些教师协会也举行抗议,并帮助遭受不公对待的教师提出申诉。这最终影响了时任市长艾德里安·芬提的连任,教育局局长李洋姬也随之辞职。

无论如何,算法对莎拉的判决已无法挽回。但幸运的是,她仅失业了几天,在很多同行和家长的推荐下,很快在一个富裕社区学校找到教职,而且那里不再有机器给她打分。

“拜一个非常可疑的模型所赐,穷人的学校失去了一位好老师,富人的学校却得到了她。”凯西说,“未来,富人的事务会由人打理,平民的事情则交由机器。”

它没有公平的概念

在美国,莎拉的故事并不是孤例。不同版本的“IMPACT”系统正在超过一半的州推行,支持者则是整个联邦政府。这是奥巴马时代教育改革的遗产,却没有得到教育界的拥护,多地教师向法院起诉此类算法并在纽约州和休斯顿获胜。

但这种有所成效的抗争仍是幸运的少数。在许多领域,算法的统治进行得更加隐蔽和难以反驳。例如执法。

凯西曾研究过一个算法执法的样本——宾州小城市雷丁。这个紧挨费城的资源枯竭城市,贫穷率已攀升至全美之最(41.3%),与之相伴的是同样高企的犯罪率。雷丁政府缺钱,裁掉了45名警员,将省下的经费购买了犯罪预测系统PredPol。

这个“救星”非常强大,可以分析一个地方的犯罪历史数据,逐小时计算不同区域的犯罪发生率,再在地图上以网格形式呈现计算结果。最后,只要加强对有高风险提示的网格巡逻,就能遏制犯罪。一年后,雷丁政府宣布,盗窃案减少了23%。

类似PredPol的犯罪预测系统在美国大受追捧。除雷丁外,纽约、亚特兰大、洛杉矶等大城市也在其列。如今这已成为一股世界性潮流:在中国,北京等一线城市也启用算法和大数据来协助降低犯罪率。

“它们看上去足够高效,也足够公平。”凯西说,“起码从表面上看,它们只是预测事情,而不会考虑人种、种群等因素。”

图:犯罪预测系统正在被广泛应用

犯罪可被预测,是“犯罪统计学”和“道德统计学”共同呈现的结果。后者可能有些费解,简单来说,就是基于这样一个事实:在对象足够多时,人们的自由选择权就会消失,甚至会丧失理智。凯文·凯利的畅销书《失控》对此也有类似的阐述。

1820年代末,统计学家盖里和凯特莱对法国的犯罪数据进行研究,发现每年的犯罪行为特点几乎保持不变,连使用枪支、刀剑、拳脚、棍棒的谋杀案比例都年年相似。他们得出结论:犯罪行为可以准确无误地进行自我复制。

但问题远不止这么简单。算法模型一旦运转,执法行为就会增多,产生的新数据又会进一步证明加强执法的必要性。形象地说,就是哪里前科越多,哪里就越受算法“关照”,最终形成一个失真、甚至有害的回馈环路。

从种族角度看,有色人种多聚居于贫困社区,由于那里历史犯罪率高,算法会不断指派警察去那里巡逻,最终结果是更多有色公民被抓或盘查。这还是难逃种族偏见的怪圈。

从阶层角度看,被算法纳入预测的都是常规犯罪,有钱人玩的金融欺诈和高智商犯罪并不在其中。也就是说,算法再精准高效,也只是协助警察瞄准穷人。

凯西做过一项调查,曾被警察拦截搜身的男性中,有85%是黑人或拉美裔。频繁的光顾又会放大一些可有可无的轻微罪行(例如公共场所抽烟和未成年饮酒),导致这些人与警察冲突加剧,甚至因此被捕。纽约公民自由联盟的调查数据显示,黑人坐牢的几率是白人的六倍,被警察杀死的概率则是白人的21倍。

纵使情况已如此严重,除了固有的种族歧视因素,仍没有多少人意识到这里面也有算法的功劳。人们仍然以为技术是中立的,并且信奉一种很低的成功概率——如果能打击犯罪,忍受一些不便和骚扰是值得的。

“算法的运用,往往面临公平与效率的取舍。”凯西说,“法律维护公平,所以牺牲效率。算法则刚好相反,它没有公平的概念。”

让人类保留最后一步

算法取得裁决地位的领域在不断增多,除了上述的教育和执法领域外,金融、法律、资讯、招生、求职、个人信用等都相继被圈进其权力范围。缔造者的初衷本不值得怀疑——要摆脱人脑的偏见和运算短板,用算法、模型、机器学习重塑一个更加客观的世界。

然而,大众对“技术中立”的过度误解,恰恰滋养了新的灰色空间,演变成当下越发狂热的大数据崇拜思潮。数据科学家弗雷德·班奈森为此创造了一个流行词——“数学洗白”(Mathwashing)。凯西也有近似的观点,“大数据并没有消除偏见,我们只是用技术来掩饰它。”

以色列历史学家尤瓦尔·赫拉利沿着这些忧思,在《未来简史》中描绘了这么一幅远景——

“人类将把工作和决策权交给机器和算法来完成,大部分人将沦为‘无用阶级’。只有少数精英才能真正享受到这些新技术的成果,用智能的设计完成进化、编辑自己的基因,最终与机器融为一体,统治全人类。”

这个预言至少包含两层意思:一是算法本身会成为新的独裁力量;二是它将与少数精英合谋,成为奴役大多数人的工具。未来,我们求职、贷款,或申请户籍,或许都会像故事开头的莎拉老师一样被机器判决,任何人都不要妄想申诉,那些复杂的算法是天然的高墙。

算法缔造者躲在高墙背后,偷偷植入偏见、歧视和种族主义。这在世界范围内已渐成现实。Google曾将两名黑人的照片标注为大猩猩,Flickr也将有色人种图片归为动物。

2015年,苹果Siri也摊上了事儿。一名俄罗斯用户Alex问它同性恋酒吧怎么走?Siri说:“如果可以脸红的话,我就已经脸红了。”Alex再问它对同性婚姻的看法,Siri的回应是:“我相信这是一种负面的情感。”

这些事件仅揭开了冰山一角,更多难以察觉的偏见在隐形横行。卡内基梅隆大学2015年做过一个实验,让500名男性与500名女性点击100个招聘网站,结果男性收到高薪职位信息的几率是女性的六倍。

进入2016年,生物识别技术升温,一个叫做Faception的以色列公司宣称能用算法识别恐怖分子。美国的机场曾使用过类似技术,结果平均每周有1500名乘客因此遭殃,其中一个4岁男童、数位前陆军少校和一名飞行员被多次认定为“恐怖分子”,最高纪录者一年被羁留80次。

图:一些商业公司声称能用算法识别恐怖分子

同样触碰公众神经的还有上海交通大学教授武筱林的“看脸识罪犯”研究,称可以让机器通过学习,分辨谁是罪犯,谁是守法公民。论文发表后,舆情立即被点燃,一个交大校友写信给武筱林说:“这篇论文充满了极度的歧视和强烈的误导。”

武筱林通过媒体反驳:“这个研究只是揭露相关性,而非因果,我本人也非常反对歧视。“

“是不是就会有一些禁区,研究者不能去碰它?坦白讲我不知道。”虽正名心切,但武也毫不掩饰他的疑惑,“核物理学家该为原子弹造成的伤害负责吗?”

面对算法时代的诸多迷思,社会学者的探索方向与自然科学家既交融又迥异。中国人民大学国家发展与战略研究院研究员马亮是少数关注“算法偏见”的中国学者之一。2017年年末,他在社科媒体“政见”上发表文章,讨论大数据导致的社会不公和阶层固化。

“原本由人掌握的自由裁量权,正逐步交由算法和系统。”他说,“一个人执法错误尚且可控,但系统性的错误则是灾难。”

马亮长期关注社会治理中大数据的应用,走访过许多互联网公司。他发现,个人的数据越来越往少数寡头聚集,形成一个个无法穿透的“黑箱”。

“要粉碎‘黑箱’,开放数据是第一步。但现实情况是,这仍很遥远。”马亮说,“如果数据不纯或被篡改,计算结果也会崩塌,偏见和不公就会产生。”

凯西的解决方案是回归人本主义——“让算法指出可疑之处,由人类去完成最后的核查”。她研究了一个虐童风险预测模型:如果交由算法去裁决并惩罚,肯定会毁掉很多无辜的家庭,但如果让社工按照预测名单去走访和提供帮助,则是另一个温暖的结果。

佛罗里达州希尔斯伯勒县试水过这个方案,两年间再也没有儿童因虐待而死亡。

“它们的运作必须是透明的:我们必须知道它们接受哪些数据输入,产生什么结果,而且它们必须接受稽查。”凯西说,“这样我们才能规管它们,驯服它们。”

注释

[1] 大规模杀伤性武器的英文全称为“Weapons of Mass Destruction”,凯西将Mass换成Math(数学),既谐音又谐义。

——————————

欢迎关注“叶伟民写作(ID:yeweimin121)”返回搜狐,查看更多

责任编辑:

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
阅读 ()
投诉
免费获取
今日推荐