风险的边缘 菜单 搜索
对企业风险和应变能力在全球经济的新思路。
技术

我们怎样才能阻止算法偏差?

技术教授沃顿商学院

算法越来越深入我们的日常生活中,并代表我们使越来越多的决定。卡尔蒂克霍桑纳格在宾夕法尼亚大学沃顿商学院的教授。在他的新书,人类的指南机器智能, 教授霍桑纳格使得我们需要用的算法思维的现象更加细致入微地了解武装自己的情况,并指出算法往往想了很多像他们的创造者,也就是你和我。

BRINK跟他谈到算法是如何影响我们的日常生活。

卡尔蒂克霍桑纳格:算法现在就在我们身边。想想亚马逊的类型的建议“谁买了这个也买人”。像火种和其他应用程序的算法选择谁,我们应该满足,谁就要日期等。这些系统有选择我们做了非常大的影响。通过在Netflix的数据的科学家的研究表明,对Netflix的观看小时80%来自自动推荐起源。

类似地,在亚马逊购买产品的选择的第三由算法建议驱动。与Facebook和Twitter的算法搞清楚其中的新闻报道,我们得到暴露。

而且他们已经开始进入他们正在做生死抉择或如驾驶我们的汽车,我们的投资储蓄很重要的决定,其中区域 - 甚至是帮助医生,使诊断决策。一些帮助法官提出量刑决策等。因此,他们的影响越来越大。

偏在代码

边缘:而且是多么容易的算法被欺骗或提供误导决策或数据?

霍桑纳格先生:好了,我们很多人有这种想法的算法为理性的,万无一失的决策者。但是,有证据表明,他们很容易同种问题,我们人类的决策看。例如,有去过的那个是指导法官在有民族歧视的法庭宣判算法的例子。还有的通过有性别偏见人力资源专业人士使用的简历筛选算法的例子。

有没有在美国股市著名的闪电崩盘那部分由算法交易推动。所以,是的,他们不出差错。

边缘:而且一下这些事件的背后?是坏的编码,或者是它的算法给出错误的数据?

霍桑纳格先生:它曾经是其中的一些问题是由错误的代码驱动的情况下,那是因为大多数的什么算法确实是由开发人员或程序员决定。

发生了什么事在最近几年是不是开发者写的如何诊断疾病假设的代码,现在我们养活这些算法大量的数据,如以百万计的患者记录。我们让系统对数据进行分析,发现在那里模式。

因此,如果有,因为人类,则算法挑选他们使过去的决策偏差的数据中的偏差。随着求职者,算法着眼于数据和说,让我找到那种谁往往获得聘用,或谁往往得到提拔的人。如果有一个性别偏见,则算法可能会拒绝该申请人的妇女以更高的速率,即使他们的资格相似。

刚刚开始

边缘:你在这里看到的任何终点?或者你认为我们可以得到的地方,企业正在经历在他们的AI投资收益递减点?

霍桑纳格先生:我想在那算法对我们生活的影响方面和选择,我们作出或他人做出我们,我们只是刚刚开始。

随着实力的公司推出先进的AI和算法,它确定保护措施以确保消费者从出问题的算法决定维护是非常重要的。

今天,大多数的算法发挥决策支持作用,如Netflix的建议你应该看这个或亚马逊建议你应该买这个,但他们会变得越来越自主,他们会为我们可以使越来越多的决定。

So, for example, instead of Google maps suggesting a route for us, there’s going to be a driverless car that looks at the map and decides how we get from point A to point B. There will be algorithms that are completely automating investment decisions that are guiding our diagnostic decisions in hospitals and so on.

容易纠正偏差的代码比人

我没有看到一个明显的终点,我们说,“哎,使用的算法让我们停止,”因为他们所提供的价值是相当巨大的。我们中的哪想你问了几个朋友,到回去的地方,你想看的东西任何时候一个旧世界的你的选择集被限制为他们只知道什么?他们提供的价值是巨大的,但在同一时间,他们可能会出错。

但另一面是,这是从长远来看,以修复和纠正偏见算法决策比人的决策更容易。在人类纠正性别或种族偏见是天昏地暗。

一旦我们发现有一个算法的偏见,我们可以把制衡,避免问题。So the focus should not be on running away from algorithms, but on recognizing that they are not infallible and making sure that, before they’re deployed — especially in socially consequential settings like recruiting, loan approvals, criminal sentencing or medicine — they’ve been subjected to certain checks and tested appropriately before being rolled out.

边缘:在你的书中,你有这种想法的权利与这些算法进行交互时,人类的数字法案。解释什么是其背后。

数字版权法案

霍桑纳格先生:我们正处在这样一个时代,大的,有实力的公司迅速推出先进的AI和算法,并作出影响我们的生活和工作,许多决定。但是,以确定保护措施以确保消费者从出问题的算法决定维护是非常重要的。所以,我建议的权利法案,它有四个主要支柱:

一个是被用于训练算法的种类的数据的描述的权利。因此,我们知道,例如,如果有一个简历筛选算法,没有它实际上看一下我们的社交媒体帖子?这是非常有用知道。

第二个是关于程序或算法背后的逻辑的解释的权利。这可能是简单的话说,“哎,你申请了贷款,你的贷款被拒绝,而最重要的原因涉及您的就业状况或你的教育。”只知道,因为你知道什么时候偏见蠕变是有用的。例如,如果算法作出决定,而其中一个因素是性别或种族或您的邮政编码或您的地址,它是非常有用的知道这一点。

第三个支柱,我建议是,用户的搜索应该对算法的工作和做决定它们的方式控制的某一水平。只要有从用户到该算法的一些基本反馈回路是很有帮助的。

如今,Facebook有一个简单的功能在其新闻源算法,用户可以标记一个帖子说:“这是令人反感的内容”或“这是假新闻。”如果足够多的人抱怨,这触发人工审核或更仔细的审查。我主张这样一个反馈回路。

最后一个支柱是,当一个算法用于像招聘,贷款审批社会后果的决定等等,那么就应该有一些正式的审计。

大多数科技公司都根本没有审计过程。谁开发的算法经常测试,然后工程师推出了出来。而且这还不够,在这些类型的设置。必须有与公司内部或者一个独立的团队或第三方审计机构的审计过程。

卡尔蒂克霍桑纳格

技术教授沃顿商学院

卡尔蒂克霍桑纳格是在宾夕法尼亚大学沃顿商学院技术和数字业务的教授。他的作者人类的指南机器智能

    为了获得最佳的交付,请选择您的区域:
    请输入有效的电子邮件地址。
    成功!谢谢您注册。