风险的边缘 菜单 搜索
关于全球经济的企业风险与恢复力的新思考。
技术

我们如何停止算法偏见?

在我们的日常生活中,算法越来越嵌入我们代表我们的越来越多的决定。Kartik Hosanagar.是宾夕法尼亚大学沃顿皇家学院的教授。在他的新书中,人类的机器智能指南, 教授Hosanagar使我们需要在对算法思维现象的更细微的了解中,指出算法经常像他们的创造者一样思考,即你和我的案例。

边缘与他谈到算法如何影响我们的日常生活。

Kartik Hosanagar:算法现在都在我们身边。想想亚马逊的“买到这件事的人也买了”类型的建议。像火种和其他人这样的应用程序的算法正在选择我们应该遇到的人,我们应该迄今为止的人。这些系统对我们制作的选择产生了很大的影响。Netflix的数据科学家的一项研究表明,Netflix上的80%的观看时间来自自动建议。

同样,亚马逊产品购买的三分之一是由算法建议驱动的。Facebook和Twitter算法弄清楚我们接触的新闻故事。

他们开始进入正在进行生命和死亡决策或非常重要的决定等领域,例如驾驶我们的汽车,投资我们的储蓄 - 甚至帮助医生并进行诊断决策。一些帮助法官使判决决定等等。所以他们的影响正在增加。

代码中的偏见

边缘:它是如何欺骗或提供误导性决定或数据的算法有多容易?

Hosanagar先生:好吧,我们很多人都有这种算法作为理性,无法忍受的决策者。但证据表明,他们倾向于与人类决策相同的问题。例如,已经存在判例算法的示例,这些算法是指导具有竞争偏见的法律程序中的法官。有具有性别偏见的人力资源专业人员使用的恢复筛选算法的示例。

在美国股市中有一个着名的闪存崩溃,部分是通过算法交易所驱动的。所以是的,他们做错了。

边缘:这些事件背后的是什么?是错误的编码,或者是否给出了算法的错误数据?

Hosanagar先生:它曾经是这种问题的情况是由坏代码驱动的情况,这是因为大多数算法由开发人员或程序员决定。

近年来发生了什么是,而不是一名开发商写作如何诊断疾病的守则让我们说,现在我们喂养这些算法大量数据,例如数百万患者的记录。我们让系统分析数据并在那里找到模式。

因此,如果由于人类的过去决定中的偏见存在偏差,则算法将拾取它们。通过求职者,算法看起来并说,让我找到那种倾向于被雇用的人,或者往往会晋升。如果存在性别偏见,那么即使他们的资格相似,该算法也可能会拒绝女性申请人更高的速度。

刚刚开始

边缘:你在这里看到任何终点吗?或者您认为我们可以达到公司在其AI投资中递减收益的点?

Hosanagar先生:我认为算法对我们的生活和选择的影响而言,我们只能开始使用算法或其他人。

随着强大的公司推出先进的AI和算法,重要的是要确定确保消费者从出错的算法决策保护的保护。

今天,大多数算法发挥了决策支持的角色,如Netflix,建议你应该看这个或亚马逊建议你应该买这个,但他们会变得越来越自主,他们将为我们做出越来越多的决定。

So, for example, instead of Google maps suggesting a route for us, there’s going to be a driverless car that looks at the map and decides how we get from point A to point B. There will be algorithms that are completely automating investment decisions that are guiding our diagnostic decisions in hospitals and so on.

比人类更容易纠正偏见

我没有看到我们说的明显终点,“嘿,让我们停止使用算法,”因为他们提供的价值是非常巨大的。我们哪一个想回到一个随时观看你问几个朋友的东西,你的选择集只是他们所知道的东西?他们提供的价值是巨大的,但与此同时,他们会出错。

但是,翻转方面是,从长远来看,它更容易修复和纠正算法决策中的偏见而不是人类决策。纠正人类的性别或种族偏见非常艰难。

一旦我们检测到具有算法的偏差,我们就可以投入检查和余额并避免问题。So the focus should not be on running away from algorithms, but on recognizing that they are not infallible and making sure that, before they’re deployed — especially in socially consequential settings like recruiting, loan approvals, criminal sentencing or medicine — they’ve been subjected to certain checks and tested appropriately before being rolled out.

边缘:在您的书中,您对与这些算法进行交互时,您对人类的数字权利账单有这个想法。解释它后面的内容。

一项数字权利

Hosanagar先生:我们在一个大型强大的公司的时代迅速推出先进的AI和算法,并制作许多影响我们的生活和工作的决定。但重要的是要确定确保消费者从出错的算法决策保护的保护。所以我提出了一项权利法案,其中有四个主要支柱:

一个是对用于训练算法的类型的描述的权利。因此,我们知道,例如,如果存在恢复筛选算法,它实际上看了我们的社交媒体帖子吗?知道这很有用。

第二个是关于算法后面的程序或逻辑的解释的权利。这可能就像说一样简单,“嘿,你申请贷款,你的贷款被拒绝,最重要的原因涉及您的就业状况或您的教育。”只要知道这很有用,因为那么你知道偏见何时崩溃。例如,如果算法做出决定,并且其中一个因素是性别或比赛或你的邮政编码或你的地址,那么知道这一点是有用的。

我建议的第三个支柱是用户搜索应该在算法上有一定程度的控制,并为它们做出决定。只需将来自用户到算法的一些基本反馈循环就是有帮助的。

今天,Facebook在其新闻综合算法中有一个简单的功能,用户可以悬挂一下帖子并说“这是令人反感的内容”或“这是虚假新闻”。如果有足够的人抱怨,那会触发人类审查或更加仔细的审查。我提倡这样的反馈循环。

最后一个柱子是,当算法用于社会后果决策时,如招聘,贷款批准等,那么应该有一些正式的审计过程。

大多数科技公司根本没有审计流程。开发算法的工程师经常测试它,然后将其滚动。这在这些类型的环境中还不够。公司内部或第三方审计员内部必须有一个独立团队进行审计流程。

Kartik Hosanagar.

沃顿省学校技术教授

Kartik Hosanagar是宾夕法尼亚大学沃顿省沃顿文化学院的技术和数字业务教授。他是作者人类的机器智能指南

    边缘的日常通讯提供关于企业风险和弹性的新思路。 订阅