风险的边缘 菜单 搜索
关于全球经济的企业风险与恢复力的新思考。
技术

使用AI对政府工作的风险

技术改善对公共系统的承诺和必要性似乎是明显的 - 更好的设计系统可以改善访问,减少效率低下,以及在目前的大流行,让我们更健康和更​​安全。

然而,将算法系统视为进入的制度化问题的简单修复将使这些问题变得更糟。为实现新技术的全部潜力,我们必须首先发展和研究适当的监督进入我们的公共采购流程。

AI系统特别为社会带来了新的风险,因为它们侵占了公共使用。我们的民主工艺风险被颠覆为私营公司越来越多地接管我们的数字公共基础设施,可能导致在“现代化”公共服务的幌子下导致前所未有的政治捕获。We urgently need appropriate levels of oversight and review and the empowerment of elected officials, policymakers and citizens.

Covid-19正在加速AI的采用

政府正在寻求技术干预,以减轻Covid-19的传播 - 是否通过引入联系跟踪应用程序或开发新的预测模型来确定传播和评估重新开放与关机政策的影响。

在许多情况下,私营公司正在制定和实施这些技术,授予这些组织获得否定的行为和健康数据。未经我们的同意,这些公司现在可以使用我们的敏感数据来改善模型。

今年早些时候,U.K.政府是压力通过大型技术公司发布他们的NHS合同细节,包括谷歌,佩兰特尔和微软。这些公司获得了前所未有的公民健康数据,包括年龄,地址,健康状况,治疗和药物,测试和X射线结果,生活方式选择和医院入学信息。这些过程全部落后于闭门的门,未经同意或从U.K.公共,议会或任何公民代表团审查。

AI提供政府节省款项修复

对公共部门的感知福利是有说服力的,支持自动化和算法决策。政府绑定资源,这些资源是否为人员,金钱或技能。算法提供了一个快速修复解决方案:通过雇用具有特定区域的专业知识的供应商来外包问题而不使用昂贵的数据科学家。算法还为缺乏经验的受众提供客观性的贴面。

然而,公共机构也是有效的,这些系统向他们所服务的社区引入的危害,而算法决策系统的感知益处不能超过这一责任。

与私营公司不同,其汇率是股东和盈利发电,公共实体必须在提供解决方案时考虑其整个人口。事实上,这种快速修复并不是那么快或简单。存在三个主要问题。

AI公共使用是不同的

公众使用算法决策系统的要求与私人使用产品不同。私营公司可以使用私营公司创建一个满足目标需求的产品,例如,80%的目标市场。但是,如果将该产品转化为公共使用,请解决80%的选区的需求是不可接受的。未解决的20%也可能来自所提供的少数群体,其数据不一定看起来像平均值。

在公共部门中使用算法系统有明确的好处 - 如果负责任地完成。

这个差距很少考虑。我们已经见过偏见在联邦CoVID-19筹资分配算法中,在培训数据中普遍存在的历史偏见,在低收入社区上有利于低收入社区的高收入社区。

公共使用具有更高的合规标准

公共使用技术符合不同的合规性和法律标准,而不是大多数私人使用技术。在新奥尔良,发现普拉特尔的Gotham平台的未公开使用违反了布拉迪诉马里兰州最高法院案件,使检察官的责任揭示任何可能对被告提出的任何证据赋予怀疑的信息。

对于在监狱接受100年的肯特克雷尔·赫尔德森,没有向其律师披露Gotham,允许他成功提出新的审判。在其他情况下,使用算法决策系统已经违反了适当的过程法,特别是使用分配算法来确定Medicare和Medicaid效果。

公共采购风险

现有的公共采购标准未解决烘焙到公众使用AI系统的特定风险因素。这是由于私人供应商不需要评估其模型对某些群体的风险,作为设计技术的一部分,或后来在采购过程中。它们也不需要通过外部机构评估其模型。

评估由外部派对开发的模型是大多数组织面临的挑战。公司目前没有方法可以以安全的方式分享他们的数据,型号输出或以保护其知识产权的方式提供对审计机构的访问。

要解决和减轻这个问题,我们迫切需要创新公共采购AI和AI相关技术。这种创新应包括更全面的和积极主动的风险管理方法和AI的影响。它也应该在公共决策者,社区和供应商之间进行基础。这样的谈话需要社会技术素养:了解技术如何影响社会以及如何对政治,经济学和社会方面的形式创新。

在提供的技术方面,也必须是透明度的决定推动,供应商提供它和公共接触点的技术。赫尔辛基和阿姆斯特丹的城市最近通过公开上市的AI技术来推动这方面登记

需要公共问责制基础设施

迫切需要问责制。为公共使用而设计和部署的新系统必须接受初始和正在进行的风险评估。这些风险评估需要介绍识别和说明数据和模型中的偏差的方法,并为修复或有限使用提供透明度。纽约市正在考虑这个问题招聘对于算法管理和政策官员。

另一个好的起点是加拿大政府的算法影响评估对于任何供应商将算法系统引入公共使用。这些积极用例在芬兰,荷兰,美国和加拿大突出了对该问题的国际和跨学科交流的必要性,因为全球最佳实践交流是为了迅速,统称地调整AI系统引入的新挑战是有价值的。

最后,一个有害和/或全球数据库ai应用程序失败公众使用将有助于评估AI技术的风险和影响。有必要了解领先的公共机构的理性和因素,以退休AI系统(此工作目前正在追求数据司法实验室和Carnegie U.K. Trust)。

在公共部门中使用算法系统有明确的好处 - 如果负责任地完成。为此,我们需要了解失败的项目借鉴全球最佳实践,发展新的创新,以主动满足风险。

Rumman Chowdhury.

奇偶阶级的首席执行官 @ruchowdh.

Rumman Chowdhury.是企业道德AI模型审计平台的首席执行官和创始人。她是负责任的AI先锋,自2017年以来为C-Suite客户,政策制定者和组织建立道德解决方案。

    蒙娜斯隆

    纽约大学的社会学家 @mona_sloane.

    Mona Sloane是一名位于纽约大学(NYU)的社会学家。她在AI设计和政策中致力于不平等。在纽约,她是一个与公众知识研究所的研究员Govlab.和Nyu Alliance为公共利益技术,以及Nyu Tandon学校工程学校的兼职教授。

    边缘的日常通讯提供关于企业风险和弹性的新思路。 订阅