风险的边缘 菜单 搜索
关于全球经济的企业风险与恢复力的新思考。
Technology

使用AI对政府工作的风险

技术改善对公共系统的承诺和必要性似乎是明显的 - 更好的设计系统可以改善访问,减少效率低下,以及在目前的大流行,让我们更健康和更​​安全。

However, viewing algorithmic systems as an easy fix to ingrained institutionalized problems will make these problems worse. To achieve the full potential of new technologies, we must first develop and institute the appropriate oversight into our public procurement processes.

AI系统特别为社会带来了新的风险,因为它们侵占了公共使用。我们的民主工艺风险被颠覆为私营公司越来越多地接管我们的数字公共基础设施,可能导致在“现代化”公共服务的幌子下导致前所未有的政治捕获。我们迫切需要的监督和审查和民选官员,决策者和公民权力的适当水平。

COVID-19 Is Speeding the Adoption of AI

政府s are seeking technological interventions to mitigate the spread of COVID-19 — whether by introducing contact tracing apps or developing new predictive models to determine spread and assess the impact of reopening versus shutdown policies.

在许多情况下,私营公司正在制定和实施这些技术,授予这些组织获得否定的行为和健康数据。未经我们的同意,这些公司现在可以使用我们的敏感数据来改善模型。

今年早些时候,U.K.政府是压力通过大型技术公司发布他们的NHS合同细节,包括谷歌,佩兰特尔和微软。这些公司获得了前所未有的公民健康数据,包括年龄,地址,健康状况,治疗和药物,测试和X射线结果,生活方式选择和医院入学信息。这些过程全部落后于闭门的门,未经同意或从U.K.公共,议会或任何公民代表团审查。

AI Offers Governments Money-Saving Fixes

公共部门是persua感知到的好处sive in favor of automation and algorithmic decision-making. Governments are strapped for resources, whether these resources are personnel, money or skill. Algorithms provide a quick-fix solution: Outsource the problem without employing expensive data scientists by hiring a vendor with expertise in a particular area. Algorithms also provide the veneer of objectivity to an inexperienced audience.

然而,公共机构也是有效的,这些系统向他们所服务的社区引入的危害,而算法决策系统的感知益处不能超过这一责任。

Unlike private companies, whose remit is to their shareholders and profit-generation, public entities must consider their entire population when delivering a solution. This quick fix, in fact, is not so quick or easy. Three main problems exist.

AI公共使用是不同的

The public use of an algorithmic decision-making system has different requirements than a private-use product. It is acceptable for a private company to create a product that addresses the needs of, for example, 80% of their target market. However, if this product is translated to public use, addressing the needs of 80% of your constituency is unacceptable. It is also likely that the 20% who are not addressed are likely from underserved minority groups whose data do not necessarily look like the average.

在公共部门中使用算法系统有明确的好处 - 如果负责任地完成。

This gap is rarely considered. We have already seen偏见在联邦CoVID-19筹资分配算法中,在培训数据中普遍存在的历史偏见,在低收入社区上有利于低收入社区的高收入社区。

Public Use Has Higher Compliance Standards

公共使用技术符合不同的合规性和法律标准,而不是大多数私人使用技术。在新奥尔良,发现普拉特尔的Gotham平台的未公开使用违反了布拉迪诉马里兰州最高法院案件,使检察官的责任揭示任何可能对被告提出的任何证据赋予怀疑的信息。

对于在监狱接受100年的肯特克雷尔·赫尔德森,没有向其律师披露Gotham,允许他成功提出新的审判。在其他情况下,使用算法决策系统已经违反了适当的过程法,特别是使用分配算法来确定Medicare和Medicaid效果。

Public Procurement Risks

现有的公共采购标准未解决烘焙到公众使用AI系统的特定风险因素。这是由于私人供应商不需要评估其模型对某些群体的风险,作为设计技术的一部分,或后来在采购过程中。它们也不需要通过外部机构评估其模型。

评估由外部派对开发的模型是大多数组织面临的挑战。公司目前没有方法可以以安全的方式分享他们的数据,型号输出或以保护其知识产权的方式提供对审计机构的访问。

要解决和减轻这个问题,我们迫切需要创新public procurementof AI and AI-related technologies. This innovation should embrace a more holistic and proactive approach to risk management and the impact of AI. It should also be grounded in an equitable conversation between public decision-makers, communities and vendors. Such a conversation requires socio-technical literacy: knowledge about how technologies impact society and about how politics, economics and social aspects shape technology innovation.

在提供的技术方面,也必须是透明度的决定推动,供应商提供它和公共接触点的技术。赫尔辛基和阿姆斯特丹的城市最近通过公开上市的AI技术来推动这方面登记

The Need for Public Accountability Infrastructure

迫切需要问责制。为公共使用而设计和部署的新系统必须接受初始和正在进行的风险评估。这些风险评估需要介绍识别和说明数据和模型中的偏差的方法,并为修复或有限使用提供透明度。纽约市正在考虑这个问题hiring对于算法管理和政策官员。

另一个好的起点是加拿大政府的算法影响评估对于任何供应商将算法系统引入公共使用。这些积极用例在芬兰,荷兰,美国和加拿大突出了对该问题的国际和跨学科交流的必要性,因为全球最佳实践交流是为了迅速,统称地调整AI系统引入的新挑战是有价值的。

最后,一个有害和/或全球数据库failed AI applications公众使用将有助于评估AI技术的风险和影响。有必要了解领先的公共机构的理性和因素,以退休AI系统(此工作目前正在追求数据司法实验室和Carnegie U.K. Trust)。

在公共部门中使用算法系统有明确的好处 - 如果负责任地完成。为此,我们需要了解失败的项目and借鉴全球最佳实践,发展新的创新,以主动满足风险。

Rumman Chowdhury.

CEO of Parity @ruchowdh

Rumman Chowdhury.是企业道德AI模型审计平台的首席执行官和创始人。她是负责任的AI先锋,自2017年以来为C-Suite客户,政策制定者和组织建立道德解决方案。

    蒙娜斯隆

    纽约大学的社会学家 @mona_sloane.

    Mona Sloane是一名位于纽约大学(NYU)的社会学家。她在AI设计和政策中致力于不平等。在纽约,她是一个与公众知识研究所的研究员Govlab.和Nyu Alliance为公共利益技术,以及Nyu Tandon学校工程学校的兼职教授。

    边缘的日常通讯提供关于企业风险和弹性的新思路。 订阅