为什么澳大利亚正在迅速发展一个以技术为基础的人权问题

人工智能(AI)可能是技术的圣杯，但澳大利亚人权专员爱德华·桑托(Edward Santow)警告称，有必要进行负责任的创新，并了解新技术对基本人权构成的挑战。

“人工智能正在实现突破:医疗、机器人和制造业;很快，我们就被告知，人工智能将为我们带来一切，从完美的年代测定算法到星际旅行——换句话说，它很容易让人忘我，但我们应该记住，人工智能仍处于起步阶段，”桑托在接受《人权与和平》采访时表示。7月在悉尼举行的技术会议。

桑托当时正在发布《人权与技术问题》的论文，该论文被描述为人权委员会在新技术变革时代保护澳大利亚人权利的一项重大项目的开端。

这篇论文提出的问题集中在，当人工智能被用于影响人们基本权利的决策时，需要什么样的保护。它还要求立法者、政府、研究人员、开发人员和大大小小的科技公司提出什么要求。

2016年3月，微软的人工智能推特机器人Tay展示了人类丑陋的一面——至少在社交媒体上是这样——Santow说，这是一个关键的例子，说明人工智能在被释放到人类之前必须是正确的。

Tay的目标受众是18到24岁的美国人，它“旨在通过随意和有趣的在线交谈来吸引和娱乐人们”。

在推特上发布后不到24小时，Tay就获得了超过5万名粉丝，并发布了近10万条推文。

开始时还蛮甜的;它说你好，称人类很酷。但是Tay开始与其他Twitter用户进行交互，它的机器学习架构将所有的交互融合在一起，有好的，有坏的，也有糟糕的。

泰伊的一些推文非常无礼。在不到16个小时的时间里，泰就变成了一个无耻的反犹主义者，并被勒令下线重新装备。

这种互动在IBM Watson之前就有过，它在学习了Urban Dictionary之后，曾经以咒骂的形式表现出自己的不当行为。

布雷特所罗门

作为人权专员，桑托想要展示的是，人工智能的本意是好的，但它是多么容易变坏。

“随着技术的进步，人工智能将在现实世界中非常有用;应用程序几乎是无限的……尽管预测对几乎所有人类活动都至关重要，但众所周知，我们人类并不擅长预测。如果人工智能提高了我们预测的准确性，这可能会改变一切，”桑托说。

他向满屋子关注人权的人提供了另一个例子，这一次，人工智能的本意是好的，但实际上是偏袒有特权的人。

科技被用来决定一个囚犯是否会被假释，正如桑托所解释的，它涉及到许多因素，包括囚犯的自责程度，他们的外部支持网络，以及这个人是否会给社区带来无法忍受的风险。

对以色列假释法官的研究表明，如果在一天中的某个时间提出申请，那么此人获得假释的可能性就会降低。

“如果你的申请是名单上的第一个，你有65%的机会被释放;如果你是午餐前的最后一个，你的机会几乎为零。如果你是第一个吃完午饭的人，你的机会就会回升到65%，然后在一天结束的时候，你的机会又会降回大约为零。”他解释道。

“与人类不同，电脑不会累，不会生气，也不会饿怒。如果强大的计算机可以部署在大型数据集上，这将改善我们的决策方式。”

至少这是“另类制裁罪犯管理档案”(COMPAS)项目背后的想法，该项目被用来确定囚犯对美国几个州社会的风险。

COMPAS工具被用来搜索监狱系统的庞大数据集，然后人类法官会在对囚犯假释资格做出裁决之前考虑它所做的决定。

“它很有吸引力，因为它强调数据而不是主观性，”桑托说。

然而，他说，对佛罗里达州法院记录的样本进行分析后发现，非裔美国人被归类为中高危罪犯的可能性是白人罪犯的两倍多。

“COMPAS给白种人的风险评分较低——有趣的是，种族并不是COMPAS考虑的一个因素，”他继续说。

几乎可以肯定，问题出在COMPAS所依赖的历史数据上。我们知道，非裔美国人面临更多的警察审查，更有可能被判更重的刑罚，更有可能被判与贫困有关的罪行。如果与一个人的种族相关的因素，比如他们的居住地，会导致犯罪的风险，我们不会感到惊讶。”

参见:英国司法部利用数据控制监狱(ZDNet)

Salesforce的用户研究架构师凯西·巴克斯特(Kathy Baxter)在人权论坛上说:“如果你关注新闻头条，你会发现人工智能是性别歧视、种族主义和充满系统性偏见的。”技术会议。

但为什么会这样呢?创造这些工具的人并不一定是心怀邪恶，他们可能也不想制造偏见，尤其是当他们真的想要解决它的时候。但巴克斯特表示，问题在于，很难从数据中看出偏见。她说，公平意味着什么，这个问题同样复杂。

“人工智能是基于概率和统计的，”她继续说。“如果一个AI是使用任何这些因素——种族、宗教、性别、年龄、性取向——它将剥夺一部分人不公平,甚至如果你不显式地使用这些因素的算法,对他们有代理,你可能甚至都没有意识到。

“在美国，邮编加上收入等于种族。如果你的算法中有这两个因素，你的算法可能会根据种族提出建议。”

尽管巴克斯特代表的是科技巨头Salesforce，但他表示，公司有责任让过去的股东也承担起开发技术的责任。

“数据的机器有偏见,我们看到系统性偏差AI不是中性的,因为它是一面镜子,反映了回我们的偏见已经在我们的社会中,直到我们可以删除从我们的社会偏见,我们必须积极采取措施移除它从数据提要和火车AI,”她继续说道。

“坦率地说，今天创造人工智能的人是非常有特权的群体。他们通常不是COMPAS假释推荐系统的对象，他们通常也不是必须接受人工智能推荐才能获得社会服务或福利的个人。”

因此，巴克斯特表示，很难阻止人工智能造成侵犯人权的大规模影响。

“你需要提前做这项研究，以确定谁将受到影响，并提供你所在的硅谷泡沫或任何地方泡沫之外的视角，”她继续说。

巴克斯特还提供了另一个由政府支持的、导致公民受到偏见对待的行动的例子，他详细描述了匹兹堡的一个县如何使用人工智能来识别出受虐待风险最高的儿童。

“有更多的虐待报告，他们有调查人员，但他们发现，有色人种比白人家庭更倾向于让他们的孩子被移走，”她说。

“其中一个原因是有色人种倾向于加入这个系统——因为他们获得了更多的社会服务，所以有更多关于他们的数据被了解。”像Facebook这样的政府或私人公司拥有的关于你的数据越多，它对你的推断就越多，它就越能控制你能访问或不能访问什么。”

虽然COMPAS是一个在美国进行的项目，但它与澳大利亚正在发生的事情并没有太大的区别。

在新南威尔士州，警方使用一种算法，根据他们所谓的可疑目标管理计划，创建了一份名单，导致名单上的成员受到额外的警方审查。

桑托说，去年公布的1800人名单中有一半以上是原住民或托雷斯海峡岛民。

“然而，这个州只有不到3%的人是原住民，”他说。

“一种回应是拒绝技术创新，但我们可能会失败;不管我们喜不喜欢，新技术正在到来。我们可能会失去从人工智能和相关技术中受益的重要机会。”

他说，更明智的选择是了解新技术对基本人权构成的挑战，并建立应对这些风险的框架。他说，创新者需要做的第一件事是倾听社会各界的意见。

“当我们制造和消费技术时，我们同时也是革命的受益者，也是面临断头台的人;随着越来越多更强大的科技产品出现在我们身边，我们有可能梦游般地走进一个不能也不可能保护我们最基本的人权的世界。”

“技术应该服务于人类，不管它是否服务于人类，这部分取决于我们自己、我们做出的选择以及我们坚持的价值观。”

已故物理学家斯蒂芬·霍金(Stephen Hawking)曾说过一句名言:人工智能可能是人类历史上最好的事情，也可能是最坏的事情。企业家埃隆·马斯克(Elon Musk)长期以来一直认为，创新者需要意识到人工智能给未来带来的社会风险。

澳大利亚首席科学家艾伦·芬克尔也在人权会议上发表了讲话。技术会议，分享了一个他称为罗莎阿姨的女士的故事。她是大屠杀的幸存者，对她来说，芬克尔和她分享的人工智能的细节让她想起了她年轻的时候。

“她在立陶宛躲藏了四年，一个年轻的犹太女人因为活着而受到迫害，”他解释说。在我描绘未来的时候，她只看到了过去残酷的事实:她生活在恐惧中，害怕被邻居、店主和假朋友监视。直到今天，她的恐惧是如此的强烈，以至于她不同意我使用她的真名。”

这一场景多次被拿来与现代科技的进步作比较，但芬克尔重新引发了人们对一些有共鸣的事情的讨论，他说，重要的是要认识到，是数据使大屠杀规模的犯罪成为可能。

“所有能想到的数据都被交给了纳粹……人口普查记录、医疗记录，甚至科学研究的数据——有很多数据，你需要一种分类技术，而纳粹有机会获得——打孔卡，”他解释道。

“几张硬硬的小纸片，上面有一排排的孔洞，列着诸如性别、年龄、宗教等个人特征，同样的打孔卡技术也被用来安排前往死亡集中营的火车。”

他补充说，这是数据加技术在无情之人手中。

芬克尔说，从历史上看，澳大利亚一直被认为是一个安全的居住地，人们信任自己的政府，也相互信任。但是，由于数据驱动的举措——以及由联邦政府管理的举措——已经把澳大利亚最脆弱的群体置于危险的境地，很难再用这种方式来定义澳大利亚。

2016年底，美国人力资源和社会保障部(DHS)启动了一项数据匹配工作计划，自动向那些通过美国的中央政府福利计划领取福利金的人发放债务通知。

该程序自动将向澳大利亚税务局(ATO)申报的收入与向Centrelink申报的收入进行比较，当发现政府数据存在差异时，就会发出债务通知，并收取10%的追偿费。

该系统中一个被称为“机器人债务”的大错误是，它错误地计算了接收者的收入，根据他们的年薪来计算每两周一次的工资，而不是用26周的累计快照来计算每个人的工资。

在2016年11月至2017年3月期间，至少有20万人受到该系统的影响。

澳大利亚公众的反应并不令人愉快。停止系统被请求的长度由联邦反对党,引用和参议院社区事务委员会报告给政府2017年6月曾多次听到个人在线合规干预(OCI)系统引起了他们的感觉焦虑,恐惧,和羞辱,和处理系统已经非常紧张的时期,他们的生活。

还有自杀的报道。

但除此之外，国土安全部负责诚信和信息的代理副部长杰森·麦克纳马拉(Jason McNamara)今年3月向财政与公共行政参考委员会(Finance and Public Administration References Committee)表示，数据匹配计划进展顺利，因为它节省了开支。

甚至还有扩大OCI工作计划的计划，澳大利亚交易报告和分析中心(Austrac)称dhs领导的行动是“非常有效的”行动。

在为期一天的人权会议上，机器人债务问题被提了很多次，达成的共识很明确:如果有的话，人类应该在信件发出之前就参与进来。

近几个月来，澳大利亚政府因其“我的健康数字记录”(digital My Health Record)计划而受到热议，该计划正在自动为公民登记医疗记录。在最初的形式中，该系统有许多明显的错误。例如，记录无法被完全删除。取消一项记录使医疗服务提供者“无法获得”该记录，但该记录将在个人死亡后保留30年，或在个人出生日期(如果死亡日期未知)后保留130年。

正如TechRepublic的澳大利亚编辑克里斯·达克特(Chris Duckett)所写:

最初的立法支持我的健康记录表明,开放允许澳大利亚数字卫生机构,该机构负责监督计划并确保公民信息安全——将信息传递给任何政府机构可以为增加公共收入。

参见:任何政治家都不应错过我的健康记录故事(ZDNet)

在强烈的反对之后，堪培拉才做出让步，选择掩盖法案中的一些漏洞——包括需要司法官员的命令才能获得数据，而删除实际上意味着删除。

但政府的顽固不化和对人权的失礼并不止于此。

新成立的澳大利亚民政部门部长Michael Pezzullo继续记录之前和他的机构的人工智能方法,提出了一种线在沙地上,不仅对边境安全,但对每一个决定在政府,涉及一个人的基本人权,称这是一个黄金法则。

他说:“任何机器人或人工智能系统都不应该以一种最终无法与负责任的人类决策者联系起来的方式剥夺某人的权利、特权或权利。”

在被并入内政部之前，Pezzullo是移民和边境保护局(DIBP)的秘书。

2014年2月，DIBP不小心公布了近1万名寻求庇护者的详细信息，包括他们的全名、出生日期、性别、国籍、移民拘留期、地点、船只抵达信息，以及一名进入者被归类为“非法”进入澳大利亚的原因。

澳大利亚内政部认为它是安全的，因为它有一个网络护城河(ZDNet)

Pezzullo的部门——由内政部长Peter Dutton领导——还将负责一个面部识别系统的中心枢纽的运作，该中心将连接澳大利亚政府机构之间的身份匹配系统。

澳大利亚首席科学家艾伦·芬克尔说

今年2月，澳大利亚政府向众议院提交了两项法案，目的是创建一个系统，将照片与存储在联邦和州机构的公民身份进行匹配。:《2018年身份匹配服务法案》(IMS法案)和《2018年澳大利亚护照修正案(身份匹配服务)法案》。

该法案将允许州和地区执法机构使用该国新的面部匹配服务，以获取其他司法管辖区的护照、签证、公民身份和驾照图像。

面对验证服务(艘)是一个一对一的基于图像的验证服务,将匹配一个人的照片对一幅图像的一个政府记录,而脸部识别服务(FIS)是一对多,基于图像的识别服务,可以对多个政府与一个不认识的人的照片记录来帮助建立自己的身份。

政府声称，只有警察和安全机构，或者签发护照、移民和公民身份文件的机构内部的专业防欺诈部门才能进入FIS。

FVS现已开始运行，提供护照、移民和公民身份图像。FIS将很快上线，民政事务总署5月份告诉议会情报与安全联合委员会，尽管声称对披露签约供应商享有豁免权，但它已从一家供应商那里购买了用于FIS的面部识别算法。

今年5月，联合委员会还听取了人权委员会的桑托(Santow)的意见。桑托表示，身份匹配法案存在违反澳大利亚人权义务的“高风险”。

根据桑托的观点，有四个主要的关注领域:比例;自治;缺乏民主监督;以及欺诈和其他意外后果的风险。

“这些法案对澳大利亚人隐私的影响是前所未有的，”他说。“这些法案的问题在于，一些被允许用于共享个人信息的用途非常广泛，它们可能会赋予执法和情报机构几乎不受限制的权力来共享个人数据。”

他说，保护措施还没有写进法案，只是在解释性备忘录中提到，这可能会导致对澳大利亚人的“大规模监视”。

全球人权、公共政策和倡导组织AccessNow的执行主任布雷特·所罗门(Brett Solomon)指出21世纪初的澳大利亚卡的想法，称这个概念是专制的，他说，生物识别数据库的想法让这个国家回到了原来的位置。

他在会议上表示:“尽管后果非常严重，但澳大利亚公民社会内部很少有反对意见。”

“对于假阳性或对你做出的将你定罪的决定，即使不是你自己的决定，责任机制是什么?”我们如何真正地收回那些不代表我们的面孔……一系列包括面部识别问题和然而,账单之前议会很可能通过与反对党的支持,突然有一个可删节,我们身份的不安全的数据库,将人工智能和物联网和地理位置,创建的艾伦·芬克尔在谈论的事情。”

感谢澳大利亚的多样性，改善了面部识别能力(ZDNet)

索罗门所在的组织发表了一份关于数字时代人权状况的报告，他担心澳大利亚政府在推行保姆国家理念方面会走得太远。

“坦率地说,这个政府是喝醉了监视,有很多法律已经通过近年来,几乎是不可能的,那么多的组织正在研究这些问题在澳大利亚是志愿组织应对这个巨大的网络安全行业……再加上一个高度紧张的政府正在应对网络恐怖主义和网络犯罪活动的现实，”他告诉人权组织;技术会议。

他说:“我认为，我们希望得到一个人权的结果，或者对公民更好的结果，不管我们用什么方式来表述这个结果，让公民社会与政府内部的拥护者合作，再加上能够创造真正伟大结果的公司……我想鼓励这种参与。”

去年7月，澳大利亚前总理马尔科姆•特恩布尔(Malcolm Turnbull)和时任司法部长乔治•布兰迪斯(George Brandis)宣布了一项立法计划，将迫使互联网公司协助执法部门破解端到端加密发送的信息。

TechRepublic的姐妹网站ZDNet质疑该法案在技术上是否可行，并询问总理数学定律是否会超越澳大利亚定律。

特恩布尔对ZDNet表示:“我可以向你保证，澳大利亚的法律在澳大利亚是占上风的。”“数学定律是非常值得称赞的，但在澳大利亚唯一适用的定律就是澳大利亚的定律。”

在媒体采访中，特恩布尔确保让澳大利亚人知道，他的意图是保护澳大利亚免受恐怖主义的袭击，保护社会不受涉及恋童癖的犯罪团伙的侵害，而不是像英国《窃听者宪章》(snoopers’charter)那样，对法律的技术规范进行简单的抨击。

今年6月，时任澳大利亚执法和网络安全部长的安格斯•泰勒(Angus Taylor)重申了政府的说法，即他们在寻找后门，并添加了一些奇怪的额外内容。

“现在有时有人认为，机构应该有特权访问所谓的‘金钥匙’——一种特殊的钥匙，你可以打开它，你可以解密数据。科技行业对此进行了大力反击，称这对他们的设备和系统的安全构成了所谓的‘后门’或威胁，”他说。

“未来几周，我们将开始就新的立法进行磋商，该立法将使我们的电信拦截和搜查授权现代化。(这项立法)不会创造‘后门’。本届政府承诺不设“后门”。没有必要让执法机构访问解密密钥，否则只能由用户单独控制。

“我们不需要为了得到我们需要的东西而削弱加密。”

但泰勒的演讲中更让人反感的是，他提到了澳大利亚禁止寻求庇护者入境的荒谬做法。

“实际上，对澳大利亚人来说，‘阻止机器人’和‘阻止船只’一样重要，”他说。

所罗门，还有许多在人权与和平会议上发言的人。他说，破解加密并引入任何形式的后门都不是正确的方法。

“在这个国家，加密遭到了大规模攻击;加密是开放互联网的绝对核心，为了让我们拥有尊重技术的权利，加密是必需的，”所罗门说。

澳大利亚称愿意为数字议程破坏人权(ZDNet)

AccessNow的一份报告要求澳大利亚改变路线，成为人权的捍卫者而不是反对者。

违反人权的“高风险”生物识别法案:专员(ZDNet)

澳大利亚人权专员表示，身份匹配法案需要更明确的保障措施，以保持与国际人权义务的一致，而澳大利亚法律委员会(Law Council of Australia)则对生物特征数据是否可以免于强制数据违反报告规则提出了质疑。

澳大利亚政府和IT项目“运作良好”的松散定义(ZDNet)

美国公共服务部(Department of Human Services)的一名代表板着脸对参议院一个委员会说，该部门的数据匹配“机器人债务”项目进展顺利，因为它节省了开支。

澳大利亚面临的外交挑战是避免网络军备竞赛(ZDNet)

好战的?家长式作风?新殖民主义?在邻国眼中，澳大利亚自信的新网络参与战略可能会大不相同。

AWS警务人脸识别工具凸显人工智能在某些市场的争议(TechRepublic)

亚马逊的reko正在根据执法用例进行实时识别，这引起了美国公民自由联盟的强烈反对。

开发更好的数据算法的4个技巧(TechRepublic)

算法质量会影响您的公司是否做出正确或错误的决策。以下是一些让你的生意更精明的方法。

人工智能:趋势、障碍和潜在的胜利(Tech Pro研究)

越来越多的组织正在寻找利用人工智能来推动数字转型的方法。这本电子书着眼于人工智能技术的潜在好处和风险，以及它们对商业、文化、经济和就业前景的影响。