传媒教育网

 找回密码
 实名注册

QQ登录

只需一步,快速开始

搜索
做个试验
楼主: 刘海明
打印 上一主题 下一主题

人工智能与新闻业案例集锦

[复制链接]
121#
 楼主| 发表于 2019-8-2 23:51:34 | 只看该作者
【案例】

Van den Hoven:规范倡导者,推进以人为本的人工智能原则
荷兰代尔夫特理工大学伦理与技术教授范德霍文(Jeroen van den Hoven)把“规范倡导者”确定为讨论人工智能长期发展的核心内容之一。他赞同欧盟委员会关于制定人工智能伦理原则必要性的评估,认为这一问题将符合全球相关领域的长期发展轨迹。
然而,范德霍文引用埃马纽埃尔·马克龙对待人工智能的政策和态度,表达了自己对欧盟“人类的人工智能”模式的观点。他对于互联网技术企业权力的高度集中表示担忧。范德霍文认为,人工智能伦理与发展应围绕人权、法治和民主进行设计。“设计人工智能必须优先考虑能自然引起道德伦理反应的直觉性人工智能工程,通过这种方式来解决搜索引擎和新闻源算法中的偏差。”他还强调了价值敏感设计的必要性,其中伦理价值观和规范随着时间的推移,经过多次重复与人工智能设计紧密相关。这样,创新本身就会成为一种道德伦理概念。
范德霍文讨论了未来人工智能的四个主要道德伦理领域:知识和透明度;控制;自由和选择;隐私。
关于知识和透明度,他提出,由于人类常常将事情变得复杂,这给人工智能“解释”人类行为带来了挑战。而透明度具有递归功能,应成为人工智能伦理的重要组成部分(即AI成为解决搜索引擎中偏差的方案)。关于控制,范德霍文认为,需要讨论人工智能是否有权按照传统意义生活,并且根据讨论结果,思考对人工智能进行重要人为控制的哲学根据。对自由和选择的警告,主要围绕人工智能的“轻推”误用及其影响大片社会群体行为和态度的能力。最后,在隐私方面,他认为,欧盟的《通用数据保护条例》可以被视为一项全球标准,以保护互联网用户,在人工智能发展的同时,保持用户的自主权和对人工智能的主导权。
最后,范德霍文鼓励各国政府以激励多方利益相关者和部门,参与和实施可信任框架的形式积极合作,推进以人为本的人工智能原则。
*本文内容出自2019全球人工智能技术大会“全球视角下的人工智能伦理论坛”,由北京大学博古睿研究中心春季实习生、北京大学燕京学堂在读研究生李康圭(Kangkyu Lee)整理
范德霍文Jeroen van den Hoven
荷兰代尔夫特设计价值研究所科学主任、欧盟委员会欧洲伦理小组成员、《伦理学和信息技术》主编。伦理与技术4TU.中心创始成员及科学主任、荷兰研究委员会责任创新项目创始人及项目主席。2009年,凭借在伦理和信息通信技术方面的贡献,荣获世界伦理技术奖、国际信息和通信科技奖以及国际信息和通信技术协会奖。2017年,被授予荷兰狮子勋章。著有《设计的伦理》、《邪恶在线》。
编辑:王豪

122#
 楼主| 发表于 2019-8-2 23:58:11 | 只看该作者
【案例】

“人工智能能否超越人类”为何争议不断?

1956年夏季,在美国达特茅斯学院举行的一次重要会议上,以麦卡赛、明斯基、罗切斯特和申农等为首的科学家共同研究和探讨了用机器模拟智能的一系列问题,首次提出了“人工智能”这一术语,它标志着人工智能这门新兴学科的正式诞生。此后,人工智能在发展历史上经历了多次高潮和低潮阶段。
1956年人工智能被提出后,研究者们就大胆地提出乐观的预言,达特茅斯会议的参与者之一赫伯特·西蒙(Herbert Simon)还做出了更具体的预测:10年内计算机将成为国际象棋冠军,并且机器将证明一个重要的数学定理。西蒙等人过于自信,其预言没有在预测的时间里实现,而且远远没有达到。这些失败给人工智能的声誉造成重大伤害。
1971年,英国剑桥大学数学家詹姆士(James)按照英国政府的旨意,发表了一份关于人工智能的综合报告,声称“人工智能研究就算不是骗局,也是庸人自扰”。在这个报告的影响下,英国政府削减了人工智能的研究经费,解散了人工智能研究机构。人工智能的研究热情第一次被泼了冷水。[1]
20世纪90年代,以日本第五代机器人研发失败和神经网络一直没有突破为代表,人工智能进入了第二个冬天,直到21世纪初,深度学习与互联网大数据结合才使人工智能又一次迎来新的春天。在阿尔法围棋等大量突破性成果涌现之后,人类对机器(AI)能否超越人类的问题又重新燃起了热情。狂热的情绪背后甚至产生了人工智能威胁论。
谷歌技术总监、《奇点临近》(The Singularity Is Near)的作者雷·库兹韦尔(Ray Kurzweil)预言人工智能将超过人类智能。他在书中写道,“由于技术发展呈现指数级增长,机器能模拟大脑的新皮质,到2029年,机器将达到人类的智能水平;到2045年,人与机器将深度融合,那将标志着奇点时刻的到来。”除此以外,支持人工智能威胁论的代表人物还包括著名物理学家霍金、微软创始人比尔·盖茨、特斯拉CEO马斯克等。
2014年12月2日,霍金在接受BBC采访时表示,运用人工智能技术制造能够独立思考的机器将威胁人类的生存。霍金说:“它自己就动起来了,还能以前所未有的超快速度重新设计自己。人类呢,要受到缓慢的生物进化的限制,根本没有竞争力,会被超越的。”
特斯拉CEO马斯克对待人工智能的态度比较极端,2014年8月,他在推特上推荐尼克·波斯特洛姆(Nick Postrom)的著作《超级智能:路线图、危险性与应对策略》(Super Intelligence: Paths,Dan-gers,Strategies)时写道:“我们需要重点关注人工智能,它的潜在危险超过核武器。”
2017年10月,日本著名风险投资人孙正义在世界移动大会2017上表示,他认为机器人将变得比人类更聪明,在大约30年的时间里,AI的智商将有望超过1万点。相比之下,人类的平均智商是100点,天才可能达到200点。孙正义说:“奇点是人类大脑将被超越的时刻,这是个临界点和交叉点。人工智能和计算机智能将超越人类大脑,这在21世纪肯定会发生。我想说的是,无须更多的辩论,也无须更多怀疑。”
在人工智能威胁论热度日益高涨的情况下,人工智能领域的科学家对人工智能威胁论提出了反对意见。2014年4月,脸书人工智能实验室主任,纽约大学计算机科学教授杨立昆(Yann LeCun)在接受《波普杂志》(IEEE Spectrum)采访时发表了对人工智能威胁论的看法,他认为人工智能的研究者在之前很长的一段时间都低估了制造智能机器的难度。人工智能的每一个新浪潮,都会经历这么一段从盲目乐观到不理智最后到沮丧的阶段。
杨立昆提出:“很多人觉得人工智能的进展是个指数曲线,其实它是个S形曲线,S形曲线刚开始的时候跟指数曲线很像,但由于发展阻尼和摩擦因子的存在,S形曲线到一定程度会无限逼近而不是超越人类的智商曲线(如图1所示)。未来学家们却假设这些因子是不存在的。他们生来就愿意做出盲目的预测,尤其当他们特别渴望这个预测成真的时候,这可能是为了实现个人抱负。”
1 杨立昆预测的人工智能发展曲线

另外,百度首席科学家、斯坦福大学计算机科学系和电子工程系副教授吴恩达,中国科学院的李德毅、王飞跃等教授等也在不同场合对人工智能威胁论提出了反对意见。
2017年7月在《哈佛商业评论》(Harvard Business Review)的一次会议上,吴恩达谈道:“作为一名人工智能领域的从业者,我开发和推出了很多款人工智能产品,但没有发现一条人工智能在智力方面会超过人的可行之路。我认为,工作岗位流失反倒会是个大问题,担心人工智能过于强大就好像担心人类会在火星过度殖民导致火星人口爆炸一样。我很希望数百年后我们能在火星生活,但目前甚至还没有人类登上过火星,我们为何要担心在火星过度殖民的问题呢?我希望我们能重视对这一问题的解决,而不是整天沉醉在那些科幻作品中才可能出现的场景里。”[2]
由此可见,在关于机器(AI)的智力能力能否超越人类的问题上,世界上最有影响力的人分成了两个对立的阵营,一个阵营里是著名的物理学家、企业家和投资人,另一个阵营里是计算机领域和人工智能领域的科学家。为什么会有这种巨大的争议?不得不说,问题的背后的确有着非常复杂的原因,但其中有三个难点是主要原因。
第一个难点是,智力或智能本身就是一个有着巨大争议的问题,无论在心理学领域还是人工智能领域,智力是争议最大的概念之一。智力被许多人用不同的表达方式进行了定义。据统计,目前有关智力的定义超过100种以上,但关于智力的明确定义依然处在争议和讨论中。智力概念出现如此混乱的情况与心理学家对智力的不同理解有关,同时大脑是人类最复杂的器官,如何认知智力本身就具有先天的复杂性。
美国著名心理学家和认知心理学家斯腾伯格(Sternberg)是智力三元理论的建构者,他注意到智力概念的变迁问题,指出不同时代的研究者虽然使用相同的术语,但新来者会不断赋予术语以新的意义,如在智力的内涵上,20世纪20年代的心理学研究者更重视期望,而20世纪80年代的研究者更重视文化因素。关于智力,研究者们有着数百种不同的定义[3],表1反映了部分研究者对智力的定义。
1. 部分研究者对智力的定义

第二个难点是,没有统一的模型能反映机器、AI和人类的共同特征。我们知道,由于生命的多样性,人类、动物、植物甚至微生物在智能的表现上千差万别,如人类有更丰富的创造力和想象力,狗有更灵敏的鼻子,蝙蝠有更灵敏的耳朵,而老鹰有更敏锐的眼睛。
这种差异同样发生在机器人和AI系统上,如谷歌的阿尔法围棋在围棋上表现突出,已经多次战胜人类围棋冠军。IBM的沃森系统拥有更丰富的人类科技、文化、经济常识,其在2011年美国电视智力答题节目《危险边缘》(Jeopardy!)中击败两位人类选手;德国库卡、日本发那科公司的工业机器人在分拣货物和装配机器设备等领域,效率远远超过了人类。
当时间的列车驶入21世纪,人类在为机器(AI)能否超越人类的问题争论时,面临的一个重要难题是,需要有个模型能把计算机、AI和人类甚至其他生命(如蚂蚁、牛、羊)统一起来进行基本特征的描述。
第三个难点是,生命进化是否有方向。按照目前主流的观点,人类、动物、AI、机器人在进化方向上就不应该一样,那么如何将它们放在一起比较就是一个无法调和的问题,因为如果进化方向不一样,也就不存在谁超越谁的问题了。
例如,在百米比赛中,所有选手都要沿着同一个跑道向同一个终点冲刺。这样,才能根据选手到达终点的时间评判出名次。相反,如果比赛是在北京长安街的一个十字路口上开始,一些选手向西以西安作为终点,一些选手向东以青岛作为终点,一些选手向南以深圳作为终点,最后一些选手向北以哈尔滨作为终点,那么这样的比赛就不存在谁超越谁的问题。
本文经授权摘编自《崛起的超级智能》,标题为编者所加。
人工智能能否超越人类,你怎么看?
小赛将在留言区随机抽取三位读者,赠送《崛起的超级智能》一本
参考资料
[1] 李德毅, 于剑. 人工智能导论 [M].北京: 中国科学技术出版社, 2018.
[2] http: / / tech. ifeng. com / a / 20170726 / 44655402_0. shtml.
[3] 周泓, 张庆林. 斯腾伯格的智慧平衡理论述评 [J].心理科学, 2001.
编辑:王豪

123#
 楼主| 发表于 2019-8-3 00:03:44 | 只看该作者
【案例】

中国科学报社与北京大学科研团队联合研发
首个科学新闻写作机器人“小柯”问世
8月1日,首个科学新闻写作机器人——“小柯”正式“上岗”,其创作的首批作品发布于同日上线的科学网小柯机器人频道(http://paper.sciencenet.cn/AInews/)。
“小柯”由科学类专业媒体机构中国科学报社联合北京大学高水平科研团队研发而成,旨在帮助科学家以中文方式快速获取全球高水平英文论文发布的最新科研进展。
据了解,发表经过同行评议的科研论文,是科学界公认的科研成果发布和评价的主要形式,已成为科研活动链条上的核心一环。通过这一方式,可以有效记录科研过程、促进学术交流、厘清科学贡献、追溯科技发展脉络。但是,高水平论文大部分以英文发表,而我国科学家因语言和文化背景不同,再加上论文数量庞大,如何快速精准地获取自己所需的相关科研进展,一直是摆在一线科研人员面前的难题。
如今,“小柯”有望成为一线科研人员的“跨语种学术信息秘书”,帮助他们高效解决上述难题。
本项目所遴选的论文全部来源于国际公认的高水平学术期刊。其中,项目一期首批科学新闻来自生命科学、医学领域的知名期刊,包括《自然》《科学》《细胞》《新英格兰医学杂志》等。预计项目第二期将扩展到生命科学领域其他知名期刊;第三期将扩展到其他研究领域,并计划囊括国际会议、专利等。
中国科学报社副总编辑、项目负责人张明伟认为,该项目在助推科技创新和科学普及方面具有开创性意义。“小柯”机器人利用先进的机器算法语言,以英文论文摘要作为基础,快速“写出”中文科学新闻底稿,再经过专业人士和中国科学报社编辑的双重人工审校和信息补充,很大程度上能够满足我国一线科研人员快速了解主流英文期刊资讯的需求。同时,利用“机器人写作”技术将科研论文转化为公开的科学报道,也为公众和其他大众媒体提供了一扇了解最新科学进展的窗口,对促进科学普及工作大有裨益。
北京大学计算机科学技术研究所万小军团队长期从事文本自动摘要与机器人写作方面的研究工作,是本领域的知名科研团队,在该项目中负责“小柯”机器人系统总体设计与联合技术攻关。万小军表示,“小柯”是业界首个面向跨语言科学新闻生成的写作机器人,采用了原创与二次创作相结合的混合创作方式生成科学新闻,其创新之处在于通过融合领域知识进行语句智能筛选,从而选择适合大众理解的语句;同时,基于语句简化提升语句翻译质量,克服了当前学术文献领域机器翻译效果差的问题。
张明伟表示,将人工智能技术运用到科学新闻写作是一个全新领域,存在许多难点。项目前期进行了大胆探索和尝试,克服了诸多难点,取得了积极效果。但可以预料,后续仍会碰到很多新问题,项目组将收集科研人员与公众的意见和建议,做好后续改进、开发和服务工作。
据介绍,“小柯”机器人是“全球华人科学家社会化智能网络学术交流平台”建设项目的一个子项目。该平台建设项目依托科学网,利用互联网、新媒体、人工智能技术,力争打造快捷、方便、智能的学术交流平台。项目得到了北京市海淀区文化发展专项资金的大力支持。
编辑:王豪

124#
 楼主| 发表于 2019-8-3 00:08:12 | 只看该作者
【案例】

机器人是道德行动者吗
作者简介:雷瑞鹏,华中科技大学人文学院副院长,哲学系教授(湖北武汉  430074);冯君妍,华中科技大学哲学系博士生(湖北武汉  430074)。
〔摘要〕设计和制造机器人的技术仅仅着眼于安全性是不够的,还须涉及伦理标准,这需要厘清和分析与制订机器人伦理准则相关的基本概念和哲学问题:机器人是一个什么样的实体,以及机器人是否是一个行动者和道德行动者。在目前以及不远的将来,机器人不是一个在哲学意义上的行动者,更不是一个道德行动者。因此,我们目前制订的不是规范机器人行为的伦理标准,而是规范设计、制造和使用机器人的人的行动的伦理标准。
〔关键词〕 机器人  行动者  道德行动者  意向性  自主性  责任
file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml14172/wps7.png
目前机器人在许多领域从事许多不同的工作,按应用可以分为工业机器人、家务机器人、医用机器人、服务机器人、军用机器人、娱乐机器人、空间机器人以及满足嗜好和用于比赛的机器人等。为确保机器人产品的质量和安全性,各国都制订了设计和制造机器人的标准。目前由于机器人的设计、制造和使用都出现了越来越多的伦理问题,因此许多与设计和使用机器人有关的企业家、科学家和伦理学家认为仅仅制订集中于确保安全性的标准是不够的,需要制订有关机器人的伦理标准。但我们必须首先回答:什么是机器人,什么是伦理,什么是伦理标准这样一些问题。如果大家对此的理解不一致,就会影响有关制订什么样的伦理标准以及今后伦理标准的实施问题。
一、“机器人伦理标准”的概念
制订机器人伦理标准涉及一些概念问题,对这些问题的不同回答,会直接影响制订什么样的伦理标准问题。
1.机器人(robot)。“机器人”这个术语来自捷克语“robot”。这个词首先出现在捷克作家写的一篇剧本里,这个词的原意以及它这篇剧本里的意义是指“人造的人”,它是机器,但与人一样具有自我意识和社会关系能力,它们受人压迫剥削,最后起来造反。显然中文里的“机器人”不是指“人造的人”。我们在目前或不远的将来制造和使用的“机器人”没有一个可称之为“人”或“人造的人”。因此,我们的“机器人”不是“人”。也许未来我们会制造出“人造的人”,即有自我意识和社会关系能力的机器(即使不是生物有机体,而是电子、机械的身体)。但我们也可能通过合成制造出拥有自我意识和社会关系能力的非人的生物体(不是由碳氢氧分子为基础的生物有机体),那么它们虽然也是“人造的人”,但不是“机器人”。我们还有可能通过转基因或基因编辑使高等动物具有与人一样的自我意识和社会关系能力,但称它们为“动物人”也许更为合适,而不能称它们为“人造的人”,因为它们本来就拥有动物的身体,更不能称它们为“机器人”。
1)“机器人”与机器之间的区别。一般认为,机器是由人制造的,通过物理的移动来完成某项或一组复杂的任务;是一种由用户或外部自动化控制的物理工具;是一种机械或电气设备,执行或协助执行人类的任务,无论是物理或计算的、费力或娱乐的;可以由动物和人驱动,也可以由自然力和化学、热力、电力驱动;必须受到人的监督或控制。例如汽车、家用电器等。“机器人”则是一台不依赖外部控制的机器;用来执行一些复杂的任务或一组任务,特别是可以编程的机器;可以由外部控制装置引导,也可以由嵌入其中的控制装置引导;它的所作所为使人觉得它似乎有智能或它自己的想法。例如人形机器人、无人机等。简言之,“机器人”不过是更为复杂的机器而已。我们可以进一步问:机器发展到哪一点开始被称为“机器人”了呢?是复杂性到一定水平,还是因为它内置有软件?例如一台台式打印机有机械、电子产品和固件,但它不是“机器人”。一台Roomba智能扫地机器则是“机器人”。有人认为,与机器不同,“机器人”有反馈回路,它从环境采取输入,用它做出如何影响它环境的决策。
2)人与“机器人”之间的区别。人与“机器人”不难区别。“机器人”是机器,它往往或几乎始终是自动的,这是说它能依靠自己进行活动,无需外部变数的帮助,像人一样。它按照原来给它编的程序或设计的活动方式进行活动。这些活动被描述为仿佛是它有自己的“意向”(intent)。例如,设计来打乒乓球的机器人活动起来像一个乒乓球运动员。与之相反,人是有机的个体,是“他”或“她”,而不是“它”。人体死亡后,不会起死回生,与容易修复的“机器人”相反。虽然“机器人”可显示复杂的操作程序,但人远为先进得多,人有机器人无可比拟的高度发达的脑,使人能发明创造。人又是高度社会化的个体,形成社群和家庭,他们能形成关系,产生复杂的感情或情感,如爱情。概括起来:人是有机体,而“机器人”不是;人在各个方面比“机器人”更为复杂和优越得多;人是高度社会化的。
3)“机器人”与人工智能之间的区别。机器人学和人工智能服务于完全不同的目的。然而,人们往往把它们混为一谈。机器人学与人工智能是两个不同的领域,它们重叠的地方是人工智能机器人(artificially intelligent robots)。因此,我们可以明确地区分三个术语。a.机器人学(robotics)是技术(technology)中处理“机器人”的一门分支。b.“机器人”是可编程的机器,通常能够自动地或半自动地完成一系列动作。“机器人”的三个特点是:通过传感器和致动器与物理世界互动;可编程;通常是自动或半自动的。说“通常”,因为有些机器人不是自动的,如远程机器人(telerobotics)是完全由人类操作员控制的。这是机器人定义不十分清楚的一个例子。有些专家认为机器人必须能够“思维”和做出决策。然而,对“机器人思维”没有标准的定义。我们可以要求一个机器人能够“思维”,使它拥有一定水平的人工智能。然而,在定义机器人时,必须考虑到,机器人学是设计、制造物理机器人并为它们编程,仅有一小部分涉及人工智能。c.人工智能(AI)是计算机科学的一门分支,它研发计算机程序以完成要求人类智能完成的任务。AI算法能够处理学习、感知、问题解决、语言理解以及逻辑推理等。现代世界以许多方式使用AI,如AI算法用于Google搜索、亚马逊推荐引擎、卫星导航寻路仪等。但是大多数AI程序并未用于控制机器人。即使AI用于控制机器人,AI程序仅是更大的机器人系统的一部分,机器人系统还包括传感器、致动器以及非AI编程。人工智能机器人是机器人与AI之间的桥梁,有一些机器人是由AI程序控制的。而许多机器人则不具有人工智能。直到目前为止,所有工业机器人仅能够被编程完成一系列重复性的动作,重复性动作不要求人工智能。非智能的机器人在功能上十分有限,机器人要完成更为复杂的任务往往需要AI程序。例如,简单的(人-机)协作性机器人(cobot)就是非智能机器人的一例。我们可以容易地给一个协作机器人编程让它捡起一个物件然后放在另一个地方。协作机器人以完全同样的方式继续不断地捡起和放置这个物件,直到我们把它关掉为止。这是一种自动的功能。因为在机器人被编程后不要求任何人类的输入。这项任务不要求任何智能。我们可以用AI扩展协作机器人的能力。如果我们增加一架摄影机在协作机器人上,机器人的视觉变为“感知”(perception),这就要求AI算法。例如,如果要协作机器人探测它正在捡起的物体,并根据物体的类型把它放在一个不同的位置。这就涉及专门化的视觉程序训练,去辨别不同类型的物体,做到这一点的唯一方法是使用一种叫模板匹配(template matching)的AI算法。我们可以看到机器人学与人工智能是两回事:前者涉及制造机器人,而AI涉及编程的智能。然而,仍留有一个容易使人混淆的地方,即软件机器人(software robots)这个术语。“软件机器人”是一类计算机程序,它自动地操作去完成一项虚拟任务。它们不是物理机器人,因为它们仅存在于计算机内。经典的例子是搜寻引擎webcrawler,它在互联网漫游,对网站进行扫描,将它们分门别类以供搜寻。一些高级的软件机器人甚至可包括人工智能算法。然而,软件机器人不是机器人。根据以上讨论,我们的结论是:机器人是机器,不是人。于是就产生了译名是否合适的问题。既然,robot是机器,不过是可编程的机器,那就不应该译为“机器人”和“机器人学”。这些译名有误导作用:让人以为机器人是人。
2.伦理。在“机器人伦理标准”这一短语中的“伦理”是“伦理学”一词的形容词:“有关伦理学的”。伦理学是探讨人的行动规范的哲学学科,即根据伦理学的理论和方法研究人应该做什么,不应该或禁止做什么,以及允许做什么,借以制订评价我们的行动是非对错的标准。伦理学可分理论伦理学和实践伦理学。机器人伦理学(roboethics)是实践伦理学的一门分支。目前有一些代表性著作,如《机器人伦理学:机器人学的伦理和社会含义》 以及《机器人伦理学2.0:从自动化汽车到人工智能》。
3.标准。在“机器人伦理标准”这一短语中的“标准”(standard)就是规范的意思。“伦理标准”就是伦理规范,即一个评价我们行动是非对错的伦理框架,包括体现基本价值的伦理原则以及更为具体的伦理指南和伦理准则。
二、制订“机器人伦理标准”的哲学基础
制订“机器人伦理标准”的哲学基础与前面讨论的机器人概念有联系,并直接影响到我们给谁制订伦理标准的问题,即“机器人是否是一个行动者(agent)”或“机器人是否是一个道德行动者(moral agent)”。在哲学、行为科学和社会科学中,“行动”(action)一词有其特定的意义,与行为(behavior)有区别。行为是自动的反射性活动,而行动则是有意向、有目的、有意识和对行动主体有意义的活动。例如,跑步就是行动,它涉及意向、目标以及由行动者指导的身体活动;而感冒不是一种行动,因为它是碰巧发生在一个人身上而不是一个人做的事情。行为是系统或有机体对来自内外环境的刺激的反应。按照社会学家坎贝尔(Tom Campbell)的说法,行为是一种反射,是对发生的事情的应答,因此行为需要刺激;而行动是一种具有意向的活动,它要求行动者的意识参与。安斯康姆(Elizabeth Anscombe)和戴维森(Donald Davidson)都认为,行动要根据行动的意向性来说明。行动概念的核心是两点:其一,有意向的行动概念比行动概念更为基本;其二,有意向的行动与由于某个理由而行动存在密切的联系。他们都认为,在基本的意义上,行动是一个行动者所做的根据某种描述是有意向的活动。例如,有人走近窗把双手上举,你问他干什么?他说“我要开窗”。那么我们可以说,这样的描述(“我要开窗”)说明他的走近窗把双手上举这一行动是有意向的。另外,他们都认为有意向地行动与由于某个理由而行动之间存在密切的联系,甚至认为二者是一回事:有意向地行动“举手”就是由于某个理由而行动。
意向性这个概念也应用于人工智能机器能否思维的讨论中。图灵(Allan Turing)于1950年的一篇题为《计算机器与智能》的论文中提出了著名的图灵测试(Turing Test),用以测试计算机器是否具有人的智能,试图解决机器能否思维的问题。其设计是,有一部计算机器和一个人分别在各自封闭的房间内,机器与人通过电传打字机用自然语言交谈,另一个人是裁判,他不知道哪个房间是人,哪个房间是机器,他根据在屏幕上显示的电传打字机打出的文字来判断哪个房间里是计算机器,哪个房间里是人。如果在5分钟之后,裁判不能可靠地区分出机器与人,那么机器就通过了测试,那就可以说机器能够思维。争议焦点是:思维、认知或智能是否就是计算。塞尔(John Searle)于1980年设计了一个中国屋(Chinese Room)思想实验。塞尔在一间屋子内,屋子外面有一个说中国话的人,他不知道塞尔在那屋子内。塞尔不懂中文,但能说流利的英语。说中国话的人通过槽孔把卡片送入屋内,在这些卡片上有用中文写的问题。作为输出,这屋子将卡片退回给说中国话的人。塞尔靠一本规则手册输出用中文书写的回答。屋子里的塞尔就像一部计算机,不懂中文。塞尔利用这个思想实验进行的论证是:计算机程序完全是由其形式的或句法的结构界定的;而人的心有心灵内容(例如人在思维时有意向)。因此,任何计算机程序本身不足以拥有心(mind)。所以,按照编程进行计算,虽然答案可以与人给出的答案一致,但只是模拟思维,不是实际的思维。塞尔论证的中心点是:图灵测试中的机器和中国屋中的塞尔并不是在从事意向性行动,因此不是在进行思维或智能活动。
迄今为止的机器人不过是可编程的机器,它们并不具有意向和理由,因为它们没有意识,没有自主性,没有自由意志。它们的所作所为不过是按照人给它们编制的程序进行的动作,不能称之为行动(action),因此它们不是行动者(agent)。如果机器的动作不是一个有意向、有目的、有理由、经过思考的行动,它们怎样对它们的所作所为负责呢?
三、伦理责任问题:人,而不是机器人
机器人不是行动者,更不是一个道德行动者。道德行动者是一个有能力来辨别是非并对他的行动及其后果负责的人。道德行动者负有不对他人造成得不到辩护的伤害的道德责任。道德行动者具有道德行动的能力,仅仅是那些能够对他们的行动及其后果负责的人才有这种能力。儿童和某些智障成人没有或只有一点成为道德行动者的能力。具有完全心智能力的成人仅在极端情况下丧失道德行动能力,如被扣为人质时。如果人们能够作为道德行动者行动,我们就可以认为人们要对他们造成他人伤害的行动负责。那么机器人拥有道德行动能力吗?迄今为止没有。既然没有,如果它们的动作伤害了人,能够要求它们负责吗?因此,必须确立这样一条原则:是人,不是机器人是负有责任的行动者。
设计和操作机器人时应该尽可能符合伦理规范和现行的法律。这项原则突出了人需要承担机器人行为的责任。然而这项原则进一步提出了伦理责任问题:(1)由人而不是机器人承担责任的理由,即认为是人而不是机器人是负有责任的行动者的理由;(2)设计符合伦理规范和现行法律的机器人是否就足够或充分了;以及(3)认为机器人不负有道义责任的含义。
人而不是机器人是负有责任的行动者可以有两个理由:其一是基于生物有机体与机械机器之间的区别以及道德的生物学基础;其二是社会需要承担人工制品的责任。就第一个理由而言,丘奇兰(Partricia Churchland)指出,道德有其生物学基础,关心他人在哺乳动物中有依恋和联结关系的生物化学基础,出于自我维护的延伸以及哺乳动物避免对其近亲的伤害。人和其他哺乳动物对他们自己以及他们依恋的亲人的安康感到焦虑,并发展出更为复杂的社会关系,能够理解和预测其他人的行动。他们也会将社会习俗内化,体验到因分离、排斥或被指责而引起的痛苦。人和非人哺乳动物拥有内在的公正意识。关心自己,并且推己及人关心他人形成在人之中发展出道德的基础。与之相对照,机器人并不关切对它们自己的保护或避免痛苦,更不要说避免其他人的痛苦了。一台机器人并不因从它体内摘除零部件而感到痛苦,更不要说去关切给一个人造成的损伤或痛苦了。当然,人们可以争辩说,我们可以给机器人编程,使它仿佛是在自我保护或关切他人,但这只有通过人的干预才有可能。关于第二点,目前的机器人不能独立于它们的人类设计者。它们是与人拴在一起的人工制品,我们不能把责任推给人工制品,因为机器人的行为和输出必然依赖于人类设计者和研发者。例如,一个人见某人携带一个包裹,他为后者开门,这是一个符合道德的行动;但如果是一台传感器,它检测到一个人走来,把门打开,人们并不认为机器开门者是做了一件符合道德的行动。与生物有机体不同,机器人的发展始终要求人的干预和介入。这里的关键是,机器人及其控制系统依赖于人的干预。也许机器人有朝一日做出不能预测的决定,但让它们这样做出决定的也是人。机器人做出的任何决定都将仍然依赖于它们的原初设计。即使机器人有朝一日经过训练能够做出决策,但也需要人的干预。因此,由人来承担责任是一项至上命令。
设计机器人遵循伦理规范和现行法律之所以不足够或不充分,其理由是机器人学尚未将伦理规范和现行法律用公式表述出来,有些领域还没有制订相应的规范和法律。例如设计用作家里陪伴的机器人有泄露隐私的风险,然而我们必须回答许多问题,例如在多大范围内机器人已经获得的信息将为其他人可及,对此几乎没有立法,仅有伦理学的关切:将脆弱的老人留给机器人照护有风险。因此,现行的伦理规范和法律不足以保护人不受因使用机器人而可能遭遇的风险。另外的理由是,由于机器人不是道德行动者,我们可以给机器人编制若干组规则的程序以决定它们的行为,但这并不意味着它们能够做出符合道德的决策。当人在社会境遇下做出如何行动的决策,他们必须做更多的事情,而不仅仅是遵循规则。例如,他们的决策基于他们对自己所做的是否合适的理解;他们对自己的决策和结果的反馈是敏感的;他们会对已经做出的决策进行反思,并且对其未来的决策进行调整或修改。
如果机器人不是负有责任的行动者,那么这是否会限制我们赋予它的角色和影响到我们对它们的部署。例如有人提出不应该让机器人做出有关生死的决策,因为它们缺乏理解社会境况的能力,同时也因为人的生死决策应该由人而不是机器人来做出,这包括不能让机器人来当警察。如果将这个论证进一步延伸,那么也不应该让机器人当教师(做出对学生进行奖惩的决策),不能让照护机器人做出有关与其他人分享有关老人私人信息的决策,机器人保姆不能就受它照护的儿童做出决策等。因为所有这些决策都可能涉及道德判断以及对社会境况的评价。机器人很难对这些决策做出好的抉择。
那么,什么时候机器人可以成为一个道德行动者呢?机器人要成为道德行动者,必须拥有道德行动能力,对此必须回答三个问题:机器人是自主的吗?机器人的行为是有意向的吗?机器人处于负责任的地位吗?如果回答“是”,那么机器人就是一位道德行动者。
自主。第一个问题问的是,机器人是否能不依赖机器编程者、操作者和使用者而成为自主的。这里的“自主性”也许不是在严格哲学意义上的自主性,而是工程意义上的自主性,即只是说,机器不是在其他行动者直接控制之下。机器人必须不是一台远程机器人,仍然处于离它距离很远的人的直接控制之下。如果机器人具有这种水平的自主性,那么我们就可以说,机器人拥有实用的独立行动能力。如果这种自主的行动在实现机器人的目标和完成它的任务中是有效的,那么我们就可以说这种机器人拥有有效的自主性。机器人的自主性越有效,那么它在实现目标、完成任务中就越熟练,我们就可以说它拥有更多的行动能力。然而,自主性本身不足以使我们说机器人拥有道德行动能力。例如细菌、许多动物、计算机病毒或简单的自动机器人,都展示出一定的自主性,但它们不是负责任的道德行动者,因为它们缺乏下面两个要求,因此我们不能要求它们拥有像有行为能力的成年人一样的道德权利和责任。
意向。第二个问题问的是,机器是否具有“有意向地”行动的能力。这里我们也不要求机器具有哲学意义上的意向性,只要在实践中,机器的行为很复杂,迫使机器依赖日常心理学的“意向”观念,去做给他人带来具有道德意义的好处或伤害的事情,就足以对此问题做出肯定的回答。如果机器人的程序编制与环境的复杂相互作用引起机器采取具有道德意义的有害或有益于他人的行动,并且这种行动似乎是经过深思熟虑和计算好的,那么这部机器就是一个道德行动者。这里所需要的一切是,所有参与互动的行动者都拥有一定水平的意向性和自由意志。
责任。第三个问题问的是,当机器人采取某一行为时,我们是否唯有假定它对他人负有某种责任才能理解它的行为。如果机器人的行为唯有假定它在履行某种义务时才能理解,那么这类机器人就拥有道德行动者的地位。这里同样地,我们不能要求机器人拥有在哲学意义上的与人一样的意识和心(mind)。例如照护机器人是被设计来帮助照护老人的。如果照护机器人是自主的,它的行为是有意向的,并且它理解它有照护老人的义务,那么它就与人类护士一样是一位道德行动者。即使一台机器人有自主性和意向性,但如果没有责任心,其同样不是一个道德行动者。
满足这三个要求在逻辑上是可能的,但在近期则是不大可能的。在目前以及不远的未来,机器人仅是可编程序的机器,不是一个哲学意义上的行动者,更不是一个道德行动者,如果它做了错事,它不负责任,这是设计、制造和使用机器人的人的责任,人不应该把责任推给机器人。因此,如果我们要制订伦理标准,那不是给机器人制订行为标准,而是应该给设计、制造和使用机器人的人的行动制订伦理标准。
原文刊登于《道德与文明》2019年第4期
编辑:王豪

125#
 楼主| 发表于 2019-8-3 00:20:08 | 只看该作者
【案例】

维赫雅|论优质人工智能
【作者】维赫雅(Bart Verheij),荷兰格罗宁根大学人工智能系主任、教授、博士生导师, 斯坦福大学法律信息学研究中心研究员,国际人工智能与法协会主席(IAAIL)。
【译者】黎娟,中南大学法学院讲师,荷兰蒂尔堡大学法学博士。
【摘要】如何才能在实现人工智能伟大梦想的同时,不让最糟糕的恐惧成为现实呢?这需要开发能够进行建设性批判讨论的论证系统。这一经试验和检测的系统工具可以更好地服务于科学研究、政治、家庭生活。只有基于这样的论证系统,才能开发出面向好的答案、提供好的理由、做出明智选择的优质人工智能。开发优质人工智能的一个瓶颈是架构起知识系统和数据系统之间的桥梁。数据系统的本质是基于已有数据描述数据,并尽可能多地提供好答案,但数据系统本身不能做出选择,也不能提供明确的理由,因其内部操作不透明性而被视为“黑箱”;知识系统使用逻辑,可以给出好答案、提供好理由、做出好选择,但其弊端在于难以规模化,也不能处理视觉和其他几何结构化信息。为此,需要将知识和数据系统各自具备的良好特征结合起来,在寻求正确的数学基础上,开发出能够构建和评价论证的计算机程序。最终,这一基于推理开展批判性讨论的论证系统将弥合知识系统和数据系统之间的鸿沟,并为优质人工智能的实现奠定基础。
【关键词】知识系统;数据系统;论证系统;法律与人工智能
一、人工智能的梦想和恐惧
近来,许多报纸都在刊登关于人工智能的故事。故事的数量不断上升。这些故事的主题充满了梦想和恐惧。看上去,计算机似乎已无所不能:如果头条新闻可信,机器现在可以踢足球、开卡车,还有提供就业咨询。同时,人工智能也激发了无穷的想象力。在公共道路上,自动驾驶汽车已驰骋多年;在经典棋类竞技赛中,最优秀的人类棋手接连成为计算机的手下败将;在工作场所,出现了科幻小说中描述的类人机器人。伴随着梦想,恐惧也在滋生。尽管现在许多工作仍然只有人类才能完成,自动化的不断延伸将深刻改变劳动力市场;当我们在网上公开个人信息时,公司和政府可以通过自动分析获得对我们更多的控制;而让武器系统自主做出是否继续攻击的决定,这一想法本身就十分可怕。上述论断足以让我们对人工智能保持警惕。
不出意外地,越来越多的注意力开始投向如何将人工智能合理地嵌入社会之中。近期,欧盟咨询机构之一——欧洲经济与社会委员会(European Economic and Social Committee)发表的一份意见呼吁对人工智能采取“人类控制”的方式。在这一方式中,机器是机器,而人类将始终控制这些机器。最近,包括特斯拉和谷歌在内的100多家机器人和人工智能公司的高层领导签署了一封公开信,呼吁禁绝“杀手机器人”。除了人类控制和禁绝之外,本文将解释另一条将人工智能合理嵌入社会的途径,那就是开发优质人工智能。本文将论证通往这一美好目标的路径是:开发论证系统,即在推理基础上开展批判性讨论的系统。
二、何为优质人工智能?
(一)人工智能的分类
为了解人工智能所包含的内容,有必要先区分专用人工智能、通用人工智能和超级人工智能。
专用人工智能是目前常见的一种能够执行经具体描述的智能任务的人工智能。当今所有的人工智能都是专门化的,包括那些能把填报纳税申报单变得像儿童游戏般简单的电脑程序,还有擅长在大量照片集中准确找出如树木类图片的智能手机app。多数研究者研究的是专用人工智能。
通用人工智能是指那些即便在极其多样化情境和复杂繁琐问题中,也能如人类般做到自我管理的计算机程序或机器。例如,它们不仅能读懂书也能进行创作,它们可以学习怎么在荷兰繁忙的街道上骑自行车,即便它们并非“出生”于荷兰。通用人工智能至今并不存在。如何实现通用人工智能和找出其不能实现的原因,是困扰研究人员的主要问题。超级人工智能是一种让许多人倍感担忧的人工智能形式。
超级人工智能的理念是,一旦通用人工智能实现,人类智能将不可逆转地落后于它。那么,在发明超级人工智能后,人类还会有一席之地吗? 没人能知道。尽管许多研究人员乐意在聚会和茶歇时就超级人工智能的议题交换意见,但在日常工作中,他们仍忙于应对各自专业领域中存在的科学瓶颈。
(二)人工智能的发展瓶颈
发展人工智能的一个瓶颈是如何架构起知识系统和数据系统之间的桥梁。在知识系统中,需要完成复杂任务的知识被输入电脑中,知识被表示出来且用于自动推理。数据系统则是通过对示例数据库的自动分析来学习如何处理问题。
最初,知识和数据这两类智能系统之间并不存在鸿沟。当人工智能作为一个研究领域于20世纪中叶诞生时(“人工智能”一词于1955年被创造出来),计算机编程本身是全新的,几乎所有通往人工智能的可能性方案都被一一实验。逐渐地,基于表示和推理的知识系统研究和基于示例学习的数据系统研究开始向不同的方向发展,两种研究运用的数学也各不相同——知识系统研究多使用逻辑,数据系统研究使用概率论。
以荷兰制定法中所规定的非法致损行为的赔偿条款为例,一方的手机因另一方的过失而跌落致损,根据《荷兰民法典》第6条第162.1款:一方不法行为使另一方受损,且该行为可归因于致损者,则致损者必须赔偿损失。这一法律条文的表述对四个条件做了区分,它们共同决定损害赔偿的义务。如果(IF)有损害且(AND)行为不合法且(AND)可归责且(AND)行为和损害之间存在因果关系,那么(THEN)就有损害赔偿的义务。图1是逻辑形式表示,这一矢量图显示了能更宽泛表达包含更多规则和例外的条文。
将这样一种类似规则的知识表示引入计算机程序中,可以构建出多样化的智能系统。例如,格罗宁根人工智能专业的学生已经为全科医生分类、诗歌分类、数字牧师建立了智能系统,甚至药剂师的专业知识也曾被知识系统所抓取。
在数据系统中,问题是通过学习如何分析示例数据库加以解决的。例如,在神经网络的“输入”端显示了各种形式的大写字母A,神经网络的内部结构(中间有一个“隐藏层”)不断进行调整,从而在“输出”端正确识别出这些字母。神经网络曾经被认为存在根本性局限,现在它已发展成一种强大的数据分析技术。
(三)优质人工智能的必要特征
笔者认为,需要开发的优质人工智能应该具备三个必要的特征:能够为问题提供好的答案;能够为答案提供好的理由;能够做出明智的选择。
1.关于好的答案
数据系统不是为了提供好答案而设计的,而是为了尽可能多地提供好的答案。在所有领域中,数据系统都擅长于此。通常,它们给出的好答案比人类要多。尽管表现不俗,但数据系统也会犯一些人类不至于很快会犯的错误。试举一例说明。人们经常会携带手机出行,这样,谷歌等软件可以很方便地追踪人们的行迹,并且为人们的行程绘制地图。在平时上下班中,笔者常骑自行车往返于帕德斯沃尔德与格罗宁根之间。谷歌数据库通过将往返路线标成绿色,往往能准确假设出笔者的自行车之旅,但是也有例外。情况发生在笔者偶然的一次格罗宁根与阿姆斯特丹的往返经历中。笔者在去程中(格罗宁根到阿姆斯特丹)选乘了火车,谷歌相应地将去程路线标记为蓝色。然而,出乎意料的是,谷歌却将返程路线标记成绿色,这意味着那是一趟自行车之旅。实际上,笔者在返程时选乘的也是火车。显然,在一个正常工作日,一趟190公里的自行车之旅并不太合乎常理。也许有人会很自然地想去纠正数据系统,因为一个普通人不太可能花两个小时从阿姆斯特丹骑车返回到格罗宁根。但这其实并不符合数据系统的工作方式。然而,这种纠偏适用于知识系统。
2.关于好的理由
数据系统不能回答它为什么会给出某个答案,因为它并没有明确的理由。所有数据组成一个整体以支撑答案。上述火车之旅之所以被意外地识别为自行车之旅,其实是数据系统分析其已有数据的结果。根据数据系统,相较于火车之旅,谷歌认为此次旅行更接近于数据库中的自行车之旅。这一结果的准确依据很难被确定。数据系统因此被视为“黑箱”,即人们无法深入数据系统的内部,而其内部操作并不透明。以笔者设计的“穷人的沃森”程序为例。该程序受IBM超级电脑“沃森”的启发。2011年,IBM“沃森”在美国智力问答竞赛节目《危险边缘》(Jeopardy!)中击败了两位最成功的选手,而这应归功于人类长期的研究努力。相比之下,“穷人的沃森”是一位研究员仅花一个下午就编写出来的程序(“穷人的沃森”因此而得名)。以“穷人的沃森”为例,是因为笔者想说明使用谷歌和维基百科的简单脚本可以做些什么,从而更好地理解《危险边缘》结局的特殊之处。由此看来,“穷人的沃森”在某些方面已经非常智能化了。当被问及创作《哥德尔• 埃舍尔• 巴赫》一书的作者且于1945年出生的人是谁时,“穷人的沃森”能准确回答出是“道格拉斯• 霍夫施塔特”,甚至还能补充“在巴尔的摩出生的发明之母的创始人”的正确答案(至少笔者几日前测试时是这个结果)。这是因为系统连接了互联网并能随时获取网络信息,因此任何事情都变得可能。但有的时候,长时间运行良好的事情会突然不起作用。曾经有一段时间,以“1940年出生”为关键词能检索出“在巴尔的摩出生的弗兰克•扎帕”,但现在它却不再显示。就此而言,数据系统并不能给出解释,因为系统没有理由。在上述旅行的例子中,也许有人会想问数据系统:“为什么你认为我是骑车从阿姆斯特丹去格罗宁根的?”但数据系统并不能答复这一问题。而知识系统可以。
3.关于正确的选择
数据系统本身不能做出选择, 而是基于已有数据描述数据。这一客观立场有利也有弊。当数据好时,选择便是好的。但数据并不总是好的。一个有名的例子是微软开发的聊天机器人Tay2016623日,Tay上线,它从与用户交流的示例中学习。不过,网络就是网络。网络与Tay的对话变得越来越古怪、不愉快,有时甚至带有攻击性,而这就是网络对话本来的样子。16个小时后,微软让Tay下线。另一个例子是新闻中高频出现的搜索引擎引发的种族歧视。这激发了笔者想要了解真实情况的好奇心。于是,笔者在搜索引擎中输入“人类”一词后,确实看到了很多人类的照片。结果显示,搜索出来的36个人中有4个是女性,其中一个是卡通人物形象。卡通形象所显示的女人是唯一明显不是白人的“人”。不过,谷歌数据显然将其视作了人类形象。由此,仅描述数据并不足以理解一个复杂的世界。为达到预想的效果,人们往往需要远离数据。不仅如此,还要教化数据系统停止这些侮辱性言论,但数据系统并不会接纳这些建议。相比之下,知识系统会。
三、开发面向优质人工智能的论证系统
知识系统可以给出好的答案,可以提供理由,可以做出明智选择。这些正是优质人工智能的特征。但是,知识系统并不擅长数据系统所擅长的。众所周知,知识系统并不是为了从数据中学习而设计的。知识系统难以规模化,也不能处理视觉和其他几何结构化信息。而数据系统却很擅长这些方面。因此,需要将知识系统和数据系统各自所具备的良好特征结合起来。唯一的问题是,应该怎样结合所使用到的不同技术呢?
为寻求突破,笔者主张开发能基于论证进行批判性讨论的论证系统,并将其界定为:论证系统是可以开展批判性讨论的系统,在讨论中,假设可以基于合理的论证被构建、检验和评价。
举一个案例对论证进行说明。当证人证明犯罪嫌疑人不在犯罪现场,这就说明嫌疑人有不在场证明,而不在场证明能证成犯罪嫌疑人无罪。如果这是唯一的线索,说明嫌疑人是无辜的。但假如证人是嫌疑人的同伙,这说明证言是谎言,这反过来能证成证人不在场证明是不可信的。这一案例说明,更多的信息可以改变论证立场。换言之,嫌疑犯一开始被相信是无辜的,其后被怀疑直至被确信其并非无辜。这就是一种非单调逻辑系统。
(一)论证系统的发展自古以来,人们就研究论证。
论证于20世纪中叶一度发展成研究富矿(恰巧与人工智能发展同期)。当数学和形式方法威力渐显,论证理论的讨论却还停留在彼时的形式方法并不适合用来理解论证上,原因在于论证多出现“在野外(in the wild)(如政治场合、法院或家中)。巧合的是,与知识系统和数据系统之间的鸿沟类似,形式方法也逐渐分化为逻辑学理论和概率论理论,进而形式论证研究和非形式论证研究之间的鸿沟出现。上世纪七十年代以来,非形式论证理论开始走上正轨。形式论证理论则自本世纪初开始发展。尽管进展缓慢,但在人工智能中的论证系统研究的影响下,形式论证和非形式论证理论逐渐融合。论证研究的最新发展主要体现在两个方面:论证的数学基础、法庭证据正确推理和法律中规则以及案例之间的联系。
1、论证的数学基础
在关于形式论证和非形式论证的文献中,论证结构都颇受关注。前面所讨论的证人证词的论证就是其中一例,案例表明,评价相互攻击或通过反击来防御论证的数学总是惊人地多变并且异常有趣。自90年代中期以来,这种数学被作为图论的一种形式加以研究。图2显示了五种论证,箭头表示这些论证是如何互相攻击的。例如,论证α和β互相攻击,论证α也攻击γo。对攻击图形的评价是建立在论证不仅相互攻击也相互防御基础上的。当论证α没有被攻击时,它是未击败的,并最终成为论证辩论中的赢家(如图3所示)。当论证β攻击α时,攻击者β获胜而α失败。当β被论证γ攻击时,β失利。论证α不再因为γ对β的成功防御而失败。可以说,这一论证已被修复。
由此发展起来的数学可以作为构建和评价论证的计算机程序设计的基础。例如,笔者在ArguMed程序中对论证示例进行了构建和评估。该程序的一个形式特征是图表的图形结构与数学的逻辑结构同型,即图表中的箭头对应于逻辑中的条件句。
事实证明,通常没有唯一的方法来评估攻击图形。图4()以粗体显示了抽象论证的发明者董番明(Phan Minh Dung)所区分的四种原始语义及其之间的关系: 稳定语义、偏好语义、扎根语义和完整语义。笔者在博士研究中发现了另外两种:半稳定语义和阶段语义。这已经给出了六种可能性。当推理所支持的攻击被允许时,还会有更多的可能性。图4()已经显示了11种。不过,奇怪的是,在真实的论证中,语义是否是扎根的、完整的、偏好的或者稳定的,似乎从来都不是问题。问题在于,这种“美丽而有趣”的数学是否准确契合它所涵摄的现象,即论证。换言之,它是正确的数学吗?
2. 寻找正确的数学
为了寻找正确的数学,笔者和研究团队成员开始研究刑法中的法庭证据推理。吊诡的是,有三种理论方法可以用来组织和评估证据推理。第一种方法以论证为基础。如前所示,证人给出了嫌疑犯不在场的证明,但后来证人却被证明是嫌疑人的同伙。由此,论证分析的关键在于论点的收集和权衡。
第二种方法是使用情节。在证据的情节分析中,若干个与证据相关的情节被组织起来并相互比较。例如,“不在场证明”情节可以与公诉方提出的“犯罪”情节相比较。在情节分析中,起作用的是情节间的内在联系和融贯性。例如,没有动机或没有凶器的谋杀情节是不完整的。
第三种方法以概率论为基础。DNA证据在当今刑法中的作用不可或缺,其中DNA排除统计分析的作用尤为突出。由于匹配概率太小,DNA痕迹与嫌疑人的DNA完全匹配的情况很少出现。由此可见,以概率推理可能导致可怕的错误。
以三种方法为起点,我们开始探索三者之间存在的关系。最初,在荷兰国家科学基金委的资助下,论证和情节之间的关系成为我们的研究重点。这直接催生了弗洛里斯·贝克斯(Floris Bex)的博士论文。该论文由亨利·帕肯(Henry Prakken)、彼得·范·柯本(Peter van Koppen)和笔者共同指导。文中提出了一种新的对论证和情节之间的关系做形式化阐述的理论。如图5所示,横向的两种情节是犯罪中可能发生的,纵向的是支持和反对情节细节的论证。
之后,受荷兰国家科学基金法庭科学项目的资助,我们开始关注概率建模。贝叶斯网络是研究的起点,它结合了图形网络结构和概率,成为人工智能中一种有用的建模技巧。图6是一个关于贝叶斯网络的示例,包含三个节点和与之对应的概率表格和条件概率表格。贝叶斯网络的一个重要特点是可以利用变量之间的独立性对概率函数进行有效建模。夏洛克·弗莱克(Charlotte Vlek)在其博士论文中研究了情节和概率之间的关系。她开发了一种在贝叶斯网络中为犯罪案件情节建模的方法。在弗莱克博士构造的图形中,情节被表示为节点集,证据是灰色可视的。她还展示了如何用情节解释贝叶斯网络。舒尔德·梯马(Sjoerd Timmer)的博士论文更深入探究了论证和概率之间的关系。他开发了一种可以从贝叶斯网络中提取论证与反论证的算法。在梯马博士构造的图形中,背景是贝叶斯网络,中间是贝叶斯网络生成的支持图,前面是基于贝叶斯网络生成的论证。他还展示了如何在贝叶斯网络中对论证方案建模。
以上两篇博士论文是与亨利•帕肯(Henry Prakken)、西娅•卢努伊(Silja Renooij)、约翰•儒勒•迈耶(John Jules Meyer)和瑞内克•弗布鲁克(Rineke Verbrugge)卓有成效的合作成果,并吸收了贝克斯(Floris Bex)的许多建议。通过对贝叶斯网络中人工智能技术的研究,研究人员更深入地了解到,使用论证和以情节和论证作为评估证据推理的工具之间的关系。就此而言,笔者和研究团队成员得以用论证、情节和概率影响证据推理安全方法的讨论。
论证、情节和概率三者的结合最终产生了一种新型的论证数学。该数学的第一个形式化版本在加利福尼亚诞生,由图形化“语言”构成,用以表示对犯罪案件过程中已发生事件所做假设的构建、检验和评价。
3. 电影《捉贼记》的图形阐释
这里,以一个犯罪故事为例进行说明。阿尔弗雷德·希乔克(Alfred Hitchock)1955年拍摄了一部精彩的电影《捉贼记》(To Catch A Thief),故事背景设在法国南部。由加里·格朗(Cary Grant)扮演的罗比Robie曾是一名小偷,以其杂技般的攀爬技巧而出名。图7中的每一排都显示了所收集的新证据和被构建、检验和筛选的假设。矩形代表可能的假设,而每一排的概率空间在变小。最上端是两个被构建的假设:左边矩形表示罗比曾经实施过的不凡盗窃行为,右边矩形表示他不是小偷。证据是新实施的一系列盗窃行为与罗比多年前杂技风格行为之间的相似性。一开始,警方并没有偏向于其中任一假设。因此,第一排矩形面积是大小相等的。第二排右边矩形表示,由于罗比从警察那里逃脱了,他的清白和可信度降低了。但是,在一次夜间伏击和激战后,法国抵抗运动的参与者福萨德自屋顶跌落摔死。由此,罗比不再有嫌疑。因此,第三行中,代表罗比罪行的矩形消失了。现在福萨德是嫌疑人,但也存在无辜的可能性。当福萨德因腿上安装了假肢而不可能完成那些必要的特技动作时,他的嫌疑很快被洗脱了。在电影的后段中,福萨德的女儿在盗窃时被当场抓获并逮捕。她供述了在哪里可以找到被盗的珠宝。当在指定的地方找到珠宝后,没有人再怀疑她不是小偷。这就是为什么在最底端处只剩下一个矩形,它表示福萨德的女儿有罪。
矩形代表所有的概率和所有被认为可能的情形。当所有直线上的矩形被一个一个叠加上去时,这一点变得尤为明显。这就出现了图8中的模型。该模型由七个矩形组成,每个矩形代表事情发生的概率。矩形一代表罗比再次成为小偷的概率。矩形三代表的是福萨德的女儿最终被指认为小偷的概率。矩形的相对大小代表了它们的相对概率和相对可信度。在故事中,这些概率是逐渐被构建出来的,并伴随着不知道该相信什么的不确定性。直到最后,当所有的不确定性都被决定性证据排除后,只剩下了一个矩形。那么,所有合理的不确定性都被排除了,因为最后找不出关于不确定性的确切原因了。模型中展示了一个所有合理怀疑都被排除的过程;模型中也能确定福萨德的女儿就是小偷。而这一切只有在扩大可想象的概率的情形下才会发生改变。
这种图形语言包含了三个重要方面:
首先,推理的有效性可以从一系列可能的假设中推导出来。由此,形式主义为论证和反论证提供了语义。
其次,与贝叶斯网络不同,图形语言几乎不需要数字,而重点关注相对比例和数字顺序。
最后,逻辑学和概率论之间有一种天然联系。这一点令人惊讶。如前述及,形式和非形式论证研究(也包括笔者的研究)往往因逻辑学和概率论之间的差异而受到启发。
(二)以案例为中心的形式主义
对图形语言的形式阐述催生了一种以案例为中心的形式主义。图中的矩形与案例相对应。每个案例代表一种概率,一组能同时发生的属性。案例模型的数学定义如下。案例由逻辑一致、逻辑上不同(互不兼容)语句表示。它们是一种全前序,其关系是全序传递的,但不必然是反对关系。
定义:案例模型是一个序对(C,),其中有穷CL,对于所有的φ、ψ 和xC而言,定义如下:
1.   ¬φ;
2.如果  φ↔ψ ,那么╞ ¬(φ∧ψ );
3.如果╞ φ↔ψ ,那么φ=ψ ;
4.φ≥ψ 或 ψ ≥φ;
5.如果φ≥ψ 且ψ ≥x,那么φ≥x
可以用案例模型来定义论证的三种逻辑有效性。融贯论证支持一个可能的案例;推定论证支持一个极大优先的案例;决定性论证允许不融贯攻击。
定义:令(C,)是一个案例模型。对于所有的φ、ψ和xL:
1.(C,)╞(φ、ψ),当且仅当,∃ω∈C:ω╞ φ∧ψ
那么,就案例模型而言,从φ到ψ的论证是融贯的。
2.(C,)╞ φ⇒ψ,当且仅当,∃ω∈C:ω╞ φ∧ψ,且∀ω∈C
如果ω╞ φ,那么,ω╞ φ∧ψ。
那么,就案例模型而言,φ到ψ的论证是决定性的。
3.(C,)╞ φ⇝ψ,当且仅当,∃ω∈C
(a) ω╞ φ∧ψ;且
(b) ∀ω'C:如果ω '╞ φ,那么ω≥ω '
就案例模型而言,从φ到ψ的论证是推定有效的。当这一论证并非是决定性的,则它可被适当废止。当(φ∧χ, ψ)并非推定有效,χ情形可反驳或允许攻击。当(φ∧χ, ¬ψ)推定有效,则攻击情形可反驳,否则这些情况可底切。当(φ∧χ,ψ)不连贯时,攻击情形具有排斥性。
正是数学上的精确性和哲学上的相关性使得全前序被视作是那些从数值上可实现的序。这些排序既可定性也可定量,既可包含也可不包含数值。因此,案例模型的优先排序也可数值化,事实证明,它甚至可以用一种与概率论衔接的方式实现。因此,三种有效论证的定义可以用定量的方式改写。在给定前提下,连贯论证对应于正条件概率下的结论;推定论证与高于阈值的概率相符;决定性论证与等于1的概率相符。这样,论证就架起了逻辑学与概率论的桥梁。逻辑描述案例的性质,概率论描述案例的优先序。
(三)论证、案例和规则的结合
如前所述,案例模型的数学是通过思考法庭证据的正确推理而发展起来的,其后,它在论证、情节和概率如何实现互不干扰地共存的思考中继续发展。至此,问题的关键在于,一个复杂论证结构的有效性能否通过案例模型得以重构?更确切地说,在给定包含规则及其例外情形的规则结构的前提下,是否存在这样一种所包含的规则都有效的案例模型呢?
事实证明这是可能的。前文述及的法律中论证、案例和规则之间的关系就是一个好例子。关于三者之间关系的议题,最先源于笔者和笔者所指导的第一个博士生(前期与雅普•哈赫合作指导,后期与汉斯姆•克罗伯格合作指导)的研究关注点。起先,荷兰法律中有关非法行为损害赔偿的形式结构要点成为需要解决的问题(对此,笔者以“荷兰制定法中所规定的非法致损行为的赔偿条款”为例对知识系统进行了说明)。为此,一个包含16种情形的案例模型被建构出来,模型中的结构是有效的(图9)。尤为特别的是,这些几乎不结构化的案例集使复杂的论证结构变得有效。因而,图1()中论证结构中的知识正是根据图9案例集的数据表述出来的。
  
四、迈向优质人工智能
回到搭建人工智能的桥梁,尤其是搭建知识系统和数据系统之间桥梁的话题上来。由于案例模型中的案例可以被视为可用于学习的数据(如数据系统中的数据),而案例模型中的规则可被视为有效的(如知识系统中的知识结构),因此,成熟的数学能为弥合知识和数据之间鸿沟的论证系统奠定基础(10)。这一论证体系可以成长为优质人工智能。这一成长中的智能系统可以给出好的答案、提供好的理由、做出明智选择。
首先是好的答案。论证系统为批判性讨论中的复杂问题寻找答案,如果找不到这样的答案,它就会寻找最佳答案。这远远超过我们所能从数据系统中获得的好答案的最大值。同时,论证体系中的知识可以持续稳定地扩充,这一扩充是通过利用可得数据而建构并评价新的假设而实现的。
然后是好的理由。在论证体系中理由至关重要。在回答“为什么”的问题时,论证体系会对一系列支持或反对给定答案的理由进行分类,并时常补充一些可能的选项。这样,论证结构在与数据保持连接时,也能从“内部”洞察知识结构。
最后是明智的选择。论证系统可以固守规则,也可以在考虑特定情形时遵循所获取的规范。基于其批判性讨论的能力,论证体系可以给出批判性反驳,这正是正式讨论中关于明智选择所必须具备的内容。
结语
随着论证系统的发展,人工智能的梦想越来越近,恐惧更加可控。相较于现有的规制人工智能的两个提议——加强人类控制和禁绝“杀手机器人”,笔者的主张开辟了另一条规制人工智能的替代性进路。论证系统为人们在合理论证的基础上开展批判性讨论铺平了道路。尽管赢得这样的批判性讨论并不总是很容易,甚至有的时候我们会输。就此而言,这与人们所习惯的科学、政治和日常生活并无二致。但这就是问题的关键:智能行为并不是为了赢得讨论,而是为了在一个复杂多变的世界里为生活中的难题找到好的答案。正如人们从科学、政治和日常生活中所体味的,这需要批判性讨论。开发优质人工智能能帮助人们实现这一愿望,然而,到目前为止,这一项迷人且具有挑战性的任务依然只有人类才能完成。显然,在实现优质人工智能(计算机和机器人会是批判性讨论中严谨的“伙伴”)之前,仍需要完成大量的研究。
说明:(1)本文英文版系维赫雅教授就职于格罗宁根大学的演说稿。图表有小部分删节,另外,由于参考文献数量较多,此处不一一罗列。关于完整的参考文献,请参见演说稿的英文版,下载地址:http://www.ai.rug.nl/~verheij/ssail2019/ 本文翻译中,得到熊明辉、郑珩、魏翔等师友指正,特此致谢。(2)本文中文版发表在《甘肃社会科学》2019年第4期第92-99页,微信版推送删除了注释部分,引用请以杂志发表版为准。
编辑:王豪

126#
 楼主| 发表于 2019-8-3 23:31:17 | 只看该作者
【案例】

权威学者Solove:美国会对隐私问题统一立法吗?| DataLaws
充分借鉴《健康保险流通与责任法案》的经验可能是最合理、最实用的解决方案,但美国制定联邦层面隐私统一立法的可能性仍然相当低。
| Daniel J. Solove
乔治华盛顿大学法学院教授,隐私法领域享誉全球的权威学者;TeachPrivacy公司创始人,并担任多家世界500强企业的专家顾问
最近一段时间,关于美国联邦层面是否会制定隐私统一立法的讨论越来越多。20世纪70年代、80年代和90年代,美国国会开始制定隐私法,但是至今一直没有出台联邦层面的隐私统一立法。
美国选择的是分散立法模式——制定多部仅针对特定行业适用的法律。90年代末21世纪初,美国一些企业提议制定统一的隐私立法,全国上下也对此展开过简短的争论。但是,大多数企业都表示不支持,他们认为分散立法没有问题,愿意接受联邦层面、州层面多部隐私法的分散监管。
我当时曾在一些会议、活动中表达过自己的观点,我认为“不制定隐私统一立法”这一看法非常短视。世界其他国家已经开始向制定隐私统一立法这一方向迈进。多部法律的分散监管导致隐私保护存在许多空白和漏洞,也导致法律内部存在诸多自相矛盾的地方。而当时的国会什么也没做。
国会的瘫痪与各州的崛起
2000年以来,很多隐私立法在国会得不到通过。国会倒是通过了一些现行法律的修正案,但是很多重要的隐私规制法律都没有获得通过,更不要说制定联邦层面的统一立法了。
在应对隐私和数据安全的问题上,国会显然制定不出一部精细的、能够平衡各方利益的法律。究其原因,在很大程度上是由于党派之争、拒绝妥协、不够成熟。正是在此期间,各州通过大量的法律。每个州都制定了自己的数据泄露通知法,通过了无数的隐私法。其中,加州表现得尤为突出。
欧盟《通用数据保护条例》(GDPR)于20185月起开始实施,加州《消费者隐私保护法案》(CCPA)随后出台,这些再次引发了关于是否制定联邦隐私统一立法的争论。
不少人说:是时候了。
现在,业界急需一部统一的隐私立法。201811月,国家电信信息管理局(NTIA)就是否应制定联邦统一隐私法向社会征求意见,许多企业表示赞成。
但是我认为在本届国会任期内不太可能会出台一部统一的隐私立法。
联邦隐私统一立法涉及许多复杂的问题,例如个人信息的定义、法律的适用范围、删除权、数据携带权、供应商管理、隐私设计、联邦优先权、救济措施、私人诉权,等等。
到目前为止,这届国会面对问题时,表现出来的更多是拒绝妥协。因此,随便从上面这些难题里拿出来一个,国会都无法形成共识,更别说要求他们在所有问题上达成一致了。
联邦的优先权就是一个非常复杂的问题,要弄明白如何行使优先权、行使多大的优先权,不是一件容易的事。甚至在是否需要优先权的问题上,国会就存在不小的分歧。对于加州这样有影响力的大州,让他们的国会议员放弃此类重要问题的规制权,是不太可能的。
因此,我并不认为国会能够顺利出台一部隐私统一立法。
未来的方向:由FTC制定规则
有一种方法可以帮助国会在这个问题上有所作为。是什么方法?
国会可以授予联邦贸易委员会(FTC)以特殊的规则制定权,由联邦贸易委员会制定统一的隐私规制法律。目前,部分行业的隐私法规已经授予了联邦贸易委员会规则制定权,例如《儿童在线隐私保护法》(COPPA),《金融服务现代化法案》(GLBA)等。
《联邦贸易委员会法》(FTC Act)第5条规定了联邦贸易委员会的管辖范围。根据该规定,联邦贸易委员会的规则制定权有限且繁琐——这有效限制了其制定规则的权力。在这一背景下,通过国会的特别授权,联邦贸易委员会将获得更大的规则制定权。
在打击隐私侵权、保障数据安全方面,联邦贸易委员会多年来的表现虽然称不上完美,但是也做得不错。在我与伍德罗·哈特佐格(Woodrow Hartzog)合写的文章《联邦贸易委员会与新隐私习惯法》(The FTC and the New Common Law of Privacy)中,我们对联邦贸易委员会的执法案例进行了分析,指出其执法实践都是基于人们普遍认可的规范和做法,具有一致性。
应在第5条的基础上,赋予联邦贸易委员会更大的管辖权。第5条规定的权限范围虽然很宽泛,但还是留有一些空白。例如,该条不适用于非营利组织。但是,很多非营利组织都存在侵犯隐私的可能,如果将其排除在监管范围之外,那么以后要是再出现剑桥分析这样的公司,他们就很可能会给自己贴上非营利组织的标签,从而规避规制。
借鉴HIPAA的经验
《健康保险流通与责任法案》(HIPAA)的经验具有一定的借鉴意义。由于健康隐私问题太过复杂,国会自己应对不了,因此把规则制定权下放给卫生与公众服务部(HHS)。卫生与公众服务部于是制定了《健康保险流通与责任法案》(实际上是一系列规则)。
1996 年,时任美国总统克林顿签署《健康保险流通与责任法案》
在我看来,《健康保险流通与责任法案》是美国较好的隐私法之一,如果没有最好的话。虽然该法案远非十全十美,但它是美国所有法律中与欧盟《通用数据保护条例》的风格最接近的一部。
《健康保险流通与责任法案》为我们描绘了一幅美好的蓝图。我不建议大规模复制《健康保险流通与责任法案》,但其中许多重要的元素应该在隐私统一立法中得到体现:使用限制、同意的条件、去身份识别的规定、供应商管理要求、数据执行权力、严厉的惩罚、重要治理的规定等。
如果法律有效,优先权就没有必要
对于联邦法律是否应优先于州法律的问题,一般认为如果联邦法律没有优先权,那么各州将会继续出台各自的隐私法。这些隐私法加起来数量会是巨大的,但人们不可能去遵守这些杂乱无章、自相矛盾的隐私法,因此需要赋予联邦法律以优先权。
事实上,《健康保险流通与责任法案》就不具有优先于州法律适用的效力,但是现实中并没有出现各州大量出台更加严格的健康隐私法的风潮。
加州之所以出台《消费者隐私保护法案》,是因为联邦立法机构在隐私保护问题上不够积极。
国会基于隐私悖论privacy paradox)认为公众对隐私的担忧是不理性的、没有根据的。隐私悖论是指人们口头上表示很在乎隐私,但行动中却表现得完全不在乎。但是,加州民众明确表示他们非常在意个人隐私。
《消费者隐私保护法案》在全民投票中得到629000名民众的支持,以显著优势获得通过。立法者和反对者长期以来淡化隐私保护,但是现在的情况是民众真的关注个人隐私,并且希望隐私得到更有意义的保护。
加州制定《消费者隐私保护法案》的原因很简单。如果联邦立法者达到了公众对隐私保护的期待,那么各州就不会在隐私立法的问题上如此着急。
现在的情况是,国会在隐私保护上不作为,而民众又十分担忧隐私问题,因此州立法自然而然就出现了。相比于消除人们的担忧,减轻担忧对减少州立法更加有效。这样一来,优先权也就没有存在的必要了。
保罗·施瓦茨(Paul Schwartz)写过一篇名为《优先权和隐私》(Preemption and Privacy)的文章,这篇文章非常精彩。作者在文中提出许多有说服力的论点,来说明为什么联邦不应享有优先权。
彼得·施怀雅(Peter Swire)曾就优先权写过一篇很棒的文章,发表在国际隐私专业人士协会(IAPP)的博客上,这篇文章由两部分组成。
第二部分的核心论点是:一项不合理的优先权条款可能会造成无法预见的灾难性后果,会扰乱州法律的正常运行(窃听法、医疗保密法、教育隐私法等)。优先权可能会对成千上万部法律产生干扰,也会造成优先权适用范围问题上的诉讼混乱。
美国商会(U.S.Chamber of Commerce)提出过一项联邦统一隐私法提案,其中的优先权条款很荒谬:
本法的规定应优先于所有州、所有地区以及所有州下属政治性区域的所有法律、法规、规则、条例、要求或类似规定,包括但不限于侵权法、税法、消费者保护法以及不正当执业法,只要这些规定涉及隐私与个人信息安全或构成隐私与个人信息安全的执法基础。
这项规定极其宽泛、模糊,过于简化。对于优先权这样一个复杂的问题,该规定显得不仅可笑而且愚蠢。
我现在担心的是许多业内人士和国会议员会坚持认为优先权不可或缺,没有优先权,就无法阻止州立法的浪潮。但是,对于优先权这样一个棘手的问题,如果强行坚持,那么很可能会使制定隐私统一立法的所有努力化为乌有。
相比之下,《健康保险流通与责任法案》的做法就简单多了,设定保护下限而不去设定保护上限。这种做法能够轻松避开很多困境,避免隐私统一立法的努力被扼杀。
因此,我的方案很简单,那就是充分借鉴《健康保险流通与责任法案》的经验。把细节问题都丢给联邦贸易委员会,让它通过制定规则去解决;设定保护下限而非保护上限,以此绕开优先权的争议;赋予州检察长一定的执法权。
《健康保险流通与责任法案》中有很多行之有效的做法,可以将它们作为隐私统一立法的起点。这就是目前我能想到的最合理、最实用的解决方案。
通过对过往隐私法的回顾,我们得到的经验教训是,如果法律能够提供有意义的保护,并且州检察长有相应的执法权,那么联邦法律就没有太多必要享有优先权。各州会主动作出让步。
尽管上文提出的解决方案务实且可行,但我仍认为美国制定联邦层面隐私统一立法的可能性相当低。
翻译:段雨潇
编辑:王豪

127#
 楼主| 发表于 2019-8-4 15:14:47 | 只看该作者
【案例】

工信部副部长陈肇雄:构筑我国人工智能发展新优势
据工业和信息化部8月2日消息, 8月1日,以“AI+教育:跨界融合与创新发展”为主题的“人工智能与教育大数据峰会·2019”在北京召开,工业和信息化部副部长陈肇雄出席会议。
陈肇雄指出,近年来,我国新一代人工智能创新能力不断提升,产业规模不断扩大,产业生态加快形成,与实体经济融合逐步深化,在助力经济高质量发展、保障和改善民生等方面发挥了重要作用。
陈肇雄强调,当前全球人工智能正处于加速发展阶段,我们要准确把握新一代人工智能发展规律,积极推动人工智能与教育深度融合,加快人工智能人才队伍建设,构筑我国人工智能发展新优势。
一是坚持创新引领,夯实融合基础。完善产学研有机协作的技术创新体系,积极探索人工智能与教育融合创新路径;系统布局前沿基础科学研究,支持源头创新、前沿创新、颠覆创新、非对称创新;突破应用基础理论瓶颈,掌握一批关键核心技术,夯实融合创新基础。
二是坚持需求导向,培养融合人才。以服务国家战略性、引领性、重大基础共性需求为目标,以产业升级和教育个性化、精准化、智能化需求为导向,加强人工智能交叉学科建设,找准突破口和主攻方向,加快高层次、复合型、创新型人才培养。
三是坚持产教结合,完善融合生态。加快推进以企业为主体的创新成果转化,优化产学资源配置,创新合作模式,促进教育链、人才链与产业链、创新链有机衔接,形成产教创新双向传导、人才双向流动、融合双向促进的良好局面。
四是坚持协同开放,营造融合环境。完善教育智能化基础设施建设,引导规范教育数据有序安全开放,推动跨行业、跨区域、跨国界合作,促进更多“智能+教育”融合应用场景落地,扩展人工智能与教育融合的广度与深度。
原文链接:
编辑:王豪

128#
 楼主| 发表于 2019-8-5 22:07:20 | 只看该作者
【案例】
文章转载 | 可信任:人工智能伦理未来图景的一种有效描绘
可信任:人工智能伦理未来图景的一种有效描绘
闫宏秀
(上海交通大学,上海,200240)
基金项目:上海市社会科学规划一般课题“数据记忆的伦理研究”(2017BZX004),负责人闫宏秀。

本文发表于《理论探索》杂志2019年第四期,总第238期。

作者简介

闫宏秀,博士, 2003年毕业于复旦大学哲学系,现就职于上海交通大学,现担任上海自然辩证法研究会理事、上海中青年技术哲学论坛发起人、负责人、中国自然辩证法研究会技术哲学专业委员会常务理事等。曾于2015年6月至2016年6月由留基委全额资助赴牛津大学访问一年。

研究方向:技术哲学、设计哲学、技术社会学。
邮箱:[email protected]

〔摘要〕可信任人工智能的构建发端于人对技术伦理旨趣的审度,可信任的存在逻辑在于人工智能创建了基于任务和基于目标信任得以产生的可能条件,并在与人类的交互之中呈现出某种关联性的信任。可信任人工智能应基于信任边界厘清的前提下,兼顾技术伦理学的通用原则和人工智能自身的技术  特性,在有效监督和对技术动态的发展与应用的审慎批判中,确保人工智能向善。反观欧盟的“可信任人工智能的伦理框架”,其所阐述的技术与非技术两个方面的构建路径、判别标准为可信任人工智能实现提供了有效的实践保障,但其对信任边界问题的搁置或排除则使其有效性遭遇质疑。
〔关键词〕信任度,人工智能,伦理
〔中图分类号〕N1
〔文献标识码〕A
〔文章编号〕1004-4175(2019)04-0038-05

    人工智能伦理研究的本质是对人与技术关系的再度厘清与辨析。在人工智能的背景下,人与技术的关系是基于某种信任而形成的一种新型深度融合。这种信任是人与人工智能关系存在的前提条件。但这种信任除了传统意义上的人际信任之外,还涉及人对人工智能以及人工智能系统间的信任。关于这种信任的哲学考察,可以借助信任的表征——可信任来进行。即通过可信任来解码人与人工智能的关系,描绘人工智能伦理的未来图景。但这种描绘是否有效呢?对此, 本文将从伦理旨趣、存在逻辑、实现途径三个方面,解析可信任人工智能何以可能,以推进人工智能向善。

一、可信任人工智能的伦理旨趣

    对人工智能未来发展图景的伦理描绘是基于人工智能技术的发展目标与伦理观念的有机融合。因此,人工智能的伦理问题研究既应包括对现有伦理问题的哲学反思,也应涵盖对技术未来发展的一种框定。这种反思与框定源自人类对技术伦理旨趣的审度。如,斯坦福大学“以人为中心的人工智能”(Human-Centered AI Initiative,简称 HAI)研究计划就是旨在通过多学科的携手合作,导引人工智能造福人类,共筑人类美好未来〔1〕。易言之,该计划的伦理目标通过技术追求人类福祉。欧盟委员会在其所发布的“可信任人工智能的伦理框架”(Ethics Guide- lines For Trustworthy AI)〔2〕中,以追求人性和善、谋求人类福祉和自由的目标为导向,对人工智能信任机制建立的原则与路径进行了详细阐述,进而确保可信任人工智能的实现。因此,该框架的出发点不是对人工智能的发展是否需要伦理进行探讨,而是指向人工智能需要以何种伦理为框架,以及如何实现其伦理目标。

    与“可信任人工智能的伦理框架草案”(Draft Ethics Guidelines For Trustworthy AI)相比,该框架关于可信任人工智能组成部分的界定由伦理和技术两部分变为法律、伦理和技术三部分,且每个部分自身均为实现人工智能信任度的必要但非充分条件。即可信任人工智能应当是合乎法律的、合乎伦理的、且技术方面是稳健的。但鉴于法律部分在伦理和技术这两个部分已经有某种程度的体现,且上述两部分的全面实现也将超越现存的法律要求。因此,该框架的目标主要是为促进和确保人工智能的发展能合乎伦理,并为实现技术方面的稳健性提供指南〔2〕。从中可见,可信任人工智能的核心所在是伦理和技术,而伦理与技术并非是割裂开来的,技术具有反映与实现某种伦理旨趣的功能。如该框架所描述:其之所以可信任,是在于其“能通过产生新的财富、创造价值以及将福利最大化的方式来改善个体和群体的生活状态。其能通过“促进经济机会、社会机会以及政治机会的平等分布,来提升公民健康和福祉,进而构建公平的社会”〔2〕。

    就可信任而言,吉登斯(Anthony Giddens)在其关于抽象体系中的信任解读中,将可信任(trustwor- thiness)分为“建立在彼此熟悉的个人之见和基于很长时间了解,从而互相从对方的眼中看出可信度证据的个人之间”〔3〕两类。这两类主要在于人与人之间,而“可信任人工智能的伦理框架”中所言的可信任已经超出上述两类,将可信任延伸到了技术之中。这种延伸一方面体现了基于主客体二元对立的视角,由作为主体的人对作为客体的技术所进行的信任度预判;另一方面则体现了新技术所蕴含的能动性对传统信任产生的条件、语境等的冲击。依据弗洛里迪(Luciano Floridi)和桑德斯(Jeff W. Sanders)关于人工道德行动者的判别标准 ①,面对诸如自动驾驶等对人类行为所产生的助推、导引、甚至规约与牵制等现象,人工智能已经呈现出行动者所应具有的诸多特质,并和人一样参与到道德的构建之中。

    反观该框架所言的“可信任人工智能”,其包括人对技术的态度和技术本身的可信任两个维度。其中,技术自身的可信任,即技术的稳健性既是获得人对其信任的技术保障,也是人对其发展目标的预设。易言之,在人类对技术进行信任度评判的同时,技术也在进行信任度的构建。因此,可信任是人类对人工智能发展旨趣的伦理诉求,也是其本身所应遵循的伦理原则。

    毫无疑问,可信任人工智能的构建发端于人对技术伦理旨趣的审度,但技术的能动性又将人类的伦理旨趣与技术自身的发展逻辑关联在一起。如果说卡普的器官投影说是将技术与人之间进行了物化层面的关联,那么,伴随新兴技术的涌现,这种关联已经不仅仅是将人的功能进行了物质性的外化,而是走向了技术对人的嵌入式内化,并出现了主体客体化与客体主体化的迹象。如果说对技术价值中立说的质疑揭示出了技术与伦理之间的内在关联性, 那么,将技术道德化的尝试则是基于技术能动性而走向技术对伦理的塑型与构建;伦理辅助性设计的出现则意味着人类的伦理观念已经被嵌入到具体的技术实践之中。

    当下智能体、深度学习、人机融合等的发展,使得人类社会的泛智能化日趋普遍,人与技术的关联也日趋内化。这种内化体现为技术越来越逼近人的本质。也正是在这种内化的过程中,人作为“技术性与价值性二重本质的共在”〔4〕。在人与技术共在的语境中人自身的本质与技术的本质进行着伦理维度的构连。这种构连表现为人对技术的伦理审视与技术对人类伦理观念的调节两个方面。但无论是这种构连的哪个方面,都涉及人对技术的信任度。然而, 无条件的怀疑与无条件的信任一样都不是人与技术共同应有的合理方式。

    虽然“对人工智能的伦理反思可以用于不同的目的。首先,能激发对个人和群体的最基本层级需求的反思;其次,有助于激发产生实现某种伦理价值观的新型创新方式”〔2〕,但该框架重点在于上述第一个目的,即面对人工智能所蕴含的巨大技术潜能及其对人类社会的深度影响,该框架以对人类需求的厘清为切入点,基于以人为中心的视角,力图规避与预防技术风险,谋求技术为人类所能带来的最大福祉,并确保其为人类服务的伦理旨趣来构建可信任人工智能。

二、可信任人工智能的存在逻辑及其合理性

    对可信任人工智能的存在逻辑及其合理性的解析,首先需要对人工智能信任的合理性展开探讨。若对其信任是不合理的,则其可信任性也就无从谈起, 可信任人工智能伦理框架的构建也将是无意义的。而对其信任是否合理的追问,则需要先对其何以产生进行考察。因为如果没有产生信任人工智能的语境,对其信任的探讨也就不存在。

    (一)人工智能信任的语境。从产生的维度来看, 传统意义上的信任是委托者(人)与受托者(人)之间的某种关联,其“产生于心理系统和社会体系影响的交互之中”〔5〕,是“减少复杂性的一种有效方式”〔5〕。事实上,信任的产生可以是目标导向性的,即 A 和 B 有一个共同的目标C,但A和B之间本来无信任可言,但鉴于C目标,A 和B产生了某种信任,但这种信任并非是A认为 B是值得信任的,或者B认为A是值得信任的;信任的产生也可以是任务导向性的, 如A需要完成任务,而B有完成任务C的能力, 进而产生了A对B的某种信任,这种信任可以是A对B具有完成某种能力的信任,也可以是A 对B的整体性信任。但无论是目标导向性还是任务导向性, 信任所表达的是“一种态度,相信某人的行为或周围的秩序复合自己的愿望。它可以表现为三种期待:对自然与社会的秩序性、对合作伙伴承担的义务、对某角色的技术能力”〔6〕。

    在智能革命的背景下,人类对人工智能有所期待,且这些期待伴随人工智能的发展已经在人类社会中逐步被现实化,并呈现出代替人类某些能力的趋势。如基于人工智能系统的导航、自动识别、安防等的研发与应用。与此同时,人工智能以人类合作伙伴的形式参与到人类事物中,与人类共同承担某种义务,完成某个任务。即人类对其承担的义务有所期待。如基于人工智能系统的儿童看护、情感交流等的研发与应用等。因此,人工智能与人的深度融合提供了产生信任的语境,但上述这些现象是否可以被称作是信任呢?

    (二)人工智能信任的出场方式及其存在的判别依据。一般而言,信任的出现需要满足如下三个条件:“(1)行动者(agent)之间的直接交互;(2)在交互环境中,有共同的规范和伦理价值观;(3)参与交互的各个部分是可以识别的”〔7〕。但在新技术发展的背景下,非直接交互的信任出场,如电子信任。因此, 应当重新审视信任存在的判别依据。塔迪欧(Mari- arosaria Taddeo)在其关于电子信任的论述中,指出上述三个条件并不能成为数字环境中存在电子信任的障碍。因为在数字环境中,行动者之间的交互虽然并非都是直接的物理接触,但却真实存在,并可识别;在数字环境中,共同的规范和伦理价值观由来自不同区域的不同文化形成〔7〕。同样地,依据上述三个条件以及对电子信任的判别,在人工智能的环境中, 人与人工智能之间的交互与数据环境中一样,真实存在却并非完全直接的物理式,且可识别;就共同的规范和伦理价值观而言,阿西洛马人工智能原则( The Asilomar AI Principle)、负责任人工智能的蒙特利尔宣言 (The Montreal Declaration for Responsible AI)、人工智能合作组织原则(The Tenets of the Part- nership on AI)等都是对此的响应。

    因此,通过对信任出现条件的解析可得出:人工智能已经呈现了基于任务导向和目标导向的信任意蕴,虽然这与传统意义上的信任以及电子信任的出现条件有所不同。但无论如何,当人工智能以(准)智能体的形式展现出其完成任务、实现目标的能力时, 毫无疑问,一种策略性信任也随之而至。这种源自人类对人工智能的期望,以及人类与人工智能的交互之中所产生的某种信任,恰恰也就是吉登斯所言的与知识体系、专家系统、抽象系统打交道的过程中所产生的信任。这种信任被解读为“一个人或一个系统之可依赖性所持有的信心,在一系列给定的后果或事件中,这种信心表达了对诚实和他人的爱的信念,或者对抽象原则(技术性知识)之正确性的信念”〔3〕。然而,这样的信任是否是合理的呢?

    (三)反思人工智能可信任存在的合理性。当人工智能创建了信任得以产生的可能条件,并在与人类的交互中呈现出某种关联性的信任时,如果人类面对“在抽象体系的交汇口,连接非专业人士与信任关系的当面承诺,通常表现出明白无误的可信任性与诚实性,并伴随着一种‘习以为常’或镇定自如的态度”〔3〕时,就意味着默认了技术信任的合理性。但事实并非一直如此,哲学一直在对此展开反思。

    伴随基于技术启蒙与技术理性的现代性,“外界对科学和技术知识的态度又具有某种心理。这种矛盾心理居于所有信任关系—无论是抽象体系还是对个人的信任关系——的核心”〔3〕。这种矛盾心理源自人类对技术的依赖以及对这种依赖的反思。如,在米切姆(CarlMictham)关于古代怀疑论(怀疑技术)、启蒙时代的乐观主义(促进技术发展)和浪漫主义的焦虑(对技术的矛盾心理)〔8〕这三种人与技术共在关系的分析中,对技术活动的不信任或不安的伦理方面〔8〕一直贯穿其中;在海德格尔(MartinHeidegger)对技术与人类存在天命的乡愁式解析中,人与世界的存在关系、人的存在语境均由技术来决定,所有的一切都变成了持存物,甚至人类连自身生命的本质也被交付给技术。在这种交付中,由技术对人类席卷而产生的对技术的无奈式被迫信任、以及对这种信任的质疑与破除均被裹挟其中;在伊德(DonIhde)关于人、技术与世界四种关系的解读中,如通过眼镜、温度计等对外部世界进行感知时,人与技术的融合或者世界与技术的融合是具身、诠释、它异、背景等关系的前提条件。而这种融合需要基于人类对技术或技术产品予以某种信任才能形成,虽然信任度有所不同。

    然而,从现实主义的视角来看,“自然赋予人类以无数的欲望和需要,而对于缓和这些需要,却给了他以薄弱的手段”〔9〕。因此,人必须依赖社会。社会以协作、分工、互助这三种方式对人的缺陷进行了补救。在这种补救中,技术作为人类需要的一种表征进入到对这些需要的缓和之中,并成为人类社会的一种必备品。因此,无论人类对技术的信任是否合理,技术已经成为人类在世的方式,并参与到了人类的事务之中。与此同时,对技术的某种信任也悄然而至。但这并不意味着技术必然是可信任的,也并不意味着对其的信任就是合理的,对其的哲学思考是徒然的。恰恰相反,对实然问题的思考是哲学的应有之义,且对这种既有现实的思考是通向应然性的一条有效进路。但与以往技术不同的是,人工智能对人类事物的参与是以可植入的方式进入到与人深度融合之中,其所呈现出的实然问题,与其说是亟需展开人类对技术信任问题反思,倒不如说是亟需展开人类对自身信任问题的反思。因为当我们说“可信任人工智能”包括人类对人工智能的信任和人类对自身的信任两个方面时,事实上,这两个方面归根到底是人类对自身所制造产物是否可以有效应对的解答,即关于可信任人工智能实现途径的探讨。

三、可信任人工智能实现途径的有效性与局限性

    在欧盟的“可信任人工智能的伦理框架”中,信任视为人工智能发展的前提条件,但这种信任并不是机器的一种特性。事实上,信任不仅仅在于人工智能系统是合乎法律的、合乎伦理的和稳健的,还在于信任可被归因到与人工智能全生命周期中相关的每个人和每个过程〔2〕。因此,对人工智能信任的考察应当走出外在主义的立场与批判主义的情结,走向伦理学的后思式批判功能与前思式导引功能有效整合,从内在主义与外在主义的融合之中,展开对可信任人工智能实现途径探讨。

    反观欧盟“可信任人工智能的伦理框架”的探讨,其预设了两个条件。一是,将可信任定位为人工智能未来发展的一种图景。关于人工智能的不信任应当或被悬置或被排除。显然,该框架在力图将这种不信任排除;二是,可信任应当是人工智能的一种应有属性,信任度的提升既是人工智能未来发展一个重要的技术考量,也是其未来发展的一个伦理考量。在此背景下,该框架展开关于如何确保人工智能是可信任的探讨。事实上,这种探讨也就是关于“可信任人工智能”的构建逻辑与构建方式有效性、以及如何正确地看待可信任的探讨。

    就该框架的构建逻辑而言,其依据概念阐述、路径解析、判别依据界定三者之间的递进层级关系,阐述可信任人工智能的实现途径。其中,该框架关于可信任人工智能组成部分的厘清、其所需必要条件的阐释为后续其构建的展开框定了边界。关于技术和非技术两个方面的构建路径解析为如何走向可信任提供了实践维度的保障。即通过技术维度的可信任与伦理维度的可信任来确保可信任人工智能的实现。其中,技术维度的可信任是伦理维度可信任的基础与保障,伦理维度的可信任是技术发展的主旨与目标;而关于可信任人工智能关键条件的解码则为可信任的判定提供了可供参考的标尺。

    就该框架所提出的构建路径而言,其所提出的技术方法和非技术方法这两个维度,与其关于可信任人工智能组成部分厘清的逻辑一致。上述方法旨在满足可信任人工智能的七个必要条件。这七个必要条件是基于基本权而产生的人工智能系统伦理框架的伦理律令,即人类自治、不伤害、公平和可解释性(explicability)为基础而提出的。该伦理律令兼顾了通用伦理原则和人类智能伦理的特殊性两方面。其中,前三项为技术伦理学的通用原则,而可解释性则是直接指向人工智能伦理,并被视为构建用户对人工智能信任的关键所在。在这里,可解释性意指人工智能系统过程的透明性、能力和目标的公开性、决策的可说明性。在当下,由人工智能系统的不可解释性所带来的不确定性而引发的焦虑与恐惧,是对其质疑的核心所在。因此,人工智能伦理的构建必须对不可解释性进行解码。虽然人工智能系统中算法和模型黑箱使得基于其所作出决策的可信任(即信任度)遭遇质疑,但这并不意味着其不可解释。如通过人工智能架构的设计、通过对参与决策因素的追溯与审计等技术方法来促进其可解释性,提升其信任度。

    这种构建路径将可信任置于技术、设计与伦理的调节之中,通过设计走向伦理的构建。“道德法则在我们的心中,但它也在我们的仪器中。在到达超我(Super-ego)的传统之前,为了阐述我们行动的正确性、信任度和延续性,我们可能要增加技术的隐我(under-ego)”〔10〕。这种“隐我”就是隐藏在技术背后的某种自我,其可以通过设计将伦理带入,实现对技术的调节。但这种隐我背后的自我需要一个给定的理念。“可信任人工智能的伦理框架”将这个理念设定为可信任,将对其的构建进入到技术之中,这种方法是在借助技术来构建人类对技术的信任,进而构筑对人类自身的信任。该框架通过伦理学通用规则与技术自身特性的结合来确保其实现的同时,还借助监管、问责、治理、伦理教育等非技术方法来推进技术层面信任度的构建,进而确保可信任人工智能的实现。但类似于甘贝特(DiegoGambetta)对我们能否信任的追问一样,我们该如何正确看待“可信任人工智能”中的可信任呢?若我们不能正确地看待可信任,则会降低该框架的实践效用。因此,该框架虽然阐述了实现可信任人工智能的有效方式,但却未指出看待可信任的正确方式。

    在“可信任人工智能的伦理框架”中,信任被界定为“(1)由与仁慈、能力、诚信以及可预测性有关的特定信念组成的集合(信任信念);(2)在某个有风险的情景中,一方依赖另一方的意愿(信任意向);或者(3)这些要素的组合”〔11〕。因此,信任是人类基于相关伦理规则,对不确定性以及风险作出的主观判断,是一方对另一方的态度。就人工智能而言,这种判断不是直接发生在人际之间,是在人与技术的交互之中。一般意义上,人与技术之间的信任可以还原为人与人之间的信任,但这种还原是基于人对技术有能力掌控的前提下。

    可信任人工智能作为人类对其的一种伦理诉求,与其相对应的是不可信任的人工智能。恰如奥妮尔(OnoraO'Neill)所言“信任危机不能用盲目信任来克服”〔12〕,同样地,可信任人工智能不是走向盲目的信任,也不是将不可信任盲目地遮蔽,而应当是:
    1.基于有效监督的可信任。虽然人际之间最理想的信任模式是受托人在委托人不监督的情况下完成任务,但人与人工智能之间的信任则恰恰需要有效监督,以避免造成对人类基本权的伤害。虽然技术维度的透明性与可解释性等有助于提升人工智能的信任度,但人类的有效监督是人工智能之所以被视为可信任的根源所在,因为可信任究其本质而言,是人类对其的一种价值评判。
    2. 基于动态视角的可信任。可信任是基于人类对人工智能的伦理诉求而对技术未来发展作出的框定,关于其判别标准制定基于通用伦理原则的框架而制定的,但这些标准并非静态的意义完全枚举,而是动态式的开放体系。因此,应当基于技术的发展与应用来审视可信任的判别标准。
    3. 基于批判视角的可信任。可信任本身就是对不可信任、信任以及错误信任等的批判性思考,进而,对可信任本身也应当持有审慎的批判态度,而不是非此即彼式的断然。特别在人工智能与人易交互和深融合情境中,不能因技术的强势性、便利性而忽视其风险性以及人的主体性;也不能因其巨大潜能所蕴含的不确定性而忽视其给人类社会所带来的益处。因为可信任本身就包含着期望、焦虑、承诺与风险。

    综上可见,当人工智能的拟人性、准主体性、对人的深度内在嵌入性等带来了一种颠覆性的人与技术关系,即一种深度融合式的新型合作关系时,信任问题也随之而至。因为“合作常常需要信任,特别是相互信任。如果是完全不信任,那么,在自由行动者之间的合作则将失败。进一步说,如果信任仅仅在单方面,合作也是无效的;如果信任是盲目的,则将诱发欺骗”〔13〕。

    在人工智能与人的合作中,诸如由人工智能对人类决策行为的多层级介入,出现了辅助性、导引性、甚至牵制性等多种合作模式,特别是导引性与牵制性的合作模式,带来了新的信任问题与信任模式,并将信任的边界不断拓宽,而这种拓宽却亟需人类为其设定边界。因此,信任边界的重新界定、以及人与技术之间信任的重新解析成为人工智能伦理构建研究的新论域。

    “可信任人工智能的伦理框架”将人工智能的能动性纳入到了对其伦理的考察之中,将关于信任的问题转换为信任的一种表征即可信任,并将其作为人工智能未来图景的一个伦理描绘。该框架将伦理观念融入关于人工智能的评判标尺之中,并提出了信任度的构建路径,但其所描述的可信任人工智能构建,事实上是在将信任问题暂且悬置或排除的基础上,借助一种反向的模式,而进行的一种自下而上的伦理夯实。可以说,该框架将可信任作为一种人工智能未来图景的伦理描绘,并为人工智能时代的人与技术深度融合提供了有效的伦理导引,但其所搁置或排除的问题恰恰是人工智能伦理构建必须面对的终极问题。这表现为:当该框架对信任的边界进行拓宽时,信任边界的设定问题即该框架的局限性也随之而来。

    因此,可信任作为人工智能未来发展图景的一种有效描绘,应当是在厘清信任边界的前提下,界定其概念的内涵与外延,指出可行的构建路径,制定合理且有效的判断标准,并以理性的方式对待可信任来确保可信任人工智能的实现。

注释:
①弗洛里迪和桑德斯基于行动者的互动关系标准,将相互作用性(interactivity)、自主性(autonomy)和适应性(adapt-ability)作为判别行动者的标准。参见:Floridi,L.andSanders,J.W.On the Morality of Artificial Agents〔J〕.Minds and Machines,2004(14):357-358.

参考文献:
〔1〕Adams,A.Stanford University launches the Institute for Human-Centered Artificial Intelligence〔EB/OL〕. https://philos-ophy.stanford.edu/news/stanford-university-launches-institute-human-centered-artificial-intelligence.
〔2〕European Com mission. Ethics Guidelines for Trust worthy AI〔EB/OL〕. https://ec.europa.eu/futurium/en/ai-alliance-consultation/guide-lines.
〔3〕安东尼·吉登斯.现代性的后果〔M〕.田禾,译.南京:译林出版社,2007.
〔4〕闫宏秀.技术过程的价值选择研究〔M〕.上海:上海世纪出版社集团,2015.
〔5〕Luhmann,N.Trust and Power〔M〕.Cambridge:Polity Press,2017.
〔6〕郑也夫.信任论〔M〕.北京:中信出版社,2015.
〔7〕Taddeo,M.Defining Trust and E-Trust:From Old The-ories to New Problems 〔J〕. International Journal of Technology and Human Interaction,2009(2):26.
〔8〕卡尔·米切姆.通过技术思考——工程与哲学之间的道路〔M〕.陈凡,朱春艳,等译.沈阳:辽宁人民出版社,2008.
〔9〕大卫·休谟.人性论〔M〕.关文运,译.北京:商务印书馆,2016.
〔10〕Latour,B.Morality and Technology:The End of the Means〔J〕.VEENC.Theory,Culture&Society:Explorations in Critical Social Science,2002(19):254-255.
〔11〕Siau,K.andWeiyu,W. Building Trust in Artificial Intelligence Machine Learning and Robotics 〔J〕.CutterBusinessTechnologyJournal,2018(2):47.
〔12〕奥妮尔.信任的力量〔M〕.闫欣,译.重庆:重庆出版社,
2017.
〔13〕Gambetta,D.Trust:Making and Breaking Cooperative Relations〔M〕.Oxford:Basil Blackwell,1988.

原文链接:https://mp.weixin.qq.com/s/7VcoRRCgE6aDHd0p7Rr78w
编辑:马晓晴

129#
 楼主| 发表于 2019-8-5 22:10:39 | 只看该作者
【案例】
工业4.0:一场利用人工智能重塑制造业的征程
作为制造业大国,德国2013年开始实施一项名为“工业4.0”的国家战略,希望在“工业4.0”中的各个环节应用互联网技术,将数字信息与物理现实社会之间的联系可视化,将生产工艺与管理流程全面融合。由此,实现智能工厂,生产出智能产品。相对于传统制造工业,以智能工厂为代表的未来智能制造业是一种理想状态下的生产系统,能够智能判断产品属性、生产成本、生产时间、物流管理、安全性、信赖性以及可持续性等要素,从而为各个顾客进行最优化的产品定制制造(图1)。

图1 工业4.0:正在发生的第四次工业革命
“工业4.0”时代的智能化,是在“工业3.0”时代的自动化技术和架构的基础上,实现从集中式中央控制向分散式增强控制的生产模式的转变,利用传感器和互联网让生产设备互联,从而形成一个可以柔性生产的、满足个性化需求的大批量生产模式。20世纪70年代后期,自动控制系统开始用于生产制造之中。此后,许多工厂都在不断探索如何提高生产效率,如何提高生产质量以及生产的灵活性。一些工厂从机械制造的角度提出了机电一体化、管控一体化。机电一体化实现了流水线工艺,按顺序操作,为大批量生产提供了技术保障,提高了生产效率;管控一体化基于中央控制能够实现集中管理,一定程度上节约了生产制造的成本,提高了生产质量。但是,两者都无法解决生产制造的灵活性问题。英国早在上世纪60年代就提出了柔性制造系统(Flexible Manufacture System,FMS)概念。柔性制造系统主要是指按成本效益原则,以自动化技术为基础,以敏捷的方式适应产品品种变化的加工制造系统。据资料显示,柔性制造系统以计算机控制,由若干半独立的工作站和一个物料传输系统组成,以可组合的加工模块化和分布式制造单元为基础,通过柔性化的加工、运输和仓储,高效率地制造多品种小批量的产品,并能在同一时间用于不同的生产任务。这种分布式、单元化自律管理的制造系统,每个单元都有一定的决策自主权,有自身的指挥系统进行计划调度和物料管理,形成局部闭环,可适应生产品种频繁变换的需求,使设备和整个生产线具有相当的灵活性。柔性制造系统是一种以信息为主与批量无关的可重构的先进制造系统,实现了加工系统从“刚性化”向“柔性化”的过渡。如今,随着信息技术、计算机和通信技术的飞跃发展,人们对产品需求的变化,使得灵活性进一步成为生产制造领域面临的最大挑战。具体而言,由于技术的迅猛发展,产品更新换代频繁,产品的生命周期越来越短。对于制造业工厂来说,既要考虑对产品更新换代具有快速响应能力,又要考虑因生命周期缩短而减少产品批量。随之而来的是,成本提升和价格压力问题。国内第一本“工业4.0”专著作者王喜文博士在其新书《智能+:新一代人工智能发展规划解读》中指出,“工业4.0”则让生产灵活性的挑战成为新的机遇,将现有的自动化技术通过与迅速发展的互联网、物联网等信息技术相融合来解决柔性化生产问题,实现智能制造(图2)。

图2 人工智能实现智能制造
从“工业3.0”时代的单一种类产品的大规模生产,到“工业4.0”时代的多个种类产品的大规模定制,两者区别见表2-1。既要满足个性化需要,又要获得大规模生产的成本优势。所以,“工业4.0”和“工业3.0”的主要差别体现在了灵活性上。“工业4.0”基于标准模块,加上针对客户的个性化需求,通过动态配置的单元式生产,实现规模化,满足个性化需求。同时,大规模定制从过去落后的面向库存生产模式转变为面向订单生产模式,在一定程度上缩短了交货期,并能够大幅度降低库存,甚至零库存运行。在生产制造领域,需求推动着新一轮的生产制造革命以及技术与解决方案的创新。对产品的差异化需求,正促使生产制造业加速发布设计和推出产品。正因为人们对个性化需求的日益增强,当技术与市场环境成熟时,此前为提高生产效率、降低产品成本的规模化、复制化生产方式也将随之发生改变。所以“工业4.0”是工业制造业的技术转型,是一次全新的工业变革。自20世纪70年代开始,计算机控制系统的应用推动生产过程自动化水平的不断提升。近年来,随着数字技术范畴的迅速扩大,软件与云计算、大数据分析以及机器学习等一起,成为了数字技术的重要组成部分。尼尔斯·尼尔森(Nils J. Nilsson)教授作为早期从事人工智能和机器人研究的国际知名学者曾经这样给人工智能下定义:“人工智能就是致力于让机器变得智能的活动,而智能就是使实体在其环境中有远见地、适当地实现功能性的能力。”当前,在全球范围内,大量资本正涌入人工智能,特别是机器学习领域。渐趋复杂的算法、日益强大的计算机、激增的数据以及提升的数据存储性能,为该领域在不久的将来实现质的飞越奠定了基础。尽管如此,人工智能以及其他颠覆性技术主要还是集中于消费领域,要真正实现以科技创新重塑中国经济,这些前沿技术在工业领域及企业间的大规模应用则更为关键。相比消费者相关的数据,机器生成的数据通常更为复杂,多达40%的数据甚至没有相关性。而企业必须拥有大量的高质量、结构化数据,通过算法进行处理,除此之外没有捷径可循。革命性的技术创新与制造业的融合充满挑战,但潜在的收益无比巨大,能够帮助企业寻求最优的解决方案,应对积弊,创造价值,比如设备预测性维护、优化任务流程,实现生产线自动化,减少误差与浪费,提高生产效率,缩短交付时间以及提升客户体验(图3)。
图3 设备预测性维护

以工业机器人为例,其在未来制造业中的应用也拥有巨大的发展空间。随着智能组件和传感器技术的进步,我们可以借助机器学习开发机器人编程的新方式,通过赋予机器人一定的思考和自我学习能力,使其能够更加灵活地满足大规模订制化生产的需求。未来,人工智能将在重塑制造业的征程中发挥重要作用。因此,我们要围绕制造强国重大需求,推进智能制造关键技术装备、核心支撑软件、工业互联网等系统集成应用,研发智能产品及智能互联产品、智能制造使能工具与系统、智能制造云服务平台,推广流程智能制造、离散智能制造、网络化协同制造、远程诊断与运维服务等新型制造模式,建立智能制造标准体系,推进制造全生命周期活动智能化。原文链接:https://mp.weixin.qq.com/s/_YfkqFoGueiLoBRxk9YUHQ编辑:马晓晴
130#
 楼主| 发表于 2019-8-5 22:11:51 | 只看该作者
【案例】
三院士撰文人民日报理论版:社会信息化新发展新趋势
当今世界,以信息技术为代表的新一轮科技革命方兴未艾,信息技术创新日新月异,以数字化、网络化、智能化为特征的信息化浪潮蓬勃兴起。信息化正在深刻改变人们的生产生活方式。谁在信息化上占据制高点,谁就能掌握先机,赢得优势、赢得安全、赢得未来。当前,信息技术正在哪些方面孕育新突破?社会信息化出现了哪些新趋势?本版刊登的几篇文章,围绕这些问题进行阐述。
                                                     ——编  者  

   数字化 网络化 智能化
  把握新一代信息技术的聚焦点(人民观察)
徐宗本

      内容提要:数字化、网络化、智能化是新一轮科技革命的突出特征,也是新一代信息技术的核心。数字化为社会信息化奠定基础,其发展趋势是社会的全面数据化。数据化强调对数据的收集、聚合、分析与应用。网络化为信息传播提供物理载体,其发展趋势是信息物理系统(CPS)的广泛采用。信息物理系统不仅会催生出新的工业,甚至会重塑现有产业布局。智能化体现信息应用的层次与水平,其发展趋势是新一代人工智能。目前,新一代人工智能的热潮已经来临。

      习近平同志在2018年两院院士大会上的重要讲话指出:“世界正在进入以信息产业为主导的经济发展时期。我们要把握数字化、网络化、智能化融合发展的契机,以信息化、智能化为杠杆培育新动能。”这一重要论述是对当今世界信息技术的主导作用、发展态势的准确把握,是对利用信息技术推动国家创新发展的重要部署。
  人类社会、物理世界、信息空间构成了当今世界的三元。这三元世界之间的关联与交互,决定了社会信息化的特征和程度。感知人类社会和物理世界的基本方式是数字化,联结人类社会与物理世界(通过信息空间)的基本方式是网络化,信息空间作用于物理世界与人类社会的方式是智能化。数字化、网络化、智能化是新一轮科技革命的突出特征,也是新一代信息技术的聚焦点。数字化为社会信息化奠定基础,其发展趋势是社会的全面数据化;网络化为信息传播提供物理载体,其发展趋势是信息物理系统(CPS)的广泛采用;智能化体现信息应用的层次与水平,其发展趋势是新一代人工智能。
    数字化:从计算机化到数据化
      数字化是指将信息载体(文字、图片、图像、信号等)以数字编码形式(通常是二进制)进行储存、传输、加工、处理和应用的技术途径。数字化本身指的是信息表示方式与处理方式,但本质上强调的是信息应用的计算机化和自动化。数据化(数据是以编码形式存在的信息载体,所有数据都是数字化的)除包括数字化外,更强调对数据的收集、聚合、分析与应用,强化数据的生产要素与生产力功能。数字化正从计算机化向数据化发展,这是当前社会信息化最重要的趋势之一。
  数据化的核心内涵是对信息技术革命与经济社会活动交融生成的大数据的深刻认识与深层利用。大数据是社会经济、现实世界、管理决策等的片段记录,蕴含着碎片化信息。随着分析技术与计算技术的突破,解读这些碎片化信息成为可能,这使大数据成为一项新的高新技术、一类新的科研范式、一种新的决策方式。大数据深刻改变了人类的思维方式和生产生活方式,给管理创新、产业发展、科学发现等多个领域带来前所未有的机遇。
  大数据的价值生成有其内在规律(服从大数据原理)。只有深刻认识并掌握这些规律,才能提高自觉运用、科学运用大数据的意识与能力(大数据思维)。大数据的价值主要通过大数据技术来实现。大数据技术是统计学方法、计算机技术、人工智能技术的延伸与发展,是正在发展中的技术,当前的热点方向包括:区块链技术、互操作技术、存算一体化存储与管理技术、大数据操作系统、大数据编程语言与执行环境、大数据基础与核心算法、大数据机器学习技术、大数据智能技术、可视化与人机交互分析技术、真伪判定与安全技术等。大数据技术的发展依赖一些重大基础问题的解决,这些重大基础问题包括:大数据的统计学基础与计算理论基础、大数据计算的软硬件基础与计算方法、大数据推断的真伪性判定等。
  实施国家大数据战略是推进数据化革命的重要途径。自2015年我国提出实施国家大数据战略以来,我国大数据快速发展的格局已初步形成,但也存在一些亟待解决的问题:数据开放共享滞后,数据资源红利仍未得到充分释放;企业赢利模式不稳定,产业链完整性不足;核心技术尚未取得重大突破,相关应用的技术水平不高;安全管理与隐私保护还存在漏洞,相关制度建设仍不够完善;等等。当前,应采取有效举措解决制约我国大数据发展的瓶颈问题。
    网络化:从互联网到信息物理系统
      作为信息化的公共基础设施,互联网已经成为人们获取信息、交换信息、消费信息的主要方式。但是,互联网关注的只是人与人之间的互联互通以及由此带来的服务与服务的互联。
  物联网是互联网的自然延伸和拓展,它通过信息技术将各种物体与网络相连,帮助人们获取所需物体的相关信息。物联网通过使用射频识别、传感器、红外感应器、视频监控、全球定位系统、激光扫描器等信息采集设备,通过无线传感网络、无线通信网络把物体与互联网连接起来,实现物与物、人与物之间实时的信息交换和通信,以达到智能化识别、定位、跟踪、监控和管理的目的。互联网实现了人与人、服务与服务之间的互联, 而物联网实现了人、物、服务之间的交叉互联。物联网的核心技术包括:传感器技术、无线传输技术、海量数据分析处理技术、上层业务解决方案、安全技术等。物联网的发展将经历相对漫长的时期,但可能会在特定领域的应用中率先取得突破,车联网、工业互联网、无人系统、智能家居等都是当前物联网大显身手的领域。
  物联网主要解决人对物理世界的感知问题,而要解决对物理对象的操控问题则必须进一步发展信息物理系统(CPS)。信息物理系统是一个综合计算、网络和物理环境的多维复杂系统,它通过3C(Computer、Communication、Control)技术的有机融合与深度协作,实现对大型工程系统的实时感知、动态控制和信息服务。通过人机交互接口,信息物理系统实现计算进程与物理进程的交互,利用网络化空间以远程、可靠、实时、安全、协作的方式操控一个物理实体。从本质上说,信息物理系统是一个具有控制属性的网络。
  不同于提供信息交互与应用的公用基础设施,信息物理系统发展的聚焦点在于研发深度融合感知、计算、通信和控制能力的网络化物理设备系统。从产业角度看,信息物理系统的涵盖范围小到智能家庭网络、大到工业控制系统乃至智能交通系统等国家级甚至世界级的应用。更为重要的是,这种涵盖并不仅仅是将现有的设备简单地连在一起,而是会催生出众多具有计算、通信、控制、协同和自治性能的设备,下一代工业将建立在信息物理系统之上。随着信息物理系统技术的发展和普及,使用计算机和网络实现功能扩展的物理设备将无处不在,并推动工业产品和技术的升级换代,极大地提高汽车、航空航天、国防、工业自动化、健康医疗设备、重大基础设施等主要工业领域的竞争力。信息物理系统不仅会催生出新的工业,甚至会重塑现有产业布局。
    智能化:从专家系统到元学习
       智能化反映信息产品的质量属性。我们说一个信息产品是智能的,通常是指这个产品能完成有智慧的人才能完成的事情,或者已经达到人类才能达到的水平。智能一般包括感知能力、记忆与思维能力、学习与自适应能力、行为决策能力等。所以,智能化通常也可定义为:使对象具备灵敏准确的感知功能、正确的思维与判断功能、自适应的学习功能、行之有效的执行功能等。
  智能化是信息技术发展的永恒追求,实现这一追求的主要途径是发展人工智能技术。人工智能技术诞生60多年来,虽历经三起两落,但还是取得了巨大成就。1959—1976年是基于人工表示知识和符号处理的阶段,产生了在一些领域具有重要应用价值的专家系统;1976—2007年是基于统计学习和知识自表示的阶段,产生了各种各样的神经网络系统;近几年开始的基于环境自适应、自博弈、自进化、自学习的研究,正在形成一个人工智能发展的新阶段——元学习或方法论学习阶段,这构成新一代人工智能。新一代人工智能主要包括大数据智能、群体智能、跨媒体智能、人机混合增强智能和类脑智能等。
  深度学习是新一代人工智能技术的卓越代表。由于在人脸识别、机器翻译、棋类竞赛等众多领域超越人类的表现,深度学习在今天几乎已成为人工智能的代名词。然而,深度学习拓扑设计难、效果预期难、机理解释难是重大挑战,还没有一套坚实的数学理论来支撑解决这三大难题。解决这些难题是深度学习未来研究的主要关注点。此外,深度学习是典型的大数据智能,它的可应用性是以存在大量训练样本为基础的。小样本学习将是深度学习的发展趋势。
  元学习有望成为人工智能发展的下一个突破口。学会学习、学会教学、学会优化、学会搜索、学会推理等新近发展的元学习方法以及“AlphaGo Zero”在围棋方面的出色表现,展现了这类新技术的诱人前景。然而,元学习研究还仅仅是开始,其发展还面临一系列挑战。
  新一代人工智能的热潮已经来临,可以预见的发展趋势是以大数据为基础、以模型与算法创新为核心、以强大的计算能力为支撑。新一代人工智能技术的突破依赖其他各类信息技术的综合发展,也依赖脑科学与认知科学的实质性进步与发展。
  (作者为中国科学院院士、西安交通大学教授)
***************************************************************

“信息+”造福世界(大家手笔)
李言荣
      以“信息+”为主要特征的技术融合和产业变革已经成为推动人类生产生活方式变革和社会进步的重要力量,正在不断造福世界。

       当前,全球范围的社会信息化进入了全面渗透、跨界融合、引领创新的新阶段,以“信息+”为主要特征的技术融合和产业变革已经成为推动人类生产生活方式变革和社会进步的重要力量。信息技术与传统技术、各类新兴技术交叉融合的程度不断加深、范围不断扩大,正在引发集群式技术变革与突破,大大提升了人类认识世界、改造世界的能力,进一步促进了经济社会快速发展。
  “信息+”能够推动经济发展持续提质增效。经济发展的质量和效益与科技进步密切相关。从世界历史来看,一些国家的经济腾飞都与科技革命紧密相关。工业革命使英国成为当时世界上最发达的国家;电气革命使美国后来居上,此后的信息技术革命进一步强化了美国的领先地位。当前,新一代信息技术方兴未艾,以“信息+”为主要特征的信息技术变革的溢出效应正在产生巨大红利。树立“信息+”理念,可以让更多的企业、科研人员致力于利用信息技术改造传统行业,推动经济发展持续提质增效。对于我国来说,不但可以利用信息技术改造传统行业,还能解决其他一些重大问题。比如,长期以来,我国东西部发展差距较大,“信息+”有利于缩小地区发展差距。可见,“信息+”是推动经济高质量发展的新动能、新引擎。我们要充分发挥“信息+”对全要素生产率的提升作用,推动新型工业化、信息化、城镇化、农业现代化同步发展。
  “信息+”能够提供更加便捷普惠的公共服务。信息技术的不断创新和应用,促进教育、医疗等民生领域的公共服务更加多元化、便捷化。当前,“信息+”中最具代表性的就是“互联网+”。互联网一旦与其他行业结合,就能对这些行业发展带来重大影响。比如,互联网与教育相结合,就能催生新的教育发展模式,这对于教育发展具有十分重要的意义。目前,我国的慕课总量、开课数量、学习人数在世界上均处于领先地位。在医疗领域,互联网技术也已经得到比较普遍的应用。依托现代网络通信和大数据技术,医院可以实现患者信息的收集、存储、处理和交换,为患者提供更加精准的医疗服务。“信息+”的快速发展促进了社会公共服务资源在更大范围的重新优化配置,使优质公共服务资源惠及越来越多的人。
  “信息+”能够促进人类命运共同体建设。“信息+”最重要的特征之一就是开放、包容和共享。“信息+”带来的开放合作将使不同国家相互受益、共同繁荣,更加有力有效地促进人才、信息、技术等生产要素在全球范围自由流动,推动经济全球化朝着更加开放、包容、普惠、平衡、共赢的方向发展,使经济全球化的红利为世界各国人民所共享。同时,“信息+”使各国相互联系、相互依存的程度空前加深,使你中有我、我中有你的人类命运共同体关系更为稳固。
  “信息+”推动实现“万物互联”和“万物智能”,蕴含着巨大的变革力量和发展潜能。“信息+”各种技术的迅猛发展和广泛应用,必将在经济社会发展各领域释放出更多发展红利。“信息+”给我国发展带来新的机遇,近年来我国在“信息+”的一些领域开始与国外并跑,并且逐渐显露出领跑的趋势。当前,全球正处于以信息化全面引领创新、以信息化为基础重构国家核心竞争力的新阶段。我们要以“信息+”为引擎,主动迎接和引领新一轮信息革命浪潮,将信息化贯穿我国现代化进程始终,使“信息+”成为我国经济社会发展的又一新动能。
  (作者为中国工程院院士、四川大学校长)
***************************************************************

    保障网络安全 参与国际合作
    把关键核心技术掌握在自己手中(审时度势)
吴建平
       在社会信息化浪潮中,要想紧紧抓住信息技术进步带来的重大机遇,必须把关键核心技术掌握在自己手中。
      社会信息化是当今时代的重要特征。在社会信息化浪潮中,要想紧紧抓住信息技术进步带来的重大机遇,必须努力执技术之牛耳、做创新之先锋,把关键核心技术掌握在自己手中。当前,我国尤其要在以下三个方面下功夫。
  牢牢掌握互联网核心技术。互联网是社会信息化的关键,其核心技术是互联网体系结构。2016年11月,国际互联网架构理事会(IAB)发布公告,声明国际互联网工程任务组(IETF)正式放弃IPv4,未来所有信息要全部建立在IPv6的基础上。这是互联网发展过程中一个非常重要的信号——IPv6将成为全球互联网技术无可争议的发展方向。2017年11月,中共中央办公厅、国务院办公厅印发《推进互联网协议第六版(IPv6)规模部署行动计划》,强调抓住全球网络信息技术加速创新变革、信息基础设施快速演进升级的历史机遇,加强统筹谋划,加快推进IPv6规模部署,构建高速率、广普及、全覆盖、智能化的下一代互联网。我国是世界上最早开展IPv6试验和应用的国家之一,经过长期探索和积累,已经在下一代互联网技术研发、网络建设、应用创新等方面取得大量重要的阶段性成果。我们要牢牢把握机遇,加速下一代互联网核心技术研究,全面开展下一代互联网规模部署,整体提升我国下一代互联网应用水平,将我国打造成为下一代互联网核心技术保有者和输出者,努力成为世界互联网技术强国。
  从根本上解决网络安全问题。随着互联网的规模越来越大,网络安全问题日益凸显。网络安全与互联网体系结构是一种共生关系,当前我们面临的网络安全问题主要是由现有互联网体系结构设计的缺陷造成的。因此,从互联网体系结构入手是解决网络安全问题最有效的途径之一。例如,一直困扰互联网发展的重要安全隐患“IPv4网络地址无法溯源”问题,从互联网体系结构入手就可以得到有效解决。IETF的RFC5210是我国在国际上首次提出的“基于真实IPv6源地址的网络寻址体系结构”。基于真实源地址验证体系,可以直接解决伪造源地址的DDoS攻击,可以实现针对互联网流量的追踪,可以实现基于源地址的计费、管理和测量,可以为安全服务和安全应用的设计提供支持,从而大大提升网络的安全性。下一代互联网的发展给网络安全关键核心技术创新带来重大机遇。我国要抓住机遇,在网络安全方面下更大功夫。
  在广泛参与国际合作中成为互联网技术的贡献者。在世界大发展大变革大调整中,中国作为一个负责任大国,应进一步加大在互联网研究领域的国际合作力度,努力成为互联网技术的贡献者。2005年之前,在国际互联网标准RFC中由我国牵头制定的只有一个。但是近年来,由我国牵头制定的标准已经接近100个,有了长足进步。不过仍要看到,虽然目前我国在互联网技术创新和标准化方面已经取得重大突破,但与建设网络强国的目标相比还有很大差距。我们要更加积极参与全球互联网体系结构核心技术研究和国际标准的开发制定工作,解决互联网发展中遇到的现实问题,真正提升我国在世界互联网领域的主动权和话语权。
  (作者为中国工程院院士、清华大学计算机系主任)  

原文链接:https://mp.weixin.qq.com/s/ORbwaoAqsW27cAXdBmWodQ
编辑:马晓晴

发表回复

您需要登录后才可以回帖 登录 | 实名注册

本版积分规则

掌上论坛|小黑屋|传媒教育网 ( 蜀ICP备16019560号-1

Copyright 2013 小马版权所有 All Rights Reserved.

Powered by Discuz! X3.2

© 2016-2022 Comsenz Inc.

快速回复 返回顶部 返回列表