|
【案例】 国外假新闻研究:缘起、进展与评价 作者：汝绪华 摘 要：假新闻并非互联网时代特色,可以追溯到人类久远的历史,然而,长期以来它更多的是作为一个名词而非概念存在。随着社交媒体时代的来临,假新闻泛滥成灾,已成为全球公害,在网络技术与应用最发达的欧美国家危害尤甚。假新闻真正的研究热潮是在2016 年美国大选之后,受关注度之高、各界参与之广、研究成果之丰、争论之激烈、影响之深远都是新闻研究史上所鲜见的。虽然只有短短三年时间,但假新闻研究已经跳出“谣言”与“宣传”的研究框架,围绕着假新闻的概念、识别与发展特征、发生与影响机制、危害与治理等核心议题,建构起了属于自身的逐渐趋于完善的研究框架与理论体系。但是,国外假新闻研究主要集中于以美国为首的西方国家,西方的价值观、立场与偏见使得其研究局限性十分突出,不容忽视。假新闻研究方兴未艾,由于假新闻问题不仅深嵌入一个社会内部最深层的分歧与冲突,更涉及错综复杂的意识形态分歧、派别斗争等复合因素,未来的研究主题将更棘手,争议与分歧也将更加剧烈。 关键词：国外假新闻;研究综述;研究进展;后真相 假新闻并非互联网时代特色,可以追溯到人类久远的历史,2400 多年前“雅典瘟疫”中的谣言阴魂在历史的回廊中游荡,很多耳熟能详的极端历史事件都与假新闻扯不开,其罪恶血迹斑斑、罄竹难书。自约翰内斯·古滕贝格在15 世纪发明铅活字印刷技术以来,媒介舆论便成为假新闻滋生的温床与妖言惑众的便利工具,从19 世纪的“黄色新闻”①浪潮到20 世纪80 年代末诞生的“洋葱新闻”②“恶搞”风潮,假新闻的梦魇从未曾停息。与假新闻的漫长历史相比,“fake news”这个名词却是大众媒体时代的产物,虽然其最早使用日期难以考证,但是,一个基本事实是早在19 世纪末它就已经被越来越多地使用,1898 年出版的《展望》就曾把假新闻描述为“大部分仅由‘故事’新闻组成”[1] 。然而,此时的假新闻更多的是作为一个名词而非概念存在。20 世纪以来,宣传战、新闻战、选举战成为大众媒体战场上的常客,假新闻的使用频率也明显高涨,但其研究却长期被纳入“谣言”与“宣传”研究框架之内。21 世纪以来,随着社交媒体时代的快速来临,人类史上信息传播的模式前所未有地被打乱,借助传播介质的“鸟枪换炮”,假新闻和假新闻网站数量激增,假新闻的“春天”才真正到来,这也触动了学界的敏感神经。然而,假新闻真正的研究热潮与爆炸式增长却是在2016 年美国大选之后,著作、研究报告、报刊以及博文等相关研究呈全面爆发之势:以学术论文为例,通过运用CiteSpace5. 0. R2 软件对Web of Science Core Collection 数据库近10 年假新闻发文量的统计分析(见图1),清晰地展现了这一点;通过Google e-book 检索“Fake News”(截至2018 年11 月24 日),可以发现20 世纪相关图书量仅为692 本,21 世纪初至今则暴增为18. 9 万本,其中,2016 年以来为12. 9 万本,同样印证了这种趋势。虽然只有短短的三年时间,但由于关注度高、棘手、危害与影响深远、与现实关联度高,目前,已经基本实现了假新闻核心研究议题的广覆盖,并建构起了属于自身的逐渐趋于完善的研究框架与理论体系,成果丰硕。 一、国外假新闻研究的缘起 假新闻泛滥已经成为社交媒体时代的一大顽疾,借助社交网络平台病毒式传播,假新闻泛滥已成为全球公害,其中,网络技术与应用最发达的欧美地区无疑是重灾区。大量假新闻背后都存在明确的政治与经济目的,它们操纵公众舆论,传播歧视言论,散播仇恨与固化偏见,制造群体对立,干预大选,到处煽风点火,不仅频频引发社会暴力行为,加剧政治极化,恶化政治生态,而且制造国际危机,威胁世界和平。“两年前‘假新闻’尚不是许多人使用的术语,但它现在被视为对民主,自由辩论和西方秩序的最大威胁之一。”[2] 事实核查网站PolitiFact 把2016 称作“撒谎年”,2016 年《牛津词典》将“后真相”(post-truth)定为“年度单词”,2017 年《柯林斯英语词典》将“假新闻”选为年度热词,2018 年《牛津词典》又将“有毒”(toxic)定为“年度单词”。由此可见,假新闻的泛滥、危害以及所引发的众怒正是国外假新闻研究快速兴起的背景与原因。 (一)政治家们对假新闻高频度地批判,普遍认为它是民主政治的威胁 虽然假新闻早已存在多年,但真正引起高度争议却是在2016 年美国总统大选结束后。一方面,特朗普的胜选致使社交媒体上的假新闻泛滥备受关注,美国各大传统媒体以及很多人都认为假新闻影响了选民判断,成了特朗普获胜的“帮凶”;另一方面,自特朗普就职以来,就一直斥责美国主流媒体散播针对他的假新闻,2018 年1 月17 日,更在自己的推特上颁发了“2017 假新闻奖”。美国前总统奥巴马也公开谴责假新闻威胁民主政治进程。假新闻之所以被高频度关注,还与假新闻重灾区国家领导人的激烈批评不无关系。法国总统马克龙批评道,“有人正在故意试图模糊真相与谎言之间的界限,破坏民众对自由民主的信心”,声称2018 年计划出台一项新法律,用来打击虚假新闻。2018年7 月,法国国民议会终于通过旨在打击选举期间利用媒体传播不利信息的《反假新闻法案》。德国总理默克尔警告,网络上的公众舆论遭到操纵,社交媒体上假新闻泛滥,正推动民粹主义者的兴起。联合国前秘书长潘基文更是痛斥假新闻:“由于近似人格抹杀般的恶意污蔑以及各种假新闻,我的纯粹爱国心和抱负以及政治变革的愿望变得荡然无存。”另外,英国、新加坡等国家,以及联合国教科文组织、欧盟、东盟等国际组织都纷纷加入批评假新闻的洪流中来。 (二)越来越多的有影响力的重要人士呼吁遏制假新闻 2017 年,苹果CEO 库克撰文指出:希望获得最多点击率、却未说出事实的人们正散播谎言,在某种程度上,这杀死了人们的思想。2018 年,万维网发明人蒂姆·伯纳斯-李呼吁对强大的互联网平台和社交媒体公司进行监管,以防止互联网被大规模“武器化”。同年,索罗斯也在达沃斯世界经济论坛上表示,社交媒体是对民主的威胁,并认为其可能会带来“深远的政治后果”。教宗方济各更是在2018 年世界社会传播日发表文告,批评假新闻传播傲慢与仇恨,借助偏见和愤怒情绪操纵社交网络不断散播,目的是左右政治决定,以及牟取经济利益。越来越多的有识之士加入批评假新闻的队伍中来,假新闻成为“过街老鼠,人人喊打”。 (三)世界知名民意机构、高校研究机构、智库等发布关于假新闻的调研报告 美国皮尤研究中心(Pew Research Center)是近年来对假新闻及其危害发布调研报告最频繁的民调机构。2016 年皮尤研究中心的一份调查显示,64%的人认为假新闻令他们对基本事实产生“极大困惑”,而32%的人经常在线观看捏造的政治新闻。美国麻省理工学院传媒实验室的研究表明,含有虚假内容的推文在推特上传播给1500 人的速度比内容真实的推文要快6 倍。[3] 兰德公司发布的《真相侵蚀》报告指出,美国新闻界正遭遇新一轮“真相侵蚀”浪潮的严重冲击,导致民主政治的根基遭到破坏,社会共识的交集日渐萎缩。[4] 2017 年,英国著名的民意调查机构舆观(YouGov)所进行的一项新研究显示,亚太区大部分民众相信数码平台上的“假新闻”确实已成问题。在假新闻的作祟下,2018 年2 月,德国英萨研究所(INSA)发布的最新民意调查显示,社民党只剩下15. 5%的支持率,而右翼民粹政党选项党则上升至16%。趋势科技(Trend Micro)采集的数据显示,能影响大选结果的假新闻全程服务费用在40 万美元左右,能煽动民众上街游行的假新闻服务费用在20 万美元左右。假新闻的威力令人触目惊心。另外,民调机构盖洛普(Gallup)、哈里斯(HRS)、全球扫描(GlobeScan)、富彩民调(Forsa)以及全球数据咨询公司凯度的调查数据也揭示出假新闻泛滥的危害程度远超人们的想象,假新闻泛滥正在成为重塑全球政治秩序的暗流,不能再等闲视之。 (四)社交媒体公司的数据生意引发众怒 特朗普曾在2016 年选举期间聘请了剑桥分析(Cambridge Analytica)来运行数据操作,2018 年3月美国广播公司(ABC)报道说,剑桥分析公司多位高管声称他们确保了唐纳德·特朗普在总统大选中获胜,并以“击败骗子希拉里”运动,操纵数百万的选民。Facebook 承认5000 多万的用户数据被错误地交给了剑桥分析,导致公众对其的信任降至冰点。2018 年Facebook CEO 扎克伯格在6 份英国报纸和3 份美国报纸上,采用道歉信形式为Facebook 用户信息被数据公司“剑桥分析”泄露和利用一事道歉,并被迫于4 月与5 月份分别去美国国会与欧洲议会参加听证会,接受质询,并明确表示发生一切都是自己的错误。剑桥分析也因非法利用社交媒体平台客户信息精准营销、干扰2016 年美国大选与英国脱欧而陷入舆论漩涡,臭名昭著,已经破产。2018 年推特也被曝出了一宗泄密案———3. 3亿用户登录密码被暴露。这些泄密事件揭露了社交媒体数据生意的冰山一角,引发众怒! (五)假新闻已经成为全球公害,其危害不容漠视 一是,假新闻正在杀死人们的思想。社交媒体时代,人们被假新闻和偏激观点劫持,不仅真相无立足之地,独立思考也随之被扼杀。一方面,过滤气泡把人们不喜欢、不感兴趣的内容过滤掉,喜欢的内容放进来,限制人们接触不同观点的机会。另一方面,在算法的驱动下,人们被束缚于一个个分化的信息茧房中,不停地接收重复且强化的“单一观点”信息,阅读日益“内卷化”[5] ,偏见日益增强,头脑随之变得狭隘。二是,假新闻塑造内群体,侵蚀社会信任,制造分歧,妨碍社会共识的形成,撕裂社会。在证实偏见与回音室效应的作用下,当高度的相互关注与高度的情感连带结合在一起,情感感染力渲染出一条充满情感能量的“互动仪式链”,一种被扭曲了的群体认同悄然形成,群体认同不仅塑造了内群体身份,也形成了强大的信息隔离与排他的拟态环境,“结果,情感状态变得越来越强烈,也更有支配性;而相反的感受被主要的群体感受驱散了”[6] 。三是,假新闻操纵公共舆论,干预大选,恶化政治生态,政治极化现象严重。近年来,美国政治极化现象愈益严重,各种极端群体和极端言行急剧上升,右翼本土主义、民粹主义猖獗,美国两党分歧愈难弥合,政治生态恶化。在欧洲,受假新闻的蛊惑,民粹主义抬头,极右翼政党实力大增。四是,假新闻制造国际危机,威胁世界和平。2017 年的卡塔尔断交危机就是最新例证,卡塔尔通讯社网站遭黑客攻击,一则新闻报道被添加了卡塔尔埃米尔的虚假言论,显示他与伊朗和以色列关系友好,从而引起轩然大波。尽管卡塔尔政府发表了辟谣声明,但巴林、沙特等七国还是相继宣布与卡塔尔断绝外交关系。 二、国外假新闻研究的主要进展 假新闻泛滥成灾在将假新闻推上风口浪尖的同时,也大大推进着假新闻研究的进程。然而,国外关于假新闻的研究不是在一片空白的基础上开始的,社交媒体虽然赋予假新闻以新的特征,但本质上来说,假新闻并不是新现象,它仍然属于大众传播的范畴。在剖析假新闻现象上,大众传播理论既表现出了经典理论的旺盛生命力,又不断演化创新,愈益完善。在厚重的经典传播理论的基础上,在大量鲜活实例与丰富调研数据的支持下,在各界的广泛参与下,围绕着假新闻的概念、识别与发展特征、发生与影响机制、危害与治理等关键节点与核心议题,学界提出了众多真知灼见的理论框架与有效的分析工具,在短短的三年之内,建构起了属于自身的逐渐趋于完善的研究框架与理论体系,成果丰硕。 (一)传统媒体时代的传播理论为假新闻研究奠定了坚实的理论基础 理论的生命力首先体现为对现实的强大解释力,传统媒体时代的传播理论体系完整、博大精深,对社交媒体时代的假新闻泛滥依然具有极强的解释力,为假新闻研究奠定了坚实的理论基础。它们在新的传播情境中,不仅获得新的应用,爆发出更加旺盛的生命力,而且与时俱进,不断创新发展。依据假新闻传播的五个层面,传播理论可以分为五大类:一是人内传播,主要包括米德的“主我客我”理论、布鲁默的“自我互动”理论等,它们有助于解释假新闻对个体认知偏见的内化塑造。二是人际传播,主要有库利的“镜中我”理论、拉扎斯菲尔德的“意见领袖”理论、库尔兰和马尔库斯的“线索过滤”理论、欧文·戈夫曼的拟剧论等,它们有助于解释社交媒体时代假新闻在人际间的传播形式与影响因素。三是组织传播,主要是罗杰斯的“创新扩散”理论等,它们有助于解释假新闻扩散的产业化、智能化与武器化现象。四是群体传播,主要有塔尔德的“群体模仿”理论、勒庞的“群体感染”理论、詹姆斯·斯通的“群体极化”理论等,它们有助于探究假新闻在群体之内的传播规律与影响后果。五是大众传播,这部分是传播理论的集大成所在,最为丰富,主要包括:李普曼的“拟态环境”理论、卢因的“把关人”理论、克劳德·香农的“信息论”、奥尔波特和波斯特曼的谣言传播公式、拉斯韦尔的5W模式、霍夫兰的“说服性传播”、格伯纳的“涵化”理论、蒂奇纳的“知识沟”理论、麦库姆斯和唐纳德·肖的议程设置理论、鲍德里亚的“拟像”理论、诺伊曼的“沉默的螺旋”等,它们有助于解释假新闻泛滥成灾的理论机理。理论的生命力还在于不断创新以及对新现象的阐释力。克罗斯把谣言传播公式发展为:谣言=(事件的)重要性×(事件的)模糊性×公众批判能力;诺伊曼全面发展了纽曼的“沉默的螺旋”理论;布雷多克添加了情境和动机两个环节,把拉斯韦尔的5W 模式变成7W 模式;在政治极化(群体极化的一种表现)的基础上,弗朗西斯·福山提出了“否决政治”观点;基于亨利·泰弗尔(Henri Tajfel)和约翰·特纳(John Turner)的社会认同论,扎伊·范·巴维尔(Jay van Bavel)提出了“基于身份的相信模式”等,为假新闻研究提供了新的理论框架与分析工具。 (二)假新闻概念的辨析研究 在国外学界,假新闻的概念至少有“假新闻(fake news)”“虚假信息(disinformation)”“误传(misinformation)”“错误消息(mal-information)”“假消息(false information)”“谣言(rumor)”等几种用法,使用方式也分为两类:明确区分与混用。第一类明确区分了假新闻的概念,萨瓦斯·赞内托等学者的研究最具代表性,他们把假消息分为三种类型:假新闻、偏向或不正确新闻与误导或暧昧的新闻,认为假新闻类是网络上最为严重的一类虚假信息,误导性的新闻类故事在一定程度上纳入了真相,而误导或暧昧的新闻是最温和的,并把谣言归为此类。[7] 评估在线信息资源的开源策划(OpenSourc-es)对假新闻、谣言等进行了区分,它认为:假新闻是那些有意制造信息、传播欺骗性内容或严重扭曲实际新闻的报道,而谣言则是流言蜚语、八卦、含沙射影和未经证实的主张[8] 。第二类则宽泛定义或混同使用。2018 年,《科学》杂志刊载的《假新闻科学》一文将“假新闻”定义为:“捏造信息,它模仿新闻媒体内容的形式,而不是组织过程或意图。反过来,假新闻媒体缺乏新闻媒体的编辑规范和程序,以确保信息的准确性和可信度。虚假新闻与其他信息障碍重叠,例如错误信息(虚假或误导性信息)和虚假信息(虚假信息被传播以欺骗人们)。”[9] 佩蒂亚·吉维的定义类似,认为“假新闻是一种恶意或故意传播错误信息的方式,无论是通过传统新闻媒体还是通过社交媒体传播,其目的都是为了获得财政或政治上的利益而进行误导”[10] 。基本不加区分混用的情况也较为普遍,纵观2010 年以来的假新闻研究,无论是研究著述还是媒体报道,无论是题目中是否同时出现这些术语的组合,很多研究者都仅仅把它们作为一个习以为常的术语不加辨析地使用。但若想打击假新闻,清晰界定假新闻的概念无疑极为重要,阿克塞尔·格尔菲特、戴维·克雷恩等众多学者都持上述观点。国外假新闻研究之所以混同使用这些术语的原因不在于它们没有区别,而在于:一是,社交媒体时代假新闻、错误信息与谣言的界限越来越模糊,相较于假新闻的发生与影响机制、危害与治理等方面研究的紧迫性,明确区分它们在假新闻研究的价值序列上并不具有优先性。二是,假新闻定义与认定标准涉及复杂的意识形态分歧、派别斗争,利益不同,立场不同,观点自然各异。 (三)假新闻的识别及其发展特征的研究 面对假新闻泛滥,教会民众识别假新闻具有十分重要的意义。查理·琼斯列举了八种方法:不可靠的来源、不切实际的头条新闻、不寻常的URL 链接、过时、格式不佳、未经验证的图像、无法识别的作者以及恶作剧或幽默。[11] 《批判性思维》的作者彼得·法乔恩则提出了十种方法来辨别假新闻。米切尔·米勒则认为假新闻多融入故事中,因此,必须学会从小说图书馆绑定中分离真相。[12] 2018年美国中期选举来临之际,哥伦比亚新闻评论工作人员在纽约街头设立快闪报摊,展示假新闻报刊,以教育民众正确判断新闻真假。另外,很多图书馆、高校官网上也纷纷开设鉴别假新闻方法的网页。社交媒体时代,假新闻产业化、智能化与武器化的发展特征日益明显。2017 年芭芭拉·马特奇奇的调查报告《在韦莱斯遇见假新闻的生产者》揭开了马其顿小城的假新闻制造产业链。假新闻的泛滥与算法、社交机器人等人工智能的推波助澜密不可分,斯坦福大学的埃切韦里与卡卡沃利研究了谷歌在假新闻与错误消息传播中的角色[13] ,戴维·萨普特则在《过载:从脸书、谷歌到假新闻、过滤气泡》一书中剖析了网络科技公司的算法是如何通过散播假新闻进而控制我们生活的[14] 。算法助长假新闻的威力,也促进了算法权力研究的序幕,泰纳·布赫在《如果……那么:算法权力与政治》一书中研究了算法权力与政治的关系逻辑,格雷厄姆·梅克尔、亚伦·赫斯与艾博·戴维森也都卓有成效地研究了算法权力。安德鲁·查德威克、邵程程则研究了社交机器人在传播假新闻中的作用。“通俄门”持续发酵推动着假新闻的武器化研究,布赖恩·麦克奈尔在《假新闻:新闻业中的虚假,制造和幻想》一书中指出,假新闻已经成为意识形态战场上的重要武器。乔治·弗里德曼、尼尔·麦克法夸尔等学者的研究成果揭示了俄罗斯把假新闻武器化、干预美国大选。尼古拉·米尔茨直言:“由社交媒体驱动的故意误导信息已经证明是战争中最有效的武器,也是传播‘ 假新闻’ 的有力工具。”[15] (四)假新闻的发生与影响机制研究 “假新闻”2017 年才作为年度热词出现,相较之下,网络传播研究的时间要长得多,涌现了诸多创新性理论。从本质上来说,社交媒体时代的假新闻仍然属于网络信息传播的范畴,因此,这些创新性理论同样为假新闻研究提供了极具价值的理论框架与分析工具。一是,假新闻泛滥与人类认知缺陷之间逻辑关系的论证性理论。学界公认人类的认知缺陷是假新闻泛滥的重要原因,相关研究极为深刻。阿恩·罗茨通过实验研究表明,公布真相对于认知能力高的人来说是有效的,但“即使在最佳情况下,不正确信息的初始影响也不能简单地通过指出这些信息是不正确的,特别是在认知能力相对较低的人群中”[16] 。雨果·默西尔与丹·斯佩贝尔则研究了“为什么事实都无法改变我们的认知”,“人类不会随便相信他人。如果将他人的观点摆在我们面前,我们很容易发现他人观点的缺陷。然而,几乎可以肯定的是,我们却盲目相信自己的观点”。[17] 很多时候,假新闻杜撰的故事只要符合我们的一般想象,便会很容易上当。詹姆斯·博恩、戈登·彭尼库克、扎伊·范·巴维尔等也对此进行了极有启发的研究。二是,假新闻影响机制的阐释性理论。网络假信息泛滥是假新闻发酵的网络环境,赖安·霍利迪、约翰逊等研究了“内容农场”①现象,何晓飞等则研究了网络水军问题。那么,网络假信息泛滥又是如何影响受众的呢? 华莱士在《互联网心理学》中阐述了互联网交往中的“向边缘移动”现象,一个个体最初可能是带着相对中立的观点看某个问题的,但与别人就此在网络讨论后,他可能从中间的地段向边缘移动。受众为什么会“向边缘移动”? 艾里·帕雷瑟认为算法把人们不喜欢、不感兴趣的内容过滤掉,喜欢的内容放进来,限制接触不同观点的机会,并将这种现象称为“过滤气泡”[18] 。桑斯坦在《网络共和国》《信息乌托邦》中分别提出了“回音室效应”与“信息茧房”理论,“信息茧房”是回音室效应形成的关键。处在信息茧房中的受众会不断地在回音室效应作祟下强化自我认同,想当然地认为这些扭曲的故事就是事实的全部。“重复虚假陈述增加了它的可信度,赋予它一种斯蒂芬·科尔伯特所说的‘真实效应的幻觉’”[19] 。 (五)假新闻的危害研究 假新闻首先损害真相,影响受众认知与思考。戴维·温伯格在《知识的边界》一书中曾言:“人人都能在网络上找到一个扩声器,发出和受过良好教育及训练的人一样高扬的声音,哪怕他的观点再愚不可及。”[20] 互联网就是一堆未经把门的谣言、流言与谎言的集合,它把我们的注意力切割成碎片,终结了那些长线的深入的思考。对此,林奇在《我们的互联网》一书中探讨了“失控的真相”,一针见血地指出:“知道的多了,智慧却少了”[21] 。皮尤研究中心的巴塞尔、米切尔与霍尔科姆证实了这一点,其研究显示假新闻对受众造成了认知困惑,同时又会塑造受众偏见。詹姆斯·鲍尔、马修·德·安科纳等研究了后真相时代新的真相战争以及如何反击问题。假新闻泛滥对一个国家的社会、政治与经济都会造成严重伤害。麻省理工教授马歇尔·范·阿尔斯泰和埃里克·布林约尔松在《电子社区:是全球村,还是网络巴尔干国家?》一文中首次提出了“信息地域化割裂”问题,指出了互联网空间的“巴尔干化”现象。蔡美儿则用“政治部落”[22] 一词来形容受众政治立场的分裂与极化问题。2016 年美国大选是假新闻泛滥的重灾区,因此,假新闻对美国大选的影响也是很重要的一个研究领域,迈克·马休斯、威廉·古德斯皮德等学者的研究揭示了假新闻在美国大选中是如何作祟的。假新闻还会威胁民主进程,范迪克与哈克等研究成果分析了假新闻对民主的威胁。戴维·朗西曼直言:假新闻“使得扎克伯格对美国民主的威胁比特朗普更大”[23] 。假新闻同样会影响经济运作,麻省理工学院教授斯南·阿拉尔通过2018 年亚马逊税务假新闻事件分析了假新闻对经济与企业的影响。[24] 假新闻更是世界和平的威胁,马克·琼斯研究了卡塔尔危机中的黑客攻击,机器人和信息战。[25] (六)对假新闻治理的策略与困境研究 面对海量资讯,假新闻治理的第一步就是探索能够全面描述假新闻各方面的方法,对症下药。不同于大多数研究主要集中在两大类虚假信息:基于意见(例如,虚假评论)和基于事实(例如,虚假新闻和恶作剧),斯里坎·库马尔和尼尔·沙阿认为表征虚假信息在社交平台上的扩散以及欺骗读者成功的原因对于开发有效的检测算法和早期检测工具至关重要,他们创建了一个统一的框架来描述跨越虚假信息的各个方面,即(i)参与传播虚假信息的行为者,(ii)成功欺骗读者背后的理由,(iii)量化虚假信息的影响,(iv)测量不同维度的特征,(v)为检测虚假信息而开发的算法。[26] 假新闻治理的第二步就是利用人工智能发现、识别假新闻或利用事实核查机制予以筛选。苏凯、艾米·斯利瓦①所谓内容农场是指以取得网络流量为主要目标,图谋网络广告等商业利益的网站或网络公司。等研究了利用大数据挖掘发现社交媒体上假新闻的方法,朱塞佩·博纳克索等研究了通过机器学习提升算法发现假新闻的技术,拉米·巴利等研究了利用AI 系统鉴别信息来源准确性和个人政治偏见的方法。斯·古哈、欧·巴雷拉、斯宾塞·布莱尔等则研究了利用事实核查机制对抗假新闻。假新闻治理的第三步就是利用法律来进行有效治理。2017 年,耶鲁大学法学院信息社会项目和弗洛伊德·艾布拉姆斯言论自由研究所联合研讨会的报告、斯坦福大学法学院法律与政策实验室发布的《假新闻与误导信息》、欧洲政策研究中心(CEPS)的安德里·亚伦达等都深刻探讨了假新闻立法问题。但一些学者也对于由科技公司来判断或政府立法管制假新闻持谨慎态度,弗莱明·罗斯与雅各·姆尚贾马就列举西方历史事实说明由政府立法管制假新闻的危险。[27] 假新闻治理的第四步就是提升民众媒体素养。1933 年英国学者利维斯和汤普森在《文化与环境:批判意识的培养》一书中首次阐述了学校引入媒介素养教育问题。布瑞恩·豪斯认为,要对抗假新闻必须教授民众批判性思维与媒体素养课程[28] ,麦基与雅各布森也认为鼓励公众参与打击假新闻很重要,他们首次提出元素养概念,认为“元素养”是一种根本的、自我参照的综合框架,它需要人们对信息产生的背景有更强烈的批判意识,并改善自己的阅读习惯。[29] 总体来看,虽然学者们对假新闻治理研究的侧重点不同,立场有差异,但他们普遍认为提升民众媒体素养以及更多的信息源有助于民众识别假新闻。目前学界关于假新闻治理的困境主要聚焦于立法管控与言论自由原则之间紧张关系的处理,虽然多数研究者基本都赞成用法律来治理假新闻,但他们也大多表达了对立法介入言论自由的疑虑,主张立法要谨慎。大卫·戈德伯格、迈克尔·多夫、西德尼·塔洛等都深入探讨了此问题。迈克尔·切尔托夫的观点非常具有代表性:“随着呼吁抵制‘假新闻’的增加,重要的是不要过度反应和破坏我们的第一修正案的价值观。第一修正案不仅仅是为了保护抽象的‘真相’而设计的。实际上,它是在一个没有‘客观’或‘专业化’媒体的时代被采纳的……正如布兰代斯大法官所说,我们最好的武器仍然是宪法保证的‘更多言论’。”[30] 此外,假新闻研究绝不是寓于一域的单纯问题,而是涉及政治、社会等多领域的挑战,需要多学科交叉研究,集思广益。因此,信息瀑布、互动仪式链、标签化、心理图式、符号、社会认同、道德恐慌、区块链等多学科领域的经典理论都越来越多地被应用到假新闻研究中来,并迸发出新的理论活力。 三、国外假新闻研究的评价 与假新闻泛滥成灾、肆虐全球、“过街老鼠,人人喊打”相应,假新闻的研究热潮从2016 年迄今虽然只有短短三年时间,但受关注度之高、各界参与之广、研究成果之丰、争论之激烈、影响之深远都是新闻研究史上所鲜见的。尽管假新闻研究领域广泛、研究成果丰硕,但其研究特色与局限性也十分鲜明。 (一)国外假新闻研究的特色 国外假新闻研究特色鲜明,主要表现为五个方面:一是,西方国家研究火热,其中,尤以美国相关研究成果最丰硕(见图2),其中,涉及2016 年美国大选的研究成果又最显著。这与假新闻伴随2016年美国大选而火热、与美国是假新闻重灾区的事实密切相关,更与美国拥有最先进的网络科技与最强大的科技公司、拥有最雄厚的网络传播学术研究实力不无关系。反观之,假新闻也对很多发展中国家造成了不小伤害,但相关研究却严重不足,这在一定程度上会影响其对假新闻的治理成效。二是,研究历史悠远,但以2016 年为分水岭,研究主题发生了重大变化。2016 年之前,假新闻研究多集中于“政治讽刺”“新闻风格”等另类批判主题,基本以间接研究为主,受关注度不高;当然,关于“谣言”“媒体传播”等传播机理研究也为假新闻研究奠定了坚实的理论基础。2016 年美国大选后,假新闻研究开始聚焦政治性假新闻,且以点带面推动整体性研究,成为研究热点。三是,研究著作丰富,跨学科研究是主流,研究体系已经建立。林奇的《我们的互联网》、蔡美儿的《政治部落》、戴维·萨普特的《过载:从脸书、谷歌到假新闻、过滤气泡》、泰纳·布赫的《如果……那么:算法权力与政治》、阿兹维多的《假新闻肮脏商业》等都是代表性跨学科研究经典。围绕假新闻的发展链条,各环节的研究都较为丰富,已经逐渐建立起了相对完整的研究体系。四是,世界知名民意机构、高校研究机构、智库等纷纷加入假新闻调研与研究中来,且均高度关注政治性假新闻。民调机构方面,美国皮尤研究中心频频发布关于假新闻及其负效应的调查报告,盖洛普、哈里斯、全球扫描、趋势科技、德国英萨研究所、英国舆观也都发布了相关调研报告,警示(政治性)假新闻的危害。高校方面,研究成果最卓著,联合研究趋势与成就亮眼,《假新闻科学》一文就是由16 名来自MIT、哈佛、耶鲁、哥伦比亚等顶级大学的政治学、传播学、心理学乃至法学学者联合研究的成果。此外,一些民调机构还与高校进行联合研究,皮尤研究中心就联合了伊隆大学的想象互联网中心发布了《算法时代》的研究报告。兰德公司也发布了《真相侵蚀》报告,指出,美国新闻界正遭遇新一轮“真相侵蚀”浪潮的严重冲击,导致民主政治的根基遭到破坏,社会共识的交集日渐萎缩。[4] 五是,共识多,分歧也极为激烈,争议的焦点凸显假新闻的治理困境。对假新闻的影响与危害,各界的看法高度一致,假新闻威胁民主、撕裂社会,必须严厉打击;在治理策略上,通过提升民众媒体素养、加强对社交媒体巨头的监管等举措也得到广泛认可。但在立法治理假新闻问题上,却陷入激烈纷争,这可以从一些国家的立法争议一窥端倪。虽然德国通过了《网络执行法》,法国通过了《反假新闻法案》,但其国内都争议不断。英国虽然誓言立法打击假新闻,但迟迟难有进展。2018 年印度政府宣布将推出新措施打击散播假新闻的媒体记者,但在愤怒的记者和反对党派人士群起抗议打击新闻自由后,总理莫迪介入事件,印度资讯与传播部发表声明宣布撤回新规例。
(二)国外假新闻研究的局限 鉴于国外假新闻研究主要集中于以美国为首的西方国家,西方的价值观、立场与偏见也决定了其研究的局限性。主要表现为三个方面:一是,对自身制造、散播的假新闻反思少,对其他国家一味指责。西方学界关于俄罗斯等国利用假新闻对西方进行信息战、干预美国大选、扰乱欧洲大选与公共议题的研究颇丰。卢克·哈丁的《勾结:俄罗斯如何帮助特朗普赢得白宫》、美国参议院情报委员会特别委员会编制的《俄罗斯对2016 年美国选举的干涉》、托德·海尔穆斯等的《俄罗斯社会媒体的影响力:俄罗斯在东欧的宣传》等都属于此类。虽然斯诺登棱镜门事件之后,美国也有数量有限的专门研究,但研究侧重点在于:美国国安局和FBI 监控普通民众电子邮件、聊天记录、视频及照片等秘密资料的行为侵犯了民众隐私;美国对其他国家的监控,则不是研究重点。至于美国媒体的假新闻制造史,特别是西方媒体曾经炒作伊拉克拥有大规模杀伤性化学武器的新闻,则鲜有专门研究。二是,对发展中国家立法打击假新闻持双重标准。西方学界关于发展中国家的假新闻研究不仅少,而且即使少量的鲜有研究往往也充满偏见,对发展中国家立法打击假新闻更持双重标准。对于德国也通过《网络执行法》打击假新闻,西方学界仅仅是表达了担心,但对于发展中国家打击假新闻的立法与努力,则是齐声批评。在马来西亚制定了《反假新闻法案》之后,虽然新闻真假全权由法院研判,但西方学界仍然一片批评声。卡洛琳·利斯、马克·卢尔德等学者都指责马来西亚利用反假新闻法来压制言论自由。三是,国外关于假新闻危害民主政治的研究多局限于假新闻伤害公共理性、撕裂社会、操纵公共舆论、干预大选、政治极化等表象,而没有深入西式民主的内在危机本质上去分析。实际上,假新闻的泛滥及其治理困境本质上正是西式民主内在危机的困境。与其说假新闻泛滥导致西式民主危机,不如说是西式民主危机造就假新闻泛滥。 (三)国外假新闻研究的价值 国外假新闻研究虽然具有一定局限性,但瑕不掩瑜,它构建起了日趋完整的研究体系,提出了众多真知灼见的理论框架与有效的分析工具,进行了大量数据调研、分析与验证,为民众认识、理解、识别、反击假新闻提供了坚实的理论基础。假新闻研究领域的众多研究成果也在推动着实践领域中假新闻的治理。以媒介素养教育为例,虽然欧美国家是实施媒介素养教育的先行者,但除了澳大利亚、加拿大等少数国家之外,媒介素养教育并未曾给予应有重视。随着假新闻泛滥成灾,媒介素养教育的研究与发展情势为之一变:一方面,媒介素养教育研究进展迅速(见图3),数字媒介素养的五个关键概念、嵌入数字媒体制作的研究性教学等新理念、新方法不断涌现;另一方面,在最新研究成果的加持下,媒体素养课程得到了越来越多国家的认可。在美国很多州,从小学到大学,一些教师已开始教导学生如何辨别假新闻。在意大利,政府推出了一个试验性质的项目并纳入高中教育大纲,希望以此提高学生媒体素养,内容包括识别线上虚假信息和阴谋论。在以色列,海法大学设立了媒介素养新课程,以期使年轻人提高辨别信息的能力。越来越多的发展中国家(印度、菲律宾、印度尼西亚、土耳其等)也纷纷开始试行媒介素养教育,以提高民众的媒介素养,遏制假新闻的传播和影响。由非营利的全球发展和教育组织IREX 在乌克兰实施的“学会辨别”项目结果表明,受众完成媒介素养培训后,在将事实与虚构分离方面变得更加熟练,并将他们学到的东西与家人和朋友分享。国外假新闻研究的丰硕成果将在假新闻治理中发挥越来越重要的作用。 四、研究展望 一个学术研究主题的价值不仅体现在能否站在时代前沿、及时回应时代变迁提出的重大问题,更体现在能否因应研究主题未来的发展与变化,前瞻性地提出创新性的理论与工具,建构起较为完整的、带有自身属性的学术话语体系与理论框架。截至目前,虽然研究热潮只有短短三年时间,但假新闻研究已经跳出“谣言”与“宣传”的研究框架,建构起了属于自身的逐渐趋于完善的研究框架与理论体系,成就斐然。随着信息传播技术的日新月异以及越来越多不同学科背景的学者对假新闻的关注,假新闻研究将迎来“繁荣的春天”。展望假新闻研究的未来,有四种发展趋向较为鲜明: (一)研究热潮方兴未艾,热度不减 假新闻绝不是“昙花一现”的偶发急症,而是深深嵌入时代背景中的社会分歧与冲突在新的技术与媒体条件下“时代病症”的外显;假新闻治理也不是一蹴而就的,而是一场持久战。尼克·纽曼说:假新闻“这个词涵盖了许多罪过———使民众对偏见与低劣的新闻、政治化妆、误导性在线广告的关注具体化以及通过社交媒体故意散布捏造的故事。对于这个不同但又相关问题的复杂混合体,将没有任何迅速解决的方案”[31] 。2018 年9 月6 日,牛津大学发布的一份关于瑞典大选的报告佐证了这一点:研究人员发现,在瑞典大选期间,流传的假新闻故事的比例高于其他任何欧洲国家,在最近的重大选举中仅次于美国。[32] 哈佛大学肯尼迪政府学院的国际媒体专家克莱尔·瓦斗更言,要解决“假新闻”时代信息混乱问题及社交平台广告泛滥的现象,将需要打一场长达50 年的战役。 (二)研究主题更加棘手,争议与分歧更剧烈 虽然假新闻研究在大是大非问题、研究框架问题上尚能达成共识,但由于假新闻问题不仅事关一个社会内部“最敏感”“最深层”、往往也是“最难以处理”的分歧与冲突,更涉及错综复杂的意识形态分歧、国情差异、党派斗争、国际政治博弈等复合因素,因此,一国内部各群体、各派别、发展中国家与发达国家等主体在假新闻的认定标准、假新闻与言论自由的界限、假新闻治理的手段等主题上的争议与分歧将更剧烈,反映在假新闻研究上的争论将更加棘手。以争议最为激烈的立法规制假新闻为例,虽然各界对立法规制假新闻的呼声日益高涨,在新加坡,甚至超过九成新加坡人赞成立法打击假新闻,但学界在积极投入立法规制假新闻研究的同时,也多困扰于“立法规制与言论自由界限的难以界定”,立场不同,研究侧重点不同,争议与分歧在所难免。正如《2018 年全球风险报告》所言:治理假新闻“需要政策制定者和技术领导者双方的持续努力,需要竭力在监管与防止个人自由受到侵害之间取得平衡”[33] 。 (三)研究领域愈加广泛,研究内容愈加深入 随着新技术的不断开发和应用,不断催生新的新闻应用和传媒业态,媒介形态、舆论生态、传播方式、受众群体都在发生深刻变化,假新闻研究领域将愈加广泛,研究热点频出。一方面,随着越来越多的新闻编辑室开始大规模引入人工智能,并将他们送上核心岗位,人工智能新闻行业规范、人工智能新闻媒体伦理、人工智能新闻立法、新闻场景化等研究领域将成为未来假新闻研究的一大热点。 另一方面,智能新闻、VR 新闻、AR 新闻、深度伪装①(deep fake)等新媒介技术层出不穷,假新闻也借此滋生肆虐,且隐藏更深、防不胜防。以最新的深度伪装技术为例,它可以把一个人的声音套用在另一个人的脸部表情上,甚至可以让政治人物“说出”他们不曾说过的言论,呈现效果几可乱真。“AI生成的合成媒体可用于扭曲和操纵现实……预计2019 年将出现大量的深度伪装。[34] ”因此,从研究领域来看,假新闻研究将在国别假新闻、假新闻与民主、数字媒介素养教育、互联网平台的伦理与立法、国际社会的合作治理等方面持续回应这些问题;从研究深度来看,新的假新闻形态(数字新闻主播、数字编辑、数字人类、新闻游戏、聊天机器人等)研究将愈加深入,并衍生带动新闻版权、新闻伦理等研究热点。 (四)跨学科研究将催生更多创新成果 随着假新闻吸引越来越多研究者的注意,跨学科理论与方法的应用日益深入,创新成果不断涌现。近期,有三项别具一格的研究成果极为鲜明地表征了这一趋势。一是,新的假新闻治理理论。剑桥大学社会决策实验室提出的“假新闻心理疫苗”理论,认为不要等待虚假信息传播,然后费力地进行事实检查和揭穿,而是采取先发制人的打击,保护你的大脑。[35] 二是,新的假新闻核查方法。麻省理工学院计算机科学与人工智能实验室(CSAIL)和卡塔尔计算研究所(QCRI)的研究人员认为,最好的方法不仅要关注个人主张,还要关注新闻来源本身。他们设计了一个机器学习系统,旨在确定信息插座是准确的还是有偏见的,从源头上检测假新闻。[36] 三是,新的调研维度。纽约大学和普林斯顿大学的研究人员把假新闻传播与年龄结合起来发现,平均而言,65 岁以上的美国Facebook 用户分享假新闻的数量几乎是18 到29 岁之间的7 倍。[37] 然而,令人遗憾的是,虽然近年来涉及假新闻的研究著作呈爆发式增长,虽然戴维·萨普特、林奇、桑斯坦等大师对假新闻相关构成部分与机理进行了精研,虽然政治学家蔡美儿、互联网与社会学家戴维·温伯格、教育学家彼得·法乔恩、社会心理学家约翰·特纳、数据科学家索罗什·沃索吉、神经学家扎伊·范·巴维尔等都对假新闻进行了富有创建与启示价值的交叉前沿研究,但迄今为止,学界公认的、标志性研究巨著仍未诞生。标志性研究巨著是一个研究主题成熟的最显著标志,不过,毋庸置疑,这些卓有成效的研究性工作已经为假新闻研究的标志性巨著的问世做好了充分的铺垫与准备。 参考文献 [1] Editorial Staff of The Outlook. The Spectator. The Outlook,1898,59(1):367. [2] J. Carson. Fake News:What Exactly is It———and How can You Spot It? The Telegraph,2018-09-28. [2018-10-01]https:/ / www. telegraph. co. uk/ technology/0/ fake-news-exactly-has-really-had-influence/ . [3] S. Vosoughi,D. Roy,S. Aral. The Spread of True and False News Online. Science,2018,359(6380):1146-1151. [4] M. D. Rich. The Erosion of Truth:Remarks from Politics Aside 2016,2016-09-11. [2018-09-02]https:/ / www. rand. org/ pubs/ corporate_pubs/ CP875. html. [5] 杜赞奇. 文化、权力与国家. 王福明译. 南京:江苏人民出版社,1994:68. [6] 兰德尔·柯林斯. 互动仪式链. 林聚任等译. 北京:商务印书馆,2009:160. [7] S. Zannettou,M. Sirivianos,J. Blackburn,et al. The Web of False Information:Rumors,Fake News,Hoaxes,Clickbait, and Various Other Shenanigans,2018-04-10. [2018-09-01]arXiv:1804. 03461[cs. SI]. [8] Open Sources Uses Combinations of the Following Tags to Classify Each Website We Assess. [2018-09-02] http:/ / www. opensources. co/ . [9] D. M. J. Lazer,M. A. Baum,Y. Benkler,et al. The Science of Fake News. Science,2018,359(6380):1094-1096. [10] P. Kiwi. What is. . . Fake News? Jovian Press,2018. [11] C. Jones. 8 Ways to Spot Fake News. Social Media,2018-01-24. [2018-09-03] https:/ / pdc. is/2018/01/24/8-ways- ·68· 2019 年第 5 期 ①深度伪装以视觉和音频形式出现,旨在复制名人并将文字放入其口中或将其叠加到另一个人的身体上,因此被视为“下一代的 假新闻”。 spot-fake-news/ . [12] M. Miller. Fake News:Separating Truth from Fiction. Minneapolis:Twenty First Century Books,2019. [13] D. Metaxa-Kakavouli,N. Torres-Echeverry. Google's Role in Spreading Fake News and Misinformation,2017-10-31. [2018-09-08]https:/ / papers. ssrn. com/ sol3/ papers. cfm? abstract_id= 3062984. [14] D. Sumpter. Outnumbered:From Facebook and Google to Fake News and Filter-bubbles -The Algorithms That Control Our Lives(featuring Cambridge Analytica). New York:Bloomsbury USA,2018. [15] N. Miltz. Fake News - A Powerful Weapon. South African Jewish Report,2018-04-19. [2018-09-10]http:/ / www. sajr. co. za/ news-and-articles/2018/04/19/ fake-news-a-powerful-weapon. [16] A. Roets. Fake news:Incorrect,But Hard to Correct-The Role of Cognitive Ability on the Impact of False Information on Social Impressions. Intelligence,2017,65:107-110. [17] E. Kolbert. Why Facts Don't Change Our Minds. The New Yorker,2017-02-27. [18] E. Pariser. The Filter Bubble. London enguin Books Ltd(UK),2012. [19] S. Moritz,U. Köther,T. S. Woodward,et al. Repetition is Good? An Internet Trial on the Illusory Truth Effect in Schizophrenia and Nonclinical Participants. Journal of Behavior Therapy and Experimental Psychiatry, 2012, 43 ( 4): 1058-1063. [20] 戴维·温伯格. 序言/ / 戴维·温伯格. 知识的边界. 胡泳,高美译. 太原:山西人民出版社,2014:10. [21] M. P. Lynch. The Internet of Us:Knowing More and Understanding Less in the Age of Big Data. New York:Random House Audio,2016. [22] A. Chua. Political Tribes:Group Instinct and the Fate of Nations. New Yorkenguin Press,2018:165. [23] C. Kidd. In a Frozen Crouch. London Review of Books,2018,40(17):27-28. [24] S. Aral. Truth,Disrupted,2018-06-25. [2019-01-18]http:/ / alertlogic. qa. hbr. org/2018/06/ truth-disrupted. [25] M. Jones. Hacking,Bots and Information Wars in the Qatar Spat. The Washington Post,2017-06-07. [2018-09-12]https:/ / www. washingtonpost. com/ news/ monkey-cage/ wp/2017/06/07/ hacking-bots-and-information-wars-in-the-qatarspat/ ? utm_term=. 900014bdf11f. [26] S. Kumar,N. Shah. False Information on Web and Social Media:A Survey,2018-04-23. [2018-09-05] https:/ / arxiv. org/ pdf/1804. 08559. pdf. [27] F. Rose,J. Mchangama. History Proves How Dangerous It is to have the Government Regulate Fake News. The Washington Post,2017-10-03. [2018-09-05] https:/ / www. washingtonpost. com/ news/ theworldpost/ wp/2017/10/03/ historyproves- how-dangerous-it-is-to-have-the-government-regulate-fake-news/ ? utm_term=. 049c2fcc55c5. [28] B. C. Housand. Fighting Fake News:Teaching Critical Thinking and Media Literacy in a Digital Age. Austinrufrock Press,2018. [29] T. P. Mackey,T. E. Jacobson. Reframing Information Literacy as a Metaliteracy. College & Research Libraries,2011,72 (1):62-78. [30] M. Chertoff. Fake News and the First Amendment:a different look,2017-09-10. [2018-09-06]https:/ / blog. harvardlawreview. org/156-2/ . [31] N. Newman. Journalism,Media,and Technology Trends and Predictions 2018. [2018-09-18] https:/ / agency. reuters. com/ content/ dam/ openweb/ documents/ pdf/ news-agency/ report/ journalism-media-technology-trends-and-predictions- 2018. pdf. [32] F. Hedman,F. Sivnert,B. Kollanyi,et al. News and Political Information Consumption in Sweden:Mapping the 2018 Swedish General Election on Twitter,2018-09-06. [2018-11-22] http:/ / comprop. oii. ox. ac. uk/ wp-content/ uploads/ sites/93/2018/09/ Hedman-et-al-2018. pdf. [33] World Economic Forum. The Global Risks Report 2018. Geneva:WEF,2018. [34] N. Newman. Journalism,Media,and Technology Trends and Predictions 2019,2019-01-02. [2019-01-20]https:/ / reutersinstitute. politics. ox. ac. uk. [35] J. Roozenbeek,S. van der Linden. The Fake News Game:Actively Inoculating Against the Risk of Misinformation. Journal of Risk Research,2018-02-26. [2019-01-20]https:/ / doi. org/10. 1080/13669877. 2018. 1443491. 汝绪华:国外假新闻研究:缘起、进展与评价 ·69· [36] R. Baly,G. Karadzhov,D. Alexandrov,et al. Predicting Factuality of Reporting and Bias of News Media Sources,2018- 10-02. [2019-01-20]arXiv:1810. 01765[cs. IR]. [37] A. Guess,J. Nagler,J. Tucker. Less than you thinkrevalence and predictors of fake news dissemination on Facebook. Science Advances,2019,5(1):eaau4586 作者单位： 汝绪华,中国石油大学(华东)经济管理学院公共管理系;山东青岛 266580 中图分类号：G210 文献标识码：A 文章编号：2096-5443(2019)05-0058-13 项目基金：国家社会科学基金一般项目(17BZZ011);中央高校基本科研业务费专项资 金资助项目(17CX04018B) DOI：10. 14086/ j. cnki. xwycbpl. 2019. 05. 007 收稿日期：2018-10-03 编辑：翁祺 审核：刘金波 来源：微信公众号“xwycbpl” 链接： https://mp.weixin.qq.com/s?__biz=MzUzNTgxMjYwNA==&mid=2247484442&idx=1&sn=aabdb89970f0990ba0c6c240e48ac22a&chksm=fafe8489cd890d9f022b5ce0ff9c9c07cda5cf8deed35e62cd39f75329a387c3c3a30d553c5f&mpshare=1&scene=1&srcid=&sharer_sharetime=1570334444558&sharer_shareid=494dd490274820298cddfce69f95778e&key=5a37b8e9f293346356e62e227a9418775c73ce6dfaab27257f353a25a5179704ab2aaed9fb7f01aac9b88cd52164084825a2dd1205eb2817dbd451821613e2bd42749a3ac96b8f4acd2b528c4f58a04e&ascene=1&uin=Mjc3MTM5OTI2Mw%3D%3D&devicetype=Windows+10&version=62060833&lang=zh_CN&pass_ticket=R5mMnP7npW%2BRWhK0acYWJvoLJhaeiDZ9Qrr6tLREOQUZ5F6bLzF%2Fv80H318HOfdP 编辑：晓晴
|
楼主: admin
发表于 2020-1-26 22:37:04
