作者：季卫东

摘  要：当人工智能因深度学习而从他律系统转化为自律系统，特别是在人工智能网络之间的相互作用及其连锁反应不断进行的情况下，黑箱化和失控的风险会不断增大。“透明社会”与“黑箱算法”，这是数据驱动社会的一对根本矛盾，对国家治理方式的改革提出了新的挑战和机遇。为此，如何对人工智能进行适当的、合理的、充分的规制，确立人工智能研发的规则、伦理以及政策就势必成为极其重要并非常紧迫的一项课题。国务院颁发的2017年《新一代人工智能发展规划》提出了人工智能发展的中国式制度安排以及九条主要原则，与国际社会已经形成的基本共识是相洽的；但在不同价值取向发生冲突时，怎样决定取舍的元规则和优先顺序还有待进一步明确。为了在甄别和防范风险的同时保护人工智能开发的积极性和创造性，有必要更多地采取软法方式，而不是简单地提高硬法的惩戒力度。

关键词：数字驱动  风险社会  人工智能网络化  软法与硬法

一、引言

“走的太快了，灵魂跟不上”——这是一个游牧部族的古训，也可以用来描述人工智能开发在中国突飞猛进却隐患频仍、局部失序的现状。

从自动驾驶的汽车到机器人运营的酒店，从电脑量刑到高频度金融交易，人工智能已经渗透到经济、政治、社会生活的各个方面，各种新奇事物层出不穷。但是，对由此产生的风险以及必要的对策和规制方式，我们还缺乏足够的认识和深入研讨。人工智能的开发和利用大都还处于高速增长阶段，相关的制度条件尚不完备，在很多重要方面还没有制定明确的、适当的、统一的伦理标准、法律原则、规则、规格以及政策。我们不能让这样的事态长期持续下去，否则将留下严重的后患。2017年7月21日由国务院颁发的《新一代人工智能发展规划》已经指出研究相关法律问题和建立问责制度的必要性，提出了一些重要举措。当然，人工智能开发的具体规制方式和规范内容还有待进一步充实、完善。

实际上，艾萨克·阿西莫夫早在1942年发表的科幻短篇小说《转圈跑》，就曾经提出了关于防止机器人失控的三大定律，即机器人不得伤害人或者对人受到伤害袖手旁观；机器人必须服从人的指令，除非该指令危害到人；在遵循上述两条定律的前提条件下，机器人必须保护自己。后来，为了避免允许机器人劫法场之类的逻辑漏洞，他在《机器人与帝国》又追加了一条零定律：“机器人不得加害于人类整体或者因为坐视危机而加害人类整体”。这些富于灵感和远见的主张为人工智能开发的规制展现了基本思路和雏形，对后来的制度设计产生了深刻影响，但却不能充分反映当今社会的崭新状况和需求。

为了正确把握人工智能在全世界的发展趋势以及问题群，我们首先需要对产业革命的进程进行简单的回顾。

迄今为止，人类社会经历了四次重大产业革命，采取了不同的基本生产方式。首先是机械化生产方式，由蒸汽机和纺织机的发明而启动，从18世纪后期持续到19世纪前期。其次是电气化生产方式，因电力和石油以及高度分工引发，从19世纪后期持续到20世纪前期。接着以产业机器人的研发为契机，从1960年代开始出现了自动化生产方式，其驱动力量是半导体、电脑以及互联网。就在这个阶段，人工智能的研究开始出现几经起伏的热潮。

初级的人工智能只不过是装载了控制程序的家用电器，例如具有自动调节功能的洗衣机、冰箱以及电动剃须刀。较高级的人工智能则是装载了知识数据库的推理和探索系统，例如象棋程序、扫地机器人以及对话软件。更高级的人工智能搭载检索引擎，可以按照既定算法进行机械学习，包括各种实用的专家系统。现在我们通常所说的人工智能大多数就是指具有机械学习功能的计算机信息处理系统。

至此我们迎来了大数据时代，新的产业革命条件也开始日渐成熟。自2000年代以来由万物互联互通、大数据、人工智能引发的智网化生产方式，可谓第四次产业革命。正在进行中的这次产业社会的结构转型是以数据驱动和人工智能网络化为基本特征的。其主要构成因素有如下三项。

第一，物联网（简称IOT）。物联网导致数据的生成、流通、积蓄不断增大，并通过数据合作实现最合理化的供应链，可以针对顾客个人需求进行产品和服务的创新。

第二，由物联网形成和积累而成的大数据。对物联网而言，大数据的收集和运用是关键，而大数据具有经济价值，甚至被认为是一种新型通货。大数据也使得个人生活状态变得非常透明化了，甚至可以说我们面对的是一个极端化的“透明社会”。

第三，人工智能。没有人工智能，大数据的收集和运用都不可能实现，而基于大数据的机械学习和深度学习又给人工智能带来质变，可以不断开发新产品、新服务，并且大幅度提高效率和质量。

这三种因素互相作用、相辅相成，推动人工智能网络化程度不断加深，促进现实空间与虚拟空间之间互动和反馈的关系不断增殖，形成一种具备控制力的信息实体交融系统（简称CPS）。在这样的背景下，以多伦多大学开发的图像识别系统Super Vision以及谷歌的猫脸识别项目为标志，人工智能也从2012年开始进入了能够自己进行“特征表现学习”（深度学习）的崭新时代，为历史性突破提供了重要契机。

在人工智能的网络化和万物互联互通的时代，阿西莫夫关于防止机器人失控的三大定律和零定律就显得有些捉襟见肘了。从控制程序、知识数据库到检索引擎，人工智能都必须按照人给出的指令或算法来运行。在机械学习阶段，即便有非常庞大的数据，人工智能也不会自动学习，需要有人来提供数据的特征量和规格化方式才能进行学习和预测；通过机械学习，人工智能可以提供更高的精确度，但却很难对复杂的、模糊的问题进行判断。然而当机械学习的数据输入不间断地高速进行时，对输出的预测就会变得非常困难。而在深度学习的场合，人工智能系统不仅按照算法进行数据处理，还采取多层次脑神经网络的模型和方法，能从大数据中发现和提取特征量，揭示迄今为止未知的问题、样式、结构以及原理，从而具有更高的自主性，因而更类似具有条件反射能力的动物或者自由意志的人。

当人工智能从他律系统转化为自律系统、从演绎系统转化为归纳系统，特别是在人工智能网络之间的相互作用及其连锁反应不断进行的情况下，预测、理解、验证、控制就会变得更加困难，甚至出现黑箱化现象。“透明社会”与“黑箱算法”，这是数据驱动时代的一对根本矛盾，对国家治理方式的改革提出了新的挑战和机遇。无论如何，既然人工智能有自我学习和创新的潜力，能通过统合复数的身体功能进行精密管理，还会按照某种节奏不断引起飞跃式的变化，甚至通过复杂的连锁反省造成混沌，那么如何对人工智能进行适当的、合理的、充分的规制，确立机器人研制的规则和政策就势必成为极其重要并非常紧迫的一项课题。

二、人工智能网络化的风险与社会治理

在考虑对人工智能开发进行适当规制之前，必须对人工智能本身进行比较精准的概念界定。

不言而喻，人工智能是相对于人类智能而言的，而人类的智能活动通常表现为推理、学习以及自我改善。因此，人工智能就可以理解为借助电子计算机来实现推理、学习以及自我改善等活动的机制。换言之，人工智能就是能够形成和运作这类活动机制的数据处理系统，或者像人那样思考的电子计算机。由此可以推论，人工智能的本质在于信息的输入与输出之间的关系。电子计算机擅长进行大量的、反复的信息处理和逻辑演算，但人类擅长进行直觉的分析和判断，通过与环境的相互作用创造出主观的世界图像，并依此进行认识和与预测。人工智能的发展目标就是要把这两个方面密切结合起来，提高认识和社会控制的精确度和实效性。

目前的人工智能热是由深度学习——利用脑神经网络进行的机械学习——而引起的。过去五十年间的机械学习是由人根据专业知识和经验来设计算法和特征量，通过反复试错逐步提高电子计算机判断的精确度，失误比率一般在26%到27%之间徘徊。从2006年开始研发的深度学习，在2012年给这种持续已久的沉闷局面带来了重大突破，使得人工智能识别的失误比率骤然降到15%到16%的程度。深度学习的技术诀窍就是人类不再事先设计数据的特征量，而由电子计算机通过多阶脑神经网络模型下的分层化学习以及自我符号化的信息压缩器，从输入的数据中自动抽出数据的更高级特征量。也就是说，人工智能从此开始真正介入本来只能由人类智能决定的领域。如果从图像数据到观测数据、行动数据以及语言数据都可以进行深度学习，那就可以解决环境认识、行动预测以及知识获得瓶颈等问题，势必在很多领域引起科技和产业革命的连锁反应。

深度学习的网络结构以及各种人工智能之间互相联网，形成了所谓“智网社会”，向国家治理和法律秩序提出了新的课题和挑战。人工智能的网络化的确可以为人类带来巨大的便利和效益，但同时也势必造成巨大的、缺乏清晰边界的风险社会。与过去的信息通讯技术不同，人工智能通过深度学习而导致变化的结果很可能是人工智能开发者自己也无法预测和控制的。人工智能网络化势必引起自动的组合变更，实现自我生成式的成长和变异乃至人工智能判断的黑箱化，形成非常复杂的情况和网络混沌。在这里，存在人工智能不透明化的风险、安全性风险、失控的风险等等。另外，各种人工智能网络相互间的目的竞争或冲突也会引起复杂的连锁反应，很可能在某种情形下造成利用者或者第三者的权利或利益受到损害，或者危及社会秩序和法律制度的框架。在这里存在事故的风险、智慧型犯罪的风险、个人信息和隐私被泄露和滥用的风险、人为操纵选举结果的风险等等。为此必须加强风险甄别和风险沟通。

如何对这类风险进行评价和管控成为人工智能网络化社会的治理以及制度设计的核心问题。众所周知，智网社会的最大特征是通过互联网实现的越境性，无论效益还是风险都会突破国家和专业领域的既有樊篱进行传递和呈指数级扩散。因此，对人工智能网络化的相关问题进行讨论、采取对策不得不具备国际视野和全球视野，应该注重在互联互通的状况里寻求人类社会的最大公约数和基本共识。另外，由于相关的技术创新和市场培育还处于初级阶段，特别需要积极鼓励试验和竞争，为了防止压抑研究者和企业的能动性，对人工智能开发的规制也应该富于弹性，给试行错误及其纠正留下充分的空间。在这样的条件设定下，如何使规制的举措产生实际效力、具有可持续性就自然而然成为另一个需要强调的因素。总之，人工智能网络化社会的治理切忌“一刀切”的生硬强制手段，更适合采取多视角的、综合性的、社群指向的“软法”方式。只有这样，人工智能在中国的发展才能跳出“一管就死、一放就乱”的传统陷阱。

三、人工智能网络社会治理的基本原则和方法

国务院颁发的2017年《新一代人工智能发展规划》在保障措施这一节里强调了人工智能发展的制度安排、开放包容的国际化环境以及社会基础等基本理念。鉴于人工智能的技术属性与社会属性高度交叉融合的特殊情形，关于制度安排，规划要求加强人工智能相关法律、伦理和社会问题研究，建立保障人工智能健康发展的法律法规和伦理道德框架。开展与人工智能应用相关的民事与刑事责任确认、个人尊严和隐私以及产权保护、信息安全利用等法律问题研究，建立追溯和问责制度，明确人工智能法律主体以及相关权利、义务和责任等。通过法律规范和伦理规范的并用来实现社会交往的共享和互信。在立法方面，重点围绕自动驾驶、服务机器人等应用基础较好的细分领域，加快研究制定相关安全管理法规，为新技术的快速应用奠定法律基础。

由于人工智能是影响深远的颠覆性技术，国务院规划还重视围绕人工智能开展行为科学和伦理等问题研究，建立伦理道德多层次判断结构及人机协作的伦理框架。制定人工智能产品研发设计人员的道德规范和行为守则，加强对人工智能潜在危害与收益的评估，构建人工智能复杂场景下突发事件的解决方案，以夯实第四次产业革命“以人为本”的社会基础。除此之外，规划特别指出有必要积极参与人工智能全球治理，加强机器人异化和安全监管等人工智能重大国际共性问题研究，深化在人工智能法律法规、国际规则等方面的国际合作，共同应对全球性挑战，并且在全球范围内优化配置创新资源。在人工智能开发的规格、标准以及规制方式上与国际接轨，参与全球对话，这是值得高度评价的原则性立场。

关于技术标准框架体系和保障举措，国务院规划明确提出了安全性、可用性、互操作性、可追溯性等基本原则，要求逐步建立并完善人工智能基础共性、互联互通、行业应用、跨界融合、网络安全、隐私保护等技术标准以及行业规范，特别是鼓励人工智能企业参与或主导制定国际标准。针对相关的评估和安全监管，2017年规划注重人工智能对国家安全和保密领域影响的研究与评估，决定构建人工智能安全监测预警机制并加强对人工智能技术发展的预测、研判和跟踪研究。在风险评估和防控方面，从预防法学和因势利导政策的角度明确近期重点关注对就业的影响；远期重点考虑对社会伦理的影响，确保把人工智能发展规制在安全可控范围内。机制设计的思路是建立和健全公开透明的人工智能监管体系，实行设计问责和应用监督并重的双层监管结构，实现对人工智能算法设计、产品开发和成果应用等的全流程监管并加强惩戒力度。

在人工智能网络化和数据驱动社会成形的背景下，国务院规划特别注重人工智能行业和企业的自主操控、群智研发以及人工智能网络安全技术的研发，试图构建动态的人工智能研发应用评估评价机制，要求“围绕人工智能设计、产品和系统的复杂性、风险性、不确定性、可解释性、潜在经济影响等问题，开发系统性的测试方法和指标体系，建设跨领域的人工智能测试平台，推动人工智能安全认证，评估人工智能产品和系统的关键性能”。从这一系列制度设计方案和举措中，我们可以解读出通过人工智能网络来实现社会共生和普惠的原则、通过跨界协调和自律性尊重让企业和社会都充满活力的治理目标、通过利益相关者参与决策以及问责确保人工智能网络互动的可控性与透明性。

通过上述分析，可以发现我国人工智能研发的主要原则和实施方法不妨归纳为以下九条： 

（1）共享互信原则——人工智能的研发以社会共生、人与人交往的互信以及开发利益的普惠为根本价值目标。

（2）个体尊严原则——在数据驱动的智网社会，人工智能研发必须切实保障网络安全、数据安全、个人信息安全以及公民的隐私权和名誉权。

（3）民主参与原则——鉴于人工智能互联互通、渗透到生活的各个角落，仅靠自上而下的决定和监管必然存在盲点和漏洞，因而必须让利益相关者也参与相关决策。

（4）国际合作原则——鉴于人工智能跨界互联互通的现状以及标准统一的经济合理性，人工智能研发应该立足于国际合作，对必要的规制也应该采取全球共同应对的方法。

（5）相机规制原则——由于人工智能的技术复杂性和创新性，规范秩序的建构有必要让立法（刚性规范）与道德规范、政策（柔性规范）兼具并用，并对合规性问题采取多层化判断的方法。

（6）公开透明原则——为了防止人工智能失控，确保设计者和企业的可问责性，对算法和程序应该要求公开、透明化，强调可说明性。

（7）双重规制原则——对于人工智能研发实施设计问责和应用监督的双重规制方式。

（8）追踪制裁原则——鉴于人工智能的本质在于信息输入与输出之间的关系，对有关产品和技术的研发、应用实行全流程监管，并对违法和违规现象加大惩戒力度。

（9）预防响应原则——针对人工智能研发中的风险要加强预防举措，并建立危机处理的预警和应急处理体系。

四、关于人工智能研发的法理和政策的国际主要动向

关于人工智能研发引起的法律问题以及相关规制的理论探讨的近况，上海交通大学凯原法学院彭诚信教授主持翻译的“独角兽法学精品·人工智能”丛书三卷本已经为我们提供了比较全面的概观。其中关于机器人规制的内容也是从阿西莫夫三定律开始的，涉及机器人伦理学、人工智能管理规定、统一人工智能法典、联合国人工智能公约、电子法、自动化执法、法律责任与社会伦理等一系列问题和制度设计的构想，读来饶有趣味。在这里，只想介绍和分析一下主要国家和超国家机构在人工智能规制方面的最新立法活动以及相关规范的基本内容，作为中国相关制度建设的借鉴。

美国政府从2016年5月开始正式研讨人工智能的法律、伦理以及政策方面的问题，为决策进行准备。当年10月白宫发表了题为《为人工智能的未来做准备》报告书，提出人工智能的相关系统必须可控、公开透明可理解、有效发挥功能、与人类的价值和愿望一致等原则。与此同时，国家科学技术会议网络和信息技术研究开发小委员会还发表了关于运用联邦政府预算研究人工智能的方针《美国人工智能研究开发战略计划》，提出了副作用最小化的要求。随后美国电气电子学会也发表了关于人工智能设计伦理标准的报告书，提倡实现人权理念、人类与自然环境的效益最大化、减少人工智能和自律系统等等带来的风险和负面影响等三条原则。由亚马逊、DeepMind、谷歌、脸书、IBM、微软五大公司发起，欧美产业界在2016年9月还缔结关于人工智能的伙伴关系，旨在构建一个研究和讨论人工智能技术改进和社会影响的开放性平台，并发表了关于确保社会责任、采取防护措施等八项信条。来自不同机构和学科的专家也按照人工智能“可接受、有责任”的理念结成伦理专题社群，进行关于失控风险的脚本分析并提出对策建议。

欧盟的机器人法律项目从2012年开始活动，到2014年9月发表了机器人法律指南。2016年4月，欧洲议会法务委员会召开关于机器人和人工智能的法律和伦理问题的听证会，并在5月公布了与机器人相关的民事法律规则的报告书草案。2017年2月欧洲议会通过《向欧洲委员会提出的关于涉及机器人民事法律规则的提案》，建议设立专门的欧盟机构、采纳智慧机器人登记制、明确严格的损害赔偿责任、保障知识产权等，要求欧洲委员会制定相关的欧盟法律。这个提案还建议确立机器人研发者的伦理行动规范，其中包括尊重基本人权、预防原则、包容性、问责、安全性、可追溯性、隐私权保护、效益最大化和危害最小化等内容。2018年5月25日欧盟开始施行一般数据保护条例，要求人工智能研发涉及个人信息处理时要通知本人，受到影响的个人有权获得解释。其中有些举措比美国更加严格，对违反该法规的企业采取重罚政策。这项法规对数据向其他国家的转移业务也生效。2018年12月欧盟委员会AI高级专家组发布了《人工智能开发和适用伦理指南》草案，以《欧盟基本权利宪章》为基准，力争形成值得信赖的、负责任并没有偏见的人工智能，为此提出了七条关键要求。这个伦理指南将从2019年夏季开始进入试行，所有企业、政府部门以及社会团体都可以参加欧洲人工智能联盟，通过共同遵循伦理指南在数据、算法、技术等方面推进伙伴关系。

日本总务省信息通讯政策研究所通过系列研讨会在2016年10月制订了《人工智能开发指针方案（征求意见稿）》，经过讨论修改在2017年7月正式公布《为国际讨论而作的人工智能开发指针方案》。日本方案的基本宗旨是：尽管人工智能的技术创新和互联网化有望给经济和社会生活带来各种各样的效益，但也存在黑箱化和失控的风险。人工智能是跨越国界互联互通的，因此相关的效益和风险也势必跨越国界产生连锁反应。在这个意义上，智网社会的治理不可能局限在一国范围内，而应该形成全球化的治理框架。为此，有必要通过开放式讨论在利益相关者中凝聚国际共识。在人工智能研发的初期阶段，通过立法来进行规制有可能导致创新活动的萎缩，因此对刚性规范的制定应持慎重态度，不妨更多地借助“软法”等非正式的有序化机制。

日本的人工智能开发指针方案提出了五大理念，即（1）人通过与人工智能网络共生而共享其恩惠，并建立一个尊重人的尊严和个体自主性的“以人为本”的社会；（2）利益相关者应该对作为非约束性软法的指针及其最佳实践经验进行国际共享；（3）应该通过创新的、开放式的研发活动和公平竞争增进社会效益，在尊重学术自由等社会价值的同时防范风险，确保效益和风险的适当平衡；（4）坚持技术的中立性，注意不给开发者造成过度负担；（5）对指针方案的内容不断斟酌，根据需要灵活进行修改。

根据这些理念，指针方案具体阐述了人工智能研发的九项原则，即人工智能系统互相连接和互相运用的“合作原则”（包括与国际标准和规格保持一致、数据形式统一化、界面和通信协议的公开、知识产权特许合同及其条件的公开等）、确保输入和输出的可验证性和判断的可解释性的“透明原则”（包括研发者公开算法、源代码、学习数据等）、研发者能驾驭人工智能的“可控原则”（为此可以采取监督、预警、停机、断网、修理等有效举措）、人的身体、生命、财产免于损伤的“无害原则”、保护人工智能系统本身的“安全原则”（包括系统的可信度、牢固性以及信息的机密性、完整性、可用性）、防止人工智能利用者和第三者个人信息泄露和滥用的“隐私原则”、尊重人格的“伦理原则”、为用户提供选择机会的“支持原则”（包括设定系统默认、提示易懂的选项、及时反馈、紧急情况的警告、失误的纠正等）、以及对利益相关者履行说明义务的“问责原则”。

综合上述信息，我们可以发现在人工智能研发的原则和政策方面，国际社会已经初步形成了一些基本共识。例如对国际通用的指针、标准、规格采取合作态度，尽量使设计方案统一化；为确保人工智能系统和智慧网络之间互联互通，必须共有相关信息；数据形式应该标准化；应该公开包括应用程序编程接口在内的接口和协议、知识产权的特许合同条件；确保技术的中立性以及透明性，判断结果的可解释性，等等。另外，在不同价值取向发生冲突时，进行选择的元规则被公认为要优先保护人的安全，慎重对待生命伦理，不得毁损人性的价值。在与人相关的复数价值判断标准之中，优先顺位的排序如下：①生命、②身体、③财产。从“以人为本”的立场出发，人工智能的研发者在设计阶段就应该充分考虑私生活的平稳、个人信息保密、通讯保密，相关企业和服务商必须对利用者和利益相关者充分履行说明义务，尊重客户的选择自由。为了落实上述要求，有必要加强问责机制，提高惩戒的力度。

结语：与人工智能相关的主要法律问题和规制领域  

以上重点分析了在数据驱动的智网社会进行人工智能研发的有关原则、规则以及政策，但与人工智能的适当规制相关的法律和伦理问题当然绝不局限这些。例如机器人造成人身损害的风险应该如何预防和分散、怎样承担法律责任、人工智能武器的研发和适用的边界在哪里等等，都值得深入讨论，需要制定相应的标准。随着人工智能的广泛应用，即使不采取强制手段也可能左右人们行为的“间接管制”变得越来越容易了。人工智能对社会的间接管制实际上就有可能在很大程度上侵蚀个人选择的自我决定权，给那些不使用人工智能的人们带来经济损失以及其他各种代价。在这样的状况下，如果没有适当的机制设计，现代国家宪法和民法秩序的基础势必发生动摇。另外，还存在许多与人工智能相关的具体法律问题，这里也按照一定的逻辑关系略作概括性说明。

首先是人工智能生成物的归属问题。在智网社会，各种信息和文化作品的素材——新闻、网络评论、照片、视频和音频、游戏、知识介绍、小说、音乐、画像等等，都在周流不息地流布和扩大再生产。这些内容的发布机制是平面化的、自由的，但作为商业性活动又是由少数信息技术公司巨头所垄断的。其中有些作品还是人工智能以低成本大量创造的。例如自动翻译（科大讯飞）、自动着色和加工（“美图秀秀”“天天P图”）、既有文章的加工和第二次创作，特别是自动文艺创作的软件（英国音乐科技公司Jukedeck、美国谷歌DeepDream、日本东京大学开发的自动作曲系统Orpheus、中国清华、北大、北邮共同研制的“薇薇写诗机器人”）所产生的作品，著作权究竟属于谁，涉及复杂的法律上和伦理上的问题，也很容易助长免费搭车的侵权现象。对于那些具有创造性贡献的人工智能生成物要不要给予著作权上的保护、是否承认其垄断性地位、保护是否要附加条件、保护期间多长为宜，需要在政策上进行慎重的权衡。

其次，议论更多的是人工智能生成物的行为责任问题。例如2016年某公司开发的具有深度学习能力的对话系统在推特上登场后，由于受网络上大量流传的歧视性笑话的影响，不久这个系统就开始不断发表具有种族歧视倾向的推特短文，损害他人的名誉，引发了宪法上的问责，被迫停止服务进行整改。更广为人知的实例是自动驾驶汽车造成事故时的责任。全球首例无人驾驶汽车撞人致死事件发生在2018年3月18日的美国亚利桑那州，导致加利福尼亚州开放上路测试的计划搁浅。实际上，当自动驾驶汽车造成交通事故时，按照现行法制追究民事责任是很困难的，因为无法确认驾驶者的过失，也很难证明控制运行的软件或人工智能的设计上存在问题；特别是在获取的信息和利用的服务非常多样化的情况下，责任主体势必复数化。算法黑箱很可能导致人工智能采取某种不能预测的动作，这些都是汽车所有者和驾驶者既无法预知、也无从回避的，因而难以追究他们的过失责任。当然，也可以把人工智能软件已经嵌入汽车作为理由，根据产品责任法向厂商请求赔偿；或者设立以人工智能为保险对象的服务，通过保险制度来解决问题。至于对自动驾驶汽车造成的事故追究刑事责任，必须通过修改法律或者制定新法另设犯罪类型。

另外还有提供给人工智能进行学习的数据所伴随的权利问题。例如通过读取绘画进行深度学习是否侵害作者的复制权，个人的消费信息、健康信息、经历信息以及识别信息作为学习数据使用时是否侵害隐私权，把生产方法、销售方法以及其他营业活动的大数据提供给人工智能是否引起不正当竞争，怎样保护具有经济价值的数据，数据的大量积蓄和集中化会不会导致市场的垄断，这些都需要深入研究，制定必要的法规、政策以及伦理标准。对于匿名加工个人信息以及相关数据库的建设也应该有统一的规格和方法。2018年5月开始实施的欧盟一般数据保护条例被称为二十一世纪的人权宣言，就是因为在网络化社会特别强调尊重个人的原则。该条例第21条规定数据主体对数据的存档具有异议权，如果数据管理者不能提供不得不这样做的正当性根据（例如防止传染病蔓延），就必须停止相应的信息处理。第22条还进一步规定，数据存档等信息自动化处理本身不得给数据主体带来任何法律效果。也就是说，关于个人特征的完全自动化评价，不得成为侵害该个人权益的决定的唯一根据。如果产生了诸如此类的重大影响，数据主体有权不服从。这种机制设计是值得我国留意和借鉴的。 

不得不承认，我国以及各国的现行制度在保护人工智能方面仍然存在一些明显的缺陷。我国的著作权法及其实施条例以及计算机软件保护条例承认软件产品、程序以及相关文书的著作权，以独立开发、登记以及固定在实体物件上为前提条件给予法律保护，但关于算法即人工智能本身还没有明文规定。如果算法是由复数的软件程序构成，当然可以作为程序作品申请著作权上的保护，但算法即人工智能本身仍然无法申请专利权。人工智能仅有算法并没有实用价值，而必须与数据的学习结合起来才能产生真正的意义。但对需要大量投入资源的学习用数据以及学习方法，法律却不能提供保护。还有学习完毕的模型也具有很大的经济价值，需要对其利用问题制定必要的管理规则。随着人工智能及其网络化的加速发展，这些问题势必层出不穷，需要在制度和机制的设计上及时跟进甚至未雨绸缪。 

此外还有人工智能与行业法规之间关系如何处理，也是非常重要的课题。例如人工智能在相当程度上开始从事司法和法律服务，但从事法律实务活动本来是存在严格的门槛限制的，需要通过国家考试取得必要的资格。当中国的“睿法官”机器人（北京）、“明镜系统”（浙江）、“法务云”（江苏）、美国的ROSS律师机器人、JUDICATA法官机器人纷纷用于业务处理，是否有违反法官法和律师法的嫌疑？如果人工智能被赋予法律人格，那么能否也被赋予法官资格或律师资格？不言而喻，同样的问题也存在于医疗等行业。现在人工智能已经广泛应用于疾病的预测、预防以及诊疗服务，如果医疗事故发生应该如何追究责任正在成为热议的话题。以上描述的这一切都在告诉我们：讨论对人工智能怎样进行适当的规制，逐步建立和健全相关的法律、政策以及道德的规范秩序，此其时也。

作者：季卫东，上海交通大学文科资深教授，凯原法学院讲席教授，博士生导师。

来源：《东方法学》2019年第5期。