贡塔·托依布纳、李忠夏、泮伟江、张文龙：人—算法混合体作为（准）组织

admin

讲座实录｜贡塔·托依布纳、李忠夏、泮伟江、张文龙：人—算法混合体作为（准）组织？——数字集体行动者的责任归属问题[color=var(--weui-FG-2)]学术华政 [url=]学术华政[/url] [color=var(--weui-FG-2)]2023-02-16 10:18 [color=var(--weui-FG-2)]发表于山西

编者按：

苏州河畔水波悠悠，玉泊湖边钟声荡荡。2022年，是党的二十大召开之年，在这特殊的年份里，华政迎来了70周年华诞！70年来，华政科研人胸怀民族复兴的梦想，追随共和国法治的步伐，缘法而行，尚法而为，用心血和智慧谱写了“笃行致知，明德崇法”的壮美篇章。值此盛世佳期，科研处以“勇担时代使命、繁荣法治文化”为主题，举办“建校70周年系列”学术活动，拟不定期推出相关活动，本期推送德国美因河畔法兰克福大学私法和法律社会学教授贡塔·托依布纳（Gunther Teubner）“人—算法混合体作为（准）组织？——数字集体行动者的责任归属问题”讲座实录。本次讲座有幸邀请到中国人民大学法学院李忠夏教授、北京航空航天大学法学院副院长泮伟江教授、华东政法大学数字法治研究院张文龙副研究员担任与谈嘉宾。特别邀请中南财经政法大学法学院祁春轶副教授主持，华东政法大学科研处处长、中国法治战略研究院院长陆宇峰教授致辞。华东政法大学科研处副处长彭桂兵教授、上海交通大学博士研究生钟浩南等出席了本次东方明珠大讲坛。

华政建校70周年系列学术活动

暨第48期“东方明珠大讲坛”

，时长03:59:50

[color=rgba(255, 255, 255, 0.8)]

一、介绍讲座内容和到场嘉宾

特邀主持人：祁春轶

各位老师、场外的嘉宾、同学们，大家下午好！欢迎来到华东政法大学东方明珠大讲坛。东方明珠大讲坛是华东政法大学立足“学术兴校”发展模式和“多科融合”发展格局，由科研处牵头，与各二级学院紧密合作，升级打造的代表本校最高级别、覆盖全校所有学科、具有学界美誉度、产生全国影响力的一流学术殿堂，旨在营造浓厚的科研氛围和高雅的学术氛围，带动全校高水平科研成果、高层次科研项目、高级别科研获奖取得进一步突破。华东政法大学建校70周年学术活动，暨第48期东方明珠大讲坛有幸邀请到国际知名法律社会理论家、德国美因河畔法兰克福大学私法和法律社会学教授、当代系统法学领军人物，托依布纳教授担任主讲嘉宾，讲座的题目是：人—算法混合体作为（准）组织？——数字集体行动者的责任归属问题。托依布纳教授1970年在德国图宾根大学取得法学博士学位，1974年在美国加州大学伯克利分校取得法学硕士（M.A. law and society），1977年在图宾根大学获得教授升等资格。1977-1981年任教于德国不来梅大学，1981-1993年任教于意大利欧洲大学学院。1993-1998年担任伦敦政治经济学院奥托·卡恩·弗伦德教席教授。1998-2009年任教于德国美因河畔法兰克福大学。2007-2012年担任“德国卓越大学计划”项目“规范秩序的形成”的首席研究员。2010-2013年担任意大利都灵国际大学让·莫奈教席教授。他也是多所大学的客座教授，包括美国加州大学伯克利分校、斯坦福大学、密歇根大学安娜堡分校、荷兰莱顿大学、马斯特里赫特大学、丹麦哥本哈根大学、德国柏林学术中心（WZB）、北京大学和上海交通大学凯原法学院等多所院校。托依布纳教授曾于2000年荣获法国“吕萨克/洪堡”奖；2001年荣获德国学术中心特别奖；2004年，继卡多佐、德沃金、拉兹等之后担任耶鲁大学著名的斯托斯讲座（Storrs Lectures）的讲演人；2007年，在欧洲大学学院担任“Max Weber Lecture”讲座系列的讲演人；2008年获得意大利卡普•齐尔切奥欧洲奖（Premio Capo Circeo）；2011年成为意大利林西科学院院士；2013年成为英国社会科学院院士。托依布纳教授的研究领域是法律社会学、私法理论、合同法和比较法。他在法律系统理论研究方面，是继尼可拉斯·卢曼之后当代最重要的代表性人物，也是蜚声国际的法律社会学家。著有《法律：一个自创生系统》（该书已由北京大学法学院张骐教授译为中文）、《宪法的碎片：全球社会宪治》（该书已由陆宇峰教授译为中文）、《体制冲突》、《网络结构作为合同关联体》、《人工智能的三种责任体制》等，主编兼合著有《没有国家的全球法》、《第十二只骆驼的返还——在正义讨论中的尼可拉斯·卢曼》、《在德里达和卢曼之后——正义的社会理论的（不）可能性》、《数字宪法》等。托依布纳教授在世界顶尖级的学术杂志上发表了百余篇影响深远的学术文章。他的理论以现代社会及其法律的异化、法的全球化、超越民族国家的宪治和作为自创生系统的法等为关注重点。在清华大学法学院高鸿钧教授和北京航空航天大学法学院泮伟江教授的主编下，曾于中国出版了《托依布纳法律社会学文集》。2012年在他访问中国后，上海交通大学凯原法学院季卫东教授任编委会主任，朱芒教授任主编的《交大法学》也曾经出版过一期“托依布纳特集”。他在全球化及法治、人权、正义等重大领域，持续提出新颖和有力的见解。


本次东方明珠大讲坛也很荣幸邀请到了中国人民大学法学院李忠夏教授，北京航空航天大学法学院泮伟江教授，华东政法大学数字法治研究院张文龙副研究员三位老师担任特邀嘉宾。李忠夏老师的研究方向是宪法学，注重通过宪法变迁与宪法教义学的关系，研究迈向功能分化社会的宪法问题；泮伟江老师的研究方向是法律社会理论，在方法论上注重引入社会系统理论的方法观察和描述法律现象，尤其是研究和分析中国社会转型实践中的各种法律问题；张文龙老师的研究方向是法律社会理论，注重用系统理论研究法的自主性、现代法治和数字法治等问题。华东政法大学科研处处长陆宇峰教授和科研处副处长彭桂兵教授也莅临本次讲座。作为托依布纳教授专著的翻译者和老朋友，陆宇峰处长将在讲座的最后致欢迎和感谢致辞。陆宇峰老师的研究方向是法律社会理论，用自创生系统理论和反身法的理论研究风险社会、全球社会的法律问题，彭桂兵老师的研究方向是媒介法。担任本次问答环节翻译的是上海交通大学法学院博士生钟浩南，他的研究方向是系统论法学、司法裁判理论、法与人工智能。我是本次讲座的特邀主持人祁春轶，来自中南财经政法大学法学院。


今天，托老的主讲题目是“人—算法混合体作为（准）组织？——数字集体行动者的责任归属问题”。讲稿共分七个部分，如屏幕所示。为保证良好的听讲体验，讲稿根据内容分成五段进行翻译。

二、主讲环节

主讲人：托依布纳

特邀主持人：祁春轶（翻译）

一、问题的提出在一些运用计算机的情况下，人与算法之间的沟通变得如此紧密地交织在一起，以至于简单的互动系统被转化为（准）组织。一个相关事例是“算法新闻”。在新闻撰写时，在争分夺秒相互配合的工作流程中，算法和人类行动者结合在一起。因此，算法和人类对联合编写的文本的贡献常常紧密地交织在一起，以至于无法确定责任作者。一种奇怪的混合出现了，一种字面上“难以分离的”人—算法关联体（human-algorithm association）。还有一些其他这种混合的例子。令人印象深刻的是“数字化公司治理”的一系列问题，即将公司的管理任务转交给自主的算法。例如，“深度知识风险投资”公司任命了一个算法作为董事会成员，其任务是通过预测和其他数据，与其他董事会成员进行沟通。为了这一目的，公司设立了项目组织或职能单位，并常常是独立的项目组织。“去中心化自治组织”（DAO，Decentralised Autonomous Organizations）中的算法融合更有甚于此。在这里，算法独立地接管了对投资者群体的组织、管理和决策。在这些事例中，算法不仅仅对决策的做出发挥辅助作用，而且在集体决策中与人类“平起平坐”地充当起自主决策者。人与算法混合关联体的大量出现与算法自身孤立地进行运行的普遍观念之间形成了对比。人与算法各自行动间的密切联系，使得不可能将一个行动完全归于其中的人类行动者。在这些情况下，将出现错误的责任归咎于算法本身也同样不具有说服力，正如“电子人”（e-person）的支持者所做的那样。但是，应该如何理解人—算法关联体，以及对它们运用哪种责任归属概念是适当的？为此，有必要将非常宽泛的，常常具有多重和叠加含义的责任归属（accountability）概念分解为两个方面：社会学意义上的职责（responsibility，Verantwortung，指一个主体的分内之事）和法律与道德意义上的责任（liability，Verantwortlichkeit）。从社会学的视角来看，卢曼认为，（社会沟通中的）职责是指“将不确定性作为一个社会过程进行吸收：某人从信息中得出结论，并与另一个人就此进行沟通，然后下一个人不再受信息的指引，而是受该结论的指引”。当算法做出决策时，对不确定性的吸收不再发生在人与人之间的沟通中，而是发生在人—机沟通中。用更为生动，但并非那么准确的话表达，就是算法接管了职责。这种情况只发生在，算法拥有决策自主权并且在不确定性的条件下行动时。现在，职责并不等同于责任。相反，责任是试图用规范性的语言，尤其是法律的语言，以及道德、政治和日常语言，重新表述职责问题，即吸收不确定性的问题，从而纠正职责认定中的错误。吸收不确定性的职责被“转化”为决定的合法/非法（legality/illegality）以及权利、义务、可指责性和制裁。这必然会在职责和法律责任之间形成分歧。当使用算法时，这种分歧会强化，因为法律在概念上的准备，不足以应对算法决策的独特之处。法律不得不通过改变法律责任的规则来应对职责的算法化。职责和法律责任的归因变得更加复杂，因为人—算法关联体不仅呈现一个，而且呈现两个不同的涌现（emergence）问题。在这里，涌现并不能被理解为通常意义上的“从下面”出现，即已经存在的系统组成部分间的相互作用引起了不可预见的新特性；而是在系统理论的意义上，被理解为“从上面”出现：即如果运用现存的材料，它们构成了自己的元素性运作，而这些运作反过来又以循环的方式构成了新的系统，那么一个新的自创生系统就涌现茁生出来了。在我们的讨论中，由此提出两个问题。第一个问题是，在某些情况下，人类和算法的结合是否会产生严格意义上的互动系统。这种情况只会发生在，互动系统将算法的计算作为元素性的运作，重新构造进真正的沟通中。第二个问题是，在从人类—算法的互动转变到人类—算法关联体的过程中，是否会有一个组织作为一个新的自创生系统出现，其以不同的方式重构人类和算法之间的沟通，即把在联合体中具有集体约束力的决策作为其元素性的运作。在这两个涌现茁生的问题中，责任归属可能会有所不同。本文通过四个互为基础的子问题来探讨人—算法关联体中的责任归属问题：（一）在人类行动者与人—算法结合中的自主算法之间是否发生了（严格意义上的）沟通，从而涌现茁生了一个互动系统？在这种情况下，能够认定算法的人格化吗？（二）如果情况是这样，那么在某些条件下，这种人—算法互动会凝聚成混合的（准）组织吗？这如何改变算法的人格化？（三）如果情况是这样，与正式组织相比，沟通能力是否不仅可以被归于单个算法，还可以被归于这种混合体本身？（四）如果情况是这样，可以确立何种对于人—算法关联体的集体责任归属制度？

主讲人：托依布纳

特邀主持人：祁春轶（翻译）

二、算法的人格化算法作为“行动体”（actants）在只有人类的正式组织中，沟通的归因通常有两种形式。一些沟通被归因于成员个人自己的行为。它们仅约束作为人的成员本身，并确立了其个体责任。然而，在某些情况下，其他沟通被归因为作为集体行动者的组织自身。作为成员组织结构中具有集体约束力的决策，这些沟通作为社会系统组织的元素性事件发挥作用。它们约束着整个系统中的所有沟通，前提是给出了某些基础性的先决条件（决策程序、代表规则等）。这是作为一个集体行动的能力基础，它为组织在环境关系中提供了位置优势，因为现在组织本身，而不仅仅是其成员，可以与其环境进行沟通。这种能力同时确立了组织作为一个独立社会系统的集体责任归属。然而，一旦算法被整合进组织中，并被期望自负其责地作出决定，问题就出现了，即这将如何影响个人和集体的法律责任归属？为此，首先需要澄清行动（action）是否可以被归因到单个算法上。当把算法仅仅视为人类的自动化工具时，这个问题是无法避免的。如果算法具有一定程度的自主性、决策能力和学习能力，仅仅将其作为人类行动能力的辅助物（annex）来理解是不够的。它们的贡献不能再被等同于相关人类的行动。相反，现在的问题是，这些行动是否不能被归因給算法本身，因为它们目前还没有被认定为“人”。然而，将算法作为人来对待的前提，经常因将计算机等同于人类而受到批评。为了避免陷入虚假的拟人说（anthropomorphism），首先需要了解算法在其自身权利上的人格化（personification）。参照其他非人类的行动者的行动能力，特别是作为法人被构造的正式组织，可以获得有用的信息。我们必须摒弃人们熟悉的观念，即法人的社会基础是数量众多的真实的人。常见的观点都没有得出集体行动者的结论，无论是奥托·冯·基尔克（Otto von Gierke）的“真正的社团人格”（real association personality），还是埃米尔·涂尔干（Emile Durkheim）的“集体意识”（collective consciousness），还是詹姆斯·科尔曼（James Coleman）的“资源库”（resource pool），还是莫里斯·奥里乌（Maurice Hauriou）的“制度”（institutions）。取而代之的是，把语言沟通考虑进来！塔尔科特·帕森斯（Talcott Parsons）、尼古拉斯·卢曼（Niklas Luhmann）以及其他社会学家定义的集体行动者不是一个由诸多个体组成的群体，而是一连串的沟通。在下面两个条件下集体行动者的社会实在，法人的社会基础被提出来：首先，这样一连串的沟通必须通过自我描述来沟通自身并确立其同一（identity）。其次，在这种同一背景下产生的沟通事件，必须在社会层面上被归因为它所进行的行动。当这些条件得到满足时，集体行动者的社会实在就涌现茁生出来了，作为一种语义人工制品，被以“人”进行命名的“法人”之成为行动、资源和职责的归因点。正如方法论个人主义所说的，这明确排除了将集体行动化约为个体的个人行动的可能性。现在需要以一种完全类似的方式来理解算法的人格化。进行程序运行的软件、机器人和其他数字化主体都是数学化形式的信息流。与环境进行互动的算法不仅是静态的数学公式，而是在解决问题的运作中遵循程序的动态过程。“什么是一个算法？”经过对各种定义的深入讨论，尤里·古瑞奇（Yuri Gurevich）得出了以下定义，其强调了过程特征：“一个遵循时间顺序的算法是一种状态转换系统，它从一个初始状态开始，然后从一个状态转换到下一个状态，直到它停止或中断……特别是，遵循时间顺序进行互动的算法……是一种状态转换系统，其中状态转换可能伴随着发送和接收信息。”如今，在某些条件下，在经济和社会中算法被赋予了社会身份和行动能力。但是，人格化条件是否得到满足，并不应该通过数字技术的选择以技术决定论的方式来决定，而只应该在涌现并茁生出来的，在框架中运用了算法的“社会数字制度”（socio-digital institution）中来决定。社会数字制度是被稳定的社会预期的复合体，特别是对新出现的风险的预期，这些预期是在不同的社会情境中使用数字技术时形成的。这些制度既不等同于社会系统，也不等同于正式组织。相反，社会系统，包括正式组织和个人间的互动，在其沟通的帮助下产生了预期，用经典的表述就是，这些预期凝炼为一个“指导思想”（idée directrice）下的诸多制度（institutions）。当可以假定共识支持这些预期时，这些预期就制度化了。然而，只有当制度发展出在不同系统之间搭建桥梁的能力时，才能实现显著的总体上的制度稳定性。社会数字制度尤其是作为技术系统和社会系统之间有效的结构耦合而出现。在这些制度中，经济的、政治的、法律的和技术性质的预期汇集在一起，通常很难在来自不同系统的预期间进行区分。在其组成部分的共同生产过程中，社会数字制度整合了对使用算法的机会和风险的预期。这些制度对是否所涉及的过程中发展出人格负有最终责任。然而，这种的情况的发生并没有在人类和非人类之间进行预先明确的区分，但是开启了区分人格程度的可能性。当对非人类实体人格化的普遍误解被消除时，正式组织和算法的相似之处就变得清晰起来。关于组织人格化的一般观点是错误的，即一群人会转变为一个真正的社团人格。同样错误的观点是认为，在软件运行程序时，一台计算机就被转换为一个机器人类（homo ex machina）[ 法国哲学家François Laruelle弗朗索瓦·拉吕厄尔在2005年出版的一本书的名字。]。相反，组织和算法实现了卢曼所说的“社会系统进化早期成就”（Luhmann）的其中一个最重要的方面：在某些条件下，制度化的社会实践将行动能力归因于沟通过程。在行动者网络理论中，布鲁诺·拉图尔（Bruno Latour）为有行动能力的非人类创造了“行动体”（actants）这个新词。同时，他阐述了这个概念与人类行动能力的根本区别，并且界定了行动能力的条件。然而，拉图尔把行动能力非常宽泛地描述为“抵抗”（resistance，意指“行动体”抵抗计算和操纵）。相比之下，罗斯勒（Rossler）结合非人类行动者的行动，全面阐述了行动能力的各种含义，并创建了一个行动形式的类型学。从这一类型学中，本文选择了一种比拉图尔更为狭隘的，关注参与社会沟通的行动类型。通过社会数字制度内的行动归因，它们成为社会的（非人类）成员。人类—算法关联体是这些社会数字制度之一，它为单个算法提供了具有相关授权和责任的成熟的组织成员的地位。但是，为什么一些社会数字制度为算法赋予人的地位，而其他制度只赋予它们工具的地位或作为人类行动能力辅助物的地位？——在遇到非人类实体，特别是算法时，人格化是处理不确定性，特别是其行为的不可预测性的最成功策略之一。社会人格化将人类—算法关系从主客体关系转变为自我—他我关系。诚然，这并不能让自我确定他我的行为，但他们之间的相互沟通使自我有可能选择自己的行为，即使他我自身仍然不可测知。将算法“当作”一个行动者，从而将因果过程的不确定性转化为如何理解算法对人类行动的反应的不确定性。因果归因被转化为行动归因。这是基于算法有其行为动机的沟通假设。单纯的假设变成了行动者地位的社会实在，以至于“人类行动者将他们的非人类合作者……视为平等的合作伙伴。他们以对称的方式赋予它们行动能力。”这使人类能够选择自己的行动，解释算法的反应，进而为下一个行动得出结论。

主讲人：托依布纳

特邀主持人：祁春轶（翻译）

三、与算法进行沟通但是，我们真的可以假设算法像我们对真正的人和组织所期待的那样，作为自主的行动者进行沟通吗？当我们在人与数字的混合体中与算法合作时，我们是只认知机器的行为，还是在与它们进行沟通？所以，它仅仅是认知还是已经是真实的沟通？社会系统理论使重点更加突显出来。对于社会关系中算法的人格化而言，特定的条件需要得到满足。在社会—数字混合体中，算法和人之间的结合是否会导致算法的人格化，取决于运行程序的软件的“贡献”是否构成了严格意义上的沟通事件。基于奥斯丁的非语内行为的、语内行为的和语后行为的（locutionary, illocutionary and perlocutionary components）语言学上的三种类型，沟通被定义为一种结合了三个方面的运作：（1）告知（2）信息和（3）理解。因此，作为算法的“沟通”，必须能够识别出事件的存在，即同时包含一定的“信息”，以及信息的不同在后续沟通中能够得到“理解”。这样，一个真实的社会系统会在算法与人的结合中真正涌现和茁生出来。我们从运行程序的软件那里收到的，以沟通形式显示的对“请求”的“回答”，满足了告知、信息和理解的综合所需要的一切，这是严格意义上沟通的先决条件所需要的。因此，这将是上面提到的第一个涌现和茁生现象：算法的电子信号形成了材料，以此为基础，人—算法互动涌现茁生出来的社会系统生成作为系统元素性运作的沟通。因此，这不仅仅是人读取算法运作的认知行为，而是人与算法之间（严格意义上的）有意义的沟通。当然，这些仅仅是人类和算法之间的“不对称的”互动。尽管如此，在他们之间正在涌现并茁生出一个真正的自我生产的沟通系统，一种人类—算法的互动。从三个方面来看，这是不对称的。（一）算法决不能被承认具有人类的心智能力。它们的内部工作包括了基于电子信号的数学运作。在理解计算机和人类之间的沟通是如何可能时，尽管他们的内在世界是不对称的，但是“底面”（subface）和“表面”（surface）之间的区别应该是有帮助的：“底面是数字媒体的技术层面，其特点是硬件和软件（如果/那么/其他环路）中因果控制过程的联网和互连。表面也同样是经由技术设计的层面，但基本上被开放给……沟通”。对于成功的沟通，只有表面才重要；底面不再是沟通过程的一部分。计算机的底面和人类意识之间的差异尽管是根本性的，却在两种情况下与我们的问题无关。相反，决定性的是，在人类和计算机极度不同的内部世界之外，产生了一个沟通的过程。然而，与此同时，数字底面和人类意识必须能够充分激扰这个沟通过程。只有这样，才能实现告知、信息和理解的综合。（二）另一个不对称的产生是因为这种关系中的沟通在体验上不是双向的。在人与人的沟通中，双方都对称地经验了双重偶联性，因为双方的行为选择都取决于对方的选择，并在对方身上预设了这一点。相比之下，在人和算法之间，沟通所需的双重偶联性只是单方面被体验到，即只是由人类而非算法所体验。但是，这种单方面体验到的双重偶联性，正如我们在人—机关系中所发现的那样，并不排除沟通的可能性。历史上已知的形态（configurations），如祈祷中与上帝的沟通，以及土著社会中的泛灵论实践，无疑都实现了告知、信息和理解的综合。然而，他们总是在这种情况下这样做，即在事件过程中发生了对非人类伙伴的人格化，这使得行动可以被归因于“他者”。只要别人的行为被想象成是经过选择的，并且能够受到自己行为的沟通性的影响，人格就会产生。同样，在人—算法关联体的情境中，将行动归因于所涉及的算法，就是将其作为一个人，作为一个语义结构，从而也就补偿了人类—算法关系中的第二个不对称。（三）最后，就相互理解而言，沟通也是不对称的。如果按照卢曼的观点，理解被理解为在自己的自我关涉中重建他人的自我关涉的能力（Luhmann），那么人类意识可以理解算法传递的信息。另一方面，算法的内部过程可能缺乏理解人类内心世界的能力。然而，由于人类内心世界和算法的这种相互深入理解，对于沟通的成功并不重要，所以这个问题可以暂且搁置。人们必须明确区分两方面，一方面是自主沟通过程中的理解过程，另一方面是相互作用实体的内心世界中的理解过程。对于自主沟通过程中的理解，算法本身是否理解并不是决定性的；相反，它只取决于算法的“答案文本”是否理解了人类的“问题文本”。因此，如果数字混合体中算法成员的沟通行为，理解了人类成员沟通行为中告知和信息的差异，并以其自身告知和信息的差异对其作出反应，则沟通性的理解就在其关联体中完成了。重申一下，无论算法的内部计算是否理解了人类的告知，这都是符合事实的。在这里，祈祷作为与上帝的沟通，还有泛灵论的实践，以及与动物的沟通都提供了沟通性理解的历史证据。即使“他者”（可能）没有重建人类内心世界的自我关涉，沟通性的理解也会出现。把迄今为止所说的浓缩成一个简短的公式：就是算法——就像正式组织一样——只不过是信息流。当在一个社会数字制度中赋予算法社会身份时，它们成为能够进行沟通的“人”，并且当与必要的基础设施安排（例如代表规则）一道时，它们自身的职责和法律责任就实际上归于它们。

主讲人：托依布纳

特邀主持人：祁春轶（翻译）

四、人—算法关联体中的责任归属到目前为止，问题是在人—算法关联体中，成员之间是否发生了真正的沟通，以及沟通事件是否可以被归因为算法成员的行为。事实上，只要满足某些条件，它们就可以。在下一步中，问题是人—算法关联体本身（而不仅仅是参与其中的算法）是否可以被理解为一个独立的行动单元，被理解为一个集体行动者，以及这对于责任归属意味着什么。在这里，我们遇到了上面提到的第二种涌现现象。与单纯的互动不同，人—算法关联体代表了一个新的自创生系统，它将算法和人类的沟通转换为作为系统元素性运作的集体的约束性决定。所寻求的元素性运作不仅仅是决定，因为决定也是在互动中和在功能系统中做出的。只有（在成员框架内）集体的约束性决定，才能被视为组织的元素性事件。构成了组织的约束性意味着“每个决策对其他人都有特殊的相关性——这具有约束效果和职责的双重意义”。一旦对某些决定作出安排，以约束整个系统（成员角色、规范、决定前提），则数字互动系统就会“跨实体化”成为数字组织。那么问题是，在数字混合体的情况下，是否存在一种双重的人格化：首先，在人—算法关联体中，将算法人格化为一个能够与人类成员进行沟通的个体成员；其次，将人—算法关联体本身人格化为一个集体行动者。如果是这样的话，算法行动能力的这种重复（duplication）将需要相应复杂的责任归属。

主讲人：托依布纳

特邀主持人：祁春轶（翻译）

五、作为“混合体”的人—算法关联体同样，这取决于这里建立了什么样的社会—数字制度。如果算法仅用于执行某些指令和为给定目标选择适当的方法，并且如果可以明确界定人和算法的贡献，那么涉及的就是“数字辅助”制度。在这种情况下，人与算法之间存在委托—代理（principal-agent）关系。该算法受人类委托作为代理方，并自负其责执行涉及第三方的交易程序指令。在数字辅助制度中，代理方自主进行行动。然而，如果出现问题，它们自负其责做出决定的法律责任不能被归于算法，而应归于做出委托的人。然而，一旦人的行为和算法相互交织，以至于“构成集体的涌现茁生出来的结构、文化或行为，与产生集体的个体的复杂互动之间没有线性联系”，这种个体主义的责任归属概念就会失败。人和算法似乎结合成一个共生实体，演进成为一个大于各部分总和的实体。在这种情况下，数字辅助制度被一种不同的社会—数字制度——人—算法关联体所代替。当人和算法的个体贡献并入到联合决策中时，人—算法的互动就产生了新的集体特性。混合体本身的职责和法律责任也在这个社会—数字制度中确立了吗？如果是，以什么形式？这种紧密的人—算法关联体会成为数字组织吗？在这种组织中，算法吸收不确定性的职责不再归于算法，而是归于作为集体行动者的混合体本身吗？对这种混合体的职责的法律责任应该如何重新进行分配？拉图尔的行动者网络结构理论现在第二次变得重要。上面我们使用了他的“行动体”的概念，这一概念将自主的算法拟人化，并赋予它们沟通的能力。在当下的讨论中，常常以隐喻的方式被使用的“混合体”（hybrid直译有“杂交体”的意思）概念，被塑造成一个理论概念（Latour），以描述从“行动体”和人类的合作转变为“混合的”（或者杂交的）集体行动者的过程。现在，行动体参与构成关联体的潜力变得重要起来。拉图尔认为，在很多情况下，需要的行动能力远高于算法所能提供的。即使行动者有能力在可供选择的情况中进行选择，这仍然会使它们处于瘫痪状态。为了抵消这一点，“行动者”不仅装载了一种语言和一个抵抗的（同上，抗拒被计算和操纵）身体，而且还装载了参与形成“关联体”的能力。当混合体形成时，即人类行动者和非人类行动体之间的关联形成时，非人类一方的行动能力骤然增强。在这种情况下，行动体成为混合体中的成员，也就是说，成为一种新的完备的关联体中的一员。与在任何其他关联体中一样，出现了一个资源池。现在，行动体的本领高强与人的沟通能力结合在一起。在这种社会系统中发散的人类智能弥补了非人类的心理系统能力的缺陷。通过在混合体中将人类和非人类的特征结合起来，算法可以（至少间接地）参与到政治谈判、经济交易和法律合同的签订中。系统理论提供了进一步的见解。特别是，它可以解释对人—算法关联体进行人格化的动机。在当代社会，对人格化的组织的许多解释也适用于人—算法关联体。经济学家指出，多方合同可以节省交易成本。社会学家发现了资源集中的协调优势。法学家倾向于强调组成公司的教会、国家或社团“在法律上的永久性”。卢曼阐述了另一个决定性的方面：即集体化的行动彻底改变了一个社会系统与环境的关系。社会系统一旦人格化，并因此获得了自身的行动能力，就在与环境的接触中获得了相当大的地位优势。只有通过正式组织，才能建立社会系统的行动能力。如果成员规则授权成员代表整个组织进行行动，那么它进行的沟通将约束所有成员，同时这些沟通也被视为集体行动者自身的行动。这样，人—算法关联体就成为与其环境进行沟通的集体。同时，这改变了其中的算法的个体沟通质量及其社会地位。它们的运作现在不再只是互动中的沟通，而是属于数字组织的元素性运作。这些运作现在是具有集体约束力的决定，可作为系统内未来沟通的前提。算法现在成为集体的“成员”。此外，其中一些被正式命名为“机构”，对外代表人—算法关联体。因此，通过拟人化，人—算法关联体在向更高复杂程度演进的过程中跨越了门槛，这是卢曼只为组织所保留的。如上所示，不仅是数字行动者，数字混合体现在也可以作为独立的行动者，与它们的环境进行严格意义上的交流。由于决策是由它们做出的这一事实，人—算法关联体也形成了集体行动的制度，这确保了某些行动被选择为对关联体具有约束力。通过这种方式，数字混合体创造了集体纽带，它不仅在内部决定了个体成员行动的意义，而且在外部将混合体作为一个整体联合在一起。例如，在经济中，人—算法关联体本身作为市场参与者（而不仅仅是其算法成员或人类成员）发挥作用，支付、所有权、债务、破产等行为被集体性地归属于关联体，集体责任和财务责任也被强加给它们。因此，除了代表权、决策权和投票程序的规则外，新的集体责任也必须在混合体中制度化，以便重新分配责任以吸收不确定性。如果是这样的话，那么是以什么形式？

主讲人：托依布纳

特邀主持人：祁春轶（翻译）

六、等级：集中性的集体责任归属这里是否形成了集中性的责任归属，就像它在等级制组织中普遍存在的一样？关联体中的人和算法确实是按照自己的职责行动，但不是以自己的名义行动，而是“作为”一种新类型的组织单元的混合体的代表，这一组织单元相对于其成员具有等级上的优越地位。它们这样做的方式与公司中的经理一样，即不以自己的名义行事，而是作为代表其委托人的代理人，即代表组织行事。成员和人—算法关联体之间会产生利益冲突，类似于众所周知的组织的代理机构问题，为了解决这些问题，许多规范已经被制度化。将混合体人格化为一个可以行使自己权利的行动者，打开了一个集体的视角，其不再将行动完全“个体性地”归因于个体的人类或者个体的算法。与个体的归因相比，集体归因能够在双重意义上对人—算法关联体的新兴属性进行公正处理。首先，它考虑了人—算法互动的内部动力，即它们之间合作的具体效果。其次，它说明了对外关系的新的性质。它不再是外部沟通可归因的个体的人类或个体的算法。现在，人—算法关联体本身与环境进行沟通。在这两个方面，通过建立人—算法关联体来作为行动责任归属的共同点，抗击了人类和算法行动不可分割地交织在一起的新的风险。阿罗的不可能定理（Arrow theorem）[ 1951年肯尼斯·约瑟夫·阿罗(Kenneth J.Arrow)在《社会选择与个人价值》一书中，采用数学的公理化方法对通行的投票选举方式能否保证产生出合乎大多数人意愿的领导者进行研究，从而得出“不可能定理”，即不可能在已知社会所有成员的个人偏好次序的情况下，通过一定的程序，把各种各样的个人偏好次序归结为单一的社会偏好次序，达到合意的公共决策。这一理论在社会福利政策和公共政策的研究中具有重要价值。]也适用于人—算法关联体。它们的集体决策不能简单地被算作人类和算法个体偏好的集合。正是沟通过程的结果排除了这种个体主义的观点，并造成了内部沟通中不透明的风险，这尤其对于组织是典型的。算法在组织中的参与大大加剧了这种不透明。博斯特罗姆（Bostrom）将这种风险描述为“集体智力”，甚至“集体超级智力”。人—算法的互动不是完全可控的，会导致“有悖常理的情况”：作为混合体成员的自主算法有效地实现了人类设定的目标，但是却选择了违背人类意图的方式。如果不再只涉及职责的分配，而且还涉及将法律责任分配给三个行动中心，即人、算法和人与算法的关联体，那么事情就会变得更加棘手。如上所述，在混合体中，很难辨认形成风险的事件，从而确定责任的个体承担者。原则上，这一点再也无法被澄清：也就是，犯错的是人类的行动还是算法的计算？当这种混合体负责吸收不确定性时，新的归因形式将使混合体承担集体责任。道德哲学家讨论“集体道德自主论”。他们描述了自相矛盾的情况，即在不当行为被发现时，其责任被归于集体，尽管集体中的个体成员不能被指控有任何不当行为。除了成员的意图和行动之外，集体也应该有自己的意图，能自主行动，并形成有关其活动可能结果的信息。这使得集体完全成为归责的焦点。这种矛盾的情况也存在于人—算法关联体中，它发展出自己感知性的（phenomenal）内部视角，产生了自己的偏好、社会需求和政治利益的等级。所有这些都不能被归结为参与其中的行动者身上。那么关键的问题是：责任归属能否应对“赛博格转向”（cyborg turn），即在这种发展中，人与物结合形成一种前所未有的存在形式，其伴随着人类与非人类的渐进交杂混合？一个可能的答案是：社会将授予人—算法关联体完全的集体行动者的地位，并将算法和人类成员的行动，以及错误决策的法律责任归于这一集体行动者。这是一个严肃的选择。它对应于正式组织中的集中性的法律责任归属，但尚未在算法沟通的特殊情况下经受实践检验。除了一些组织社会学的作者，人工智能伦理的主要代表都呼吁这样的集中性的集体责任归属。归因理论在将丹尼特（Dennett）的“意向立场”概念应用于作为“人类、电子和组织成分结合”的混合体时，得出了类似的结论。事实上，对于未来的人工智能法，几位作者讨论了让数字混合体承担集体的集中性法律责任的可能性。其结果是，混合体被作为新型法人对待，并且直接对两个不可分割的行动者的行为负责。这将把人类的个体行动和算法的个体行动合并为集体行动。通过这种方式，混合体可以创建具有约束力的合同关系，并且可能承认针对混合体的法律责任诉求。

主讲人：托依布纳

特邀主持人：祁春轶（翻译）

七、网络结构：分散式的集体责任归属然而，人—算法混合体的这种集体责任归属需要制度上的前提条件，而这些前提条件今天（还）没有得到满足。经济实践必须为混合体提供足够的财政资源，或者法律必须要求进行强制保险。只有这样，对混合体的集中性的责任归属才能生效。因此，更有可能的是，这种形式的责任归属将被制度化，即它与人和算法之间的双边的个体关系更紧密地联系在一起，但同时也可以解释多边的集体属性。网络结构理论在这里是有价值的，因为它们将数字混合体概念化为人和算法之间的多重双边关系，但同时也是包含这一切的联合。除了多边关联外，混合体的组织统一性可以通过（有限的）人格化来实现。目的的概念是允许网络结构理论引入第三种归因形式的关键，它不同于分散的个体归因，也不同于集中性的集体归因。它认为网络结构既不是作为市场，也不是作为等级体系，而是作为独立的社会系统，在多边关系和等级组织之间或者之上运作。目的的概念可能表明，网络结构的参加者必须适应相互矛盾的双重取向。他们被期待在同一次运作中，在追求他们的个体目标和总体网络结构目标之间进行艰难地融合。这种网络结构特有的双重取向强制与等级式的组织形成鲜明的对比，等级式组织的管理职能不允许面向个人利益，而只能面向组织目的。它与纯粹的多边协议形成对比，后者的交换目的直接指向的是合法追求个体利益。因此，网络结构的特点是在个体和集体目标取向之间不断进行悖论式的摇摆。与此并行，人—算法关联体现在也可以被认定为一个分散的网络组织，在该组织中，个体和集体取向同时被制度化。机器和人类都被理解为遵循它/他们自己的目的。然而，同时，它/他们遵循指导集体的人类—算法行动的总体合作目标。将人—算法关联体定性为网络结构，首先对责任归属有影响。如果上述双重目标导向构成了一个既包括算法又包括人类参与者的网络结构，那么除了集中性的责任归属之外，另一种集体责任归属形式必然需要被制度化——一种网络结构责任归属。在这一点上，我们需要回到职责和法律责任之间的区别。区分作为吸收不确定性的职责和作为对错误做出规范性反应的法律责任，将有助于解决网络结构责任归属的问题。虽然作为集体行动者的一些行动能力集中在网络结构中，但是主要的财政资源和控制能力仍然分散在网络节点（node）中。为了追究网络结构的责任，需要引入两步程序。在第一步中，将吸收不确定性的责任归于集体，从而巧妙地避免了毫无希望地识别个体行动。在第二步中，法律责任的归属是分散的。吸收不确定性的职责由人—算法关联体承担，但由于缺乏自身资源，关联体无法承担财务责任。因此，将职责集体性地归属于混合体，最终有助于将法律责任导向归属于若干外部的行动者。再次澄清，这种法律责任的分散并不意味着，算法或人类行动者现在再次对自己的贡献负责。相反，吸收不确定性的职责是集体性的，但是这种集体行动的法律责任将由网络结构的节点承担。这导致的问题是，网络结构节点中的谁可以对有风险的算法决策承担法律责任。在人—算法混合体中，联盟被一个由独立的行动者、使用者、运营者、交易商、生产者和程序设计者组成的卫星网络所包围。如上文所示，如果这些行动者被整合到一个等级式的组织中，它将集体性地承担法律责任。毕竟，管理层的任务之一是协调各种行动的相互联系的交接处。另一方面，如果行动者在纯粹的市场关系中进行互动，则法律责任风险将转移到用户身上，他们自己负责协调不同服务。然而，在这种环绕着行动者的网络结构的数字混合体的情况下，将法律责任完全归于其中一个行动者是不具说服力的，无论是对生产者、网络结构的中心还是网络的某个节点。这种个体法律责任归属是任意的，特别是如果它忽视了合作网络结构中职责的结构性分散。因此，在将吸收不确定性的职责归于混合体后，财务上的法律责任将被分配给从混合体的活动中受益的那些网络节点，即电子技术的运营者、所有者、制造者和供应商。这一解决方案在人工智能伦理和人工智能责任法中得到支持。同样，欧洲新技术法律责任专家组（European Expert Group on Liability for New Technologies  ）建议，与混合体的“商业和技术实体”交往的所有行动者应承担连带责任。程序运行软件的运营者、制造者、分销者和程序设计者都被捆绑在这样一个法律责任网络中。可能的是，系统和网络结构理论的结合将能够在未来发展出概念工具，确定法律责任网络结构的边界，以及网络节点在责任归属动态中的相对参与。

三、与谈环节

特邀嘉宾：李忠夏

尊敬的陆宇峰教授以及与会的各位老师，感谢华东政法大学邀请我参加托伊布纳教授的重磅讲座并进行与谈。人-算法混合作为准组织，对我而言是一个脑洞大开的设想。我们传统对于算法的研究，要么追究设计算法的人或者企业的责任，要么假设人工智能真的拥有了意识，具有主体地位，从而将人工智能作为单独的法律主体。但人-算法的混合，却很少有人提及。然而，人-算法确实具有一体性，但又不完全同一化。比如Alphago虽然由人来设计，并赋予算法，而且Alphago也无法意识到自己是在下围棋，但却通过自我演化，完全达到了人所不能达到的围棋水准。通过拟人来拟制法律主体的做法，在法学当中已经相当成熟了，比如法人的设定。法人的法律主体地位是被人为赋予的，所以人-算法混合体当然也可以被拟制为法律主体。但是这里面还存在一些疑问：首先，法人作为一个法律主体，是非常实体化的，法人的行为与个人的行为区分的很开，而且法人具有独立的财产和“意志”，作出独立的意思表示，与个体（股东）意志不完全重合，代表了一种集体人格。这当然符合社会系统论的原理，按照系统论，“人格”更多的体现是外在表现形式（行为、意思表示等等），而不问心理活动。沟通是沟通在沟通，不是人在沟通。但人-算法混合体，它的具体表现形式是什么？会不会带来一种归责（Zurechnung）上的混乱？这里的人表示的是设计算法的人？还是运用算法的人？还是应用算法的企业？其次，我们知道，社会系统是从心理系统当中茁生（涌现）出来的，虽然社会系统独立于心理系统，在运作上具有自身的独立性，比如企业作为一个理性的组织体就独立于个人，但如果没有心理系统，社会系统就不会产生。社会系统根本上解决的是因为心理系统的不可见而导致的双重偶联性的问题。在这个意义上，人的内心怎么想的，往往不重要，人往往是想一套、说一套、做一套，到了社会系统当中，重要的说了什么、做了什么。就此而言，“意识”作为心理系统与社会系统的结构耦合就变得很重要。对于算法而言，迄今为止，它是没有独立的意识的。算法顶多是人的意识的延伸，人-算法混合体，作为人-技术的混合，并没有超越人的意识。那么人-算法的混合体究竟具有何种性质？像法人，可以归结为是一个财产性的组织或者说是人-物的结合体（Anstalt），那么人-算法究竟算什么？为什么要赋予它主体地位？为什么不能直接摈弃算法，而直接归责到具体的人？以上是我自己读完文章之后的两点感受。

主讲人：托依布纳

非常感谢你对我的演讲所做的深入评论。我认为我们之间有许多共识，尤其是在那些不同于惯常讨论问题上。惯常的讨论总是在问计算机的智能、思维能力，以及计算机能否思考等问题，但是我认为从人工智能到人工沟通的转向是十分重要的。人工沟通强调的不是机器的内部运作，例如其中是否存在着智能，相反它关注的是当人和算法相遇时会发生什么。于是在此就有一个关键的节点，即意义的出现。在我看来，计算机的内部运作并不生产意义，它们是电子信号，它们生产信息，但是它们并不生产意义，意义只有在人与人的沟通中才会产生。当然，这是有争议的。接着你又问到了归责混乱的问题，在你问题的最后，问到了设计、使用和应用的责任。这个问题和我的网络责任的问题有关，按照网络责任的归责模式，如果混合体没有一种中心化的责任，那么在不同网络节点上的人就需要对混合体的负责。在此我认同你关于设计、适用和应用责任的区分，我认为我们应当识别出典型的风险类型。如你所说，如果我们区分设计风险、使用风险和应用风险，那么就会将相应节点的责任分配给与之相关的不同风险领域，要么是有关设计的，要么是有关使用的或者应用的。我认为这可以成为一种法律如何处理责任问题，以及如何在不同行动者之间分配责任的指导方针。但是依然存在这样一种可能性，即把所谓的电子人和“人-人工智能”混合体视为严格意义上的法律的行动者。这不仅意味着我们直接赋予算法和混合体行动者的身份，而且意味着承担责任的不再是混合体周围的人，而是混合体这个实体本身。但是这更多地取决于，全社会在未来是否准备好将金融资源赋予混合体或者算法。因此我认为，你所说的在对计算机的不同使用方式之间的归责混乱问题目前依然存在。关于最后一个有关归责混乱的问题，我可以再补充一点。我们现在真正进入了侵权责任法的领域。今天我谈论的更多是理论而不是法律，但是如果我们想要俯瞰侵权责任的全貌，那么就应当意识到我今天所谈的只是整体的一部分而已。如果我们想要去把握责任问题的全貌，那么我们就必须区分三种机器行为的情形。第一种是个体的机器人，另一种是人类和算法的混合体，第三种是不同计算机的关联。这三种情形在法律上需要做出不同的处理，并且需要不同的侵权责任法。第一种情形将作为委托代理关系对待，当作为委托人的操作者接管计算机并授权其执行任务时，他就必须承担相应的风险。第二种即我们今天谈论的混合体的情形，它涉及的要么是整个组织的集体责任，要么是围绕组织的网络责任。第三种情形我没有谈论过，即存在着许多不同计算机之间的关联，并且不可能识别出任何单一的行动者。于是这种风险就在一种不同的意义上被集体化了，即全社会必须去承担这种风险。我们的建议是，这种情形不再通过侵权责任法来处理，而是应当像在美国的环境法中那样，去设立一个超级基金，由它对所有损害承担责任。该基金的资金并不来自于全社会整体，而是来自于行业部门。于是我们就有了三种责任情形，其一是委托人、操作者的责任，其二是卫星式的网络责任，其三是行业部门承担的基金责任。

特邀嘉宾：泮伟江

感谢华东政法大学和宇峰处长的邀请，给了我这么一个宝贵的机会，能够与托伊布纳教授交流和学习。刚才听托伊布纳教授发言，我受益匪浅，学到了很多，也特别感概。我想起2007-2008学年的时候，我当时在法兰克福访学，2007年秋季学期的时候，法学院还在Bockenheimer Warte ，托伊布纳教授当时也在意大利。2008年春，法学院就搬到了美丽的新校园，托伊布纳教授也从意大利访问归来，每周主持著名的法理学研讨班。每周参加托老的研讨班，然后借机向托老请教的情形历历在目。正是借助这个机会，托伊布纳教授授权我在中国编订和翻译出版一本法律社会学论文集，并且托伊布纳教授还亲自选定了文集的篇目和论文集的书名。2012年，北大法学院张骐教授邀请托伊布纳教授来华访问，共举办了两场演讲，两场演讲的主题论文，都曾收入《魔阵·剥削·异化：托伊布纳法律社会学文集》中，其中一场演讲，我陪同导师高鸿钧教授参与了对话，当时也是受益匪浅。如今十年过去，托伊布纳教授风采不减当年，思想仍然如此深刻锋利，为我们晚辈学者所敬仰。听托伊布纳今晚演讲的内容，令我想起我翻译的卢曼《社会的社会》中非常著名的一席话。这是卢曼《社会的社会》第1章第6节“运作的封闭性与结构耦合”的结尾处（德文原版第117及以下），总共是两小段话，非常富有洞察力和前瞻性，我节录如下：“意识/沟通结构耦合的唯一替代者正在出现，其后果却难以预料，这就是计算机。如今计算机已经投入使用，无论是意识还是沟通，无论是同时的还是重构的，都难以抵达其运作。尽管尽管它是制造出来的程式化机器，，此种计算机对意识系统和沟通而言都是非透明化运作的。——尽管如此，此种运作通过结构耦合影响着意识和沟通。严格地讲，它们是不可见的机器。当我们问，计算机是否类似于意识工作，以及是否能够取代或者胜过意识系统，我们就提出了错误的问题，并且低估了计算机的重要性。计算机的内部运作是否可以被理解成沟通，这也不是问题的重点之所在。相反，我们必须将所有的类比都弃之一边，而是问，如果计算机能够在他们所建构的实在性，与意识或沟通系统之间建立起完全独立的结构耦合，将会发生什么后果。这个问题是如此值得进一步的关注，然而它在全社会系统进一步演化中将带来何种后果，对此人们的了解又是如此至少。。无论如何，任何社会理论将对该论题保持一种不确定的立场，，并且结构耦合的概念提供了此种可能性。尽管我们假设，沟通系统通过语言与意识系统耦合，并且因此能够对其他任何事物表示冷淡，计算机也许能够建立另外一种结构耦合的形式。”


卢曼这两段话大致说了三层意思。一层意思是说，计算机的出现和普及，会对传统的意识与沟通的结构耦合的唯一性带来冲击。将来对社会来说，除了与人类个体的意识产生结构耦合之外，还可能出现一种全新的结构耦合类型，即社会与计算机的结构耦合。第二层意思是，关于计算机和人工智能的主流理论，即将计算机与人类对标和比较，以这个视角来观察和理解计算机对未来人类社会的意义，在思考方向上是有问题的，甚至是错误的。更值得研究的是计算机-人类-社会这三者之间形成的结构耦合的关系。第三个意思是，站在卢曼当时的立场，他觉得未来演化可能性还很难看得清楚，因此保持了一种必要的谦逊。卢曼《社会的社会》出版于1997年，是卢曼生前出版的最后一本著作，是卢曼的天鹅之歌。25年以后，当我们重读卢曼当年的这一席话，确实是很有感觉的。二十四年前的这席话，如今重读，居然一点都没有过时，仍然特别具有针对性和前瞻性，就好像对我们说的。我想托伊布纳教授在读到卢曼《社会的社会》中这段话时，一定也是很有感觉和共鸣的。托伊布纳教授恰恰就是跳出了“人工智能”这个概念的窠臼，不是从“机器人是不是人”，或者“机器人会不会比人类更聪明”这类只有天真单纯的码农们才会提出的傻问题出发来思考计算机、算法的出现和普及，对人类与社会演化的意义，而是从人-算法（计算机）-社会之间关系的性质这个维度来思考问题。由此形成了对问题的全新理解和思考，令人耳目一新，深受启发。但也正因此，托伊布纳的演讲既提供了新的启发和思考，但同时也带来了一些新的困惑。例如，如果对照卢曼，就可以发现，托伊布纳对这个问题的思考，既受到了卢曼的影响，但同时也有自己的原创性的思考和贡献。二者之间的最大差别是，在卢曼那里，人（意识）和计算机（算法）之间纯粹是一种结构耦合的关系，类似于意识与社会沟通之间的结构耦合关系。托伊布纳教授认可这一点，但同时又忍不住将这种关系称作是一种“人与算法混合关联体”。我觉得这里的分析和论证，仍然有不够清晰之处。比如说，在托伊布纳教授的分析中，一个重要的步骤就是将算法与人进行类比，从而证明在算法参与下，沟通可以存在。这一步是没问题的，其实卢曼在《社会的社会》中那席话，已经包含了这一点。从这一步继续往下推导，认为在人类与算法两种主体之间发生的互动，可以进一步凝结成组织，或者准组织，这也是没有问题的。比较麻烦的问题在于，托伊布纳教授虽然比较令人信服地运用卢曼沟通的三要素，即信息-通知-理解三要素，证明了算法可以被作为一个与人类意识同样发挥作用的沟通环境，但这个论证的重点在于证明算法与人类意识的功能对等性，而非二者之间的差异。相对来说，卢曼的论述虽然没有展开，却给人-算法（计算机）之间某种实质差异的可能性留下了较大的空间。因此，问题就出现了，如果说，算法与人类意识在沟通过程中发挥的作用是一样的，在功能上是对等的。那么，在人类意识与算法之间所出现的沟通，与人类意识之间出现的沟通，彼此之间就没有任何差异。这就像一块钱与另外一块钱之间，不存在性质的差异一样。二者是相互之间可替代的。就此而言，我们当然可以说，如果存在着通过“人类的联合”形成的组织，例如“合伙型”公司，那么也可以存在人类与算法联合形成的组织，某种“人类-算法”合伙的公司。这在逻辑上完全没有问题。但这并不会带来任何新的需要解决的问题。尤其是，当我们采取卢曼的理论框架，将组织看作是由沟通所凝结出来的一种特殊层次的社会系统的类型时，更是如此。原则上，就沟通作为一种沟通而言，我们辨别不出来，哪些沟通是在人与人之间发生的，哪些沟通是在人与算法之间沟通的。恰恰由于这个原因，托伊布纳教授又在这个论证之外，增加了一个论证，就是系统归因和归责问题的论证。但这个论证与托伊布纳前面的那个论证，也即算法也可以被看作是类似于人类意识的“互动主体”，性质上彼此独立的。我们完全可以说，即便托伊布纳教授前面那个论证不成立，从系统归因，乃至于法律归责的角度，仍然可以将“人类-算法联合体”理解成某种承担责任的主体，这完全是没问题的。从法律史的角度看，除了人类之外，将物作为法律责任的主体，比比皆是，例如轮船、基金会等。甚至公司，我们既可以将它看作是人-资本联合体，也可以将它看作是资本本身。无论怎么看，都不妨碍我们将公司看作是一个责任的主体。尤其是，资本与算法不同，本身并不能被看作是类似于算法这样，能够像人类意识那样与沟通发生结构耦合的作用。我想，造成托伊布纳演讲中这种逻辑断裂的一个非常重要的原因，就是托伊布纳在方法论上，将社会学视角的组织，也即卢曼定义为通过成员身份而激发出决策沟通的组织，与法律归责意义上的组织，也即作为责任承担者的组织，混为一体。这在修辞上产生了非常强大的力量。容易让人误以为，法律归责层次的，作为责任承担主体的组织，其可归责性，来源于社会学视角下，以成员身份激发出决策沟通的组织的决断力。但事实上，这是两个不同层次的问题。即便是一艘轮船，甚至一笔资金，一项遗产，在法律责任的归责方面，仍然可以做为责任主体承担责任。在这种情况下，沟通究竟纯粹以人类意识为环境，还是以人类意识与算法的混合为环境，并不带来实质性的影响。在沟通内部，这种归因的逻辑，并没有因环境的变化而发生任何改变。甚至，这种环境的变化（即意识被替换为算法，或者在意识中混杂着算法），根本就不会产生通常意义上的任何激扰。因为沟通仍然在沟通着。也许在沟通的自我反思环节，会注意到这种环境的替换或混杂所带来的影响。但这种影响究竟是什么，目前仍然是不清楚的。以上是我学习托伊布纳教授演讲内容的一些心得和体会。再次感谢托老的精彩演讲，评论中有不当之处，也请托老包涵和指正。最后，我也向托伊布纳教授请教一个问题。卢曼的卡片箱举世闻名，卢曼甚至称自己的写作是与卡片箱的结构耦合产物。就此而言，也可以说，在卢曼的意识系统与卡片箱之间，也存在着沟通。就此而言，卢曼的卡片箱，似乎可以被看作是一种特殊的计算机，甚至是特殊的算法。那么，按照托伊布纳教授的分析框架，“卢曼-卡片箱”是否可以被看作是一个“人与算法的混合关联体”？如果可以这么认为的话，那么，卢曼作品的责任，又该如何归责呢？期待托伊布纳精彩的分析。

主讲人：托依布纳

非常好，非常好，棒极了！我想说你理解了整个讲座。你注意到了吗，我们今天的讲座包含了两个部分和非常复杂的论证。谢谢你，让我试着来回答你的问题。卢曼对于人与计算机交互的问题仅仅做了非常非常边缘的讨论。因此，他对这个问题有意持开放态度，即人们能否用传统的沟通概念描述这种人机交互，亦或是人们必须得修改沟通的概念，或者人们必须设想一种和沟通完全不同的人机关系。卢曼是在系统理论的框架内回应这种讨论的。一些人认为，在人机之间根本不存在沟通，因为他们双方是不对称的；另一些人像埃斯波西托（Elena Esposito）则认为，人机之间存在沟通；如今第三种观点的代表人物是贝克尔（Dirk Baecker），他主张放弃由告知、信息和理解三部分组成的这种特定的沟通概念，而认为在机器与机器之间、机器与人之间的任何信息交流都是一种沟通。这就是关于人机交互争论的整个光谱。卢曼对沟通的问题保持开放，他没有回答它。但是如你所说，结构耦合意味着一种非沟通性的关系，意味着系统间的激扰等等，所以结构耦合和沟通是完全不同的。在这场争论中，我试图区分两种情形，即与沟通的结构耦合和与感知的结构耦合。因此，我把这种情形视为一种社会暴露于相互连接的计算机系统的情形，即许多计算机相互连接起来，以至于人们无法识别出任何单一的行动者。所以我会说，卢曼是对的，这是一种结构耦合的情形，因为刺激是以扰动的形式出现，而非沟通性的接触。另一方面，当我们阅读电脑的屏幕时还进行着感知，就像我们读出计数器时那样。但这不是沟通，而仅仅是观察性的感知。我们只是读出了结果，但却没有交流信息。但是接着我发现了有趣的事。在此，我和埃斯波西托还有其他人都认为，在计算机和人类之间可能存在着真正的信息交流，而这创造出一种新的沟通性的社会系统以及人与计算机之间的互动系统。这就不只是结构耦合了，也远非是单纯的感知。存在这样一种可能性，即形成一种新型的信息交流的系统，它能够相对于人类意识的意义，生产出自己的意义。在这种意义上，人-算法混合体与人和算法间的沟通都生产出了新的意义，在此层面上二者是颇为相似的。而人-算法混合体还不止于此，因为人与计算机之间还形成了组织系统。你的第二个问题是关于人与算法沟通的环境。关于这个问题，我同意你的第一个观点，即人与算法沟通的其中一个环境是人类的意识。所以，沟通就是一种信息流，而它的环境即人类和人类的意识，环境对沟通进行刺激，但是却不参与沟通。你还认为混合体也是沟通的环境，对此我持不同的观点。我认为，在人与算法的交互中，我们要么可以发现简单的互动，发现自我和他人之间的消息交流；要么可以发现它们创造出组织系统即混合体的可能性。后者同样是人与算法间的互动，但却具有不同的性质，并且形成了被称为组织或者混合体的新的社会系统。因此，混合体不是人与算法交互的环境，而是处于它的内部。因此，人与算法的交互有两种可能性，要么形成互动系统要么形成组织，而网络属于组织的范畴。第三个问题是关于卢曼的卡片箱。我的意思是，我更多地把这篇文章解读为是一种反讽，是一个卢曼的玩笑，因为他的卡片箱无非是一些他写下并反复阅读的卡片而已。所以你可以说卢曼是在和他自己沟通，但是这并非是唯一的一种可能。卢曼还借助这些卡片和其他作者进行沟通，或者接收他们的消息。但是我认为这并非是一种严格卢曼意义上的他和他的卡片箱之间的沟通。为什么呢？算法和卡片箱的差别在于，前者是一个动态的过程，它的内部进行着行动和反应。我们再次谈论到了底层结构。卡片箱的底层结构只是句子、词语、卡片，它的内部没有运动，而计算机内部则是有运动的。如果我们谈到例如动物以及它们的人格化或者河流、山脉，也会涉及如此的情形，即这些“准人类”的底层结构是一种动态运动的过程，可以对沟通做出反应。请记得我们谈到的关于底层和表层结构的内容。沟通当然是一个封闭的、受控的消息场域，但是这些消息总是受到人类意识的激扰——参与沟通的人的思想在激扰着沟通，或者受到其他系统的激扰。例如在与计算机沟通时，受到其电子信号以及它所生产的信息的刺激，或者在其他情形中，受到河流、动物运动的刺激。于是我们就可以理解卡片箱，即卢曼的玩笑和对它的反讽，和与其他对象之间沟通的差异。在我看来有趣的是，我们正在讨论的是一种拥有内部运动和动力的对象，人们把这种内部运动称为思想或其他的什么，不是吗？人工智能拥有一种中间的（in-between）的地位：它居于死的对象即卡片箱和作为主体的人类中间。所以人工智能是居于中间位置的，并且我们试图用我今天讲座中所提出的复杂的概念，来理解人工智能的这种中间地位。

特邀嘉宾：张文龙

尊敬的托依布纳教授，非常感谢您精彩的演讲。您文章中提出的问题，令人印象深刻，可以说是特别激发人们理论想象力的前沿问题。我听了您的讲座，十分受启发，您提出人-算法混合体是一个新涌现出来的自创生的社会系统，并将其划归到（准）组织范畴，而您的论证是建立沟通概念基础上：首先，您认为人与算法的互动形成了一种沟通；其次，这种人与算法的沟通又形成了元素性的运作——即具有集体约束力的决定，并透过自创生方式建构出一个作为（准）组织的人-算法关联体，使之与其环境发生互动。另外，您还提出人-算法联合体的双重人格化，并通过行动体-混合体-网络结构来论证人类—算法关联体的集体责任及其结构。我知道在您的文章里，您特别重视拉图尔的行动者网络结构理论，请问您，为什么必须要借助拉图尔的理论？这是否意味着卢曼系统论不足？还是说，拉图尔的理论恰恰印证了卢曼理论的优势呢？请问您怎么看待拉图尔与卢曼之间理论异同呢？此外，您认为网络结构理论可以引入第三种归因形式，既非个体归因，也非集体归因，而是一种分布式的集体责任归属，即网络结构责任，请问这种新型责任归属，在法律实践中是否已经被证明可行？有没有具体例证，能够说明这种责任实践情况？

主讲人：托依布纳

非常感谢你提的这些问题。首先对于你的提问，我想做一点评论。你说到，人与算法的交互会产生互动系统，这没错。但是接着你认为从互动中一定会涌现出混合体，这是一个误解。我并没有主张，所有的人与算法的交互最终都会形成混合体。有些人认为，所有人与算法的相互联系以及当我们接触屏幕时和计算机的日常互动，都会生产出混合体、电子人（cyborg）。

但是我试图远离这些关于混合体的笼统概念，更倾向于认为我们能看到的只是各种互动的可能性。有时这种互动会生产出一个涌现的系统或混合体。因此或许应该说，尽管我提到存在着两种涌现的现象，但在此意义上，事实上存在着三种涌现现象。当你观察计算机时，它的基本运作就是电子脉冲，这种运作甚至不是“0、1、0、1”，而是“开/闭”。这种“开/闭”是计算机全部动态的基本结构。第一种涌现现象是逐渐生成的信息系统。所以，在计算机中高于电子信号的层次上，涌现出了递归的甚至可能是自创生的信息系统。这种信息系统不同于电子脉冲，而是一种更高层次上的涌现现象。在我们的大脑中，一方面存在着神经信号脉冲，另一方面存在着我们的思想，这些思想不断再生产出其他的思想，由此生成一个自创生的思想系统。计算机中电子脉冲和信息系统间的涌现关系，与人脑中神经脉冲和思想系统间的涌现关系，二者是类似的。在人脑中，神经脉冲和思想不可等同，因为在意识中出现了意义。但我认为在计算机的计算中出现了信息，但并没有出现意义。这不太好理解，对吗？因此，第一种涌现现象是从电子脉冲到内部逐渐生成的、递归运作的信息系统。第二种是这些由算法控制的计算与人类的交互。在此，沟通系统即社会系统涌现了出来，它再次获得了新的性质，尤其是创造出了意义。第三种涌现现象是，在这种人与算法的交互中不仅可能产生互动系统，而且还可能形成组织，这种组织是一种新的集体行动者。因此一共存在三种涌现现象，我对这种“谬论”表示抱歉。拉图尔与卢曼间的关系是一个复杂的问题。人们总是用这样的问题轰击拉图尔：你的理论和卢曼理论间的关系是什么？然后他就会很生气，有时甚至会摔门离开房间，因为他无法接受卢曼。并且他认为他和卢曼是十分不同的，因为他总是试图破坏一些现代的区分，例如“主体/客体”，“自然/人类”等等，并认为这些区分是错误的，它们之间的差异都是渐变的。在我看来，拉图尔是一位非常有天赋的思想家，他非常有创造力，并且拥有很好的直觉和观念，但他却是一位糟糕的理论家。我的意思是，他所做的并不是理论，而是隐喻的集合。我认为这也正是为什么他会对卢曼如此生气，因为卢曼会说：“朋友，那么你的理论是什么呢？”但是在一个重要的问题上拉图尔的确超越了卢曼。卢曼愿意将沟通行动者的身份和责任赋予组织形式的非人类实体。因此，只要当诸如大学、公司和网络等组织出现时，就会达到一个新的层次——组织自己就具有了沟通的能力。这并不是一个容易理解的概念，一些人认为这是荒谬的，是一种典型的德国式的隐喻思维。但不是这样的，这种想法不是荒谬的，它是严肃的。沟通发生着，组织自身拥有沟通和承担责任的能力。但是卢曼并没有超越这一步。在他的沟通理论中，没有给动物、山脉、亚马逊人或其他土著人群，也没有给计算机留有位置，他也许给上帝和灵魂留有位置，以便承认在土著社会中，在人类和精神之间存在着真实的沟通接触。此外他也承认，在现代宗教中，祈祷也是一种在人类和未知他者之间发生的真实沟通，但关键当然在于，那个未知的他者必须要做出回应。也就是说，只有当上帝以某种信号回应我们时，才存在着沟通。例如，我说到，“上帝啊，我问你这件事，请你给我信号”，接着出现了雷声、闪电或者出现了其他信号。于是就有了人类和某个假想他者之间的沟通，或者如果你愿意的话，有了人类和真实上帝之间的沟通。但是卢曼并不准备像我今天所做的那样迈出更进一步，或者说，他在计算机的行动者身份和沟通能力等问题上是十分迟疑的。但是拉图尔会说，“看哪人们，我们必须要意识到，不仅在人类之间，而且在许多非人类的个体之间也存在着沟通关系”。在这一点上，拉图尔的创造力和直觉就显得格外重要。我认为这是他巨大的价值所在，这也正是为什么我遵从他的观点，并讨论他的行动体和混合体的观念。在此意义上，卢曼并没有达到这一步。关于你的第二个问题，我试图区分责任形式两个极端——其中一极是个人责任，另一极是当一个新的单位具有责任能力时的集体责任，以及居于两极之间的网络责任。这种区分并不只是为了处理计算机和人类之间的关系，我也用它来处理人类世界中的网络关系，例如特许经营权以及此类权利链、价值链等，这些都是非常特殊的现象。是否并非如经济学家所说的那样，组织其实是一种前向一体化（forward integration），或者他们只是许多双边合同的组合？ 在我看来，这两种观点都是对的。首先，存在着双边的相互关系，主要是合同。这些合同依然是双边的，它们是非常核心的部分且数量巨大。但接着就会产生一个有趣的问题：这些双边关系之间的关系是什么？从这些双边关系中，会涌现出一种网络中的集体性元素。在某些网络中，这种集体甚至发展到如此的程度，以至于网络的中心可以对所有其他的部分做出决定。于是我们实际上就能够观察到一种关联涌现出来，它尚未形成法人，而是处于比法人更低的层次。而如果谈论到集体责任，我认为网络责任与个人责任相对立，其要旨在于，责任是经由作为网络的集体单位分配到各节点之上的。这不同于由节点本身直接承担责任。我不了解你们的侵权责任法是否区分了集体责任等责任形式和这种“两步式”责任。这种“两步式”责任首先指向集体，而后分配到集体的各个节点。我认为在社会网络中，存在着这种特殊的、分配式的、中心化的责任，它是一种居于个人责任和集体责任之间责任形式。

特邀主持人：祁春轶

谢谢浩南！也感谢文龙的提问和托老的回答。因为今天讲座时间比较长，托老的年龄也比较大，所以我们取消线上提问环节。希望今后可以通过其他途径来解答疑惑，也欢迎大家直接阅读托老的论文来思考相关问题。接下来请陆宇峰处长致辞。

致辞人：陆宇峰

尊敬的托依布纳教授：感谢您今天莅临东方明珠大讲坛，带来这场重磅讲座，这是给华东政法大学建校70周年的学术大礼。2016年在格鲁吉亚与您分别，还以为不久就能再相见，没想到疫情阻隔，转眼六年。记得离开格鲁吉亚那个高尔夫花园酒店的时候，您问我中国法学界现在研究什么。我说正在热议是否应当赋予人工智能法律人格，您就向我介绍了2006年的作品《非人类的权利——作为政治和法律新行动者的电子代理和动物》（Rights of Non-humans?- Electronic Agents and Animals as New Actors in Politics andLaw）。感谢您的慷慨授权，我和我校学生迟子钧已经翻译了这篇论文；我和我的学生冯紫祥还翻译了The Horizontal Effect of Fundamental Rights on ‘Private Parties’ within Autonomous Internet Law一文，准备请钟浩南博士校对后，明年一并发表在《清华法治论衡》的“托依布纳”专号上。借此机会，再次请您授权。今天的讲座主题也与非人类相关，涉及人—算法混合体的责任。我最重要的感受是，您对这个主题的讨论，再次验证了社会系统理论的解释力和想象力。如果我们不能认识到，社会并非由人构成，而是由沟通构成；社会是否向某个事物赋予法律意义，与其是否被视为沟通的重要节点有关，与其是不是、像不像人无关；我们就无法走出围绕人工智能体或者算法法律地位的争议。就此而言，多年来的大多数讨论，都把技术问题和社会问题混为一谈了。一方认为，人工智能还不像人，所以不能向它赋予权利；另一方认为，尽管弱人工智能还不像人，但强人工智能会接近人甚至超过人，所以应该向它赋予权利。这两年中国法学界又在热议“数字人权”概念。这个概念的支持者认为，数字社会产生了一系列新的人权问题，“生物—数字人”的基本权利保护，更是既有人权理论没有考虑过的。反对者则认为，数字社会顶多就是将早已存在的隐私权、选举权、言论自由等人权问题放大了，而“数字人”既然不是道德的人，对其保护既然无关“人的尊严”，就更不存在“人权”问题。这种反对意见，还与人文主义关联在一起，试图展现一种道德优越性。仿佛承认“数字人权”，就颠倒了人与数字技术的关系，忽视了人的伦理价值。对此您怎么看？我以这个问题，代替我的致辞，因为向您请教的机会太难得了。我也衷心祝愿您和您的妻子身体健康，期待你们再访中国，特别是再访上海！感谢祁春轶教授的精彩主持，李忠夏教授、泮伟江教授、张文龙教授的精彩发言，感谢钟浩南博士的翻译。谢谢大家！

主讲人：托依布纳

非常感谢你，这又是一个有争议的困难问题。让我来直接回答最后一个关于人权和数字人权的问题。在我看来，一个被称为数字宪治主义的新的实践和理论领域正在兴起，它是一种社会宪治主义的子领域。它与国家宪法无关，而是关于一个正在兴起的、拥有自己内在理性的社会领域。那么这个社会领域的基本规范为何呢？你可以把它们称为宪法规范或者基本规范等等。但我认为数字空间及其基本规范是十分重要的问题，尤其是其中与人权相对应的部分。目前的争论主要是围绕社交网络的权力展开的，例如脸书等公司。这当然是重要的问题，但这些年也早已是众所周知的了。人们已经对公司私权力的问题有所了解，只是这些公司开始使用数字工具，因此这并非一个全新的问题。相反，对数字空间的宪治而言，真正有趣的问题在于逐步建立的宪法（bit-by-bit constitutions）。在内部电子信息过程的宪治方面发生了什么呢？当工程师们建立互联网时，关于如何设计互联网，他们必须要一步步地做出重要的政治决定，例如，是决定将互联网设计为中心化的还是去中心化的。对此，俄罗斯人偏爱中心化的网络，而西方人则偏爱去中心化的资本主义式的网络等等。因此，逐步建立互联网的技术涉及许多政治决定，建立莱斯格所谓的代码本身就是一个宪法问题。工程师们关于如何创造数字空间的决定，类似于如何创造经济或政治系统的决定，因此有其宪法的面向。说创造也许有些夸大，因为事实上发生的更多是演化而不是创造。但是它们的问题却是相似的，宪法决定并不只是与脸书这样的公司有关，而且还涉及互联网内部准规范结构的建立。但同时还存在着有关限制的问题，即如何限制这些新兴的、发展中的系统以及它们的“帝国主义”的一面。我认为这是一个新的任务，这也正是波士顿所讨论的问题。我认为权利问题就是在这里出现的，即算法的数据权利问题。目前有一些宪法学领域的公法学家主张，我们必须赋予算法宪法权利，例如言论自由、自由发展等权利。但我对此持怀疑态度，我认为宪法必须对这些“怪物”以及它们的发展发挥限制性功能。例如，在我关于侵权责任的讨论中，我拒绝赋予算法完全的法人地位，就像美国人对待公司那样，他们给予公司全部种类的人权。我对此是非常怀疑的，相反我认为人们应当非常仔细地选择要赋予算法的权利类型，并且将算法定位在比完整的法人更低的层次上。这也正是为什么我认为算法的行动能力是不完整的。它的行动能力仅限于，例如在数字助理的情形中，充当人类组织或人类行动者的代表，即仅限于以代表的方式实施行动的能力，而不会超出这一范围。因此我认为，当我们为数字空间设计宪法规则时，我们必须要对宪法的限制性规则有非常深刻的认识。


在讨论的最后，我想转换一下问答的角色，问我的中国同事们一个问题，但你们不必回答。我今天讨论的所有内容都是欧洲中心主义的。它建立在希腊和罗马法传统的基础上，甚至是基督教传统，如耶稣在十字架上的两个身体，一个是肉身，另一个是精神的身体。此时我们就看到了法人的出现。因此，这的确深深地根植于欧洲的文化传统之中，并且我现在也运用这种传统来思考人工智能及其人格化等问题。我想你们提出的问题是，中国的文化传统中是否包含什么要素，可以用来丰富我们对人工智能的理解？在西方传统中，存在着主体和客体的明确区分，而我猜想也许在中国的传统中，这个区分是不明确的，相反人们会接受许多渐变的区分。因此，我想知道在中国的传统中，人们是如何理解人类于自然中的特定对象或者与人造的对象或者精神、神以及庙宇之间的关系的。其中是否有什么可以用来丰富对我们和人工智能之间关系的理解。我只是提出这个问题，你们不必回答，但显然我对此有一些自发的想法。

致辞人：陆宇峰

中国虽然没有基督教的传统，但传统中国人认同万物有灵这一思想并且将其反映到中国传统神话之中。例如，传统文化认为，一些伟大的人死后会进入宗祠、寺庙进而成为神永留世间。另外，天人合一的文化也强调了一种人神交融、天人交融。这个是中国比较特别的思维。或许上述中国文化传统思想可以用来丰富对人与人工智能间关系的理解。

特邀主持人：祁春轶

谢谢陆宇峰处长的致辞和提问，感谢托老非常睿智耐心的回答、各位嘉宾精彩的发言以及浩南的现场翻译。同时，感谢线上参与讲座的3000多位听众。今天的讲座就到此结束，再见！本次讲座特别致谢祁春轶副教授、钟浩南博士的筹备、主持和翻译工作。

“东方明珠大讲坛”

致谢“问渠源”基金支持

来源 | 华东政法大学科研处

责任编辑 |  张文胜 冯紫祥 鹿启曈