您可以在百度里搜索“中信出版2020年度好书-经济管理（套装共12册） 艾草文学(www.321553.xyz)”查找最新章节！

　　第十一章 人工智能与伦理：不要问计算机能做什么，要问它们该做什么

　　最好的科技，也会带来意想不到的效果

　　2017年1月，我抵达瑞士达沃斯参加世界经济论坛，这是一个每年一度探讨全球趋势风向标的活动，而当年的热门话题当属人工智能。每一家科技公司都宣称自己是一家人工智能公司。一天晚饭后，作为一个在寒冷的威斯康星州东北部长大的人，我重拾自己的老习惯，冒着冰雪在达沃斯的主街上溜达了整整两英里。这条街看起来更像拉斯维加斯大道，而不是一个阿尔卑斯山区的小镇街道。除了少数几家银行外，点亮这座滑雪圣地小城的主要是科技公司的标志和灯箱广告，每家公司（包括微软）都在不遗余力地宣传自己的人工智能战略，希望打动本周正在这座瑞士阿尔卑斯山城参加论坛的企业、政府和思想领袖。这清楚地说明了两点：首先，人工智能是一个新事物；其次，科技公司有充裕的营销预算。

　　参加了多场有关人工智能优势的讨论之后，我意识到并没有人花时间来解释到底何为人工智能，或者它是如何工作的。大家都假设每个人对此都已经了然于胸。从我在达沃斯进行的谈话中，我知道情况并非如此，但出于可以理解的原因，人们并不愿意举手问一些基本问题。没有人愿意第一个承认他们（很可能是一半的人）并不完全理解另一半人在说什么。

　　除了围绕人工智能概念普遍性的含糊不清，我还注意到另外一点，那就是，没有人想谈论这项新技术是否需要监管。

　　我曾参加了一场有关人工智能的网络直播，由Techonomy公司的大卫·柯克帕特里克主持，我被观众问到微软是否认为人工智能将会受到政府监管。我表示，5年之后我们可能就会发现自己将辩论有关政府对于人工智能的最新法规提案。IBM的一位高管对此表达了不同意见，他说：“你不能预测未来。我不知道我们是否会制定有针对性的政策。我会担心它们的副作用。”

　　一周的达沃斯论坛抓住了在当今科技行业泛滥的思潮，但那不一定都是积极的。与多数行业一样，科技行业通常会急于推进创新，而并不帮助人们充分了解其性质或运作原理。除此之外，人们长期以来对科技拥有一种几乎已经成为信仰的信念，那就是新技术总是有益无害的。硅谷的许多人很长时间以来一直认为，监管机构无法跟上科技的步伐。

　　虽然这种对科技理想化的观点常常植根于良好的意愿，但它并不现实。即使是最好的科技，也会带来意想不到的后果，并且其带来的益处也很少能够普惠苍生。这还是在新技术尚未被错误地用于有害目的之前，而这种误用几乎不可避免。

　　早在18世纪，本杰明·富兰克林创办美国邮政服务后不久，犯罪分子就发明了邮件欺诈。19世纪电报和电话出现后，犯罪分子又发明了电话诈骗。20世纪，当互联网技术被发明后，任何了解历史的人都清楚地知道，新形式的诈骗行为将不可避免。

　　观察后视镜

　　人们面临的挑战在于，科技行业始终习惯于向前看，这对行业而言是好事，但对其非常不利的一个问题是，很少有人愿意花时间，甚至愿意接受一种有益的做法，即认真观察后视镜，以便能够利用过去的经验来预测转弯之处的问题。

　　在达沃斯的人工智能盛宴后不到一年，人工智能开始制造出一系列广泛的社会问题。此前，公众对科技的信任曾以隐私和安全保障为中心，但人工智能现在让人们感到不安，并迅速成为公众讨论的中心话题。

　　计算机被赋予了学习和决策的能力，越来越不受人类的干预。但机器将如何做出决定？它们能反映最佳的人性吗？还是会造成不那么鼓舞人心的后果？越来越明显的是，人工智能技术要想更好地服务社会，迫切需要以强有力的伦理原则为指导。

　　这一天酝酿已久。1956年，达特茅斯学院的研究人员进行了一项夏季研究，旨在探索开发能够学习的计算机，这被一些人认为是人工智能技术在学术讨论领域的诞生。在此之前几年，艾萨克·阿西莫夫就在其短篇小说《环舞》中提出了他著名的“机器人三定律”。这是一个科幻故事，讲述了人类试图创造伦理规则，以便规范机器人基于人工智能的自主决策。正如2014年威尔·史密斯主演的电影《我，机器人》中以戏剧性的方式所展现的那样，它的效果并不尽如人意。

　　20世纪50年代后期以来，人工智能不断发展，尤其在20世纪80年代中期的短暂时间内，“专家系统”受到热烈追捧，相关的投资、初创企业和媒体兴趣也迅速激增。不过，是什么让人工智能在出现60年后的2017年，以如此引人注目的方式突然闪亮登场的呢？这并不是因为它是一种时尚。相反，它反映了一些更普遍，并且积蓄已久的趋势和问题。

　　科技界尚未对人工智能做出一个普遍认可的定义，因而科技大咖自然都在大力宣扬自己的观点。2016年，我曾与微软的戴夫·海纳一起花时间研究了人工智能领域出现的一些新问题，海纳当时正在和埃里克·霍维茨一起工作，后者长期领导着我们在该领域的大部分基础研究工作。在我的追问下，戴夫教给我一种思考人工智能的有用方式（我目前仍然这样认为）：“人工智能是一种计算机系统，通过识别输入数据的模式，可以从经验中学习并因此做出决策。”埃里克则使用了一个更宽泛的定义，指出“人工智能是对思维和智能行为的计算机制的研究。”虽然这通常涉及数据，但它也可以基于经验，如玩游戏、理解自然语言等。计算机从数据和经验中学习并做出决策的能力——人工智能定义的本质——基于两种基本的技术能力，即人类感知和人类认知。

　　所谓人类感知，是指计算机模拟人类通过视觉和声音感知周遭世界的方式，感知正在发生的事情的能力。从某种程度上说，自从19世纪30年代照相机发明以来，机器就已经能够“看到”世界，只不过还需要一个人来理解照片上到底描绘了什么。同样，自从托马斯·爱迪生于1877年发明留声机以来，机器已经能够听到声音。但是，还没有一台机器能够像人类那样准确地理解和转录声音。

　　视觉和语音识别一直是计算机科学领域研究者的圣杯。1991年，比尔·盖茨创立微软研究院时，当时的负责人内森·迈尔沃德的首要目标之一就是招募视觉和语音识别领域的顶尖学者。我还记得，微软的基础研究团队在20世纪90年代曾乐观地预测，计算机很快就能像人类一样理解语言。

　　微软研究人员的这种乐观观点得到了学术界和科技界专家的普遍认同。不过在现实中，语音识别技术的进步花了更长时间，远远超过专家的预测。视觉识别和语音识别的目标都是令计算机能够以与人类相当的准确率来感知世界，该比率并非100%。我们都会犯错误，包括在辨识他人对我们说了什么的时候。专家估计，人类理解言语的准确率约为96%，只不过我们的大脑能够迅速填补这个缺口，因而我们不会意识到这一点。但在人工智能系统达到同样的水平之前，我们更有可能会被计算机所犯的错误困扰，而不是被其90%的准确率打动。

　　到2000年，计算机的视觉和语音识别准确率已达到90%的门槛，但在随后10年中几乎没有进展。2010年之后，计算机视觉和语音识别技术的发展再次加速。如果100年后的人回顾21世纪的历史，很可能会得出结论称，从2010年到2020年的10年是人工智能取得突破性发展的时期。

　　人工智能的起飞

　　近期出现的三大科技进步为人工智能的起飞提供了平台。第一，计算能力终于提升到可执行大量计算所需的水平。第二，由于云计算，个人和组织可获得大量计算能力和存储容量而无须进行大规模的硬件资本投资。第三，数字数据的爆炸性增长使得建立更大的数据集，以训练基于人工智能的系统成为可能。倘若没有这些要素，人工智能是否能如此迅猛地发展将是一件值得商榷的事。

　　不过，人工智能的发展还需要第四个基本要素，它对于帮助计算机和数据科学家让人工智能有效发挥作用至关重要，而它涉及了人工智能所需的另一个甚至更基本的技术能力，即认知，换句话说，就是计算机推理和学习的能力。

　　几十年来，业界一直在激烈地争论什么是使计算机能够思考的最佳技术方法。方法之一是基于所谓的“专家系统”，这种方法在20世纪70年代后期和80年代风行一时，它的原理是收集大量事实并创建规则，使计算机可以将其应用于逻辑推理链来做出决定。正如一位技术专家所指出的，这种基于规则的方法无法扩展到足以匹配现实世界问题的复杂性。他说：“在复杂的领域中，规则的数量将变得极其巨大，而且因为新的事实由手工添加，跟踪例外情况和与其他规则交互并不可行。”在许多方面，我们在生活中并不是根据规则来进行推理，而是基于经验来辨别模式。反过来看，如果一个系统是基于如此详细的规则而建立的，那么或许只有律师才会喜欢它。

　　自20世纪80年代以来，另一种人工智能方法被证明更加优越。这种方法使用统计方法进行模式识别、预测和推理，实际上是通过从数据中学习的算法来构建系统。在过去的10年中，计算机和数据科学的飞跃导致了所谓深度学习或神经网络的广泛应用。我们的人类大脑包含由突触连接的神经元，使我们能够辨别周围世界的模式。基于计算机的神经网络包含被称为神经元的计算单元，它们是人工连接的，以便人工智能系统能够推理。从本质上讲，深度学习方法是使用多层人工神经元提供大量相关数据，以训练计算机识别某一种模式。它是一个计算和数据密集型的过程，这就是为什么其进展需要由前面提到的其他进展来支持。它还需要在训练多层神经网络所需的技术方面取得新的突破，而这种突破在大约10年前开始出现。

　　这些变化的共同影响导致基于人工智能的系统取得快速和令人印象深刻的进步。2016年，微软研究院团队开发的视觉识别系统在一次挑战中达到可匹敌人类的能力，这次挑战是在一个被称为ImageNet的图库中识别大量物体。随后，他们以一个名为Switchboard的数据集，针对语音识别系统进行了同样的挑战，并达到94.1%的准确率。换句话说，计算机在感知周遭世界方面开始做得像人类一样出色。同样的进步也发生在语言翻译中，这在一定程度上要求计算机理解不同单词的含义，包括细微差别和俚语。

　　很快，公众开始感到不安，大量文章出现并提出一个问题：一台基于人工智能的计算机是否能以超人的速度完全独立思考和推理，从而导致机器接管世界。这就是技术专家所说的超智能，或者一些人口中的所谓“奇点”。正如戴夫·海纳在2016年谈到这个问题时所说，这个问题占用了人们太多的时间和注意力，可以说分散了人们对更重要、更紧迫问题的注意力。他说：“这当然太过于科幻，并且它模糊了人工智能已经开始制造的更紧迫的问题。”

　　[1] 超智能的兴起首先由英国数学家古德提出。第二次世界大战期间，古德曾在布莱切利公园参加密码破译工作，他以同事艾伦·图灵的初步工作为基础，推演出“智能爆炸”理论，认为这样的爆炸将使“超智能机器”能够设计出更加智能的机器。I.J. Good, “Speculations Concerning the First Ultraintelligent Machine,” Advances in Computers 6, 31–88 (January 1965)。古德旁务甚多，他曾为斯坦利·库布里克的电影《2001：太空漫游》提供科学指导，这部电影的主角就是那台著名的失控电脑哈尔。

　　计算机科学领域的其他人，包括微软研究院的人，一直对人工智能系统设计出更智能的自我版本或依靠它们自身的思维过程逃避人类控制的前景持怀疑态度。托马斯·迪特里奇和埃里克·霍维茨表示：“这样的过程与我们目前的理解，即学习和推理的算法受到计算复杂性的限制背道而驰。”他们指出：“不过，自我设计和优化的过程可能仍然会导致能力的飞跃。”T.G. Dietterich and E.J. Horvitz, “Rise of Concerns about AI: Reflections and Directions,”Communications of the ACM, vol. 58, no. 10, 38–40 (2015年10月）, http://erichorvitz.com/CACM_Oct_2015-VP.pdf。

　　牛津大学教授尼克·博斯特罗姆在他最近出版的著作中对这些问题进行了更加广泛的探讨。Nick Bostrom, Superintelligence: Paths, Dangers, Strategies(Oxford: Oxford University Press, 2014)。

　　在计算机科学领域，有些人用“奇点”一词来描述计算能力。这种能力增长如此之快，以至于无法预测未来。

　　机器偏见

　　同年，在白宫主办的一次会议上，这些更为紧迫的问题被提了出来。那次会议的一个热门讨论是ProPublica上发表的一篇题为“机器偏见”（Machine Bias）的文章。这篇文章的副标题点明了文章的主旨：“全国各地都在使用软件来预测未来的罪犯，而其对黑人充满偏见。”由于人工智能越来越多地被用在各种各样的场景中进行预测，人们越来越担心系统是否会在不同场景中对特定群体，包括有色人种，存有偏见。

　　ProPublica在2016年描述的偏见问题真实存在。它反映出两个现实世界的原因，如果希望人工智能可以按照公众的正当期望得到应用，这两点都需要得到解决。第一个造成偏见的原因涉及带有偏差的数据集。例如，一个包含人类面部照片的人脸识别数据集可能包含了足够的白人男性照片，从而能够以高准确率预测白人男性的面部。但如果女性或有色人种照片的数据集较小，那么针对这些群体的错误率可能更高。

　　事实上，这正是两位博士开展的一个名为“性别阴影”（Gender Shades）的研究项目得出的结论。这两位博士分别是麻省理工学院的研究员、罗德奖学金得主、诗人乔伊·布兰威尼和斯坦福大学的研究员蒂姆尼特·格布鲁，她们通过比较不同性别和种族人群的人脸识别准确率，来促进公众对人工智能偏见的理解。例如，这两位女性研究员发现，与北欧的白人政治家相比，系统在通过人脸识别确认非洲黑人政治家性别方面的错误率更高。作为一名非洲裔美国妇女，布兰威尼甚至发现一些系统将她认定为男性。

　　布兰威尼和格布鲁的工作有助于揭示我们需要考虑的第二个维度的偏见。如果不首先建立一个反映世界多样性的团队，就很难建立服务于世界的技术。正如她们所发现的，一个更加多元化的研究者和工程师团队更有可能认识到会对其个人产生影响的偏见问题，并更加认真地思考这些问题。

　　人工智能面临的伦理问题

　　如果人工智能赋予计算机从经验中学习和做出决定的能力，我们希望它们拥有什么经验，我们又愿意让它们做出什么决定？

　　在微软，埃里克·霍维茨首先于2015年底在计算机科学界提出了这些担心。在一篇与他人合著并发表在学术期刊上的文章中，他指出，大多数计算机科学家认为奇点的末日风险充其量也只是一件遥不可及的事，但现在已经到了应该更严肃地看待越来越多的其他问题的时候。第二年，萨提亚接棒在Slate上撰写了一篇文章，建议“需要争论的是创造这项技术的个人和机构为其注入什么样的价值观”。他提供了一些需要纳入的初始价值观，包括隐私、透明性和负责。

　　到2017年底，我们得出结论，真正应该讨论的是需要以一个全面的方法规范人工智能领域的道德问题。这远非一个简单的提议。随着计算机获得了以前只有人类才拥有的决策能力，几乎每个人面临的伦理问题都正在成为人工智能的伦理问题。鉴于哲学家们几千年的争论都没有形成明确和普遍认可的答案，那么肯定无法仅仅因为我们需要将它们应用到计算机上，就在一夜之间达成共识。

　　微软的6项道德准则

　　到2018年，处于人工智能领域最前线的公司，如微软和谷歌等，开始直面这一新的挑战。我们与学术界和其他领域的专家都认识到，我们需要一套道德准则来指导人工智能的发展。在微软，我们最终确定了这一领域的6项道德准则。

　　第一个准则要求我们满足公平性的需要，即消除偏见的问题。随后是有关两个在公众已达成部分共识的领域，即对可靠性和安全性的重视以及对强有力的隐私和保障的需要。在一些重要的方面，这些概念是为了应对以前的科技革命，以法律法规的形式不断发展起来的。铁路和汽车出现后，产品责任和相关法律针对其制定了可靠性与安全标准。同样，为了响应通信和信息技术革命，逐步引入了隐私和安保规范。虽然人工智能在这些领域提出了新的挑战，但我们可以在既有的法律概念的基础上不断推进。

　　我们的第四项准则所应对的，是自2014年萨提亚担任微软首席执行官以来，我们的员工一直支持的一个问题。这就是重视开发包容性技术，以满足残障人士的需求。公司对包容性技术的重视自然也将包括人工智能。毕竟，不难设想，如果电脑能够看到图像，将会给盲人带来巨大的便利，而如果电脑能听到声音，也将是聋人的福音。我们不一定需要发明和发布全新的设备来寻求这样的机会。人们已经带着智能手机四处走动，而智能手机上有可以看到物体的摄像头和可以听到声音的麦克风。随着将包容性作为第四个道德准则，在该领域的进步之路已经隐隐浮现。

　　虽然上述4项准则每一项都很重要，但我们意识到，它们都是基于另外两项准则，而最后的这两项准则将成为其他准则成功的基础。首先是透明性。对我们来说，这意味着确保人工智能系统决策机制相关的信息是公开和可以理解的。毕竟，如果人工智能的内部工作机制完全处于暗箱之中，公众怎么可能会对人工智能有信心，同时未来的监管机构又怎么来评估对前4条准则的遵守情况？

　　有些人坚持认为人工智能的开发者应该公布他们使用的算法，但我们自己的结论是，在大多数情况下，这样做未必真正具有启发性，还有可能泄露有价值的商业秘密，并因此危害技术领域的竞争。我们已经开始与学术界和其他科技公司就人工智能进行合作，以开发出更好的方法。最新的关注点是让人工智能变得可以解释，比如描述用于决策的关键元素。

　　有关人工智能的最后一个道德准则将是其他一切的基石，那就是问责性。世界会创造一个计算机对人类负责，而设计这些机器的人对其他人负责的未来吗？这可能是我们这一代人需要面对的一个决定性问题。

　　这一最终准则要求人类应保留在人工智能的决策机制中，以免基于人工智能的系统在没有人类审查、判断和干预的情况下作恶。换言之，基于人工智能的决策如果会严重影响人类的权利，就需要继续接受严格的人类审查和控制。这就需要接受过培训的人员来评估人工智能做出的决策。

　　我们认为，这也意味着更广泛的治理流程至关重要。每个开发或使用人工智能的机构都需要制定新的政策、流程、培训计划、合规系统和人员，以便针对人工智能系统的开发和部署进行审核并提供建议。

　　我们于2018年1月公布了我们的准则，并很快意识到我们引起了极大的共鸣。客户不仅要求了解我们的人工智能技术，还要求了解我们应对道德问题的方法和具体实践。这非常合理。微软公司的整体战略是“人工智能普及化”，即通过让客户能够获取人工智能技术的基本要素，如视觉和语音识别工具及机器学习工具，从而使其能够创建自己的定制人工智能服务。这意味着像技术本身一样，我们需要开发和广泛共享一套复杂的人工智能道德方法。

　　人工智能的广泛传播还意味着对人工智能技术的特定监管不仅成为可能，而且是必不可少的。对人工智能道德的普遍认识有助于鼓励有道德的人以道德的方式行事。但对那些对遵循道德准则不感兴趣的人又该如何呢？要确保所有人工智能系统按照特定道德标准工作，唯一的方法是要求它们这样做。这意味着以法律和法规的力量来支持社会普遍接受的道德标准。

　　监管领域的推进速度显然很快，甚至要快于我2017年在达沃斯预测的5年的时间框架。我在2018年4月清楚地看到了这一点。当时我们正在新加坡会见负责人工智能问题的政府官员。“这些问题不能再等了，我们需要比科技先行一步，”他们告诉我们，“我们希望在几个月内，而非几年内，公布第一份提案。”

　　预见未来：人工智能可能引发的争议

　　一个不可避免的情况是，人工智能的道德问题将从一般性讨论转变为具体议题，而它们很可能引发具体争议。虽然我们不可能准确预测未来5年或10年人们将辩论什么，但我们可以从已经出现的问题中汲取真知灼见。

　　2018年，最先出现的一个争议涉及了人工智能在武器中的使用。正如公开辩论广而告之的那样，这个问题与“杀手机器人”有关，这个词会让人立刻联想到科幻小说中的形象。从系列电影《终结者》的表现来看，人们对这样一种叙事是很容易理解的。要知道，《终结者》自从在1984年上映之后，每个10年中都会推出至少一部续集，迄今已经连拍了5部续集。换句话说，如果你是一个十几岁的孩子或更年长的大人，你有很大的概率在大银幕上见识过自主武器的危险。

　　这场公共政策辩论首先带给我们的教训是，需要对涉及的技术类型有更精准的理解或分类。当我和世界各地的军事领导人交谈时，他们都持有一个共同的信念：没有人愿意在早上醒来时发现，机器已经在人类睡觉时发动了战争。战争与和平的决策需要留给人类来做出。

　　不过，这并不意味着全世界的军事官员们在其他所有方面也拥有共识。这就是争议所在之处。美国国防部前官员，现任职于一家智库的保罗·沙瑞尔在其著作《无人军队：自主武器与未来战争》中，提出了一个越来越接近本质的问题。正如他所阐述的，核心的问题是，不仅仅要考虑在何时，而且要考虑以何种方式，赋予计算机在不经人类审核的情况下发射武器的权力。一方面，即使装备了计算机视觉和人脸识别系统的无人机在辨别地面上的恐怖分子时可能拥有超过人类的准确度，但这并不意味着军事长官需要或应该拒人和常识于决策流程之外。另一方面，如果某一支海军舰队遭到数十枚导弹的攻击，宙斯盾作战系统的反导弹防御系统还是需要依靠计算机的决策做出反应。即便如此，实际情况也会千差万别，武器系统的使用也应随机应变。人类通常应该做出最初的发射决定，但他们没有时间批准对每个单独目标的攻击。

　　考虑到对自主武器的隐忧，一些人认为科技公司应该在人工智能技术领域拒绝与军方进行任何合作。例如，谷歌在经历员工抗议之后，撤销了与五角大楼的人工智能合同。我们在微软也面临同样的问题，因为我们的一些员工也提出了类似的担忧。我们长期以来一直与美国及其他国家的军队合作，几年前，我曾在位于西雅图北部的华盛顿州的埃弗雷特母港参观了尼米兹号航空母舰，凸显了这一合作的广泛性。这艘航母上共有4000多台计算机正在运行我们的Windows服务器操作系统，支持着舰上的各种功能。

　　但是对于许多人来说，出于可以理解的原因，人工智能系统与上面所说的平台技术完全不同。我们认识到，新技术引发了新一代的复杂问题，在我们考虑一个为美军士兵提供增强现实技术和我们的HoloLens装置的潜在合同时，我们全面讨论了我们应该做什么。

　　不同于谷歌，我们得出结论，我们必须继续向美国军方和其他盟国政府提供最好的技术，因为我们对民主进程和人权相关的基本敏感性充满信心。美国和北约的军事防御长期依赖尖端技术的支持。正如我们无论在私下还是在公开场合所说的那样：“我们相信美国强大的国防力量，我们希望那些保卫美国的人能够获得美国最好的技术，包括微软的技术。”同时我们也认识到，我们的一些员工对于为美国或其他军事组织的国防合同工作感到不舒服。他们中有些人是其他国家的公民，有些人有不同的道德观，或者是和平主义者，还有些人单纯地希望将精力投入技术的其他应用方面。我们尊重这些观点并迅速表示，我们将努力使这些人能够从事其他项目。考虑到微软的规模和多样化的技术组合，我们认为我们很有可能满足这些要求。

　　我们也认为，上述这些都不能免除我们必要的责任，使我们不再仔细思考将人工智能应用于武器所带来的复杂的道德伦理问题，并积极采取相应的行动。我在我们的最高管理层讨论这一问题时指出，从19世纪开始，道德问题就在武器发展中发挥了非常重要的作用，彼时空尖弹和炸药刚刚出现在战场上。萨提亚提醒我说，围绕战争的道德问题事实上可以追溯到罗马共和国时期西塞罗的著作。当天晚上，他给我发了一封邮件，说他母亲一定会因为他只记得西塞罗而忘记了印度教史诗《摩诃婆罗多》而不高兴（谢天谢地，他的邮件中附上了一个维基百科链接，以便我能对此多些了解）。

　　这类讨论使我们得出结论，我们需要作为积极的企业公民继续参与道德问题的讨论。我们相信，我们的参与有助于塑造新出现的公共政策问题。正如我们告诉员工的那样，我们认为没有一家科技公司比我们更积极地解决新技术带来的政策问题，特别是政府监控和网络武器方面的问题。我们认为，最好的办法同样是倡导负责任的政策和法律，以管理人工智能应用于军事的问题。

　　我们撸起袖子不断学习，不断修正我们的观点。这使我们重新审视我们的六大道德准则，并依照这些准则检视了人工智能应用于武器所适用的伦理道德问题。我们得出的结论是，有三个准则的相关性最高——可靠性和安全性、透明性，以及最重要的，问责性。只有解决了这三个问题，才能保证公众相信人工智能将以确保人类控制的方式得到部署。

　　我们还发现，这与我们在面临安全保障和国家级网络攻击时需要应对的问题有一些重要的相似之处。在那个领域，已针对新的技术形式（如致命的自主武器）制定了若干国内和国际规则。

　　许多其他方面的发展似乎也与涉及网络武器的安全问题有相似之处。联合国秘书长安东尼奥·古特雷斯在2018年呼吁禁止“杀手机器人”时并没有含糊其词，他说：“让我们实话实说吧，机器拥有夺走人类生命的自主权力的前景在道德上令人反感。”但是，如同网络武器的情况一样，全球主要的军事力量一直抵制限制其科技发展的新的国际规则。

　　因此，讨论主要集中在直指隐忧核心的具体场景，希望借此打破僵局。例如，人权观察组织呼吁各国政府“禁止能够在没有实质性人类控制的情况下选择和攻击目标的武器系统”。虽然可能会有更多的细微差别需要解决，但这类国际宣传以“实质性人类控制”之类的具体术语为重点，已经成为新一代道德挑战中需要全世界加以应对的一个基本问题。

　　重要的是，这项工作必须建立在现有的伦理道德和人权传统之上。美国军方长期以来对道德决策的高度重视给我留下了深刻印象。这并没有使军队完全避免道德过失，有时甚至是巨大的错误，但是从高级将领到西点军校学员的许多军人都告诉过我，要想从美国的军事学院毕业，必须修完一门道德课。与此相对的则是，许多美国大学的计算机科学专业学生并没有这种要求。

　　我们与其他国家的领导人讨论了这些问题以及一些类似的新兴问题，并且逐渐认识到，伦理道德观点最终建立在更广泛的人权和哲学基础之上。因此，必须将这些问题与对世界多元文化的理解，以及这种多样性所产生的各种法律和监管方法联系起来。

　　人工智能提出的复杂性问题

　　与所有信息技术一样，人工智能的设计具有全球性的特征。创造它的技术人员希望它在任何地方都能以同样的方式工作，但各国之间的法律法规可能会有所不同，从而既给政府外交官，也给技术人员带来挑战。我们已经反复经历了这种不同带来的困扰，首先是在知识产权法规方面，然后是竞争规则，最近则是隐私监管法规。但在某些方面，与试图裁定伦理道德问题的法律可能具有的复杂性相比，这些不同不值一提，因为伦理道德问题归根结底是哲学问题。

　　现在，人工智能迫使世界面对伦理道德和其他哲学传统之间的异同，而此前从未有任何技术有这种需要。人工智能提出了诸多复杂的问题，例如个人应承担的责任、对公众保持透明性的重要性、个人隐私的概念以及基本公平的概念等。但是，假如世界无法就人类的哲学问题达成一致，那么它又如何能在计算机伦理方面找到统一的方法呢？这将是未来的一个根本性难题。

　　与过去相比，现在更需要创造技术的人员不仅来自计算机和数据科学等学科，还要来自社会和自然科学以及人文学科。如果我们要确保人工智能的决策建立在人类所能提供的最好的基础上，它的发展必须是一个多学科的过程。在我们思考高等教育的未来时，我们需要确保每一位计算机和数据科学家都接触过文科，就像每个文科专业的人都需要掌握一定的计算机和数据科学知识一样。

　　我们还需要在计算机和数据科学课程中更加注重伦理道德学科的内容，可以采取专门课程的形式，也可以将其纳入几乎所有课程的内容，或者二者兼具。

　　我们乐观地认为，新一代的学生将满怀热情地接受这项课程。2018年初，我和拥有机器人学博士学位、负责我们主要人工智能工作的微软执行副总裁沈向洋一起公开提出了一个问题。这个问题是：“我们是否应该像医生那样，针对程序员制定一个希波克拉底誓言？”我们与其他人一起建议应该制定这样的誓言。几周之内，华盛顿大学一位计算机科学教授就尝试编辑了传统的希波克拉底誓言，针对那些创造人工智能的技术人员提出一个新的誓言。当我和向洋在世界各地的大学校园里发表演讲时，我们发现这是下一代关心的问题。

　　最后，一场关于人工智能道德准则的全球对话需要一个更大的舞台。不仅需要让技术专家、政府、非政府组织和教育工作者发表见解，也需要为哲学家和世界上许多宗教的代表提供席位。

　　为了推动这样的全球对话，我们来到了一个我认为最不可能谈论科技的地方——梵蒂冈。

　　这次访问从某种程度上来说颇具讽刺意味。我们于2019年2月在罗马短暂停留，在那里与梵蒂冈的宗教领袖们讨论计算机的道德问题。几天后，我们将前往德国参加一年一度的慕尼黑安全会议。届时，我们将被世界各国的军事领导人包围。一周之后，梵蒂冈也将举办内部会议，讨论神职人员的道德问题以及教堂里的虐待儿童问题。因此，我们会面的这个时刻凸显了人类的愿望和挑战。

　　当我们驱车抵达梵蒂冈时，意大利天主教会的大主教文森佐·帕格利亚阁下满面笑容地出来迎接我们。他满头白发、和蔼可亲，是一位著作等身的学者，领导梵蒂冈处理各种伦理道德问题的工作，包括应对人工智能的新挑战。微软和梵蒂冈决定共同赞助一项博士论文奖，以探索这项新兴技术与长期存在的伦理道德问题之间的交叉点。

　　那天下午的经历再度提醒我们在科技与科学、哲学与宗教之间曾发生的历史碰撞。在梵蒂冈访问期间，帕格利亚阁下带我们参观了西斯廷图书馆，在那里，我们仔细翻阅了一本《圣经》，这是谷登堡用他发明并于14世纪50年代投入使用的活字印刷机印制的首批《圣经》中的一本。活字印刷术是巨大的技术进步，彻底改变了人类的沟通方式，并影响了欧洲社会的每一部分，包括教会。

　　我们随后阅览了在那之后150年的一部信函集。它保存了伽利略与教皇的通信，对于了解伽利略和教会关于地球和太阳在天空中位置的争论至关重要。如信函所示，伽利略在17世纪早期用自己的望远镜记录了太阳黑子的位置变化，这表明太阳在旋转。这是一场关于《圣经》解释的激烈争论的一部分，导致伽利略在罗马受到宗教裁判所的审判，并被判终身软禁。

　　这两本书放在一起，生动地说明了科学技术是如何与信仰、宗教和哲学问题相互联系或碰撞的。如同印刷机和望远镜这样的发明一样，很难想象人工智能不会在这些领域引发新的碰撞。问题是，人们应该如何促进一场深思熟虑、相互尊重和包容的全球对话。

　　我们在会见教皇方济各和帕格利亚主教时讨论了这个话题。我们谈到了在科技发展的同时，各国越来越转向内部，有时会背弃邻国和其他需要帮助的国家。我提到爱因斯坦在20世纪30年代对科技带来危险的可怕警告。教皇随后提醒我，爱因斯坦在第二次世界大战后曾说：“我不知道第三次世界大战会使用什么武器，但第四次世界大战一定会使用棍棒和石头。” 爱因斯坦的观点是，科技，尤其是核科技的发展，已经可以毁灭一切。

　　当我们结束会面离开的时候，教皇握着我的右手，同时左手轻抚我的手腕教诲道：“保持你的人性。”

　　在我们思考人工智能的未来之时，这是一个我们所有人都应听取的好建议。 中信出版2020年度好书-经济管理（套装共12册）