2019年3月10日,埃塞俄比亚航空一架载157人的737MAX 8型航班坠毁,机上人员全部遇难。据航班跟踪网站Flightradar24称,埃航客机起飞后“垂直速度不稳定”,再度引发人们对客机系统安全的关注。这也是继狮航空难后、第二起波音737MAX型飞机发生事故。飞机失事的原因还未完全确定,但这两架飞机坠毁前遭遇的问题,都与2009年法航447客机坠毁的情况有着不少相似。
出事当天,法航447号航班其实并没有遇到异常艰难的挑战,只是飞机机载雷达上显示有典型风暴区,而在他们之前途经此地的航班大多选择绕过风暴区。但法航447号航班的飞行员对此一无所知,不然,有过13000小时商用飞机飞行经验的机长,绝不会在飞机飞越大西洋时去驾驶舱后面的卧铺小睡一会儿。
但这一风暴有些特殊,其高度达60000英尺,大大超出了商用飞机的飞行上限,等驾驶舱中的两个飞行员意识到风暴的程度时,已经无法避开了。但好在现代喷气机的设计几乎可 以应对任何天气条件,在35000英尺的高空飞越风暴区虽非易事,但还完全在飞机和经验丰富的飞行员的能力范围内。然而,当法航447号航班进入高耸的积雨云时,飞机遭遇了冰冻, 冻结了空速管传感器,空速管的作用是把飞机的速度信息传给电脑和飞行员,飞行速度是最重要的飞行指标之一,如果没有速度信息,无论是自动驾驶仪还是人类飞行员都不能正确操控飞机。
尽管这架飞机是当时计算机系统最精良的飞机——空客330,但在无法获取飞行速度的情况下,机上的计算机自动驾驶功能关闭,控制权交回给了两位飞行员,然而他们也同样无法知道飞机当时的速度。因此,其中一位飞行员试图在不确定速度的情况下保持飞机高空飞行的状态,但他做了一件最不该做的事情:他拉了操纵杆让飞机机首上扬,希望实现爬升,但这个操作恰好让飞机失速。
失速状态下,机翼的提升效果会持续降低,最终导致飞机 在拉力和重力相互作用下从高空坠落。飞行员在十分煎熬的6分钟内,进行了各种复杂的尝试,只为重新调整飞机,但最终飞机坠入了大西洋,机上228名乘客和机组人员全部遇难。但令人吃惊的是,在自动飞行功能切断两分钟后,空速管恢复了正常,如果在接下来的4分钟内,飞行员重新调回自动驾驶状态,飞机就能继续轻松地在指定的高度飞行。
法航447号航班的例子说明,在危急状态下,人为错误带来的危害程度令人惊惧。但法航 447号航班的例子最令人费解的一点是,遵照“正态法则”(normal law),计算机系统可以防止飞机飞到飞行状态范围之外,这可以有效避免这架空客失速。所以无论驾驶员如何拉操纵杆,计算机都能予以抵消,不允许出现失速。
但在这个例子中,当自动飞行模式停止后,飞机切换到了“替换法则”(alternate law)状态,这意味着飞行员完全手动控制飞机,计算机没有最终决定权。不幸的是,这竟然是雪上加霜的一次切换。尽管计算机不再控制飞机,但还是发出了失速警告(一个机械的声音提示“失速”,随后发出无法忽视的高音警告),在飞机从37000英尺的高空坠入大西洋的过程中,它至少提醒了 75 次。
法航事件最终归因于飞行员缺乏培训造成操作错误。令人吃惊的是,两位副驾驶飞行员(在整个事故过程中,机长大部分时间是在驾驶舱后的床铺上睡觉)都没有在演习或模拟中练 习过在同样的条件下飞行。
从这次悲剧中要吸取的教训很多,例如人类如何与技术互动,如何认识和信任技术,以及人工智能如何与人类展开协作。
法航447号航班最明显的问题可能在于,飞行员什么都做了,唯独没有与他们的计算机对话——他们完全忽视了它的提醒——因此关键的问题在于,人类应如何认识技术和人工智能。
20 世纪 60 年代,计算机科学家和心理学家(被公认为计算科学的开山领袖之一,却鲜为人知)约瑟夫·利克莱德 (Joseph Licklider)写了在其著作中影响力排名第二的名为 “人机共生”(Man-Computer Symbiosis)的论文。其中描述了如果想开发一种人机合作的方式解决难题,尤其是解决类似法航447号航班那样的突发状况,人类自己的本能已经不够用, 应该与计算机建立一种新的共生关系。利克莱德相信,“很多问题……很难提前想透彻,回想一下前文对新兴系统的描述。如果能通过与计算机合作,由直觉引导进行试错,暴露出推理过程中的错误,或是揭示解决方案中某些意想不到的转折,就能更快、更好地解决问题”。
顺便说一下,利克莱德影响力排名第一的论文,是他在 1963 年 4 月 23 日所写的备忘录,当时他担任美国信息处理处[当时隶属高级研究计划局(Advanced Research Projects Agency),简称 ARPA]第一任董事,备忘录名为“星际计算机 网络的成员和分支”(Members and Affliates of the Intergalactic Computer Network)。他在论文中描述了一个“完全开放的电子公共场所”,据说他的备忘录启发了 20 世纪 60 年代阿帕网(ARPANET)的发展,而阿帕网最终发展成了互联网。
因此,如果遭遇类似法航447号航班那样的危急时刻,利克莱德的共生方法是如何生效的呢?在面对意料之外、不确定、时间紧迫的情况时,最大的挑战在于做出的决定要把伤害控制在最低(想想医生遵守的希波克拉底誓言:“首要之务,不伤害患者”),保证成功可能性最高。
作为人类,我们在面对未曾经历的危机时,自然会想到要利用以前的知识和直觉判断,但上文也告诉我们,直觉可能会造成灾难性的后果。其问题在于,人们只有在看到确凿的证据时,才会相信自己的直觉是错的,才会不那么坚持自己的直觉。人们始终相信直觉,毕竟它是“我们的”直觉。对6分钟内75次失速警告置若罔闻,就是再有力不过的证明了。
而这正是人工智能可以发挥关键作用的地方。我们先卖个关子,借博弈论中的一个著名的问题,来揭示人类直觉有多么狭隘,同时说明人工智能将如何帮助我们解决这个问题。
现在暂时忘却坠毁航班的驾驶舱,随我们穿越时空,回到20世纪70年代风头正盛的电视节目。假设你正参加一个游戏节目,主持人身后有三扇门,你每次只能打开其中一扇。三扇门中有一扇门后是大奖,包括两人度假旅游和一辆崭新的汽车, 另外两扇门后是塑料玩具鸡。你选择哪一扇门,门后面的东西就归你,你当然不想要塑料玩具鸡了。这就是“蒙提霍尔问题” (Monty Hall problem),其命名源于一个很流行的电视节目《一锤定音》(Let’s Make a Deal)。
主持人让你选一扇门,你照做了,我们假设你选的是3号门。然后主持人打开1号门,里面是一只塑料玩具鸡。为了增加节目的趣味性,他接着说:“我们一锤定音给你一个选择,是坚持最初的选择还是换其他的门?”哪一个可以增加获得大奖的可能性,是坚持原来的门还是改选另一扇关着的门?
如果你跟多数人一样,认为你们的回答应该都不会对结果产生影响,因为还是相当于三选一。那就错了,确实会有影响,如果你坚持原来的选择,获得大奖的可能性是 1/3。而如果你改选另一扇关着的门,你成功的概率就提升了50%。没错,你现在一定对这个结论非常怀疑,但可能性绝不是靠直觉来支撑的。
如果三扇门让你觉得困惑,那我们换成 10 扇门,依然只有一扇门后有大奖。你选择一扇门,主持人打开 8 扇门,露出了 8 只塑料玩具鸡,你还要猜猜改选别的门的获奖可能性吗?你原来的选择会成功的可能性是 1/10,而另一扇关闭的门成功的概率则是 9/10(而不是凭直觉的1/2)。
尽管这看似很荒谬,但获取数据很容易,如果我们模拟一万次蒙提霍尔游戏,得到的数据无疑将支持上述数学运算,你可以自己在各种在线模拟程序上试一试,可以自行设置门和游戏的数量。这样的模拟程序你做得越多,就越容易认识到行动的正确路径并非直觉认准的那个。
实际情况就是,人们的直觉往往会停留在初始情况那里, 而做决定的背景已经发生了变化。人类是很难与快速变化的世界保持一致的,因为我们一旦决定了某种模式,就会非常依赖它。在蒙提霍尔问题的例子上,背景的改变源自节目主持人已经知道了每一扇门后是什么。
现在再回到空客的驾驶舱,刚刚所讲的内容对法航的飞行员有什么帮助?人工智能尤其擅长模拟,可以考虑到众多因素,这是人类在现实中难以企及的。尤其是当时在法航 447 号航班的驾驶舱中,在飞行员承受巨大压力的情况下,尽管他们试图稳住情况,但也只能依照直觉行事,那完全是缘木求鱼。而人工智能可能已经模拟了数百万次那样的情况,少说也有成千上万次,知道决定采取什么样的行动才最有可能成功。这听起来是否像天方夜谭?其实不然。
根据《纽约时报》的一篇文章,“今年(2018 年)夏天, 五角大楼的调研机构 ——国防部高级研究计划署将在飞机自动化方面更进一步,引入驾驶舱机组人员自动化系统(Aircrew Labor In-Cockpit Automation System,简称 ALIAS)。今年,该机构将开始测试能快速安装到军用飞行器上的机器人,这种作为副驾驶的便携式机载机器人,将能说话、倾听、操控飞机,还能看懂说明书”。
模拟发挥的作用非常有意思,其对人类的价值已经得到了证明。实际上,从 20 世纪 40 年代到 90 年代,因飞行员错误导致的飞机事故一直是65%左右。飞行领域诸多不可思议的进步,从引擎可靠性,到飞行仪表、人体工程学以及空域控制和管理,都没有改善飞行员的失误率。直到20世纪80 年 代,因飞行员失误造成的事故率才开始下降,到1987年,降至 42%,现在,大约为20%。
那么 20 世纪 80 年代究竟发生了什么?技术和培训进步当然功不可没,而另一个被普遍认为最具影响的因素是,高度逼真的计算机飞行模拟程序。这个模拟程序几乎能够非常精确地实时模拟飞机如何对飞行员的反应做出应对。同样也是这一时期,市场上开始出现第一个消费级的模拟程序,最早应用于第二代苹果电脑,后应用于IBM个人电脑。
模拟飞行并非20世纪80年代的全新尝试,早在20世纪20年代左右它就已经出现了,并且在第二次世界大战期间得到了广泛应用。在那之前,也有比较简陋的固定式飞行模拟器,但其主要用途是在飞行员完成飞机基本操作过程中,帮助其培养方向感和建立信心。20 世纪 80 年代,飞行员利用模拟飞行器体验了各种可能出现的情况、故障以及自身反应导致的直接后果。
现在,假设我们再次置身于命途多舛的法航447号航班的驾驶舱内,如果时间可以停滞,让飞行员对当时的情况进行成千上万次的模拟演练,你认为最终出现积极结果的概率会不会大幅提升?这正是机载人工智能所能做的,它不仅十分了解本次航班,而且对类似环境设定下的所有航班都很了解,这不正是我们在第三章中所说的时间膨胀吗?
但这种人机之间的理想合作有一个致命的缺陷,即上文提到的飞行员对计算机发出的失速提醒置若罔闻。实际上,根据从飞机黑匣子中找到的驾驶舱录音记录,飞行员对 75 次失速提醒未做出任何口头回应。我们认为,人工智能和自动装置唯一也是最大的障碍正在于此,即人们并不把技术当作合作伙伴。
假如其中一个飞行员喊了75遍失速报警,你觉得他会引起注意吗?主要问题在于,人们习惯了把技术看作与人类相去甚远的事物,同时还无情地避免技术人格化。当计算机还只是个很厉害的计算器时,这样做可能还说得通。但现在,随着人工智能的发展,计算机和设备已经能做出复杂的决定,这些决定就算不比人类好,至少也不比人类差。在这样的情况下还坚持原有的态度对我们非常不利。
这又回到了之前的话题——在某些领域拥有丰富经验的狭义的人工智能。在这种情况下,我们与计算机的对话必须跟人类彼此的对话相当,这里不对该话题做进一步的展开论述。如 果驾驶舱失速报警说:“皮埃尔 - 塞德里克(Pierre-Cédric)(整个 6 分钟内主要负责机首上扬的副驾驶),你在无视我的警告,飞机正处于失速状态,且一直在下坠,请马上采取正确行动,让机首向下,或换我来控制,予以补救。”那结局将会如何?
读到上文这段话,对于人工智能呈现人类的行为、音调、行事风格的想法,多数人会嗤之以鼻,甚至感到有些吓人、诡异、不自然,认为那不是一台计算机该干的事。正是这种态度而非技术,削弱了人们与人工智能的共生能力,因为人们不想让它跟人有一样的表现。这几乎与起诉特斯拉允许在启用自动紧急刹车的情况下全速驾驶所描述的情况一模一样。目前已经 存在或很快就会出现这样的技术,在一定的参数设置内,人工智能可以比人类更快、更好地做出决定,但前提是人们允许这种事情发生。
一辆全速驶向拥挤的公交车站的自动驾驶汽车,无论它是有意还是无意,如果它有能力停下来,是否能成为允许其全速前进的理由,而依照职业标准或道德标准这是否可以被接受呢? 我们不允许司机拆除和禁用安全气囊,因为在极少数情况下那是致命的。但在目前,即便在结果明显会更糟的情况下,我们依然允许驾驶员超控,其原因如下:第一,人们还不确定如把法律责任从司机转移至自动驾驶汽车;第二,人们害怕技术做出比人类更好的决定。
如果法航447号航班配备了机载人工智能,可以获取这架飞机的基本信息,它就会知道 32 岁的皮埃尔 - 塞德里克是三个驾驶员中经验最少的。面对高危天气条件,法航447号航班 前面的飞机已经指明了风暴周围的航向,空速管上的冰已经化了,这些为自动驾驶提供了充足的数据,其可以轻松驾驶飞机。
人类和机器的沟通从未面临如此困难的局面。过去,人类和机器的职责界限分明,谁来主导毫无疑问,两者之间从来没有竞争或冲突,因为基于判断来做决定的区域毫无重叠,做决定的往往是人类,机器只是单纯地提供信息,遵照指示。我们人类是最终的权威,因为人类拥有最终的认知优势,机器只是我们有形自我的扩展罢了。现在,它们是我们数字自我的扩展,我们的认知至多也只能与机器相当,在很多狭义层面上,机器的能力甚至远远超出人类的认知。
如果人类和机器共担责任的新模式让你感到吃惊,威胁到了你认为的人类专属的做决定的能力,我们建议你做好准备,因为人类与自动设备的合作将迎来一个更具颠覆性且不可避免的趋势 ——它们可以归自我所有,而现在这一切还只是开始。
文章节选自《隐藏的行为:塑造未来的7种无形力量》,中信出版集团2019年3月出版