最近几天,我一直在关注微软、美国联邦航空管理局(FAA)、联合航空、大通银行和美国国家铁路客运公司(Amtrak)发生的系统故障。我还给受此次故障影响的朋友、家人和员工打了电话,询问他们是否安好,以及他们打算如何回家。
当你关心的人被困在机场时,“停运”这个词听起来就截然不同了。在技术性解释的背后,是疲惫不堪的孩子们、排队等候的老年乘客、错过的转机航班,以及被打乱的行程。对于企业而言,这可能意味着订单流失、付款延迟,以及一整天的工作付诸东流。
我是OPSWAT 的创始人兼首席执行官,这是一家专注于保护关键基础设施的网络安全公司。我同时也是一名持有仪表等级执照的飞行员。看着这些事件,我脑海中不断浮现同一个问题:为什么我们不将确保飞机安全运行的思维方式更多地应用到我们每天依赖的基础设施上呢?
一架飞机将动力、导航、通信和飞行控制系统集成在一个极其狭小的空间内。这些系统协同工作,有时甚至在恶劣条件下运行,而人们的生命就掌握在它们手中。
该设计预设了故障的发生。飞行员培训的很大一部分内容,就是识别这些故障并知道接下来该怎么做。你是在还有犯错余地的阶段进行练习的。
以电力为例。发电机为飞机发电。没错,它或许能帮你的iPhone充电,但我更关心的是确保无线电设备和飞行仪表能正常工作。
在配备两个交流发电机的飞机上,如果其中一个发生故障,另一个仍可维持基本负载。如果两个都发生故障,蓄电池可提供有限的运行时间。此时应降低负载,并利用这段时间处理紧急情况。
关键的一点在于,交流发电机和蓄电池的工作原理不同。一个负责发电,另一个负责储电。当发电系统失效时,蓄电池能为你提供另一种方式,确保关键设备继续运行。
这种思路还进一步延伸。空客已记录了在主计算机和备用计算机中采用不同硬件和软件的飞行控制设计方案,其中包括更为简单的备用系统。其目的是降低因单一故障导致所有关键功能执行途径均失效的风险。
我通常会带着装有ForeFlight应用的iPad,作为飞机上现有仪表的补充。它是一种辅助工具,其功能取决于连接的传感器,因此我需要了解它的局限性。尽管如此,拥有另一个飞行信息来源——它运行在独立的硬件上并自带电池——还是让我感到有些安心。
现在,让我们来看看信息技术领域、关键系统以及关键基础设施中的同类问题。这些系统需要保障生命或自由,比如飞机,因此我们应当秉持同样的设计理念。
如果我的主系统和备份系统运行相同的软件、接收相同的更新,并且依赖于同一网络,那么它们究竟有多独立?将其中一个迁移到另一栋大楼并不能消除代码中的缺陷。第二个云平台可能仍然依赖于相同的身份服务或数据源。
我们可以克隆一个系统,同时将其弱点一并复制过来。
如果同一个故障会导致两个系统同时瘫痪,那我们真的算是有备份吗?
最近发生的几起事件表明,这个问题为何如此重要。
微软,11月12日和13日
他们的初步报告描述了一个隐藏的软件缺陷、网关流量增加以及容量下降的情况。将流量从出现故障的服务器重定向,反而导致故障蔓延到存在相同漏洞的其他服务器上。微软虽然已经拥有不同的网关架构,但包括 Exchange Online 在内的一些服务无法在所需规模上迁移到替代方案上。 我赞赏微软公布了这些详细信息。My 得出的结论是,独立性和容量必须一并进行测试。我认为,替代架构需要在实际需要时作为热备份来承担关键工作。
美国联邦航空管理局(FAA),11月13日
美国联邦航空管理局(FAA)描述了在路由器更换期间发生的网络拥塞情况。封锁两个疑似源头站点后,网络状况得以稳定。空中交通管制员和飞行员确保了飞行安全,但全国范围内的航班起飞均已暂停。事故根本原因仍在调查中,FAA表示SMART(空域、航路和飞行轨迹战略管理)系统与此无关。 架构层面的问题在于:为何少数地点出现的问题会扩散到如此广泛的范围,以及采取哪些额外的隔离措施和独立通信手段能够更安全地维持更多航班运行。然而,我们是否还应追问:是什么导致现有架构崩溃的,以及SMART系统是如何被排除在故障原因之外的?
美国国家铁路客运公司(Amtrak),11月13日
当滞留的航空旅客正在寻找替代方案时,预订问题随之出现。美国国家铁路客运公司(Amtrak)将原因归结为系统更新和需求激增,尽管确切的技术原因尚不明确。这是我会纳入任何恢复演练的情景:当基础设施的某一部分出现故障时,人们会转向另一部分。而接替的系统也需要具备容纳这些人的能力。
《联合报》,11月16日
路透社报道称,一次系统故障影响了多个机组人员应用程序,导致美联航无法为即将起飞的航班提供最终飞机重量数据。具体的技术原因尚未披露。试想一下:飞机、机组人员和乘客都已准备就绪,但若缺少关键信息,航班便无法起飞。任何替代方案都必须具备最新、准确的装载数据。昨天的备份数据是不够的。我们需要恢复一个能够正常运行且包含最新数据的系统。
蔡斯,11月16日。
一个内部软件漏洞导致交易延迟,包括涉及其他银行的支付。在此情况下,恢复操作必须确保财务记录完整。只有在支付已入账、余额准确且交易未被重复处理的情况下,快速切换才有帮助。这需要在实际交易量下得到验证。
这些是不同的事件,在调查仍在进行之际,我们应谨慎下结论。但其中已有大量内容值得纳入我们自身的工程讨论中。
如今,我们正在将人工智能融入到我们所依赖的系统中。
恢复一个传统应用程序本身就已经很困难了。而人工智能驱动的系统还增加了模型、运行时、数据湖和数据管道,一旦出现问题,这些组件之间的关系往往难以理清。即使模型保持不变,数据和运行环境也可能发生变化。恢复代码的早期版本可能会导致某些组件无法再正常协同工作。
即使系统仍在给出不恰当的建议,该软件仍可继续运行。
正因如此,我将人工智能系统视为一个有生命的运行环境。恢复意味着要弄清楚发生了什么变化,恢复兼容的组件,并在再次依赖它之前检查其行为。
在开展这项工作期间,人们仍然需要这项服务。
对于我们最关键的功能,我认为我们应该考虑在另一种架构上单独部署一套系统,确保该系统已经运行并随时可以接管。这可能是另一个人工智能平台,也可能是更简单的传统系统,能够维持基本运营的正常运转。
这种独立性必须延伸到应用程序之下。在同一个出现故障的网络上,不同的软件可能仍然无法使用。两个使用相同损坏数据的不同模型,仍可能产生错误结果。我们需要检查服务所依赖的整个路径。我们需要采取我在空客驾驶舱架构示例中描述的相同方法。
我知道这需要花费资金,也会增加复杂性。而替代方案并不需要具备主系统的所有功能。就像飞机上的电池一样,它需要采用不同的架构,在规定的时间内支持基本功能。
首先,要确定哪些业务必须继续运行、以何种规模运行以及持续多长时间。如果该业务只能容忍毫秒或秒级的中断,那么这便成为我们必须证明的工程要求。恢复其他所有业务可能需要更长时间。
然后在受控条件下对该设计进行压力测试。让人工智能系统无法使用。断开网络连接。引入过时数据、错误补丁或网络安全漏洞。在备份系统已部分失效的情况下进行测试。观察当真实用户不得不进行切换时会发生什么,并评估服务是否仍可正常使用且运行正确。
在驾驶舱里,我需要知道发生故障后哪些系统还能正常工作、能工作多长时间,以及接下来我该怎么做。在起飞前,我必须得到这些答案。
那些试图返家的家庭和等待收款的企业,理应得到我们同样的准备。
在下次领导层会议上,请向团队提问: “如果我们的主系统此刻发生故障,哪些系统还能继续运行?而同样的故障是否也会导致这些系统瘫痪?”
深入研究其详细设计和架构,并尝试找出其中的漏洞。Server 瘫痪、通信中断、网络安全事件。如果是像 SMART 这样的 AI 系统,请研究其组成部分。假设它可能会失控,限制带宽,并准备好一个采用不同架构的备用系统,以防整个系统瘫痪。
然后请他们给你演示一下。
下次停电时,不应该等到那时才发现备份系统是否有效。
