一种灾难发生的可能是cascading failure。假设运维团队在发布版本时，发布了错误的配置文件，尽管这种分发是在可控状况下进行的，但因为系统在低发布率时崩溃有自愈能力，在更高百分比的发布时，由于可用系统的负载更大，导致可用系统退出服务，最终导致所有可用服务均退出服务，服务宣告彻底不可用。考虑到此公司业务的复杂性，并观察到其技术栈是大部分基于西雅图郊区某公司的技术构建的，几乎可以肯定的是，部分中间件的支持实际上是依赖外部技术支持的。若是中间件或是第三方vendor提供的组件导致错误，很可能本地团队无法做到及时响应。事件发生时大约是太平洋时间下午9点，此时的技术支持很大可能是在印度或是澳大利亚进行的。作者的行业从业经验表明，印度技术支持在很大程度上是无法很快解决技术问题的。若是本地团队没有对应对灾难做出playbook，则很有可能在生产环境故障时束手无措。

应对措施

不管是攻击或是内部故障，有好的备份以及冗余措施，均可以使宕机时间缩短到 。备份问题尽管听起来不可思议，但在实践中，不少企业并未建立起一套检验过的备份系统。备份的意义在于危急时刻可以快速恢复或重建生产系统。在企业网络中，经常出现的问题实际上是：1、备份步骤的瑕疵导致并未完成正确的备份过程2、由于有限的存储空间导致一定时间后因存储空间耗尽导致的随后备份失败3、备份介质受损导致无法成功恢复传统上，磁带因其低造价以及高存储密度使其成为了理想的备份介质。然而，这种传统备份介质的几个致命缺点经常使其内含的数据变得不可存取：1、丢失的磁带索引卡片2、磁带介质在存储过程中受到外界磁场影响3、介质本身损坏4、介质读取过程中被读取设备损坏 此外，磁带备份介质本身一般存储于磁带仓库中，从仓库检索出所需的备份磁带、转移至数据中心并重新加载数据的时间消耗通常也是客观的。即使有一套完善的备份系统，备份系统仍然是不能抵挡所有的意外事故的。2014年，Samsung数据中心的一场大火使其云服务暂停服务。如果没有异地备份，这场大火将使其本地备份的恢复变得极为困难。 冗余对于突发 件来说，尽快恢复，或者是持续的提供服务是非常重要的。本月，某知名支付公司因数据中心网络连接性故障导致了一段时间的服务中断。如果有更好的冗余方案，此种事故的影响面将会得以降低，甚至会化解为用户不可感知的内部事故。 冗余是非常常见的做法。例如，大部分服务器都有两部独立的PSU，任意一部PSU失效均不会影响其正常服务；一般来说，服务器的两部PSU将连接到两路不同的电路或不间断电源上以避免市电失效；数据中心的电源一般同时配备UPS以及柴油发电机以避免发电公司未通知的停止供电服务导致的服务中断。网络亦然；同时接入多路ISP线路，并对其进行独立布线，同时在多路线路上宣告地址，便可使网络服务的鲁棒性更高。 在系统的视角上，只有同时配置备份以及冗余方案，才可以 大限度的提高可用性，避免非可控因素导致的长时间服务中断。

那些被损坏的硬盘，当客户被告知硬盘盘片划伤无法数据恢复时，也许您无法理解，怎么可能无法恢复呢？下面这些知识能更明确的定义盘片划伤问题，同时让我们认识到数据恢复不存在100%的成功率。 正常的硬盘图片 盘片划伤的硬盘图片 盘片是如何划伤的？       首先，能划伤盘片的只有磁头。这个磁头在工作的时候是悬浮于盘片表面工作的，和盘片的距离以微米计。断电的时候磁头会回归泊位区（脱离盘片，停靠在一侧）。通常磁头划伤盘片分为外部因素和内部因素。其中，外部因素包含：外力破坏（外力撞击导致剧烈震动，跌落，意外断电磁头未回到泊位区等），内部因素因包含（磁头组件缺陷，坏扇区-bad sector等）。 硬盘盘片划伤是如何造成的？下图标注的是一个损坏的磁头：

下图硬盘在高速旋转，磁头在读取硬盘盘片上的数据：

磁头和盘片摩擦后的磁头：

划伤的种类有哪些？       盘片的存储是连续的，教科书讲是CHS三维模式，你可以理解为盘片上有N多个同心圆，有点像箭靶的形状，存储方式暂且无法清晰表述，简单说，如果划伤的轨迹是同心圆状的还好些，如果是由主轴向盘片外径方向划伤的（见图4），则很难处理。现在说下为何说圆圈样的划伤和半径线装的划伤一个容易些一个难些。我们还是把硬盘的数据存储理解成无数个同心圆，如果是前者，假设划伤的是一圈（只是假设），那么损伤的数据只是这一个同心圆，如果是半径状的，则所有在这个半径线涉及的的同心圆的数据全部遭到破坏。如果这个线等同于盘片半径长度，那么这张盘面上所有数据都遭到破坏。

图4

划伤的盘片盘片划伤后从业者是如何恢复盘片划伤数据的？       通常会在无尘工作环境下拆解开盘腔，了解盘片损伤的类型和程度，如果是圆圈状划伤，且划伤的圈圈很多则放弃恢复。或者是半径状划伤，基本直接放弃。为什么放弃，因为通常盘片有划伤的硬盘，本身的上面的磁头也损坏了（盘片划伤的主要也是磁头），想要恢复这类数据，必然要替换匹配的磁头组件，更换磁头组件是要成本的（有备用的匹配的磁头，也有为了匹配要购买全新的硬盘拆解），国内业者对外宣传的广告是：免费检测，无法恢复数据是不收费的（国外同行基本是检测都要收费）。无论是哪种划伤，遇到这种情形从业者都要基于经验来判断是否值得尝试。如果尝试，冒着损坏磁头组件的风险（例如拆解自己掏腰包购买的硬盘或者自己的备件），一旦尝试失败收不到钱不说，自己还搭了配件（划伤严重的盘片，基本是安装上一个新磁头组件坏一个，再试再坏）。所以遇到盘片划伤的情形，想要尝试恢复机会，叫客户购买配件是从业者通常的选择。而往往根据经验，认为已经无必要继续尝试的话，则直接宣判死刑。        从数据恢复专业角度来说，不能数据恢复的关键点在于：盘片划伤位置会产生很多毛刺，即使更换磁头后，这些毛刺会很快把读写数据的磁头再次磨坏，导致划伤以外的那部分数据也不能读取

什么是硬盘固件区虚拟技术？ 对这个问题，厂家的解释含糊其辞，透着神秘。其实说白了就是：加载存储在非系统保留区介质上的固件模块。所谓的“虚拟”，是指通过某种技术把一个物理实体变为若干逻辑上的对应物。比如我们使用的“虚拟光驱”，其实它的物理实体可能是内存或硬盘。而使用“固件区虚拟技术”之后，硬盘的引导程序加载的仍然是固件模块，物理实体相同，仅仅是模块读取位置不同而已。其功能近似于硬盘维修中的“热交换”。但它与“热交换”的不同之处是：“热交换”：加载另一块硬盘的全部固件模块，可适用所有型号的硬盘。“固件区虚拟”：加载另一块硬盘的部分固件模块，只适用某几种型号的硬盘。由上可以看出， 由于“热交换”加载的是全部固件模块，所以也包含了P-LIST 模块，这可能会导致硬盘固件“热交换”之后，硬盘出现大量“坏磁道”，数据扇区发生移位，以致无法恢复出正确的数据。“固件区虚拟”由于可以有选择的加载固件模块，所以它是“热交换”技术的一种改进，但由于只能由于某几种型号的硬盘，缺乏普遍性，所以它也只能算是一种硬盘的维修技巧。 研究硬盘的业内人士都知道，硬盘制造商的研发机构在研制一款新型号的硬盘时，都有自己专用的硬盘开发系统和仿 系统，在此环境下设计和研发固件，才能算得上是真正意义上的“虚拟”。 对硬盘固件程序开发经验的程序员而言， 编写一个小程序， 实现不依赖硬盘上的系统保留区的固件模块加载，轻而易举。笔者曾对某个型号的硬盘，写过一个类似功能的程序，只花了1个多小时。所以说所谓“硬盘固件区虚拟技术”只能算硬盘数据恢复中的一项恢复技巧，有实用意义，但无理论研究价值。至于是什么“顶 术”，也只不过是数据恢复服务商的一个宣传的噱头。