企业上云后势必会在云中部署大量的业务系统,这些业务系统有时会出现故障,而企业优先想到的可能是云平台的问题(就好比过去代码出了故障,首先向底层的 OS 和硬件推一样),而实际情况可能是应用前期研发和后续的运维不规范而造成,这里列出常见的应用自身或运维方面经常出现的错误而引发的故障。

写日志也会引发故障

  • 故障现象:某应用服务器集群发布后不久就出现多台服务器相继报警,硬盘可用空间低于警戒值,并且很快有服务器宕机,登录到线上服务器,发现 log 文件夹里的文件迅速增加,不断消耗磁盘空间。
  • 原因分析:查日志内容发现开发人员将 log 输出的 level 全局配置为 Debug,这样一次简单的 web 请求就会产生大量的 log 文件输出,在高并发的用户请求下,很快就消耗完磁盘空间。
  • 经验:线上的日志输出级别至少为 Warn。

高并发访问数据库引发故障

  • 故障现象:某应用发布后,数据库 Load 居高不下,远超正常水平,持续报警。
  • 原因分析:检查数据库,发现报警是因为某条 SQL 引起,这条 SQL 是一条简单的有索引的数据查询,不应该引发报警。继续检查,发现这条 SQL 执行频率非常高,远超正常水平。追查这条 SQL,发现被网站首页应用调用,首页是被访问最频繁的网页,这条 SQL 被首页调用,也就被频繁执行了。
  • 经验:首页不应该访问数据库,首页需要的数据可以从缓存服务器或者搜索引擎服务器获取; 首页最好是静态的。

高并发情况下锁引发的故障

  • 故障现象:某应用服务器不定时因为响应超时而报警,但是很快又超时解除,恢复正常,如此反复,让运维人员非常苦恼。
  • 原因分析:程序中某个单例对象 (Singleton object) 中多处使用了 synchronized(this),由于 this 对象只有一个,所有的并发请求都要排队获得这唯一的一把锁。一般情况下,都是一些简单操作,获得锁,迅速完成操作,释放锁,不会引起线程排队。但是某个需要远程调用的操作也被加了 synchronized(this),这个操作只是偶然被执行,但是每次执行都需要较长的时间才能完成,这段时间锁被占用,所有的用户线程都要等待,响应超时,这个操作执行完后释放锁,其他线程迅速执行,超时解除。
  • 经验:谨慎使用锁。

缓存引发的故障

  • 故障现象:没有新应用发布,但是数据库服务器突然 Load 飙升,并很快失去响应。DBA 将数据库访问切换到备机,Load 也很快飙升,并失去响应。最终引发网站全部瘫痪。
  • 原因分析:缓存服务器在网站服务器集群中的地位一直比较低,服务器配置和管理级别都比其他服务器要低一些。人们都认为缓存是改善性能的手段,丢失一些缓存也没有什么问题,有时候关闭一两台缓存服务器也确实对应用没有明显影响,所以长期疏于管理。结果这次一个缺乏经验的工程师关闭了缓存服务器集群中全部的十几台 Mencached 服务器,导致了网站全部瘫痪的重大事故。
  • 经验:当缓存已经不仅仅是改善性能,而是成为网站架构不可或缺的一部分时,对缓存的管理就需要提高到和其他服务器一样的级别。

应用启动不同步引发的故障

  • 故障现象:某应用发布后,服务器立即崩溃。
  • 原因分析:应用程序 Web 环境使用 Apache + JBoss 的模式,用户请求通过 Apache 转发 JBoss。在发布时,Apache 和 JBoss 同时启动,由于 JBoss 启动时需要加载很多应用并初始化,花费时间较长,结果 JBoss 还没完全启动,Apache 就已经启动完毕开始接收用户请求,大量请求阻塞在 JBoss 进程中,最终导致 JBoss 崩溃。除了这种 Apache 和 JBoss 启动不同步的情况,网站还有很多类似的场景,都需要后台服务准备好,前台应用才能启动,否则就会导致故障。这种情况被戏称:“姑娘们还没穿好衣服,老鸨就开门迎客了。”
  • 经验:就本例来说,在应用程序中加入一个特定的动态页面 (比如只返回 OK),启动脚本先启动 JBoss,然后在脚本中不断用 curl 命令访问这个特定页面,直到收到 OK,才启动 Apache。

大文件读写独占磁盘引发故障

  • 故障现象:某应用主要功能是管理用户图片,接到部分用户投诉,表示上传图片非常慢,原来只需要一两秒,现在需要几十秒,有时等半天结果浏览器显示服务器超时。
  • 原因分析:图片需要使用存储,最有可能出错的地方是储存服务器。检查存储服务器,发现大部分文件只有几百 KB,而有几个文件非常大,有数百兆,读写这些大文件一次需要几十秒,这段时间,磁盘基本被这个文件操作独占,导致其他用户的文件操作缓慢。
  • 经验:存储的使用需要根据不同文件类型和用户进行管理,图片都是小文件,应该使用专用的存储服务器,不能和大文件共用存储。批处理用的大文件可以使用其他类型的分布式文件系统。

滥用生产环境引发的故障

  • 故障现象:监控发现某个时间段,某些应用突然变慢,内部网络访问延迟非常厉害。
  • 原因分析:检查发现,该时段内网卡流量也下降,但是没有找到原因。过了一阵子才知道,原来有工程师在线上生产环境进行性能压力测试,占用了大部分交换机带宽。
  • 经验:访问线上生产环境要规范。网站数据库有专门 DBA 维护,如果发现数据库存在错误记录,需要进行数据订正,必须走数据订正流程,申请 DBA 协助。于是就有工程师为避免麻烦,直接写一段数据库更新操作代码,悄悄放到生产环境上执行,如更新影响大量数据,会导致系统处于假死状态,如果更新错了数据,后果更严重。

不规范的流程引发的故障

  • 故障现象:某应用发布后,数据库 Load 迅速飙升,超过报警值,回滚发布后报警消除。
  • 原因分析:发现该应用发布后出现大量数据库读操作,而这些数据本来应该从分布式缓存读取。检查缓存,发现数据已经被缓存了。检查代码,发现访问缓存的那段代码被注释掉了。原来工程师在开发的时候,为了方便测试,特意注释掉读取缓存的代码,结果开发完成后忘记把注释去掉,直接提交到代码库发布到线上环境。
  • 经验:代码提交前使用 diff 命令进行代码比较,确认没有提交不该提交的代码。

不好的编程习惯引发的故障

  • 故障现象:某应用更新某功能后,有少量用户投诉无法正常访问该功能,一点击就显示出错信息。
  • 原因分析:分析这些用户,都是第一次使用该功能,检查代码,发现程序根据历史使用记录构造一个对象,如果该对象为 null,就会导致 NullPointException。
  • 经验:编写健壮的代码。

摘自《大型网站技术架构》–李智慧