风雨之后是彩虹，经历了三个月的风雨之后，从6月14日起（上次故障发生于6月13日）开始享受彩虹。。。而今天突袭而来的RDS故障让我们懂得了彩虹期间会有阵雨，但不管怎么样，离“晴空万里”越来越近了。
2013年7月23日10:00~11:00左右，我们使用的阿里云RDS（关系型数据库服务）突然出现故障，造成了网站不能访问（大家访问时遇到的502错误就是故障的表现）。由此给大家带来了很大的麻烦，我们深表歉意！望大家谅解！
这次502故障发生时，我们先从服务器上的错误日志下手，一下子将故障的引发点逮个正着：
System.Data.SqlClient.SqlException (0x80131904): 在从服务器接收结果时发生传输级错误。 (provider: TCP Provider, error: 0 - 远程主机强迫关闭了一个现有的连接。)
数据库连接被强制关闭，那问题肯定与RDS有关。
10:05联系阿里云客户经理，10:06提交工单。。。
接着，通过telnet至RDS的端口确认是不是网络问题引起的，telnet正常连接，说明网络没问题，问题在RDS本身。
接下来就是阿里云的工程师在忙，我们只能紧张而焦急地等待。。。
11:00左右，RDS切换至镜像节点（RDS做了数据库镜像）之后，网站立即恢复正常。
对于故障的真正原因，阿里云工程师接下来会进行全面的分析。多希望有一天阿里云能像Amazon一样，将每次故障的原因及处理情况对外公开。
就这样经历了一场云上的阵雨，有人在微博上说我们是阿里云踩坑大师，我们希望踩一个少一个，同时希望阿里云找出所有的坑一个一个填平，只要有坑，总会被人踩着的。
相关文章
