2019-9-15 凌晨 igo故障记录

原因：

igo服务器磁盘满。

解决：

清除空间后恢复。

过程：

Q1：阿里云是否发送了告警？

A：有，近2日短信告警如下

【阿里云】尊敬的linghuc***,华南1(深圳)的云服务器ECS实例boss/47.106.169.159 /dev/vda1 Host.diskusage.used最大值超过88GBytes，请登录云监控关注（南方众悦）
【阿里云】尊敬的linghuc***,华南1(深圳)的云服务器ECS实例boss/47.106.169.159，Host.diskusage.used恢复正常，请登录云监控关注
【阿里云】尊敬的jxx***,华南1(深圳)的云服务器ECS实例jx_boss_1/120.77.84.134 / 磁盘使用率最大值超过93，请登录云监控关注（坚信）
【阿里云】尊敬的jxx***,华南1(深圳)的云服务器ECS实例jx_boss_1/120.77.84.134，磁盘使用率恢复正常，请登录云监控关注
【阿里云】尊敬的linghuc***,华南1(深圳)的云服务器ECS实例igo-bo-20181210/120.76.59.16 /dev/vda1 Host.diskusage.used最大值超过276GBytes，请登录云监控关注（igo）
【阿里云】尊敬的linghuc***,华南1(深圳)的云服务器ECS实例boss/47.106.169.159 /dev/vda1 Host.diskusage.used最大值超过88GBytes，请登录云监控关注（南方众悦）
【阿里云】尊敬的linghuc***,华南1(深圳)的云服务器ECS实例boss/47.106.169.159，Host.diskusage.used恢复正常，请登录云监控关注
【阿里云】尊敬的linghuc***,华南1(深圳)的云服务器ECS实例boss/47.106.169.159 /dev/vda1 Host.diskusage.used最大值超过88GBytes，请登录云监控关注（南方众悦）
【阿里云】尊敬的linghuc***,华南1(深圳)的云服务器ECS实例boss/47.106.169.159，Host.diskusage.used恢复正常，请登录云监控关注
【阿里云】尊敬的linghuc***,华南1(深圳)的云服务器ECS实例igo-bo-20181210/120.76.59.16，Host.diskusage.used恢复正常，请登录云监控关注

--

Q2：有告警为何未处理？

A：工作疏忽。igo的和南方众悦的短信时间相近，处理了南方，未留意igo。

--

Q3：系统是否配置了脚本清除空间，还出现如此多的告警？

A：主要近3日告警集中出现。

坚信BO2.0：运营中发现日志规模相比bo1.0大，需调整日志清除策略。

南方众悦BO： 目前最多空间90G，文件清除策略在根据日常告警实时调整 。

igo BO：单日数据库备份文件4G+。

脚本清除原则会按照运营过程实际调整，希望尽可能的利用磁盘空间保存足够的日志和数据库备份。

改进：

~阿里云告警策略加强：如首次告警未解决，每3小时重复告警，避免人为疏忽。

~bo2.0升级额外注意项：升级bo2前需紧密跟踪服务器磁盘空间。