| ... |
... |
@@ -1,56
+1,0 @@ |
| 1 |
|
-= 2019-9-15 凌晨 igo故障记录 = |
| 2 |
|
- |
| 3 |
|
-**原因：** |
| 4 |
|
- |
| 5 |
|
-igo服务器磁盘满。 |
| 6 |
|
- |
| 7 |
|
-**解决：** |
| 8 |
|
- |
| 9 |
|
-清除空间后恢复。 |
| 10 |
|
- |
| 11 |
|
-**过程：** |
| 12 |
|
- |
| 13 |
|
-Q1：阿里云是否发送了告警？ |
| 14 |
|
- |
| 15 |
|
-A：有，近2日短信告警如下 |
| 16 |
|
- |
| 17 |
|
-【阿里云】尊敬的linghuc~*~**,华南1(深圳)的云服务器ECS实例boss/47.106.169.159 /dev/vda1 Host.diskusage.used最大值超过88GBytes，请登录云监控关注（南方众悦） |
| 18 |
|
-【阿里云】尊敬的linghuc~*~**,华南1(深圳)的云服务器ECS实例boss/47.106.169.159，Host.diskusage.used恢复正常，请登录云监控关注 |
| 19 |
|
-【阿里云】尊敬的jxx~*~**,华南1(深圳)的云服务器ECS实例jx_boss_1/120.77.84.134 / 磁盘使用率最大值超过93，请登录云监控关注（坚信） |
| 20 |
|
-【阿里云】尊敬的jxx~*~**,华南1(深圳)的云服务器ECS实例jx_boss_1/120.77.84.134，磁盘使用率恢复正常，请登录云监控关注 |
| 21 |
|
-【阿里云】尊敬的linghuc~*~**,华南1(深圳)的云服务器ECS实例igo-bo-20181210/120.76.59.16 /dev/vda1 Host.diskusage.used最大值超过276GBytes，请登录云监控关注（igo） |
| 22 |
|
-【阿里云】尊敬的linghuc~*~**,华南1(深圳)的云服务器ECS实例boss/47.106.169.159 /dev/vda1 Host.diskusage.used最大值超过88GBytes，请登录云监控关注（南方众悦） |
| 23 |
|
-【阿里云】尊敬的linghuc~*~**,华南1(深圳)的云服务器ECS实例boss/47.106.169.159，Host.diskusage.used恢复正常，请登录云监控关注 |
| 24 |
|
-【阿里云】尊敬的linghuc~*~**,华南1(深圳)的云服务器ECS实例boss/47.106.169.159 /dev/vda1 Host.diskusage.used最大值超过88GBytes，请登录云监控关注（南方众悦） |
| 25 |
|
-【阿里云】尊敬的linghuc~*~**,华南1(深圳)的云服务器ECS实例boss/47.106.169.159，Host.diskusage.used恢复正常，请登录云监控关注 |
| 26 |
|
-【阿里云】尊敬的linghuc~*~**,华南1(深圳)的云服务器ECS实例igo-bo-20181210/120.76.59.16，Host.diskusage.used恢复正常，请登录云监控关注 |
| 27 |
|
- |
| 28 |
|
-~-~- |
| 29 |
|
- |
| 30 |
|
-Q2：有告警为何未处理？ |
| 31 |
|
- |
| 32 |
|
-A：工作疏忽。igo的和南方众悦的短信时间相近，处理了南方，未留意igo。 |
| 33 |
|
- |
| 34 |
|
-~-~- |
| 35 |
|
- |
| 36 |
|
-Q3：系统是否配置了脚本清除空间，还出现如此多的告警？ |
| 37 |
|
- |
| 38 |
|
-A：以配置脚本，脚本清除原则会按照运营过程实际调整，希望尽可能的利用磁盘空间保存足够的日志和数据库备份。 |
| 39 |
|
- |
| 40 |
|
-主要近3日告警集中出现。其中不同客户的磁盘空间变化和清除分以下： |
| 41 |
|
- |
| 42 |
|
-坚信BO2.0：运营中发现日志规模相比bo1.0大，需调整日志清除策略。 |
| 43 |
|
- |
| 44 |
|
-南方众悦BO： 目前最多空间90G，文件清除策略在根据日常告警实时调整 。 |
| 45 |
|
- |
| 46 |
|
-igo BO：单日数据库备份文件4G+。 |
| 47 |
|
- |
| 48 |
|
- |
| 49 |
|
-**改进：** |
| 50 |
|
- |
| 51 |
|
-~~阿里云告警策略加强：如首次告警未解决，每3小时重复告警，避免人为疏忽。 |
| 52 |
|
- |
| 53 |
|
-~~bo2.0升级额外注意项：升级bo2前需紧密跟踪服务器磁盘空间。 |
| 54 |
|
- |
| 55 |
|
- |
| 56 |
|
- |