运维手册联盟手游东南亚服务器 常见故障与恢复流程一览

1.

总体准备与权限检查

小分段：1) 确认权限：SSH、DB 管理、CDN/云厂商控制台、负载均衡权限；2) 工具就绪：在运维机器上准备 ping、mtr、traceroute、tcpdump、kubectl、mysql、systemctl、rsync；3) 通讯链路：确认 on-call 群组、值班电话、故障单模板。

2.

网络高延迟或丢包——诊断与恢复步骤

小分段：1) 初步定位：执行 ping -c 10 <游戏服IP>，mtr -c 100 ；记录丢包/跳数异常；2) 路径追踪：traceroute -n ；如跨境链路（SEA->CN）丢包，联系云商/下游骨干；3) 抓包核查：tcpdump -i eth0 host <客户端IP> and port 443 -w /tmp/cap.pcap，下载并用 Wireshark 分析重传/延迟；4) 临时缓解：切换玩家到健康节点（在负载均衡上移出故障主机：curl -X POST /remove?host=xx），或在 DNS 上短期切换到备用区域（TTL 低时生效快）；5) 长期：与云商协作调整 BGP、增设直连或升级链路。

3.

登录/鉴权失败——排查与修复

小分段：1) 检查认证服务：systemctl status auth-service 或 kubectl -n prod get pods -l app=auth；2) 查看日志：tail -n 200 /var/log/game/auth.log 或 kubectl logs ；3) 数据库连通：mysql -h -u ops -p -e "SELECT COUNT(*) FROM users WHERE last_login>NOW()-INTERVAL 1 HOUR";4) 缓存问题：redis-cli -h INFO，若出现连接池满，重启 Redis 或清理热点键：redis-cli --scan | xargs -n 1 redis-cli DEL；5) 快速恢复：回滚到上个稳定镜像 kubectl rollout undo deployment/auth -n prod 或重启进程 systemctl restart auth-service。

4.

服务进程或容器崩溃与回滚流程

小分段：1) 检测：kubectl -n prod get pods --field-selector=status.phase=Failed；2) 拉取日志：kubectl logs --previous；3) 热重启：kubectl rollout restart deployment/ -n prod；4) 若为配置问题，快速回滚：kubectl rollout undo deployment/ -n prod --to-revision=；5) 若镜像有缺陷，tag 回退并 redeploy：kubectl set image deployment/ =repo/image:stable -n prod。

5.

数据库主从不同步 / 数据丢失恢复

小分段：1) 确认状态：mysql -h master -e "SHOW MASTER STATUS\G" 和 mysql -h slave -e "SHOW SLAVE STATUS\G"；2) 若延迟可接受，重启 slave：STOP SLAVE; CHANGE MASTER TO MASTER_LOG_FILE='xx', MASTER_LOG_POS=yy; START SLAVE;3) 若主库损坏，使用最近备份恢复：停止写入，mysql -uroot -p < /backup/latest.sql，然后按 binlog 恢复：mysqlbinlog binlog.0000* | mysql -uroot -p；4) 验证一致性：对比 row count 或使用 pt-table-checksum；5) 完成后切换只读/读写标记并通知上游服务。

6.

DDoS 或异常流量应急处置

小分段：1) 监控确认：观察流量曲线（云监控/ELB）并用 tcpdump 快速抓包；2) 启用云厂商防护：打开 ACL/黑洞，或启用 WAF/速率限制规则；3) CDN 缓解：在 CDN 控制台开启速率限制、WAF 并下发规则；4) 本地限流：在 Nginx/Haproxy 增加 limit_conn/limit_req；5) 事后分析：保存 pcap，提取 IP 列表，提交给云厂商做溯源与永久封禁。

7.

运维例行操作：备份、滚动重启与健康检查

小分段：1) 备份：每日 mysqldump --single-transaction，rsync 到异地并验证 MD5；2) 滚动重启：按 zone 顺序逐台：kubectl cordon && drain，再重启 pod，验证健康探针（readiness/liveness）；3) 健康检查：定期执行合成监控脚本（登录、匹配、支付链路），失败自动告警并触发自愈脚本；4) 时间同步：检查 NTP：ntpq -p，若漂移 >1s 同步 time.google.com。

8.

问：东南亚节点网络突发丢包，优先采取哪步？

答：优先执行 ping + mtr 定位到哪一跳丢包，若在云商骨干外侧（跨境出口）则立即切换 DNS/负载均衡到备用区域并联系云商工单；若在本地机房或宿主机，抓包确认并重启网卡/弹性网卡或请求机房网管。

9.

问：数据库从库落后怎么办，能否直接重建？

答：先尝试通过 CHANGE MASTER TO 恢复同步；若无法恢复或数据损坏，应使用最近备份重建从库：停止 slave，恢复备份后按主库当前 binlog 位点快照拉起新的从库，避免直接在主库上做危险操作。

10.

问：遇到大规模 DDoS，运维应如何与产品/客服配合通报用户？

答：运维先执行缓解（云端黑洞/CDN限流），同时告知产品发布时间窗口与影响范围，产品在游戏内/社交渠道发布简短公告并提供预计恢复时间，客服准备统一话术并记录受影响玩家以便后续补偿。

来源：运维手册联盟手游东南亚服务器 常见故障与恢复流程一览