一文梳理 RedHat 和 CentOS 运维中的网络知识
|
故障诊断处理方面不是一两句话就可以说清楚的，很大程度上在于平时经验的积累，很多故障都是相互关联的，如何顺藤摸瓜，找到问题的最终原因，有一些方法可以借鉴。这里不具体描述解决那个问题用了什么方法，只是聊聊解决问题有哪些经验和技巧。 分享一点小小的经验： a)平时要多问几个为什么 b)故障是否可以重现，找到第一个场景，关注整体结合细节 c)多方面相互参考，同事之间相互配合 d)可以多做几个假设，直到推翻自己的想法 e)自己的工具箱要有几个使用顺手的TOOLS，包括自己开发的 以上只是一些解决问题的方法，具体问题还要具体分析。 下面我们结合一个真实的案例来描述一下：在出现网络故障时，。我们如何想办法快速的排除问题。 场景描述： 某日下午，公司里内部的业务系统突然出现反应比较慢的问题，多个业务管理员过来描述问题现象。近期一段时间内曾出现过类似的问题，该类问题的原因是由于业务区的防火墙老旧，处理能力不足，导致CPU在短时间内使用率激增，超过了境界阈值很多，导致此类现象的发生。 解决思路： 1)初步定位 又是类似问题的出现，肯定不是个别业务系统的问题，一看就是有共性的，问题应该是出现在网络设备上才对，这样才会造成大面积的问题，可是该防火墙一周前已经升级换代了，不应该有此类问题了。查看业务区域拓扑，因为拓扑已经在心中，直接搞起。 2) 逐步排查 首先登录新的防火墙，查看CPU使用率，一切正常，看来问题不在此。 然后登录业务系统去交换机查看负载，一看果然是高，高达99%，我勒个去，配合网络管理员查看问题原因，查看各种性能信息，初步没有太合理的线索，不能精准定位问题。收集各种信息准备发给厂商支持。 3) 协助排查 多方回忆近期有无做过其他操作。 网络方面： 一周前升级换代该区域防护墙 主机方面： 昨天接入6太新设备，并做端口绑定bond 4)再次排查 由于该区域Windows主机设备均已经安装杀毒软件，病毒的可能性不大，Linux 病毒可能性就更小了，先初步忽略。 由于昨天上线6个主机设备，着重观察网络设备所连接端口， 通过交换机和监控性能视图分析该端口今天出现流量过大的问题，端口饱和。由于影响业务面比较广，需要快速定位问题或者暂时消除影响。初步意见，交换机上线shutdown 这6台机器所连端口。持续观察了一段时间，交换机CPU 负载下来了，其他业务逐渐恢复。考虑到已经下班，暂时观察一下，明天看情况再做调整。并结合一下厂商意见。 5) 第二日上班后，6台机器业务恢复，交换机CPU负载又上来了，但是其他业务没有影响，什么情况?再次进行梳理，找问题线索。 6) 进一步排查 网络管理员打开debug 查看信息，经过一段时间的分析梳理发现有12个mac 地址频繁的在两台交换机来回出现，核对mac 后，可以定位引起CPU过载的原因是这新上线的6台机器(每台机器两个端口bond)，果断拔掉其中一个端口，交换机CPU负载很快下来，那么就可以能定位bond绑定有问题。 7) 系统进一步排查 （编辑：西安站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
