某某工厂断网半天：那天我们漏了什么，复盘一下长记性

干我们这行，最怕的不是故障本身，是故障发生了才发现"原来早就有征兆"。上个月我们接了一单某某机械加工厂的断网报修，整整耽误了人家半天生产。事情过去之后，我把整个过程复盘了一遍，今天把这篇写出来，既是给自己长记性，也是给同样开工厂的老板提个醒。

事发当天：早上九点，车间全断网

那天早上九点，工厂的设备主管急急忙忙打电话："建哥，我们整个车间的网络全断了！ERP连不上、数控机床的程序下载不下来、办公室的电脑也上不了网，工人们都在车间等着呢，你快来！"

我们师傅半小时赶到。现场一看：办公室电脑ping网关都不通，车间那边的交换机指示灯全闪橙色（异常状态）。师傅先查核心交换机——重启了一下，网络恢复了10分钟，又断了。再查，发现核心交换机CPU占用率100%。

排查过程：花了三个小时才找到根因

师傅一开始以为是病毒，把所有接入交换机断开，一台一台往上接。接一台网络正常，接两台正常，接到第三台的时候，网络又断了。

问题出在第三台接入交换机上。师傅把这台交换机整个换掉，网络恢复。再查这台坏交换机——发现它其中一个端口已经坏了，一直往网络里发广播包，形成了"广播风暴"，把整个网络给堵死了。

从九点半到十二点半，整整三个小时，工厂车间停了半天。设备主管脸都黑了。

复盘：我们到底漏了什么？

事情过了之后，我带着师傅们坐下来复盘。这个故障不是"突发"的，早就有征兆，只是我们没注意。

第一个漏：一个月前，工厂曾报修"网络偶尔卡一下，过几分钟自己好"。我们师傅上门看了看，重启了一下交换机，当时正常了，就走了。现在回想，那次"偶尔卡一下"就是那台坏端口刚开始出毛病的信号——广播风暴刚开始，时断时续。我们当时应该做的是：用交换机管理软件查一下端口状态，而不是重启完就走。

第二个漏：工厂这台接入交换机用了7年了，早就过了保修期。我们之前没有主动提醒客户"交换机该换了"。设备老了，出故障是必然的，只是时间问题。

第三个漏：工厂网络没有做VLAN分区。车间的机床网络、办公室的办公网络、监控网络，全在一个大网里。一个端口出问题，全车间跟着遭殃。如果当时做了VLAN分区，广播风暴最多影响车间一个区，不会全厂停工。

事后我们做了什么补救

复盘完，我们主动找工厂老板，做了三件事：

第一，把那台7年老交换机换成了新的企业级交换机，费用给了老客户价。第二，免费给工厂重新做了VLAN分区：机床控制网一个VLAN、办公网一个VLAN、监控网一个VLAN，互不干扰。第三，把工厂网络纳入了我们的季度主动巡检——每季度我们上门一次，把所有交换机状态、端口流量、CPU占用率查一遍，不等出事才来。

老板后来跟我说："建哥，你们这次虽然晚了点，但事后处理得让我服气。"我跟他说："不是我服气不服气，是这次学费我们一起交了，下回不能再交。"

给工厂老板的三个实在建议

通过这个事，我总结了三条，给开工厂、开车间的朋友：

第一，网络设备（交换机、路由器）用了5年以上，主动换。别等它趴窝那天才后悔。第二，车间网络和办公网络一定要分开（VLAN），哪怕多花几千块，也比全厂停工半天强。第三，每年花点钱请靠谱的网络公司做一次"主动巡检"，别等出事才叫人。

我们在天津做弱电这么多年，最大的感悟就是：客户的故障，一半是设备老化，一半是"没人提前看"。我们能做的，就是把"提前看"这件事做到位。这也是我们为什么一直在推年度维保——不是想多赚客户钱，是真见过太多"本来能避免"的事故。

复盘到最后，我还想多说一句：很多工厂老板觉得"网络这事，只要能上网就行"。真不是。车间的机床联网、办公室的ERP系统、仓库的WMS软件、大门口的道闸车牌识别，这些全是靠一张网撑着的。网一断，整条生产链路就停了。所以我们现在给工厂客户做方案，第一句话就是："先把网络当成生产线的一部分来设计。"VLAN分区、双链路备份、核心设备留备件、季度主动巡检——这几样做齐了，断网半天这种事，以后就不会再发生。

相关推荐

工厂园区弱电方案　|　网络弱电案例　|　网络工程服务