DCS公用交换机故障机组被迫全部停运.docx

DCS 公用交换机故障，机组被迫全部停运某年 3 月 16 日，某厂因 DCS 公用交换机故障，全部监测参数、设备运行状态无法显示监控，两台机组被迫相继停运，造成全厂对外停电。【事故经过】3 月 16 日 07:16:24，某厂#1、#2 机组及辅机公用系统 DCS 系统通讯失灵，全部监测参数、设备运行状态无法显示监控。故障发生后热控专业人员立即进入现场查找原因，检查发现冗余控制器中的一块 CP 故障，在线复位 CP 后故障依然存在，通讯未连接，全部监测参数、设备运行状态无法显示监控。所有交换机本体状态指示灯无异常，工程师站计算机也已离线，无法从 DCS 系统管理软件查看交换机工作状态。热控人员首先切除#2 机组 A、B 网络交换机电源后故障未消除。8:24 分#1 机组手动打闸安全停机，辅控设备就地检查无异常。8:40 左右断开#1、 2 机组 （#2 机与公用系统一根光纤接口牢固未彻底断开）与公用系统、数字化电厂网络连接光纤，故障并未消除，随后恢复#1、2机组与公用系统的网络连接。故障检查期间，就地检查主辅设备未异常。10:10 分#2 机手动打闸安全停机。10:15 分切除公用系统 A 网络交换机电源，切除公用系统 B 网络交换机电源，恢复公用系统 A 网络交换机电源后，#1、2 机组及公用系统 DCS 通讯恢复正常。恢复公用系统 B 网络交换机电源后故障再次出现，再次断开公用系统 B 网络交换机电源后，DCS 通讯恢复正常。判断确认网络通讯异常由公用系统 B 网络交换机引起。13:20 分就近厂家技术人员到达现场，对更换后的公用系统 B 网络交换机程序安装， DCS 网络系统运行正常。 #1 机 16:57 分、 #2 机 16:53 顺利并网。【原因分析】1、经技术人员现场检查和发回厂家的数据分析，由于运行中的公用 DCS网络交换机 SW001B 异常故障，直接导致该交换机上 RSTP 协议（快速生成树协议）正常关闭的端口被非正常的启用。正常运行中 RSTP 协议在 CP 及工作站与交换机的连接是打开的，但在交换机与交换机之间的连接是关闭的。由于该交换机工作，RSTP 协议关闭的端口被非正常开启，在网络中产生了数据回路，大量的数据包通过这个回路被不断地转发。2、由于 DCS 厂家在出厂组态时没有对该交换机的端口进行正确的配置，缺少了应该在交换机端口上配置 Broadcast 的数据流量限制功能，该功能在数据包大流量转发时能及时限制。由于设置错误，致使大量的数据包被发至整个控制网络中，数据包积累，最终导致整个网络的瘫痪。【防范措施】1、进行#1、#2 机组、公用系统网络交换机组态配置信息数据收集、备份工作。2、做好 DCS 系统设备日常巡检、维护，并认真做好记录和备份存档工作，对 DPU 控制柜交换机板件、风扇、滤网积灰彻底清理。3、已经与 DCS 厂家签订 DCS 年检维护合同，在机组检修期间，由厂家专业技术人员对 DCS 系统进行软、硬件，网络通讯、交换机测试检测、升级工作。4、 建立健全 DCS 系统软件和应用软件的管理制度(特别是要加强系统升级、组态修改等重要工作中的软件管理)， 注意主控制器与冗余控制器控制组态软件的一致性、应用软件和数据的备份、系统防病毒工作。5、加强交换机及网络通讯知识的学习，熟知 DCS 系统通讯方式和控制理论，提高缺陷判断方向感和处理故障的能力。6、核对通讯网络设备、光纤的图纸、名称标识牌。7、DCS 监控画面发生系统报警时，查看报警信息及时检查处理，并做好记录。8、加强对独立于 DCS 系统的后备紧急停机停炉按钮硬操作回路的检查维护工作，确保后备保护回路的可靠。9、加强汽轮机紧急跳闸系统(ETS)、汽轮机安全监视保护系统(TS1)、汽轮机控制系统（DEH、MEH）定期巡视检查工作。10、完善 DCS 系统保护。机组大、小修或机组停备 7 天以上必须进行逻辑保护传动试验，确保 DCS 系统保护投入、可靠、正确无拒动。对传动试验卡和备份逻辑专人妥善保管。做好重要备品备件的配置管理。11、将#2 机组与公用系统网络连接断开隔离，分散网络系统故障范围。12、制定方案将#1、2 机组、公用系统网络完全隔离单独监控，减少网络故障影响范围。13、完善网络交换机系统在线监测报警功能软件，发现问题及时处理，防止事故扩大。14、尽快会同厂家技术人员查找出此次交换机出现故障的根本原因，杜绝此类事故再次发生。