通讯故障处置不当网络阻塞全厂停电.docx

通讯故障处置不当，网络阻塞全厂停电2013 年 12 月 4 日，某燃机电厂西门子监控系统网络故障导致单台机组跳闸，在网络恢复过程中产生网络阻塞引发另外两台机组同时跳闸，造成全厂对外全停的电力安全事件。【事故经过】该电厂装有 3 台 400MWF 级的燃气一蒸汽联合循环机组， 各台机组监控系统均采用西门子 TELEPERMXP 系统（简称“TXP 系统”） 。此外，三台机组共设有公用系统一套。各机组 TXP 系统间数据通讯是由 SINECNET 总线承担，其中 SINECNET 总线系统分为工厂总线和终端总线两部分。各机组 TXP 系统的工厂总线、终端总线分别与公用系统公用总线、终端总线连接。各机组 TXP 系统工厂总线共有 9 个网络交换器(ESM)， 由光纤或电缆串接， 正常运行状态下呈“C”型网运行状态。其中任一网络交换器(ESM)具有冗余配置功能，通过相应配置可以具有网络断点监测功能。即当网络交换器(ESM)人工设置冗余配置功能后，如“C型网中出现一个断点时，则冗余配置功能生效，以保证网络始终保持“C”型网运行；如“C”型网中出现两个及以上断点时，则网络将会异常。2013 年 12 月 4 日 14 时 25 分，#3 机组跳闸，厂方工作人员通过查看 SOE事件记录，查明机组跳闸原因是工厂总线通讯故障。经厂方工作人员对机组监控系统的网络及通讯设备检查发现，其中一个网络交换器（ESM，编号为 5P）故障报警，随即厂方工作人员对其进行了复位重置，但是故障未消除，报警仍然存在。经厂方内部协商后，对该网络交换器利用厂内备品备件进行了在线更换，更换后，报警消失。在对#3 机组监控系统中网络交换器（ESM，编号为 5P）更换后数分钟内，15 时 36 分，#1、#2 机组同时跳闸，相关监视界面也同时异常。三台机组跳闸后，按照 SPPA 工程师建议，将#3 机组 TXP 系统与公用系统之间网络断开后， 随后#1、 #2 机组监控界面及监控系统通讯网络恢复正常。厂方工作人员在对该机组 TXP 系统所属网络交换器、 连接线等逐一排查后，发现其中一个网络交换器（ESM，编号为 4P）所连接的连接线接头（RJ45接头）有松动现象；同时厂方工作人员通过查阅历年维护记录并根据 SPPA工程师建议，利用备件网络交换器（ESM，原编号为 5P，前日更换下来的）对网络交换器（ESM，编号为 7P）进行了更替，经测试后，网络恢复正常。并于 2013 年 12 月 5 日申请依次并网。【原因分析】1、西门子监控系统的网络设备故障导致单台机组跳闸。#3 机组 TXP 监控系统网络交换器（ESM，编号为 4P）的连接接口(RJ45 接头)松动，同时由于网络交换器（ESM，编号为 7P）设备故障，造成两个断点，破坏了“C”型网运行结构，造成#3 机组 TXP 系统通讯中断，引发#3 机组工厂总线通讯故障保护跳闸。2、更换功能相异的网络设备导致其他两台机组跳闸。在#3 机组 TXP 监控系统网络交换器(ESM)存在异常信号下， 厂方工作人员采取了更换措施。由于日常维护均由其生产厂商西门子承担，而西门子对电厂工作人员并未进行相关设备技术交底，致使厂方工作人员更换#3 机组网络交换器时，由于外观相同难以辨别功能差异，使#3 机组 TXP 系统网络形成“O型，导致通讯网络阻塞，进而引发#1、#2 机组因通讯故障保护跳闸。3、西门子机组监控系统网络设备重要故障告警功能不足。西门子机组监控系统对#3 机组网络交换器连接接口（RJ45 接头）松动和另一网络交换器未能及时有效地告警提示运行人员，导致设备异常同时出现时，#3 机组通讯网络形成断点，监控系统故障，致使#3 机组保护跳闸。4、西门子机组监控系统对网络通讯故障隔离措施不到位。西门子机组监控系统对网络通讯故障缺乏有效防护手段和隔离措施，由于#3 机组与#1、#2 机组网络相连接，在对#3 机组更换网络交换器不当致使机组通讯网络阻塞后，引发#1、#2 机组通讯网络阻塞，进而导致两台机组保护跳闸。【防范措施】1、重视生产监控系统厂商技术交底。要求机组监控系统制造厂商对系统原理、网络设计、通讯原理、设备配置等方面进行详细彻底的技术交底，做好相关技术培训。2、提高机组监控系统自主运行维护能力，减少对制造厂商的依赖，使运行管理人员逐步全面了解掌握机组运行状况。3、增强电厂网络与信息安全专业技术力量。对相关岗位维护人员进行专业能力培训考核，增强其对网络设备配置、系统网络原理、网络与信息安全等专业技术水平。4、对机组生产监控系统进行排查，对国外电力生产监控系统信息安全状况开展专题研究，提出切实可行的风险防控及安全防护措施，避免类似事件（事故）的发生。5、强化电力二次系统安全防护和等级保护相关工作。按照电力二次系统安全防护规定及相关网