idc机房应急预案
第一篇:idc机房应急预案
IDC机房维保预防措施及应急预案
IDC数据中心机房的安全无疑是整个计算机信息系统安全的前提,如果数据中心机房存在这样那样的不安全因素,从而导致发生数据中心机房事故,则整个信息系统的安全也就不可能实现。
随着网络信息化建设的不断深入,加强机房各类设备、系统以及信息与网络安全等方面应对突发事件的处理能力将是我们目前面临的一项重要任务。为确保系统及机房安全与稳定,以保证正常运行为宗旨,按照“预防为主,积极处置”的原则,本着建立一个有效处置突发事件,建立统一指挥、职责明确运转有序、反应迅速处置有力的机房安全体系的目标,将正在发生或已发生事故的损害程度减轻到最低。
1、维保预防措施
1、建立健全机房维保技术人员管理制度
1.1在正常工作日内,信息技术人员负责对机房进行监控,主要职责是:巡视网络设备及系统的运行情况,发生异常情况及时处理,消除故障隐患。
1.2周末、节假日及重大会议期间技术人员轮流值班,负责处理有关异常情况。
2、应提高对机房可靠性、可用性、安全性等方面的认识,既要重视信息系统安全,又要重视机房的运行维护管理,重视对计算机硬件、软件及网络设备的维护。要树立大局意识和忧患意识,对机房设施安全的重要性给予足够的重视。
3、应重点加强管理制度的执行。管理制度包括预防维护流程和紧急情况处理预案两个方面。要制定相应的管理制度,包括机房管理岗位制度、机房操作规程等,以明确岗位职责。为应对机房中可能会发生的紧急情况,如火灾、断电、数据丢失、设备失灵等,应按各种紧急情况分列处置措施,还要对预案进行演练。
4、应不断提高机房管理人员的技术水平。机房设施非常复杂,涉及很多专业和系统,维护人员只有通过不断的总结以往出现的各种问题进行后续学习和培训,提高技术水平,才能避免更多的相同的问题及异常情况甚至事故的发生。
5.应加强供配电、照明等电源子系统的监测。同时应重点对温度、湿度、灰尘、有害气体等进行评估和监测。还要加强静电防护、干扰源分析及保护、雷击
防护、电磁干扰、振动控制,防火、防水等工作。
5、应加强对进入机房人员的管理。工作人员行为、素质等因素均可能对机房安全造成影响,因此,除管理制度约束外,门禁和视频监视等物理安全策略均可有效提高机房安全水平。
7、应定期对机房设施进行安全评估。最好每年聘请第三方机构进行安全评估,专业评估机构拥有专家力量,能够比较安全地对所有的设备进行操作,不会因为误操作引起机房故障。
8、机房内严格采取防雷、防火、防尘、防静电等措施以及机房24小时监控等措施。
9、认真做好数据备份工作,定期做一次数据库完全备份,每月检查服务器运行和备份情况。
10、对机房的主要网络设备(路由器、主干交换机等)进行工作时间内全程监控,发现异常情况应及时进行处理,确保整个网络的正常运行。
2、应急处置措施
2.1 机房漏水应急预案
(1)发生机房漏水时,第一目击者应立即通知运维服务小组,并及时报告监控系统突发故障应急领导小组。
(2)若空调系统出现渗漏水,运维服务小组负责人应立即安排停用故障空调,清除机房积水,并及时联系设备供应方处理,同时启动备用空调,必要情况下可临时用备用空调对服务器进行降温。
(3)若为墙体或机房门渗漏水,运维服务小组负责人应立即采取有效措施确保机房安全,及时清除积水,维修墙体或门窗,消除渗漏水隐患。 2.2 设备发生被盗或人为损害事件应急预案
(1)发生设备被盗或人为损害设备情况时,使用者或管理者应立即报告系统突发故障应急领导小组,同时保护好现场。
(2)系统突发故障应急领导小组接报后,通知用户保卫部门、相关领导,一同核实审定现场情况,清点被盗物资或盘查人为损害情况,做好必要的影像记录和文字记录。
(3)事发单位和当事人应当积极配合公安部门进行调查, 并将有关情况向系统突发故障应急领导小组汇报。
(4)系统突发故障应急领导小组安排运维服务小组、事发单位及时恢复系统正常运行,并对事件进行调查。运维服务小组和事发单位应在调查结束后一日内书面报告系统突发故障应急领导小组。事态或后果严重的,应向相关领导汇报。 2.3 机房长时间停电应急预案
(1)定期检查机房供电设备的运行状况和电路线缆器材情况,当发生下列突发事件时,按照以下方案进行处置:
(2)当机房发生市电供电突然停电或是电源异常时。首先应和后勤部门联系确认正常停电以及预计停电时间。检查不间断电源的电池可供电时间,确保设备正常运行,如遇到突然断电,应及时将空调等不在UPS电源供电范围内的设备及时断电,预防突然来电时瞬间电流过大导致设备损坏等现象。
(3)当确定停电时间超出机房UPS承载范围后,首先确定停电的范围以及受影响的设备范围。并及时通知各部门做好停电应急准备。然后通知机房电源维护人和设备的负责人到达现场,做好各设备的电源停电准备。在UPS供电电量仅剩10%之后,严格按操作手册停掉各服务器的电源,最后停核心交换机和路由器,等待电力恢复。
(4)当确定停电原因是在本身供电系统范围内,立即汇报给负责领导,并及时联系相关维护人员达到现场检修。对于恢复时间无法预计的,要通知后勤部门做好柴油机发电及移动电源车供电准备
(5)恢复供电后,严格按照操作程序逐步恢复机房设备和UPS的供电,以防瞬间电流过大造成设备损坏。
2.4 通信网络故障应急预案
(1)发生通信线路中断、路由故障、流量异常、域名系统故障后,操作员应及时通知本单位信息系统管理员,经初步判断后及时上报运维服务小组和系统突发故障应急领导小组。
(2) 运维服务小组接报告后,应及时查清通信网络故障位置,隔离故障区
域,并将事态及时报告系统突发故障应急领导小组,通知相关通信网络运营商查清原因;同时及时组织相关技术人员检测故障区域,逐步恢复故障区与服务器的网络联接,恢复通信网络,保证正常运转。
(3) 事态或后果严重的,应向应急指挥办公室和相关领导汇报。 (4) 应急处置结束后,运维服务小组应将故障分析报告,在调查结束后一日内书面报告系统突发故障应急领导小组。 2.5网络病毒事件应急预案
(1)发现不良信息或网络病毒时,信息系统管理员应立即断开网线,终止不良信息或网络病毒传播,并报告指挥调度中心运维服务小组和系统突发故障应急领导小组。
(2)运维服务小组应根据系统突发故障应急领导小组指令,采取隔离网络等措施,及时杀毒或清除不良信息,并追查不良信息来源。
(3)事态或后果严重的,应向监控中心办公室和相关领导汇报。 (4)处置结束后 ,运维服务小组应将事发经过、造成影响、处置结果在调查工作结束后一日内书面报告系统突发故障应急领导小组。 2.6 服务器软件系统故障应急预案
(1)发生服务器软件系统故障后,运维服务小组负责人应立即组织启动备份服务器系统,由备份服务器接管业务应用,并及时报告系统突发故障应急领导小组;同时安排相关责任人将故障服务器脱离网络,保存系统状态不变,取出系统镜像备份磁盘,保持原始数据。
(2)运维服务小组应根据系统突发故障应急领导小组的指令,在确认安全的情况下,重新启动故障服务器系统;重启系统成功,则检查数据丢失情况,利用备份数据恢复;若重启失败,立即联系相关厂商和上级单位,请求技术支援,作好技术处理。
(3)事态或后果严重的,应向监控中心应急指挥办公室和相关领导汇报。 (4)处置结束后,运维服务小组应将事发经过、处置结果等在调查工作结束后一日内报告系统突发故障应急领导小组。
2.7 黑客攻击事件应急预案
(1)当发现网络被非法入侵、网页内容被篡改,应用服务器上的数据被非法拷贝、修改、删除,或通过入侵检测系统发现有黑客正在进行攻击时,使用者或管理者应断开网络,并立即报告系统突发故障应急领导小组。
(2)接报告后,系统突发故障应急领导小组应立即指令运维服务小组核实情况,关闭服务器或系统,修改防火墙和路由器的过滤规则,封锁或删除被攻破的登陆帐号,阻断可疑用户进入网络的通道。
(3)运维服务小组应及时清理系统,恢复数据、程序,恢复系统和网络正常;情况严重的,应向监控中心应急指挥办公室和相关领导汇报,并请求支援。
(4)处置结束后 ,运维服务小组应将事发经过、处置结果等在调查工作结束后一日内报告系统突发故障应急领导小组。 2.8 核心设备硬件故障应急预案
(1)发生核心设备硬件故障后,运维服务小组应及时报告系统突发故障应急领导小组,并组织查找、确定故障设备及故障原因,进行先期处置。
(2)若故障设备在短时间内无法修复运维服务小组应启动备份设备,保持系统正常运行;将故障设备脱离网络,进行故障排除工作。
(3)运维服务小组故障排除后,在网络空闲时期,替换备用设备;若故障仍然存在,立即联系相关厂商,认真填写设备故障报告单备查。
(4)事态或后果严重的,应向监控中心应急指挥办公室和相关领导汇报。 2.9 业务数据损坏应急预案
(1)发生业务数据损坏 时,运维服务小组应及时报告系统突发故障应急领导小组,检查、备份业务系统当前数据。
(2)运维服务小组负责调用备份服务器备份数据,若备份数据损坏,则调用磁带机中历史备份数据,若磁带机数据仍不可用,则调用异地备份数据。
(3)业务数据损坏事件超过 2小时后,运维服务小组应及时报告系统突发故障应急领导小组,及时通知业务部门以手工方式开展业务。
(4)运维服务小组应待业务数据系统恢复后,检查历史数据和当前数据的
差别,由相关系统业务员补录数据;重新备份数据,并在工作结束后一日内报告系统突发故障应急领导小组。 2.10 雷击事故应急预案
(1)遇雷暴天气或接上级部门雷暴气象预警,运维服务小组应及时报告系统突发故障应急领导小组,经请示同意后关闭部分服务器,切断电源,暂停内部计算机部分网络工作。
(2)雷暴天气结束后,运维服务小组报经系统突发故障应急领导小组同意,及时开通服务器,恢复内部计算机网络工作,对设备和数据进行检查。
(3)因雷击造成损失的,运维服务小组应会同相关部门进行核实、报损,并在调查工作结束后一日内书面报告系统突发故障应急领导小组。必要时,应向监控中心应急指挥办公室和相关领导汇报。 2.11 空调设备故障应急预案
若机房专用空调损坏,应第一时间启用机房备用空调,并通知厂家上门进行维修,并及时报告相关领导请示,获得授权后按机房设备关闭顺序关闭各类设备。 2.12 火灾事故应急预案
(1)一旦机房发生火灾,应遵照下列原则:首先确保人员安全;其次保护关键设备、数据安全;三是保护一般设备安全;
(2)人员疏散的程序是:机房工作人员立即按响火警警报,并通过119电话向公安消防请求支援,所有人员戴上防毒面具,所有不参与灭火的人员按照预先确定的线路,迅速从机房中撤出;
(3)人员灭火的程序是:首先切断所有电源,启动自动喷淋系统或使用灭火器,灭火值班人员戴好防毒面具,从指定位置取出泡沫灭火器进行灭火。 2.13 电源设备故障应急预案
机房目前使用UPS系统,在紧急情况发生时,应按如下步骤进行关机: (1)确认所有负载均已安全关机。
(2)关闭UPS负载电源。
(3)将UPS的系统启用开关切换到off 的状态。 (4)将电池连接断路器切换到off的位置。
第二篇:机房应急预案
中心机房突发事件应急预案
第一条
机房突发事件包括网络设备或服务器故障、自然灾害(水、火、电等)造成的 物理破坏、人为失误造成的安全事件等等。 针对突发事件的预防措施如下:
1.建立安全、可靠、稳定运行的机房环境,防火、防盗、防雷电、防水、防静电、防尘; 建立备份电源系统;加强所有人员防火、防盗等基本技能培训。
2.服务器采用可靠、稳定的硬件设备,落实数据备份机制,安装有效的防病毒软件,及时 更新升级扫描引擎;加强对局域网内所有用户和信息系统管理员的安全技术培训。
第二条
机房漏水应急预案如下:
1.发生机房漏水时,第一目击者应立即通知机房管理人员。
2.若空调系统出现渗漏水,机房管理人员应立即安排停用故障空调,清除机房积水,并及 时联系设备供应方处理,同时启动备用空调,必要情况下可临时用电扇对服务器进行降温。 3.若为墙体或窗户渗漏水,机房管理人员应立即采取有效措施确保机房安全,同时安排通 知办公室,及时清除积水,维修墙体或窗户,消除渗漏水隐患。
第三条
机房火灾应急预案如下:
1.完善机房环境,确保机房具备二氧化碳灭火器;禁止携带易燃易爆物品进入机房。 2.机房管理人员应熟悉机房内部消防安全操作和规则,了解消防设备操作原理,掌握消防 应急处理步骤、措施和要领,懂得灭火的方法,会扑救初起火灾,并定期组织灭火演习。 3.一旦发生火灾,迅速切断机房电源,避免灾情的扩散,并迅速拨打物业管理和119火警电话。
4.等待消防车到来期间,应组织物业保安或工作人员在保证安全的前提下灭火,应急领导小组应在第一时间内集中所有二氧化碳灭火器,抓住时机,尽可能的把火扑灭。
5.配合消防部门调查事故原因,对造成的损失和起火原因做好记录,以便进行灾后总结。
第四条
雷击事故应急预案如下:
1.遇雷暴天气,机房管理人员在下班后应及时关闭所有服务器,切断电源,暂停内部计算 机网络工作。
2.雷暴天气结束后,机房管理人员应及时开通服务器,恢复内部计算机网络工作,对设备 和数据进行检查。出现故障的,事发部门应将故障情况及时报告机房管理人员。
3.因雷击造成损失的,机房管理人员应会同相关部门进行核实、报损,并在调查工作结束 后一日内书面报告领导。
第五条
设备防盗被盗或人为损害应急预案如下:
1.机房管理人员每日查看、清点设备并锁好机房大门。
2.机房管理人员每日检查录像监控服务器状态,确保监控画面正常,并检查每日录像正常性、完整性。
3.发生设备被盗或人为损害设备情况时,使用者或管理者应立即报告相关负责人,同时保护好现场。
4.机房维护人员接报后,通知保安及公安部门,一同核实审定现场情况,清点被盗物资或盘查人为损害情况,做好必要的影像记录和文字记录。
5.事发单位和当事人应积极配合公安部门进行调查,并将有关情况向机房管理人员汇报。
第六条
机房停电应急预案如下:
1.接到停电通知后,机房管理人员应及时通过办公系统 、电话等发布相关信息,部署应对具体措施,要求用户在停电前停止业务、保存数据。
2.机房管理人员每日检查UPS电源的状态,确保在突发停电时,UPS电源能自动供应服务器正常工作半个小时,保证员工工作的数据及时保存。
第七条
通信网络故障应急预案如下:
1.发生通信线路中断、流量异常等故障后,员工应及时通知机房管理人员。
2.机房管理人员在接到报告后,迅速组织相关技术人员检测故障区域,并作相关故障处理,必要时通知通信网络运营商查清原因;逐步恢复故障区与服务器的网络联接,恢复通信网络,保证正常运转。
3.应急处理结束后,机房管理人员应在一日之内提交故障分析报告,以便备案。
第八条
服务器故障应急预案如下:
1.机房管理人员每日检查服务器状态,检查邮箱服务器状态,确保系统运行的完善。
2.机房管理人员定期备份服务器数据,并将备份资料刻录成光盘或拷贝到移动硬盘。
第九条
1.发生机房突发事件后,机房管理人员应采取有效措施开展先期处置,恢复信息网络正常状态。应急处置工作结束后,机房管理人员对事件发生原因、性质、影响、后果、责任及应急处置能力、恢复重建等问题进行全面调查评估,根据应急处置中暴露出的管理、协调和技术问题,改进和完善预案,实施针对性演练,总结经验教训,整改存在隐患,组织恢复正常工作秩序。
第三篇:机房安全应急预案
学院美术系网络信息中心机房
安全应急预案
美术系机房是我系重要的教学活动场所。里面存放主机、显示器、各种连线及相应软件配置,设备价格教高,是学校固定资产的重要组成部分,且机房里使用人员相对集中。因此本着对学生负责、对学校财产保护和负责的态度特制定相应安全应急预案,一但发生火灾事故、触电事故或设备损坏等现象,应按照如下方案实施。
一、触电处置步骤
(1)如发生触电事故,任课教师应迅速安全切断电源,切忌直接接触触电者。 (2)即刻通知校医务室及相关部门,同时开展现场应急救护。
(3)教师要稳定课堂秩序安抚其他学生的情绪,必要时及时有序疏散学生。 (4)协同电工查找原因,本着解决问题妥善处理问题的态度与事件起因,当事人进行公正、公开、公平地协商解决事后问题。
二、火灾处置
(1)任课教师及机房管理员一日发现火情后,即刻切断电源。
(2)任课教师组织学生进行疏散并自救,疏散时机房前三排学生走前门,后两排学生走后门。
(3)即刻通知保卫科及相关部门,根据火情大小如需报警立即就近用电话或手机报告消防中心(电话119),报告内容为:“某地二楼机房发生火灾,请迅速前来扑救”,待对方放下电话后再挂机。
(4)在向系领导汇报的同时,派出人员到各路口等待引导消防车辆。 (5)在消防车到来之前,以校安全消防组织成员为主,其余人员(尤其是教师)均有义务参加扑救。
(6)消防车到来之后,一切听从消防指挥人员的指挥,校内人员配合消防专业人员扑救或做好辅助工作。
(7)使用器具:灭火器、水桶、脸盆、铁锨,水浸的棉被等。 ①扑救固体物品火灾,如木制品,棉织品等,可使用各类灭火器具。 ②扑救液体物品火灾,如汽油、柴油、食用油等,只能使用灭火器、沙土、浸湿的棉被等,绝对不能用水扑救。
(8)无关人员要远离火场和校内的岗定消防栓,以便于消防车辆驶入。
三、设备问题
(1)应每周检查机房的设各软硬件,确保事件早知道、早报告、早解决。 (2)出现软件问题自己解决(回复、杀毒、安装、同传等)。 (3)找到硬件问题原因,并协同教辅组老师一同解决。
(4)查找问题出现的原因,本着实事求是,以合作的姿态解决问题 (5)在正常工作日期间管理教师在规范使用的前提下,设备由于配件使用寿命到期等自然原因造成的损耗应作设备自然损耗处理。该机房管理教师只负置及时记录和报修。
(6)在非工作日期间机房出现问题。比如说周末、寒假和暑假如何处理。需要建立工作日与非工作日交接制度。在非工作日期间由机房接收人负责管理并做相关记录,防止出现管理空白。
四、隐患问题
(1)学校要保证安全通道的畅通。任课教帅坚持每次上机要开两道门,保持室内空气流畅。
(2)学校备齐安全相关装备。
(3)辅导员、任课教师对学生的安全教育。 (4)电压不稳。
第四篇:机房消防应急预案
为使信息机房发生火灾事故时,当班人员能镇静有序地处置事件,特制订本预案,请各成员认真学习,熟悉应急处置程序,提高全员的应急能力,一旦发生突发事件,尽最大努力保证员工人身安全和减少损失。
起火原因一般有明火管理不慎;电气设备管理、使用不当;纵火等原因。
预案一:当闻到烧焦气味时
当班人员发现信息机房内有冒烟现象或闻到烧焦气味时,可能是某处阴燃处于起火阶段或电源超负荷发热引起,容易引发火灾,当班人员要立即查明原因和地点,针对不同情况,采取迅速将火源扑灭或关闭电源总开关、隔离火源附近易燃物、关闭窗等措施,消除起火隐患,防止引了火灾。事后立即向安保部门报告,并做好现场保护工作和防止起火点复燃,不得随意离开现场和将事故隐瞒不报。 预案二:当班时发现起火或冒出浓烟
由于起火源隐蔽或其他突发原因未能及时发现和消除起火隐患,酿成明火和冒出浓烟,燃烧面积不大,就是火灾的初起阶段,当班人员发现起火或冒出浓烟时,切忌惊惶失措,要沉着、果断,会同其他当班人员分工协作,迅速查明原因组织扑救,当火执已无法控制时处置办法:
一是指定专人立即拔打“119”火警电话报警和向上级保卫部门报告,并向本部门和周围的人及群众喊叫报警; 二是组织本单位、部门在场的人员有序地投入扑救工作,充分利用消防栓、灭火器、水桶等器材灭火,不能消极等待消防队到来,而错过灭火良机,力求将火扑灭或控制火势蔓延,不能只顾个人安危而逃离火场
三是大声呼喊请求邻近单位及群众的支援。
四是在组织灭火同时,要立即组织人员疏散和转移物品中,特别昌易燃、易爆物品和易受到火舌威胁的现金、重要凭证要及时转移到安全地点,并派人员守护,确保安全。
五是灭火后要注意保护现场,维护好秩序,以利于消防部门调查分析火灾原因。 注意事项:
报警人员报警时要向消防部门讲清楚起火地点、单位、起火的种类和火势大小,报警后即到街道或十字路口迎接、引导消防车辆的到来;扑救人员在消防人员到来后,要立即向消防指挥人员讲清火场内存放有何种物资和贵重物品,火场内是否有爆炸、剧毒物品,并协助消防部门维护好现场秩序。自行扑救火灾时要留心观察火势和环境,防止被火围困、烟气中毒、坠物砸伤等,在确保自身安全的情况下扑救火灾。
第五篇:机房用电应急预案
1, 机房意外停电后,首先确定停电的范围以及受影响的设备范围。2,确认停电的范围为本楼或本校区,应立即打后勤管理处电话汇报。估算电力可能恢复的时间。并通知网络中心领导。3,如果确认停电的时间为1个小时内,可以在UPS正常供电的时间内,等到电力恢复,如果不能确认在2小时内恢复,立即汇报给机房电源维护负责人和中心机房各设备的负责人到达现场。做好各设备的电源停电准备,在UPS供电达1.5小时后,严格殷实操作手册停掉存储和各应用服务器的电源。最后停核心交换机和路由器,等待电力恢复。电力恢复供电后转第七条执行。如果确认停电的范围仅在于本机房电源故障。立即汇报给机房电源维护负责人。4,机房维护负责人将掉电的电源柜总空开和分空开的状态处于下电状态。并向主管领导汇报。马上联系相关厂家,如有可能请厂家立即到
2, 核心机房电力的保障一直是维护体系的头等重要事项,通过实施应急发电演练,建立了可靠的应急预案机制,最大限度的降低电源中断对网络传输质量的影响。现分享核心机房电源中断应急预案,希望分公司尽快建立一套统一指挥、职责明确、反应迅速、处置有力的机房安全保障机制。 3, 组织架构: 4, 责任领导、工程维护、网络监控、网络运维、质量管理等相关人员。
5, 机房电源系统说明: 6, 1.机房电力是两路三相四线制供电,进线线缆规格为:RVV50*4+16*1铜芯护套线。
7, 2.机房电源系统采用三级防雷系统,三级防雷分别位于电源进线端、UPS输入前端。
8, 3.机房现有两台60KVA-UPS电源,均处于正常运行状态。
9, 4.机房现有设备机柜已编号,均通过UPS电源和市电供电,每个机柜有独立的20A空气开关。空调、墙壁插座开关、应急灯、照明等都是单独空开接市电。
10, 5.运行中的UPS电源所带负荷,在逆变运行状态下能正常工作约4小时(已经过UPS放电测试)。
11, 一.核心机房电源中断预案
12, 1.在接到停电通知的情况下: 13, 1)计划性停电通知要确保综合部、工维机房管理部对口人接到通知(提前将对口联系人备案在物业处),机房管理员接到计划停电通知后,升级到调度中心进行信息发送,同步进行邮件通知相应应急小组成员。并与负责组长及责任领导电话告知,确保已经接收到本次停电的时间及可能发生的情况。
14, 2)维部进行发电应急预案小组成员通知,提前做好机房发电预案要求的准备工作,将相应的发电机、连接线、人员安排到位,各司其职,随时待命现场,做发电准备工作。确保停电时刻的电力安全及机房用电的保障措施,提前调度安排好相应人员做好保障用电的措施。
15, 3)计划停电时间开始后,马上启动应急发电操作,按照机房发电操作步骤实施阶梯供电的步骤,恢复市电保障。并进行现场值守及设备工作确认,确保全部正常后电话告知调度中心及维护体系领导。
16, 2.在没有接到任何通知,突然发生停电的情况下:
17, 确认停电线路,停电时刻,停电时间等要素,启动核心机房发电应急预案。
18, 1)值班网管工作流程:
19, ⑴值班网管监控到核心机房停电,第一时间告知工维部、网络部、运维部应急小组组长。信息传达到工维部机房管理员(一主一备),告知停电开始时间。
20, 要求在停电5分钟内将消息传达到调度中心,各应急小组组长。如无法联系上,进行升级到责任领导-工维部经理经理处。 21, ⑵网管将停电信息电话传达后,进行调度派单,确保全部的应急小组成员都收到本次故障停电的信息。然后进行机房中设备的检查,包括:UPS设备主机、各核心设备、汇聚设备、服务器、语音系统等。检查是否受影响。同时启动机房降温措施(降温方案:初步为加装抽排风设备、增加大风扇排风形成热量流动降温) 22, ⑶实时监控设备及UPS工作情况,包括:电量下降情况,设备工作正常情况,每15分钟通报一次电量情况。
23, 2)运维部应急工作流程:
24, ⑴运维应急同事接到故障通告后,第一时间往停电现场赶,到现场配合网管/工维部门进行设备仪器的检查、客服语音系统的保障,应急发电的协助。
25, ⑵现场配合进行机房降温散热措施实施,实时检查网络设备的工作情况。
26, 3)运营质量管理应急工作流程:
27, ⑴调度中心值班人员接到网管监控调度信息后,第一时间将故障信息记录并发故障通告到相关应急成员,并电话通知各应急小组组长是否知悉。
28, ⑵进行客服调度系统的设备工作运行系统检查,特别语音系统级坐席电脑,是否有问题,如发现工作系统有异常,及时与运维应急小组成员沟通,进行检查处理。
29, ⑶实时关注故障工单流程进度登记,配合应急小组进行人员调度通告。 30, 4)工维部应急工作流程:
31, ⑴机房管理员第一时间往停电现场赶,同时进行电话沟通供电公司、物业方等,咨询停电原因,是属于计划性还是突发性停电,预计停电时长,将咨询清楚的结果反馈到应急小组成员中,电话联系物业沟通好需要发电需求申请。
32, ⑵工维应急小组组长接到时间后第一时间往停电现场赶,同时进行发电应急小组成员调度,安排第一时间到场工作开展,并升级通报告知主管领导,对口集团维护中心上报信息。
33, ⑶工维应急小组成员接到停电时间后第一时间往停电现场赶,要求30分钟内必须到场(住机房附近的人员往现场去,较远同事可以进行打车往现场去),先行到处同事配合网管、运维同事启动做好应急发电前的准备:连接线布放、接续、发电机发电前检测油/电/水路检查,确保正常。确保一切就绪后,确认可以进行发电操作后,按照发电操作流程进行发电恢复市电。
34, ⑷网管将监控到停电的相应信息及级别同步发送到运营质量管理部调度岗,由调度岗将相应信息进行工维、运维、网络关联同事进行信息告知,同时报工维主管领导知悉。
35, 5)应急机房发电操作流程:
36, ⑴机房用电系统包括四方面:空调制冷、主/备UPS主机、照明系统、客服调度系统。 37, ⑵发电前考虑4方面系统设备用电功率情况,为保障发电机带动的正常,不能进行同步供电,要区分优先恢复的步骤实施,确认发电机的工作正常。在发电前将需要供电的“空调制冷、主/备UPS主机、照明系统、客服调度系统”的市电输入主开关关闭。防止同步启动时发电机的无法供电保证。
38, ⑶启动发电机,检测发电输出电流通断,待发电机运行稳定后。
39, 第一步启动空调制冷系统的市电输入开关,运维应急小组成员重新启动空调主机(空调因为市电恢复后需要重新启动)观察空调制冷工作是否正常。
40, 第二步启动主UPS设备的市电输入开关,观察发电机运行稳定情况,主UPS主机工作稳定情况,网络设备的工作正常与否。
41, 第三步启动客服系统的市电输入开关,包括(客服坐席电脑、UPS设备、空调制冷等),观察发电机运行稳定情况,设备恢复工作情况。
42, 第四步启动备UPS设备、市电照明的市电输入开关,观察发电机运行稳定情况,备UPS主机工作稳定情况,网络设备的工作正常与否。
43, ⑷发电机启动,市电输入正常后,网管将降温系统的抽排风设备关闭,与运维同事进行所有设备的运行进行全面的检查,确保设备已经是运行正常。
44, ⑸发电机发起市电正常后,工维应急小组安排专人现场值守,及时关注发电机油量情况,同时与油品供应商确认油品配送要求及时间要求,并实时与供电部门确认市电恢复时间。
45, 6)停电过程中突发事项预防: 46, ⑴网管在停电时进行机房确认运行中的UPS工作组、设备组工作状态。主/备UPS工作切换是否正常,在市电中断时UPS是否已经开始进行供电保护。
47, ⑵值班网管对机房中的所有设备进行全面检查,确保所有的设备已经是有主备供电,市电中断后UPS已经正常保障设备工作。同时对机房的温度进行观察,温度是否突然升高。
48, ⑶停电后,UPS处于逆变工作状态,当班人员要每隔15分钟观察一次UPS的蓄电池容量、带负荷情况、机房环境温度,尽量使蓄电池容量大于60%,带负荷小于85%(因为已经有自购发电机应急,尽快要求短时间发起电,减少UPS的放电过度)。
49, ⑷发现机房环境温度大于26℃。当以上指标不能保证时,要及时向机房管理员汇报,同时上报责任领导知悉,网管预案小组成员经过慎重讨论,适时采取关闭不必要网络的网络设备、加强通风降温等措施尽量延长关键设备运行时间
50, 三.应急发电机的油品保障措施
51, 发电机正常启动后,需要做到油品及时供应,具体保障措施方案为: 52, 1.确认多家供应商进行油品供应,签署油品供应协议,确保油品的供应充足。
53, 2.油品的供应以应急小组成员通知后开始准备,协议要求是6小时内送货到场。 54, 3.只要进行发电一小时以上,则必须在停止发电后补充满油品,确保发电机随时都是满配油品保障中。
55, 4.油品的零购是属于公安部门的监管,所以分公司提前将资料向公安部门报备,在公司因为特殊原因有零购油品需求,在公安部门已经有分公司备案资料下,每次使用零购油品进行公安部门盖章申请。可以随时进行购买。
56, 四.恢复交流电后的处理措施
57, 1.打开电力室和网络机房空调市电开关,并将调节温度设定为20℃。首先恢复机房制冷系统的正常工作。
58, 2.等供电稳定后(一般在恢复市电10分钟后),闭合主/备UPS设备空气开关,恢复给主/备UPS交流供电。观察并确认UPS转换为交流稳压和浮充状态。
59, 3.闭合客服系统的主空气开关,恢复客服系统的交流供电,并观察设备工作运行情况。
60, 4.观察10分钟后,确保所有网络及设备、UPS设备组工作稳定后,将发电机停止发电,并将情况报告给调度及主管领导。
61, 5.应急小组将发电的物资进行收拾整理存放好,并进行记录发电机的工作时间及油/水/电路的切断。机房的降温设备的关闭确认及物资收拾整理存放好。 62, 6.将处理情况做详细书面记录,请相关人员签字确认并报集团公司信息化系统管理平台上填写相关记录。
63, 五.发电机的日常维护措施
64, 对于柴油发电机来说,由于它不是日常的主要供电设备,所以日常的维护保养主要包括以下几个方面:
65, 1.定期检查和更换柴油过滤器和机油过滤器
66, 2.定期清理检查进气过滤器,并在固定的周期进行更换(或者根据现场的工况和进气过滤器的透气程度进行更换) 67, 3.定期检查和清理电池组接线柱,保持接线柱清洁
68, 4.定期检查电池组的充电状态,保证良好的充电效果
69, 5.定期检查风扇皮带的状态,确保无损伤和处于正常的松紧度
70, 6.定期检查冷却液的状态,确保满足要求
71, 7.定期检查或者更换柴油机机油,确保油位正常
72, 8.冬天寒冷季节要确保机组预热装置正常工作,以便在需要启动发电机时能正常启动
1. 机房工作人员应具备用电常识,了解机房供电布局、开关位置、设备供电来源等,机房工作时间注意用电安全和自身安全。
2.机房工作人员不得私自更改设备供电线路,对自己所管设备进行断电操作时不能影响其他设备供电,新增设备需要供电应由机房电力管理员统一调配。
3. 机房禁止使用高温、炽热、产生火花的大功率或危险设备,确需使用电焊、电钻等,须在电力管理员指导下用电。
4. 工作时发现用电安全隐患如漏电、火花、设备异常发烧等现象,应立即报告机房电力管理员,并协助进行处理。
5、机房停电需要启用内部发电系统时,设备管理人须在场及时检查自管设备是否正常供电。
6、机房电力管理员应定期对机房供电设备、线路、电源、开关等相关设备进行安全检查,及时排除用电安全隐患。
1. 综述 为尽量避免机房内电力意外事故,以保障人身安全、防止设备损坏及影响供电系统等为目的。规范数据中心机房设备加电、日常操作的用电安全防护措施,制定本文档。
2. 范围 本文档适用于北京移动数据中心所有机房(菜市口、望京、昌平、丰台、大白楼)。
3. 用电安全措施 机房日常用电安全的最高准则为确保人员安全。 3.1 设备用电安全措施 3.1.1设备上架加电要求
•• 所有进入机房,需使用机房电源的设备应为正规品牌且具有3C标志(即中国强制性产品认证)中CCC+5安全认证标志或CCC+S&B安全与电磁兼容认证标志任意一个。任何自行组装(DIY)设备不得上架加电。 • 设备上架加电前应在机房外,使用非机房(生产用电)电源进行加电、开机测试,测试该设备电源组件为正常运行方可上架加电。 • 不能在机房外加电测试的直流电设备,进入机房后首次加电需机房负责人,电力维护人员,中通维护人员,运维人员及客户同时在场。 • 不能在机房加电测试的其他交流电设备,进入机房后首次加电需机房负责人中通维护人员,运维人员及客户同时 在场。 • 设备上架后,加电前,由中通维护人员对机柜电源进行通路、电压测试,测试结果正常后由客户自行闭合对应的空开。 ●以上任意一点不能达到标准,必须由机房负责人书面(包含邮件)批准。
3.1.2 设备日常操作安全措施
• 机房内应设置维护和测试用电源插座(地插、强插等),供日常维护过程中接插相关维护设备,仪器仪表等。严禁随意使用机柜内电源接插。 • 需要关闭电源时,不要设想电源已关闭,必须仔细检查,确认。 • 为避免静电对设备的电子器件造成损坏,对设备进行操作时应穿着防静电服或戴防静电手套或佩戴防静电手镯。 • 拿电路板时,应拿电路板边缘,不要接触元器件和印制电路。 • 保持机柜内清洁、无尘。 • 防静电手镯的使用方法如下:
1、 将手伸进防静电手镯,戴至手腕处。
2、 拉紧锁扣,确认防静电手镯与皮肤有良好的接触。
3、 将防静电手镯,插入设备的防静电手镯插孔内,或者是用鳄鱼夹夹在机柜的接地处。
4、 确认防静电手镯良好接地。 3.2. 日常维护人员安全措施:
• 非电工作业人员、不具有电气电力专业资质人员严禁进行任何电工作业。电工作业包括但不限于以下内容:对机房配供电设施、装置进行安装、维护、检查、检修等操作。 • 配供电设施、装置的绝缘或外壳损坏,可能导致人体接触及带电部分时,应立即停止使用,并及时修复或更换。 • 移动用电设备、打开用电设备外壳时必须拔掉所有电源线和外部电缆。 • 确认操作区域内地面无积水、潮湿等。 • 为避免出现意外,尽量不要一个人进行带电维护。维护前应确认设备的电源开关,如发生意外,第一时间切断对应的电源开关。
1.机房工作人员应学习常规的用电安全操作和知识,了解机房内部的供电、用电设施的操作规程,注意节约用电。
2.机房工作人员应经常实习、掌握机房用电应急处理步骤、措施和要领;在真正接通设备电源之前必须先检查线路、接头是否安全连接以及设备是否已经就绪、人员是否已经具备安全保护。
3.机房管理人员必须定期安排有专业资质的人员检查供电、用电设备、设施;如发现用电安全隐患,应即时采取措施解决,不能解决的必须及时向相关负责人员提出解决。
4.机房不得乱拉乱接电线,应选用安全、有保证的供电、用电器材;严禁随意对设备断电、更改设备供电线路,严禁随意串接、并接、搭接各种供电线路。
5.机房工作人员对个人用电安全负责。外来人员需要用电的,必须得到机房管理人员允许,并使用安全和对机房设备影响最少的供电方式。
6.机房工作人员需要离开当前用电工作环境时,应检查并保证工作环境的用电安全。
7.最后离开机房的工作人员,应检查所有用电设备,应关闭长时间带电运作可能会产生严重后果的用电设备。
8.禁止在无人看管下在机房中使用高温、炽热、产生火花的用电设备。
9.在使用功率超过额定瓦数的用电设备前,必须得到上级主管批准,并在保证线路安全的基础上使用。
10.在外部供电系统停电时,机房工作人员应全力配合完成停电应急工作。