故障管理和故障处理流程规定
(暂行稿)
工程运维中心 二〇〇八年八月
目 录
第一章 目的……………………………………………………………………………………3 第二章 工程运维中心在95013业务维护管理中的职责……………………………………3 第三章 95013业务故障分类…………………………………………………………………3 第四章 故障处理的原则: ……………………………………………………………………4 第五章 故障处理时限要求。…………………………………………………………………4 第六章 故障管理和故障报告制度……………………………………………………………4 第七章 故障通报制度…………………………………………………………………………5 第八章 故障处理及报告流程图………………………………………………………………5 第九章 工程运维中心内部处理流程…………………………………………………………6 第十章 外部支持流程(研发、建设和其他厂家）…………………………………………6 第十一章 工程运维中心各部门及公司相关部门的责任……………………………………7 第十二章 故障的跟踪管理……………………………………………………………………7 附件一：95013业务重大/严重故障分析报告…………………………………………………9
第一章 目的
工程运维中心承担95013业务网络和平台日常维护工作，为规范故障管理 和故障处理的工作流程，使网络和平台故障能够得到正确及时地处理，保证 95013业务安全稳定的运行，特制定本规定。
第二章 工程运维中心在95013业务维护管理中的职责
a ）工程运维中心网管中心值班工程师和各分公司运维人员承担95013业务的日常运行监控和维护工作。
b ）工程运维中心运维组负责95013平台的故障处理；各地分公司运维人员负责现场支持，并负责协调当地运营商的运维支持。
c ）建立故障通报制度，如发生重大故障，应按照故障等级和故障上报流程逐级向上汇报。
d ）定期召开网络质量分析会，遇有重大故障，应及时召开故障分析会。
负责全公司运维人员的技术业务培训，提高运维人员的技术维护水平和工作能力。
第三章 95013业务故障分类
95013业务系统和网络故障分为重大故障、严重故障和一般故障。 1. 重大故障：全部业务中断 2. 严重故障包括：
一种以上业务全部中断≥60分钟 一省以上业务全部中断≥60分钟 用户注册、业务受理全部中断≥4个小时 3. 一般故障：除重大故障、严重故障以外的其它故障。
第四章故障处理的原则：
先抢通，后修复；先核心，后边缘；先本端，后对端；先网内，后网外， 分故障等级进行处理。
第五章故障处理时限要求。
1. 重大故障，故障处理时限≤2小时。 2. 严重故障，故障处理时限≤4小时。 3. 一般故障，故障处理时限≤24小时。
第六章故障管理和故障报告制度
a ） 发生故障时，各级运维人员应按照故障等级和时间，逐级上报。 当严重故障时间≥1小时，运维组人员应报告给工程运维中心。 当严重故障时间≥2小时，上报给公司主管副总。 当严重故障时间≥4小时，上报给公司总裁。
当网络和平台出现重大故障时，各级运维人员应在第一时间逐级上报。 b) 对于95013业务系统各级故障，若在规定故障处理时限内未能恢复，故障级别自动上升一级，故障处理人员应按新的故障等级进行处理。
c) 重大故障发生或其他故障升级为重大故障后，如果超过故障处理时限1小时仍未能解决，需升级到工程运维中心协调解决；如果工程运维中心2小时内仍无法解决，需由工程运维中心升级上报到公司管理层。
d ） 重大故障处理结束1个工作日内，工程运维中心运维组应填写故障报告并上报工程运维中心。
e) 重大故障处理结束后的2个工作日内，提交《95013业务重大/严重故障分析报告》。
第七章故障通报制度
1. 客服通报：当出现故障时，工程运维中心应立即通知客服，通报故障影响范围、故障处理可能需要的时间，以便客服对用户解释。故障解决业务恢复正常后，应及时通知客服部门。故障处理完以后，应向客服部门通报故障原因， 以及采取的措施。 2. 市场部和业务部门通报：工程运维中心根据故障的具体情况，向市场部或 其他业务部门通报。
第八章故障处理及报告流程图
总部运维组 研发技术支持 外部支持
第九章工程运维中心内部处理流程
1. 故障输入包括网管监控发现故障、客服收到用户投诉、各地运维上报、市场业务部门投诉和其他途径告知。
2. 运维组制定专门人员，受理来自于其他部门的故障申告。
3. 非值班人员发现故障后，请第一时间通知网管值班人员进行记录(录入事件管理平台）并可要求值班人员配合故障处理及测试；故障恢复后请告知运维值班人员故障原因及处理方法，值班人员进行观察，确定故障确已恢复。
4. 网管值班人员在发现故障或者接到故障通知后，需首先明确故障现象和影响范围，确定故障级别。值班人员在有能力处理故障情况下应首先自行处 理。在故障上报时限内处理完毕的故障应记录到值班日志里. （事件管理平台) 。
5. 当值班人员不能解决故障，且故障级别为一般故障，值班人员应记录到值班日志并把故障情况录入事件处理系统平台。转由总部运维组工程师处理。
6. 当故障级别在重大故障和严重故障，且值班人员不能解决或不能在上报时 间内解
决故障，需在上报时间内电话通知技术支持人员，并记录在值班日志和事件处理系统平台里。
7. 运维组人员如在上报时限内解决了故障，需在事件处理系统平台里关闭故障，并通知值班人员，值班人员把情况记录到值班日志（事件管理平台）。
8. 如运维组支持人员不能在上报时限里解决问题，须在上报时限内通知工程 运维中心负责人，并根据情况通知研发、建设部门或设备厂家相关人员，请求协助。
第十章外部支持流程（研发、建设和其他厂家）
1. 业务发展中心研发的接口。业务发展中心协调员是研发的故障处理接口人， 当运维人员处理故障需要研发支持时，应该通知研发设计部门的协调专员。 为提高效率，当遇到重大故障时，运维人员可以直接找相关研发人员寻求支持。 2. 对于重大故障，所有外部支持都需要立即响应，积极配合，不得推诿。
3. 故障处理人在故障处理完后需在事件处理系统平台里关闭故障，并通知值 班人员，值班人员把情况记录到值班日志（事件管理平台）。
第十一章 工程运维中心各部门及公司相关部门的责任
1. 工程运维中心的网管值班工程师负责网络日常监控，对于网管系统可以监 控的故障，网管中心必须在规定的故障发现时限内发现故障。运维组直接受理客服和其它途径报告的故障。网管中心值班工程师必须在规定时间对故障 进行响应和上报。 2. 运维组运维工程师负责处理网管值班工程师上报的故障，必须在规定时间对故障进行响应和上报。运维工程师遇到自身不能处理的故障时，在上报时限内通知外部支持，可能是研发、建设、第三方设备厂家或运营商机房的值班工程师。
3. 各地分公运维工程师负责本地平台的日常监控和维护，协助工程运维中心网管值班工程师或者运维组运维工程师处理故障，提供现场技术支持。
4. 业务发展中心技术支持人员负责处理自行开发设备的故障，在必要时也需要配合第三方设备厂家定位问题。业务中心的技术支持人员必须在规定时间对故障进行响应。 5. 任何部门都必须在规定的时间对故障响应，不得推诿。对于重大故障不及时响应，导致故障不能及时恢复的，上报公司领导，根据情节严重做相应处罚。 一般故障不能按规定时间响应的，上报工程运维中心。
第十二章故障的跟踪管理
1. 值班日志
值班日志用于记录特定时间内所有重要的网络事件，故障是其中最重要内容之一。网管值班人员需要在值班日志里详细记录故障及故障处理情况，以便接班人员能清楚情况，并方便以后査询。所有故障都需要录入值班日志。
2. 事件处理管理平台
事件处理管理平台主要用于故障的跟踪。故障的负责人要及时处理故障， 如果不能解决，则应该及时把故障转给更合适的人员。严重级别为重大故障和 严重故障的故障录入时需要抄送给工程运维中心负责人。当故障不能马上解决 且会造成用户使用不正常时，需要抄送给客服部门、和市场管理部。
原则上所有故障都应录入事件处理管理平台，以下故障不需要录入事件处理管理平台：
立即解决，并且原因清楚的故障， 重复出现，不需要再收集数据的故障
补充：本管理规定自发布之日起执行。
本管理规定解释权归总部工程运维中心。
附件一：95013业务重大7严重故障分析报告
说明：
故障编号：定义GZBJ 各地节点汉语拼音第一个字母）xxxx 年xx 月XX 日 如:GZBJ20061201
故障管理和故障处理流程规定
(暂行稿)
工程运维中心 二〇〇八年八月
目 录
第一章 目的……………………………………………………………………………………3 第二章 工程运维中心在95013业务维护管理中的职责……………………………………3 第三章 95013业务故障分类…………………………………………………………………3 第四章 故障处理的原则: ……………………………………………………………………4 第五章 故障处理时限要求。…………………………………………………………………4 第六章 故障管理和故障报告制度……………………………………………………………4 第七章 故障通报制度…………………………………………………………………………5 第八章 故障处理及报告流程图………………………………………………………………5 第九章 工程运维中心内部处理流程…………………………………………………………6 第十章 外部支持流程(研发、建设和其他厂家）…………………………………………6 第十一章 工程运维中心各部门及公司相关部门的责任……………………………………7 第十二章 故障的跟踪管理……………………………………………………………………7 附件一：95013业务重大/严重故障分析报告…………………………………………………9
第一章 目的
工程运维中心承担95013业务网络和平台日常维护工作，为规范故障管理 和故障处理的工作流程，使网络和平台故障能够得到正确及时地处理，保证 95013业务安全稳定的运行，特制定本规定。
第二章 工程运维中心在95013业务维护管理中的职责
a ）工程运维中心网管中心值班工程师和各分公司运维人员承担95013业务的日常运行监控和维护工作。
b ）工程运维中心运维组负责95013平台的故障处理；各地分公司运维人员负责现场支持，并负责协调当地运营商的运维支持。
c ）建立故障通报制度，如发生重大故障，应按照故障等级和故障上报流程逐级向上汇报。
d ）定期召开网络质量分析会，遇有重大故障，应及时召开故障分析会。
负责全公司运维人员的技术业务培训，提高运维人员的技术维护水平和工作能力。
第三章 95013业务故障分类
95013业务系统和网络故障分为重大故障、严重故障和一般故障。 1. 重大故障：全部业务中断 2. 严重故障包括：
一种以上业务全部中断≥60分钟 一省以上业务全部中断≥60分钟 用户注册、业务受理全部中断≥4个小时 3. 一般故障：除重大故障、严重故障以外的其它故障。
第四章故障处理的原则：
先抢通，后修复；先核心，后边缘；先本端，后对端；先网内，后网外， 分故障等级进行处理。
第五章故障处理时限要求。
1. 重大故障，故障处理时限≤2小时。 2. 严重故障，故障处理时限≤4小时。 3. 一般故障，故障处理时限≤24小时。
第六章故障管理和故障报告制度
a ） 发生故障时，各级运维人员应按照故障等级和时间，逐级上报。 当严重故障时间≥1小时，运维组人员应报告给工程运维中心。 当严重故障时间≥2小时，上报给公司主管副总。 当严重故障时间≥4小时，上报给公司总裁。
当网络和平台出现重大故障时，各级运维人员应在第一时间逐级上报。 b) 对于95013业务系统各级故障，若在规定故障处理时限内未能恢复，故障级别自动上升一级，故障处理人员应按新的故障等级进行处理。
c) 重大故障发生或其他故障升级为重大故障后，如果超过故障处理时限1小时仍未能解决，需升级到工程运维中心协调解决；如果工程运维中心2小时内仍无法解决，需由工程运维中心升级上报到公司管理层。
d ） 重大故障处理结束1个工作日内，工程运维中心运维组应填写故障报告并上报工程运维中心。
e) 重大故障处理结束后的2个工作日内，提交《95013业务重大/严重故障分析报告》。
第七章故障通报制度
1. 客服通报：当出现故障时，工程运维中心应立即通知客服，通报故障影响范围、故障处理可能需要的时间，以便客服对用户解释。故障解决业务恢复正常后，应及时通知客服部门。故障处理完以后，应向客服部门通报故障原因， 以及采取的措施。 2. 市场部和业务部门通报：工程运维中心根据故障的具体情况，向市场部或 其他业务部门通报。
第八章故障处理及报告流程图
总部运维组 研发技术支持 外部支持
第九章工程运维中心内部处理流程
1. 故障输入包括网管监控发现故障、客服收到用户投诉、各地运维上报、市场业务部门投诉和其他途径告知。
2. 运维组制定专门人员，受理来自于其他部门的故障申告。
3. 非值班人员发现故障后，请第一时间通知网管值班人员进行记录(录入事件管理平台）并可要求值班人员配合故障处理及测试；故障恢复后请告知运维值班人员故障原因及处理方法，值班人员进行观察，确定故障确已恢复。
4. 网管值班人员在发现故障或者接到故障通知后，需首先明确故障现象和影响范围，确定故障级别。值班人员在有能力处理故障情况下应首先自行处 理。在故障上报时限内处理完毕的故障应记录到值班日志里. （事件管理平台) 。
5. 当值班人员不能解决故障，且故障级别为一般故障，值班人员应记录到值班日志并把故障情况录入事件处理系统平台。转由总部运维组工程师处理。
6. 当故障级别在重大故障和严重故障，且值班人员不能解决或不能在上报时 间内解
决故障，需在上报时间内电话通知技术支持人员，并记录在值班日志和事件处理系统平台里。
7. 运维组人员如在上报时限内解决了故障，需在事件处理系统平台里关闭故障，并通知值班人员，值班人员把情况记录到值班日志（事件管理平台）。
8. 如运维组支持人员不能在上报时限里解决问题，须在上报时限内通知工程 运维中心负责人，并根据情况通知研发、建设部门或设备厂家相关人员，请求协助。
第十章外部支持流程（研发、建设和其他厂家）
1. 业务发展中心研发的接口。业务发展中心协调员是研发的故障处理接口人， 当运维人员处理故障需要研发支持时，应该通知研发设计部门的协调专员。 为提高效率，当遇到重大故障时，运维人员可以直接找相关研发人员寻求支持。 2. 对于重大故障，所有外部支持都需要立即响应，积极配合，不得推诿。
3. 故障处理人在故障处理完后需在事件处理系统平台里关闭故障，并通知值 班人员，值班人员把情况记录到值班日志（事件管理平台）。
第十一章 工程运维中心各部门及公司相关部门的责任
1. 工程运维中心的网管值班工程师负责网络日常监控，对于网管系统可以监 控的故障，网管中心必须在规定的故障发现时限内发现故障。运维组直接受理客服和其它途径报告的故障。网管中心值班工程师必须在规定时间对故障 进行响应和上报。 2. 运维组运维工程师负责处理网管值班工程师上报的故障，必须在规定时间对故障进行响应和上报。运维工程师遇到自身不能处理的故障时，在上报时限内通知外部支持，可能是研发、建设、第三方设备厂家或运营商机房的值班工程师。
3. 各地分公运维工程师负责本地平台的日常监控和维护，协助工程运维中心网管值班工程师或者运维组运维工程师处理故障，提供现场技术支持。
4. 业务发展中心技术支持人员负责处理自行开发设备的故障，在必要时也需要配合第三方设备厂家定位问题。业务中心的技术支持人员必须在规定时间对故障进行响应。 5. 任何部门都必须在规定的时间对故障响应，不得推诿。对于重大故障不及时响应，导致故障不能及时恢复的，上报公司领导，根据情节严重做相应处罚。 一般故障不能按规定时间响应的，上报工程运维中心。
第十二章故障的跟踪管理
1. 值班日志
值班日志用于记录特定时间内所有重要的网络事件，故障是其中最重要内容之一。网管值班人员需要在值班日志里详细记录故障及故障处理情况，以便接班人员能清楚情况，并方便以后査询。所有故障都需要录入值班日志。
2. 事件处理管理平台
事件处理管理平台主要用于故障的跟踪。故障的负责人要及时处理故障， 如果不能解决，则应该及时把故障转给更合适的人员。严重级别为重大故障和 严重故障的故障录入时需要抄送给工程运维中心负责人。当故障不能马上解决 且会造成用户使用不正常时，需要抄送给客服部门、和市场管理部。
原则上所有故障都应录入事件处理管理平台，以下故障不需要录入事件处理管理平台：
立即解决，并且原因清楚的故障， 重复出现，不需要再收集数据的故障
补充：本管理规定自发布之日起执行。
本管理规定解释权归总部工程运维中心。
附件一：95013业务重大7严重故障分析报告
说明：
故障编号：定义GZBJ 各地节点汉语拼音第一个字母）xxxx 年xx 月XX 日 如:GZBJ20061201