基于OpenStack的在线故障知识库的构建研究

第五章：实验部分

第三章：技术工具介绍

参考左上角的问题导出描述。调研日志挖掘、故障特征提取、网络爬虫相关的论文工作

Step1

平台运维人员

第六章：未完成的工作以及展望

大致时间区间段

RCA关联分析结果

第二章：问题导出及相关研究

Case Study

故障分类/特征提取

完善框架、完善故障特征提取和分类算法、完善QA知识库

Technology Roadmap

运维工程师根据用户报告的 到日志库的后台查看实时的日志分析看板，通过发现某一个时间段的日志监控记录，过滤出所有的故障日志。

获取、聚合日志信息

在Step2中将会得到问题聚焦可能得到的故障日志信息，对故障日志信息进行进一步做关键字提取，然后到构建好的QA故障库中进行检索，查找相关的QA帮助信息。

云计算机技术的普及情况调研报告、云计算本身的技术复杂性阐述、故障诊断的困难原因描述、云平台服务的特点（高可用、服务的可持续性）、故障诊断与大数据搜索与挖掘、人工智能的技术的应用结合的调研报告。

日志收集器(LogStash)

论文中故障特征提取的分类算法介绍、关键字分词算法研究介绍、故障日志关联算法的研究

ElasticSearch

云平台的上层用户在某一时刻进行创建虚拟机的工作，发现创建过程失败，然而在UI界面上用户看到的提醒信息并不清晰明了，无法判断到底什么地方出错了，联系到运维工程师解决问题：告诉运维工程师错误发生的场景、错误提示信息。

云平台用户

日志库

实时日志看板Kibana

Paper Main Work

Step3

第一章：背景介绍

实现左边的技术路线的框架，产出一个在线可用的技术方案，能够验证第二章提出来的问题。（1）构建好OpenStack环境（2）构建好左边技术路线的技术框架（3）利用故障注入工具注入故障（4）验证RCA过程

Time Table

第四章：大数据日志挖搜索与挖掘的相关算法理论研究

运维工程师发现了相关时间段的日志，根据用户提供的场景信息，以及用户错误提示信息进行关键字提取、分词处理，得到具体 的搜索关键字。然后对Step1中的日志信息进行故障日志的聚焦。

获取社区OpenStack故障QA信息

论文中用到的技术工具介绍：ELK /EFKStack的介绍、爬虫技术的介绍。

网络爬虫

Step2

解决办法

3月20号-4月9号：完成ELK环境的安装搭建工作（以Nginx或者OpenStack日志分析为例）4月9号-4月16日：完成网络爬虫以及以及OpenStack故障QA知识信息库的挖掘功能4月16日-5月30日:研究ELK在OpenStack日志中的故障特征提取、分类、分词算法的研究工作a.构建QA语料库，并且训练“句子相似度模型” 5.8 - 5.14号b.研究并实现如何评估模型并可视化 5.14号-5.16号c.将算法集成到Elastic垂直搜索的项目中 5.16号-5.26号d.完善论文部分5月30日-6月份：完成论文的撰写工作

故障QA知识库

OpenStack故障日志挖掘分析及知识库的构建技术研究

问题的引出

故障特征（时间序列、故障属性）