毕业设计（论文）的主要内容，研究思路与基本要求：

 本设计（论文）的选题来源于自主设计。

 研究的主要内容是原来的数据库系统中的日志分析系统越来越大，查询的速度变得越来越幔，并经常因为查询的数据量非常大而导致系统死机。于是针对这一问题我决定采用以下方法解决。

研究思路

（1）用FDFS对Hadoop进行部署

（2）将原有的关系型数据库系统的导入到Hadoop中

（3）对日志进行分析。

1. 具体工作内容：
1.学习课题相关理论知识；
2.进行必要的调研和查阅相关的资料，撰写毕业设计开题报告；
3.对毕业设计题目进行需求分析，撰写需求分析说明书和操作手册；对本系统进行系统设计，书写系统设计说明书；
4. 完成系统的设计：
5.  完成系统测试工作：
6. 撰写毕业设计说明书；
7. 翻译计算机相关的英文资料；

[1] Hadoop权威指南，清华大学出版社，Tom Wbite著

[2]  Hadoop实战(第2版)，机械工业出版社，陆嘉恒著

[3] Hadoop基础教程，人民邮电出版社，Garry Turkington著

[4]  Hadoop技术详解，人民邮电出版社，Eric Sammer 著

[5] Hadoop集群的部署与管理系统的设计与实现，王宾硕士论文

[6] 基于Hadoop的Web日志挖掘，程苗；陈华平，期刊

对毕业设计课题成果的要求 (包括毕业设计、图纸、实物样品等)：

加快对日志数据的查询与分析

可以较方便的编写处理大量日志文件的程序代码

该系统在日志的收集、存储和处理方面较之前的处理方案都有很大的改进

快速的提炼访问日志中每个IP地址的请求次数，获取其中请求频率较大的异常IP已有效甄别攻击源，进而解决洪范攻击提供重要的现实依据

hm论坛日志，数据分为两部分组成，原来是一个大文件，是56GB；以后每天生成一个文件，大约是150-200MB之间；
 1.提交完整的分析报告和相应的软件。
2.外文翻译资料。

3.毕业设计说明书

完成时须提交的最终结果：

毕业设计（论文）进度安排

序号

毕业设计（论文）工作任务

最迟完成日期

1

指导教师选题征集

2020年9月23日

2

毕业论文（设计）学生选题

2020年11月10日

3

毕业论文（设计）开题工作

2020年11月30日

4

毕业论文（设计）作品创作、论文写作

2021年3月14日

5

毕业论文（设计）评阅、答辩、检查工作

2021年4月11日前\5月11日

6

毕业论文（设计）材料存档

2021年4月30日前\5月30日