您的位置: turnitin查重官网> 计算机 >> 计算机硬件 >简析数据挖掘基于云计算BI处理技术设计

简析数据挖掘基于云计算BI处理技术设计

收藏本文 2024-04-21 点赞:6579 浏览:21790 作者:网友投稿原创标记本站原创

摘要:商业智能(BI)是多种技术相结合形成的解决案例,对于商业信息化起到了重要的作用。但是利用也起来有着它的局限性,包括:利用成本过高、硬件资源有限、安全保障性过低、利用风险过高等缺点,而且处理性能不能满足功能需求的不断扩展。由此,只有突破局限性才能更好的进展商业智能技术。本论文通过浅析云计算的特点,将云计算技术与BI处理技术相结合,尝试为解决局限性不足寻找一个突破口,构造出一个新的解决案例。首先选择Hadoop作为系统实现和实验的云计算平台,同时将传统的云计算架构进行改善,使得云计算框架完全面向怎么写作于BI结合进行改善,称Hadoop。与传统云计算两层结构相比,BIHadoop集群的搭建采取了四层结构,在最顶层利用反向写作技巧怎么写作器,第二层加入超级主节点。超级节点起到承上启下作用,既对下两层的节点实现直接制约,又可以承接上层通信怎么写作,完成运用怎么写作宏观调配、命名管理、怎么写作器端负载均衡、前端负载均衡、风险制约管理和运转维护检测活动等功能。具体结构为:第一层写作技巧层;第二层是制约节点层,由一个超级主节点(主制约节点)构成;第三层是名字节点层,跟传统云计算架构中的第一层类似;第四层是由许多虚拟机组成的超级数据节点层。与传统Hadoop集群仅有一个名字节点相比,本集群中拥有多个名字节点,系统的综合性能也有着全方面的提升。整体架构中的前两层的节点皆可归类为制约节点,每层在文件系统中都有统一的管理协议,同时管理着本层中的特殊格式元数据和下一层的节点之间的映射。接下来对BI系统结构进行适应Hadoop平台的改善。首先提出了BI系统中最重要的数据挖掘模块面向Hadoop平台的改善模型,由于传统的数据挖掘系统结构是面向单任务处理的串行结构,而云计算平台采取并发处理方式,由此在数据处理能力和安全性方面有着瓶颈。在此我们构建出面向Hadoop平台的数据挖掘云模型,对数据挖掘模型进行改善,共有HDFS数据管理、算法管理和资源监控三大模块。核心模块算法管理是各种基于MapReduce算法集成的工具箱(数据挖掘中间件),以更好的适应云计算平台的并行计算和MapReduce编程方式,同时使得数据挖掘架构与云计算技术结合起来更安全和稳定。然后是对BI的系统结构进行改善,根据功能需要将系统结构模块化,总共化分为8个主要功能模块,改善后的架构为云计算的加入提供了接口,可以获得更好的扩展性和可维护性。使得云计算技术的加入后形成一个内部功能强大、结构科学的完整系统结构。云计算处理BI技术的解决案例生成后进行了系统实现,并且利用数据挖掘算法对数据的处理来进行性能测试。测试的指标主要是负载均衡特性、存储能力、所需成本、扩展性能、安全性能和计算能力,以上指标均达到了较好的水平。关键词:云计算论文Hadoop论文BI论文负载均衡论文数据挖掘论文

    摘要4-6

    Abstract6-12

    第一章 绪论12-19

    1.1 课题探讨的目的和作用12

    1.2 云计算概述12-16

    1.2.1 云计算的进展与前景13

    1.2.2 云计算的特点13-14

    1.2.3 云计算的基础架构14-15

    1.2.4 云计算关键技术15-16

    1.3 BI 概述16-17

    1.3.1 BI 的进展与前景16-17

    1.4 在云中部署 BI 探讨浅析17-18

    1.4.1 BI 与云计算结合的优势17

    1.4.2 BI 与云计算结合的风险17-18

    1.5 本论文的主要工作和组织结构18-19

    第二章 改善的 HADOOP 框架19-33

    2.1 Hadoop 框架的选择理由和特点19-20

    2.1.1 Hadoop 的选择理由19

    2.1.2 Hadoop 的特点19-20

    2.2 Hadoop 框架瓶颈与适应性浅析20-21

    2.2.1 Hadoop 框架瓶颈20-21

    2.2.2 Hadoop 运用于 BI 的适应性浅析21

    2.3 Hadoop 框架案例设计21-25

    2.3.1 MapReduce 编程模型21-24

    2.3.2 HDFS 分布式文件系统24

    2.3.3 Hadoop 集群硬件要求和结构设计24-25

    2.4 面向 BI 的Hadoop 框架改善------BIHadoop25-28

    2.4.1 BIHadoop 集群结构设计25-27

    2.4.2 BIHadoop 的数据流程27-28

    2.5 怎么写作器端负载均衡在 BIHadoop 中部署28-30

    2.5.1 反向写作技巧方式28-29

    2.5.2 反向写作技巧方式与动态负载均衡结合利用29-30

    2.6 BIHadoop 与传统 Hadoop 框架比较浅析30-32

    2.7 本章小结32-33

    第三章 基于云计算的 BI 框架33-47

    3.1 商业智能的基本原理33

    3.2 商业智能的相关技术33-36

    3.2.1 商业智能的数据仓库技术33-34

    3.2.2 商业智能的联机浅析处理(OLAP)技术34-35

    3.2.3 商业智能的数据挖掘技术35-36

    3.3 面向云计算的数据挖掘改善模型36-38

    3.3.1 传统数据挖掘系统构成36-37

    3.3.2 数据挖掘改善模型------数据挖掘云模型37-38

    3.3.3 数据挖掘云与传统模型的比较浅析38

    3.4 面向云计算的 BI 框架适应性改善38-41

    3.4.1 传统的 BI 系统架构39-40

    3.4.2 面向云计算的 BI 架构改善40-41

    3.5 基于云计算技术的商业智能平台架构41-42

    3.5.1 云计算产品选型41

    3.5.2 改善的 BI 架构与 Hadoop 相结合41-42

    3.6 Hadoop 实现商业智能平台的数据仓库42-43

    3.6.1 Hive 的主要构成42-43

    3.6.2 Hive 的安装利用43

    3.7 Hadoop 实现商业智能平台的数据挖掘43-45

    3.7.1 基于 Hadoop 的数据挖掘43-44

    3.7.2 Hadoop 与数据挖掘改善模型结合44

    3.7.3 基于 Mahout 的数据挖掘算法44-45

    3.8 本章小结45-47

    第四章 实验与结果浅析47-58

    4.1 基于云计算的商业智能平台搭建实现47-50

    4.1.1 云计算仿真器 CloudSim47-48

    4.1.2 配置云计算环境48-49

    4.1.3 系统执行历程49-50

    4.2 系统实验与效果浅析50-57

    4.2.1 BIHadoop 平台的负载均衡测试50-51

    4.2.2 “云+BI”系统和传统 BI 的比较实验51-53

    4.2.3 面向云计算改善 BI 框架比较实验53-54

    4.2.4 “云+BI”系统加速比性能实验54-55

    4.2.5 “云+BI”平台扩展性实验55

    4.2.6 “云+BI”系统与传统 BI 框架比较55-57

    4.3 本章小结57-58

    第五章 总结与展望58-60

    5.1 本论文总结58-59

    5.2 展望59-60

copyright 2003-2024 Copyright©2020 Powered by 网络信息技术有限公司 备案号: 粤2017400971号