您的位置: turnitin查重官网> 工程 >> 电气工程 >> 电气工程及自动化 >数据采集基于Agent企业信用数据采集系统和运用流程

数据采集基于Agent企业信用数据采集系统和运用流程

收藏本文 2024-01-14 点赞:12762 浏览:49202 作者:网友投稿原创标记本站原创

摘要:随着政务电子化,机关单位“大部门”的实际需要,本论文通过探讨带有规则引擎组件的Agent采集系统,较好地解决“信息孤岛”不足,以而有效地实现数据共享。本论文通过比较多种数据采集方式,针对企业信用信息采集系统,采取了基于Agent的数据采集策略。同时利用数据增量备份和通过数据映射转化异构数据格式的策略,解决数据传输的不足。采集系统集成规则引擎组件,建立Agent的智能规则库,使源数据库的数据变更,同规则库中规则比对后定义采集工程,实现基于规则的数据采集传输。系统通过Agent的通信,协调各个Agent的工作,达到有效地实现数据获取、转换和存储的目的。Agent之间以C/S方式工作,以建立一个安全的通信连接。对于异构数据库,系统根据预先设计的规则,对提取的数据进行转换,使数据统一格式,再以标准XML文档形式传输到怎么写作器端。怎么写作器端Agent以XML文档剖析数据,进行对象识别后,将数据存储到怎么写作器数据库中。本论文设计并实现了基于Agent的数据采集系统,通过采集企业信用信息、采集系统数据库中的数据,进行了验证实验。系统运转结果表明,本论文设计的数据采集系统稳定,全面减轻了数据采集的复杂度、操作灵活、可扩展性好。关键词:数据采集论文Agent论文规则引擎论文可扩展标记语言论文

    摘要3-4

    Abstract4-7

    第一章 绪论7-13

    1.1 探讨作用和探讨背景7-8

    1.2 国内外探讨近况8-10

    1.2.1 数据采集探讨近况8-9

    1.2.2 Agent技术探讨近况9-10

    1.3 探讨内容和工作10-11

    1.4 论文结构11

    1.5 本章小结11-13

    第二章 数据采集和Agent相关论述13-23

    2.1 数据采集13-14

    2.2 Agent技术14-16

    2.2.1 Agent特点14

    2.2.2 Agent的系统结构14-15

    2.2.3 多Agent系统15-16

    2.3 规则引擎结构模型16-17

    2.4 OLEDB技术17-18

    2.5 XML技术18-19

    2.6 数据增量备份技术19-22

    2.7 本章小结22-23

    第三章 数据采集系统模型浅析与设计23-45

    3.1 企业信用信息采集系统结构23-24

    3.2 数据采集的工作流程24-25

    3.3 基于Agent的数据采集模型25-26

    3.4 采集模型的模块功能定义26-29

    3.5 Agent设计29-31

    3.5.1 Agent系统模型的建立29-30

    3.5.2 管理Agent30

    3.5.3 怎么写作器端数据采集Agent30-31

    3.5.4 客户端数据采集Agent31

    3.6 规则引擎设计31-33

    3.7 Agent通信的设计33-38

    3.7.1 Agent的通信方式33-36

    3.7.2 Agent通信协议36-37

    3.7.3 Socket通信模型37-38

    3.8 数据传输模块设计38-43

    3.8.1 数据完整性设计39

    3.8.2 数据有效性校验设计39-40

    3.8.3 数据传输模块设计40-43

    3.8.4 数据备份设计43

    3.9 本章小结43-45

    第四章 基于Agent的数据采集系统的实现45-59

    4.1 采集工程的定义45

    4.2 Agent的实现45-48

    4.2.1 怎么写作器管理Agent的实现45-47

    4.2.2 数据采集Agent的实现47-48

    4.3 Agent的通信48-49

    4.4 规则引擎API49

    4.5 数据库连接49-52

    4.7 数据增量备份52-54

    4.8 数据映射及数据装载54-56

    4.8.1 客户端数据库到XML文件的映射54-55

    4.8.2 XML文件到怎么写作器数据库映射55-56

    4.9 本章小结56-59

    第五章 数据采集系统运用及测试59-69

    5.1 系统开发平台59

    5.2 系统测试案例59-67

    5.2.1 测试环境60

    5.2.2 测试案例60-62

    5.2.3 性能测试62-63

    5.2.4 系统测试结果及浅析63-67

    5.3 本章总结67-69

    第六章 总结与展望69-71

    6.1 论文总结69

    6.2 进一步展望69-71

    致谢71-73

copyright 2003-2024 Copyright©2020 Powered by 网络信息技术有限公司 备案号: 粤2017400971号