您的位置: turnitin查重官网> 图书馆 >> 博物馆学 >简析面向大数据时代图书馆知识作

简析面向大数据时代图书馆知识作

收藏本文 2024-03-24 点赞:6408 浏览:22377 作者:网友投稿原创标记本站原创

〔摘要〕本文简述了大数据的基本概念、特点、处理流程和处理模式,探讨了在大数据时代,图书馆将在数据集成、数据分析和数据隐私理由等方面面对着巨大的挑战与考验,最后,提出了大数据时代图书馆如何利用大数据技术在知识怎么写作方面进行创新,从而提高图书馆的核心竞争力,以应对未来可能面对的存活危机。
〔关键词〕大数据;知识怎么写作;个性化
DOI:10.3969/j.issn.1008-082

1.2013.10.007

〔〕A〔文章编号〕1008-0821(2013)10-0033-05
随着云计算、物联网等技术的兴起,以及博客、微博、社交网络和基于位置的怎么写作LBS(location based service)等新型信息发布方式的不断涌现,再有极其微小带有处理功能的传感器广泛布置于社会的各个角落,监控整个社会的运转,新数据源源不断的从这些设备自动的产生,今天数据的增长速度前所未有,随着数据的迅速增长和累积,大数据时代已经来到,社会各界都已经开始密切关注大数据理由,并对其产生浓厚的兴趣。如:学术界,早在2008年《Nature》就推出了Big Data专刊[1];IT业界,全球知名的咨询公司麦肯锡(McKinsey)2011年6月份发布了一份关于大数据的详尽报告“Big data:The next frontier for innovation,competition,and productivity”[2],对大数据的相关理由进行了详尽的分析。进入2012年,人们对大数据的关注更是与日俱增。2012年3月份美国奥巴马政府发布了“大数据研究和发展倡议”[3](Big data research and development initiative),正式启动“大数据发展计划”。计划利用大数据技术在科学研究、环境、生物医学等领域进行突破。2012年5月联合国一个名为“Global Pulse”的倡议项目也发布报告[4],对大数据的应用进行初步的解读,并阐述各国特别是发展中国家在大数据时代面对数据洪流(data deluge)时所遇到的机遇与挑战。同时,媒体也发文宣传介绍大数据,如《纽约时报》的文章“The age of big data”[5],使普通民众开始意识到大数据的存在及可能产生的影响。
1大数据

1.1大数据的基本概念和特征

大数据的概念本身比较抽象,目前尚未有一个公认的定义,维基百科的定义则简单明了[6]:大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。在大数据的定义理由上,一般从对大数据特征的阐述和归纳上给出定义,如认为大数据有4个特点的4V定义[7-9]:(1)从体量(Volume)上,数据规模庞大;(2)从类型(Variety)上,模态繁多,结构化、半结构化、非结构化三者融合,并且半结构化和非结构化数据所占份额越来越大而且在相当长的时期内非结构化数据会占据大数据的主体;(3)从时速(Velocity)上,生成快速,其主要特征是数据的快速和实时化;(4)从价值(Value)上,价值巨大但密度很低,大数据的价值往往呈现出稀疏性的特点。
大数据除上述4V定义阐述和归纳的特征外,还应具有如下特征:首先在数据模式(schema)和数据的关系上,不同于传统的数据库都是先有模式,然后才产生数据,而是先有数据而后才能确定模式,且模式随着数据量的增长处于不断的演变之中;再者在处理对象上,对大数据我们需要从根本上转变思维,大数据不仅是数据处理的对象,更是一种基础资源,我们可用数据这种基础资源来协同解决其他诸多领域的理由。图灵奖获得者、著名数据库专家Jim Gray博士提出了一种新的被他自己称之面向大数据时代的图书馆知识怎么写作相关范文由写论文的好帮手www.udooo.com提供,转载请保留.为“第4种范式”(The Fourth Paradigm)的数据探索型科学研究方式[10],第4种范式的实质就是数据思维,从以计算为中心转变到以数据处理为中心,采用第4种范式来作指导的典型的科学研究领域,如:计算社会科学(computational social science)[11]。

1.2大数据的处理流程和处理模式

数据收集的根本目的是根据需求从数据中提取有用的知识,并将其应用到具体的领域之中,大数据的出现必将颠覆传统的数据管理方式。大数据的数据来源广泛、应用需求和数据类型都不尽相同,但是最基本的处理流程是一致的。整个大数据的处理流程可以定义为在合适工具的辅助下,首先对广泛异构的数据源进行抽取和集成,按照一定的标准将结果统一存储,然后利用合适的数据分析技术对存储的数据进行分析,从中提取有益的知识,最后将结果以恰当的方式展现给终端用户。具体来说可以分为数据抽取与集成、数据分析以及数据解释[12]。
主要处理模式可以分为流处理(stream processing)和批处理(batch processing)两种[13-14]。批处理是先存储后处理(store—then—process),而流处理则是直接处理 (straight—through processing)。流处理的基本理念是数据的价值会随着时间的流逝而不断减少,因此尽可能快地对最新的数据作出分析并给出结果是所有流数据处理模式的共同目标。
2013年10月1第33卷第10期1现?代?情?报1Journal of Modern Information1Oct.,20131Vol.33No.102013年10月1第33卷第10期1面向大数据时代的图书馆知识怎么写作1Oct.,20131Vol.33No.102大数据时代数字图书馆的数据处理面对的新挑战
大数据技术是一项颠覆性的技术,为数字图书馆提供一种技术解决方案,大数据技术有助于海量数据的网络应用,并释放复杂数据中的智能。但由于大数据时代,数据模式(schema)和数据的关系不同于传统的数据库时代,是先有数据而后才确定数据模式,且数据模式有可能随数据的不断增长而处于不断的变化中,以及数据的广泛分布、多源异构、动态变化、规模宏大等等大数据时代的数据特点,使得大数据时代数字图书馆的数据管理面对着许多新的挑战,主要从下面几个方面进行详细分析。

2.1大数据时代的数据集成

大数据时代,数据的广泛异构性相较于传统的数据的异构性出现了新的变化,主要体现在下面几个方面:第一,数据类型多样性方面,传统数据库时代的数据多样性的种类较少,往往仅有少数的几种,且以结构化的数据为主,但大数据时代的数据种类繁多,包含着结构化、半结构化以及非结构化的数据,并且半结构化和非结构化数据所占份额越来越大;第二,数据产生方式的多样性带来的数据源的多样性变化,传统的数据主要产生于各运营式系统中位置相对固定的怎么写作器或者是个人电脑等设备,随着便携式移动终端的快速发展以及感知式系统的广泛使用,如智能手机、GPS以及极其微小带有处理功能的传感器等,这些设备广泛地布置于社会的各个角落,监控整个社会的运转,并源源不断的产生新数据,使人类社会的数据量发生大的飞跃导致了大数据的产生,产生于这些设备的数据带有很明显的时空特性;第三,由数据存储方式的变化引起的集成过程中的数据转换,传统数据主要存储在关系数据库中,大数据时代,为满足大数据的存储需求,实现海量数据的高效存储,数据多存储于采用非关系模型的NoSQL(not only SQL)数据库以及分布式文件系统如Google的GFS、Facebook的Haystack、Hadoop的HDFS中,因此,集成过程中的数据转换过程非常复杂且难以管理。
大数据时代,数据规模大,同时信息垃圾泛滥,因此,在数据集成时,为了不让过多的无用数据干扰后续的数据分析过程,必须进行数据清洗,但在数据清洗时,在进行谨慎和仔细地考量的基础上,权衡质与量,对数据清洗的粒度做出合适的选择,如果信息清洗的粒度过细,很容易将混杂在庞大数据量中的相对细微的有用信息过滤掉,清洗粒度过粗又无法达到真正的清洗效果。

2.2大数据时代的数据分析(analytics)

传统的在实践中行之有效的数据分析技术,如数据挖掘、自动分类、聚类、关联分析等策略,是从以结构化为主、静态的、数量相对较少的数据中提炼更深层次的知识的分析技术,随着半结构化和非结构化的数据量迅猛增长,逐渐成为大数据的主流,传统的分析技术在处理以半结构化和非结构化为主、动态的、规模宠大的大数据时,遇到了巨大的冲击和挑战,主要体现在下面几个方面。
(1)在数据处理的实时性方面,缺乏通用的大数据实时处理框架。大数据时代,动态变化的数据中所蕴含的知识价值随着时间的流逝往往也在衰减,因此,大数据时代在很多领域要实现对于数据的实时处理,在很多应用场景数据分析要从离线(offline)转向在线(online),数据处理模式的选择及改善是大数据时代数据实时处理面对的主要挑战。在流处理、批处理以及二者的融合3种实时处理的模式选择中,人们进行了很多研究,也已有了一些研究成果,但各种工具实现实时处理的策略不一,支持的应用类型都相对有限,至今仍未有一个通用的大数据实时处理框架,这样在实际应用中就要求人们有能力根据自己的业务需求和具体的应用场景改造现有的这些技术和工具,才能满足自己的要求。
(2)设计结构简单、高效和适应动态变化环境的索引方案。索引能够加速查询速率,但在设计大数据的索引时,由于其数据模式可能随着数据量的不断变化而处于不断的变化之中,因此索引的结构要简单、高效且能够进行不断的调整以适应数据模式的变化,目前一些在采用非关系模型的NoSQL数据库上构建的索引方案,其基本都是适用于数据模式不太会发生变化特定的应用场景。
(3)缺乏先验知识。传统对结构化数据展开的数据分析,由于以关系模型存储的结构化数据中隐含了这些数据的一些先验知识,如其内部关系等,这样在数据分析之前我们就已经对数据有了一定的理解,但在对以半结构化、非结构化数据为主的大数据进行数据分析时,就难以构建出其内部的正式关系,再者对大数据进行实时处理时,随着源源不断的数据流的到来,很难有足够的时间去建立先验知识。

2.3大数据时代的数据隐私理由

数据隐私理由由来已久,但大数据时代的数据隐私理由更加严峻,大数据时代的隐私保护主要面对下面几方面的挑战。
(1)解决好隐性的数据暴露理由,现在人们都已具有隐私保护意识,在很多情况下都有意识地隐藏自己的行为,但由于在大数据时代,人们在不同的时间、地点和场景的一切活动都将产生很多各种类型的数据足迹,用户在某个具体场景的单一信息可能不会暴露自己的隐私,但如果用大数据技术能将某个人在各种场景的这些数据足迹累积和关联起来聚集在一起,就能收集到足够多的有关他的,这样他的隐私就很可能会暴露,并且个人往往无法预知和制约这种隐性的数据暴露。
(2)平衡数据公开与隐私保护的矛盾,如果片面地追求隐私保护而将所有的数据都加以隐藏,在大数据时代,数据这种基础资源就会被浪费,其巨大价值根本无法体现,从有效利用数据这种基础资源的角度出发,非常有必要进行数据公开。政府可从公开的数据中收集、整理和分析这些数据足迹(data print),以便进行社会解释,了解和监控整个社会的运转情况,预测、规划整个国民经济社会的运转的过程,更好地指导社会的运转。企业从对这些数据足迹的分析和挖掘中,不仅可以了解掌握客户的行为喜好开发出有针对性的产品和怎么写作,而且还可以寻找潜在的目标用户进行精准的广告投放等,这样客户获得了更满意的产品和怎么写作,企业利益也获得最大化。因此,在大数据时代的隐私保护是指在不暴露用户敏感信息的前提下对数据进行有效的挖掘,由于数据信息量和隐私之间是矛盾的,目前还没有非常好的解决办法,近年来有很多学者致力于这方面的研究,尝试在尽可能少损失数据信息的同时最大化地隐藏用户隐私。提出了一些解决大数据中隐私保护理由的研究方向,如文献[15-16]提到的保护隐私的数据挖掘和新的差分隐私(differential privacy)策略,但是离实际应用还有很远距离。
3图书馆利用大数据在面向大数据时代的图书馆知识怎么写作由提供海量免费论文范文的www.udooo.com,希望对您的论文写作有帮助.知识怎么写作方面的创新随着大数据技术的不断进步及用户要求的不断提高,将进一步推动着图书馆的知识怎么写作的方式、途径、模式等发生颠覆性的变化,尤其是高校图书馆,更应抓住机遇充分利用大数据技术为读者提供具有更加鲜明的个性化、学科化、泛在化的知识怎么写作,从而提高图书馆的核心竟争力,以应对图书馆未来可能面对的存活危机。

3.1图书馆知识怎么写作的学科化、专业化

3.

1.1构建学校的重点及重点建设的学科领域的领域知识库

利用大数据技术提升图书馆知识怎么写作的学科化、专业化水平,发挥图书馆员在信息收集整理和分析加工中的优势,对学校的重点及重点建设的学科领域的各种类型和面向大数据时代的图书馆知识怎么写作由提供海量免费论文范文的www.udooo.com,希望对您的论文写作有帮助.各种数据源的资料信息如论文、专利、科情动态、研究报告、甚至网络中相关学科领域的专家学者的博客、论坛等一搜到底并进行分析和挖掘,在和学科领域的专家的结合下,构建学校的重点及重点建设的学科领域的领域知识库,主要包括专业领域的基本概念、概念之间的相互关系以及概念的约束条件,该专业领域研究内容、研究分支、研究趋势,甚至领先的研究机构分布及该领域著名专家学者等。目前领域知识库构建常用的技术是基于语义的领域知识库的构建,如基于本体的领域知识库构建,基于本体构建领域知识库最重要的就是确定领域知识内的概念及概念间的关系,并以本体的形式表示出来,以便于检索。
3.

1.2构建结构化学科怎么写作模式,满足多层次用户的需求

根据用户层次以及用户对学科怎么写作水平需求的高低,设计学科怎么写作内容结构,将学科怎么写作内容划分不同的层级,大致包括基础文献怎么写作、学科概貌了解、学科分支梳理、热点前沿探索、趋势分析创新点挖掘等。依据结构化学科怎么写作模式在现实怎么写作中,不同的知识怎么写作层次对应的用户不同,怎么写作方式与内容也不相同,结合用户类型和怎么写作内容,采取不同策略,开展不同层次的学科怎么写作,解决学科怎么写作使用统一模式带来的低效益理由。如对低年级的在校本科生,需求层次主要是前三层,是较常规的学科怎么写作,怎么写作方式主要可以是数据库使用培训、数据检索等,再者如对学校的重点科研团队和学科带头人的学科怎么写作,对学科知识怎么写作的需求基本是最高层次需求,需提供如本文3.2.1小节和3.2.2小节所述的个性化知识怎么写作,从而辅助教师预测学科的研究趋势,发现某一新的研究方向,从而进行科研选题决策等。

3.2个性化的知识怎么写作

利用大数据技术进一步推进图书馆知识怎么写作的个性化、泛在化,融入学校的教学和科研活动,辅助科研群体进行决策,重塑图书馆在教职工心目中的存在价值,增强图书馆对读者的粘着性,防止用户流失。
3.

2.1提供个性化的数据分析怎么写作

图书馆工作人员利用引文分析法、聚类分析法、专利技术分析法等知识发现策略,按需为读者提供针对某一具体的研究领域或研究理由数据分析怎么写作,从而辅助教师预测学科的研究趋势,发现某一新的研究方向,从而进行科研选题决策等。
(1)图书馆员通过“科学引文索引”(SCI)、“期刊引用报告”(JCR)和中国引文数据库等引文分析工具,查得引文数据再利用引文分析法,分析科学的发展脉络,通过文献的引用与被引用关系还可以发现某一研究方向的发展脉络,预测研究趋势。
(2)图书馆员广泛收集某学科领域的各种类型和各种数据源的资料信息,利用一些聚类分析软件,使用聚类分析法通过对这些资料信息的研究,把该领域的研究方向做一个完整归纳的,并将研究方向加以分类,使该领域的研究人员从一个宏观的角度,全面考察整个研究领域,从而对自己所从事的科研工作有一个更加广泛的了解,发现与自己的研究课题相关的其他研究分支,从广度上推动自己的科研工作,还可以帮助科研人员发现文献之间的关系中所隐含的一些重要的研究方向,从而发现新的不同的研究方向,对于辅助科研人员科研方向的选定有着重要的参考价值,尤其是在选题之初。
(3)利用专利技术分析从技术层面了解某一领域的专利技术分布情况和发展趋势,以确立技术开发的方向,从而为科研工作提供技术和策略上的帮助,另外也能避开做重复而无作用的研究,然而由于专利分析的工作量非常大,如果由科研人员直接承担,将占用其大量的宝贵科研时间,是一种浪费。图书馆为教师提供专利分析怎么写作,按需从专利文献出发、利用专利分析工具和软件、采用专业的专利分析策略为相关的不同专业作出有价值的专利分析报告,也是对科研工作的贡献。
3.

2.2提供科技要闻简报、专报写作等个性化推荐怎么写作

利用大数据技术整合各领域、各学科尤其是学校的重点及重点建设的学科的科研人员关注的信息资源,为科技工作者和学术机构提供个性化推荐,及每周或每日科技要闻简报、科技要闻专报写作等个性化怎么写作。
3.

2.3建立互动平台

建立教学科研人员学术互动和学生的学习互动平台,使读者能够在线发表学术观点,交流创新思想,进行信息共享、发布,实现快捷高效的协同创新的学习和工作环境。

3.3开展基于社交网络的图书馆怎么写作

互联网是一个能够相互交流,相互沟通,相互参与的互动平台,社交网络使得互联网从研究部门、学校、政府、商业应用平台扩展成一个人类社会交流的工具,涵盖以人类社交为核心的所有网络怎么写作形式,在人们的生活中扮演着重要的角色,它已成为人们生活的一部分,并对人们的信息获得、深思和生活产生不可低估的影响。图书馆在遵循嵌入式延伸式怎么写作的原则下,应充分利用Face-book、人人网等社交网络平台开展多种怎么写作,通过这一平台图书馆在更好地为读者怎么写作的同时,也最大程度地实现了自身的社会价值。

3.1在Face-book、人人网等社交网络平台上建立图书馆专页

图书馆根据自身实际情况,在Face-book、人人网等平台上建立图书馆专页,将本馆的各种功能以专页的形式展现给用户,使用户在使用社交网络的同时发现图书馆,并从中找到图书馆提供的怎么写作。如在Face-book上,以专页形式存在的具体怎么写作形式主要有墙、图书馆活动、图书馆图片和影视展等形式,在人人网上,以专页形式存在的具体怎么写作形式是人人网上的公共主页。Face-bookk中的墙相当于用户专页上的留言板,图书馆根据自身需要在Face-book中“墙”上或人人网中的新鲜事、留言上发布图书馆的公告或者提供怎么写作,Face-book、人人网的用户通过图书馆的“墙”、新鲜事、留言等了解到图书馆提供的怎么写作,进而对其留言进行转载、评论、分享。同时图书馆可以让读者发现并提出怎么写作或管理中存在的理由或对图书馆提供的某一项新型怎么写作进行调研,找出理由,加以改善,力求为解决理由在图书馆与读者之间提供交流互动的平台。面向大数据时代的图书馆知识怎么写作论文资料由论文网{#GetFullDomain}提供,转载请保留地址.[15]Agrawal R,Srikant R.Privacy preserving data mining[C]∥Proc of SIGMOD 2000.New York:ACM,2000:439-450.
[16]Dwork C.Differential privacy[C]∥Proc of ICALP 200

6.Berlin:Springer,2006:1-12.

(本文责任编辑:孙国雷)
(上接第32页)
[4]Ritchie B,Brindley C.An emergent framework for supply chain risk management and performance measurement[J].The Journal of the OperationalResearch Society:Risk Based Methods for Supply chain Planning and Management,2007,58(11):1398-1411.
[5]何勇,赵林度,何炬,等.供应链协同创新管理模式研究[J].管理科学,2007,5(20):9-13.
[6]张旭梅,张巍,钟和平,等.供应链企业间的协同创新及其实施策略研究[J].现代管理科学,2008,(5):9-12.
[7]张巍,张旭梅.纵向溢出效应供应链企业间的协同创新研究[J].商业研究,2009,(384):42-46.
[8]张巍,张旭梅.供应链企业间的协同创新及收益分配研究[J].研究与发展管理,2008,4(20):81-88.
[9]Nancy C.Shaw,Mary J.M.,Francis D.T.A Case Study of Integrating Knowledge Management into the Supply Chain Management Process.Proceedings of the 36th Hawaii International Conference on System Sciences[C].Hawaii,2003.
[10]Kwok Kee Wei,Weiling Ke.Factors affecting trading partners knowledge sharing:Using the lens of transaction cost economics and socio-political theories[J].Electronic Commerce Research and Applications,2007,(6):297-308.
[11]Daniel Perry,Jiju Antony Chengbo Wang,Craig Fergusson.A conceptual case-based model for knowledge sharing among supply chain members[J].Business Process Management Journal,2008,14(2):147-165.
[12]Shaker A.Zah面向大数据时代的图书馆知识怎么写作论文资料由论文网www.udooo.com提供,转载请保留地址.ra a,Donald O.Neubaum b.Knowledge sharing and technological capabilities:The moderating role of family involvement[J].Journal of Business Research,2007,60:1070-1079.
[13]Sobrero M.,Roberts EB.The trade-off between efficiency and learning in interorganizational relationships for product development[J].Management Science,2001,(4):493-511.
[14]Dyer,Nobeoka.Creating and managing a high-performance knowledge-sharing network:The Toyota case[J].Strategic Management Journa,2000,21:345-367.
[15]覃艳华,曹细玉.供应链中的知识共享与合作创新研究[J].科技管理研究,2006,(4):183-186.
[16]吴成锋,王玉梅,单伟.基于知识共享与知识创新提升供应链核心竞争力的研究[J].情报杂志,2010,29(11):83-87.
[17]张旭梅,黄陈宣.逆向供应链企业间知识共享的决策机制研究[J].管理学报,2013,10(2):233-237.
[18]翁莉,仲伟俊,鲁芳.供应链知识共享的决策行为及影响因素研究[J].管理学报,2009,6(12):1648-1652.
[19]刘丽贤,李鹏.供应链成员协同知识创新风险研究[J].技术经济与管理研究,2012,(6):28-31.
(本文责任编辑:孙国雷)2013年10月1第33卷第10期1现?代?情?报1Journal of Modern Information1Oct.,20131Vol.33No.102013年10月1第33卷第10期1政务信息管理的驱动力分析1Oct.,20131Vol.33No.10
收稿日期:2013-06-03
作者简介:张艳(1981-),女,馆员,硕士,研究方向:资源建设、信息管理,发表论文5篇。

copyright 2003-2024 Copyright©2020 Powered by 网络信息技术有限公司 备案号: 粤2017400971号