时间:2024-03-20 10:58:54
导语:在大数据时代的特性的撰写旅程中,学习并吸收他人佳作的精髓是一条宝贵的路径,好期刊汇集了九篇优秀范文,愿这些内容能够启发您的创作灵感,引领您探索更多的创作可能。
〔关键词〕大数据;企业;竞争情报系统;系统评价;指标体系
DOI:10.3969/j.issn.1008-0821.2016.02.001
〔中图分类号〕G250.25〔文献标识码〕A〔文章编号〕1008-0821(2016)02-0003-05
〔Abstract〕In view of the fact that methods of competitive intelligence system evaluation do not reflect characteristics of big data,characteristics of competitive intelligence system based on big data are summed up according to three changes of thinking pattern made by big data.Then,the train of evaluation thought of competitive intelligence system based on big data is put forward according to the constitution of the competitive intelligence system.Furthermore,the evaluation index system of the competitive intelligence system based on big data,including function index,technique index and the user index,is established from the views of the strategic security,operation status and user experience.Finally,methods to measure the quantitative and qualitative index are discussed briefly.The proposed evaluation index system has characteristics of multi-level and multi perspective,which can provide references for the construction of competitive intelligence system based on big data.
〔Key words〕big data;enterprise;competitive intelligence system;system evaluation;index system
大数据正在改变我们的生活以及理解世界的方式,也在改变着商业组织和社会组织的运行模式。充分理解数据的价值,知道如何利用大数据为企业经营决策提供依据,目前已逐渐成为大数据时代商业组织应具备的最基本思维。在这种数据驱动决策的思维模式下,不少情报学研究者从对大数据竞争情报系统的模型、体系结构、运行机制等多方面进行了探讨。如2013年,中山大学黄晓斌教授率先提出了基于大数据的企业竞争情报系统模型,并分析了该模型的结构和作用[1]。同时,越来越多的企业,如IBM、亚马逊、谷歌、微软、沃尔玛等,开始重视大数据竞争情报软件系统的开发与建设的尝试,并且取得一定的成果。
然而,由于大数据的复杂性以及对大数据研究尚属于启动阶段,为确保大数据竞争情报系统的实用性和安全性,有必要建立一套面向大数据的竞争情报系统评价指标体系,引导企业在大数据时代建设竞争情报系统,提高竞争情报服务质量。本文根据竞争情报系统的构成,围绕大数据带来的思维变化和当前竞争情报系统面临的问题与挑战,研究大数据竞争情报系统的评价框架,战略、技术和人3个方面相结合,构建体现大数据思维的竞争情报系统评价指标体系,从功能覆盖、运行状态和用户体验等多角度出发,综合考察竞争情报系统,提升竞争情报系统的准确性和有效性。
1竞争情报系统评价研究现状
随着竞争情报在企业战略管理中扮演的角色越来越重要,人们对于竞争情报系统及其带来的效益展开了多角度多层次的评价。从文献调查结果来看,国外对于竞争情报系统评价方面的研究成果主要集中在信息系统质量评价,提出了不少评价模型。如McCall模型[2]、Boehm模型[3]、Perry模型[4]和Gillies模型[5],以及由国际标准化组织提出的一系列软件质量模型,如ISO/IEC9126、ISO/IEC25010模型等。而对于大数据系统的评价研究正在进行之中,其中影响较大的是围绕CAP理论展开的研究。2000年和2012年,Brewer提出并完善了CAP理论,认为分布式系统应具备3个特性:一致性(Consistency)、可用性(Availability)和分区容错性(Partition Tolerance),并且论述了这3个特性之间的关系和取舍[6]。此后围绕CAP理论展开了激烈的讨论。如Abadi提出在大数据时代,分布式系统除了有C.A.P特性之外,还应该考虑到系统的响应时间[7]。
国内对于竞争情报系统评价的研究成果主要集中在以下3个方面:(1)绩效评价。张翠英,张静等根据竞争情报系统绩效的影响因素选择相应的技术指标体系,构建企业竞争情报系统灰色模糊评价模型[8];邱均平等基于预期效用理论构建了竞争情报系统绩效评价指标和评价模型[9]。(2)软件系统评价。如侯丽从决策与情报系统的互动角度出发,探讨了情报系统三大子系统的评价方式,并构建了相应的竞争情报系统指标体系[10];胡桓构建了竞争情报系统软件可用性测评体系,并针对国内三大竞争情报系统软件进行了实际测评并使用层次分析法对测评数据进行分析[11];(3)成果评价。如张志千,赵继伦在分析企业竞争情报成果的类型及特点的基础上,从内容性、可用性、应用效果、用户满意度4个方面构建包含11个二级指标的评价体系,对企业竞争情报成果进行模糊综合评价[12]。
总的来说,国外研究成果比较多,但是这些评价模型总是想要以单个的模型广泛地应用于所有软件和信息系统的开发,显然难以直接应用于业务性很强的竞争情报系统评价中。国内的研究比较具有针对性,但是从文献调查的结果来看,目前大数据竞争情报系统的评价研究欠缺。而大数据无疑会给竞争情报系统带来巨大的冲击,因此,如何针对大数据竞争情报系统建立合适的评价指标体系和评价模型依然是一个开放的课题。
2大数据对竞争情报系统性能提出的新要求
维克托・舍恩伯格在《大数据时代:生活、工作与思维的大变革》中明确指出,大数据时代人们对待数据的思维方式发生了3个方面的变化:全数据而不是样本数据、接受混杂性而放弃精确性、关注相关性而放弃追究因果关系[13]。这些思维变化给竞争情报系统提出了新的挑战,突出表现在以下几个方面:
2.1高性能
大数据带来思维的第一个变化是全局思维:对全数据进行考察,发现趋势和主流,而不是深入样本数据进行局部探索。这对竞争情报系统性能提出了挑战:一方面,要有足够的容量来存储和处理全数据;另一方面,流程整合、信息挖掘和实时工作等新应用系统对竞争情报系统的带宽、响应时间、吞吐量等提出了更高的要求。高性能是竞争情报系统在大数据环境中生存的基础,既需要大数据竞争情报系统升级硬件产品,在系统容量上实现提升,也需要采取更符合大数据处理应用的数据计算逻辑,增强系统的弹性,提高资源的利用率。
2.2容错性
大数据带来思维的第二个变化是容错思维:忽略数据不一致带来的分析结果不精确性,快速获得研究对象的发展趋势比精确度更重要。这要求竞争情报系统有足够的容错性来应对数据处理过程中因磁盘故障、网络故障、服务器故障等带来的数据不一致性,容许一定程度的错误与混杂,用概率看问题,站在更高的层面来观察和分析数据,获得支持决策的知识和洞察力。
2.3智能性
大数据带来思维的另一个重大变革相关思维:关注相关性而不是追究因果关系。这意味着更多的创新,跳出原有的思维定式,从关联事物中找到突破口,孕育新的事物。这使得竞争情报系统也要跳出线性思维的运作模式,提高系统的智能性,采用云计算、机器学习、数据挖掘等智能技术,对海量的数据进行统计性的搜索、比较、分析、归纳,并对事物发展趋势和前景进行主动、立体、逻辑地分析,帮助人们提前发现事物的规律,预测事物进展的趋势,早人一步提出创新性的决策。
2.4安全性
大数据作为企业最宝贵的核心资产,它的安全需要强有力的保障,避免病毒、攻击、非授权的访问与泄密。目前对大数据安全的也受到人们越来越多的关注,如2013年澳大利亚政府明确提出了将个人隐私保护和安全性作为衡量大数据处理系统的一个重要标准。作为企业决策支持系统,大数据竞争情报系统必须做到对企业敏感数据的安全监管,包括企业交易数据、合同信息等隐私或者敏感数据,有能力保护企业的敏感数据不被有意或无意的泄露出去。
3面向大数据的竞争情报系统评价指标体系
竞争情报系统是一个应用性很强的综合系统,除了上述对大数据思维的考虑之外,还需要考虑竞争情报系统实际运行情况、情报保障能力以及使用者的感受考虑进去。下文先从竞争情报系统的构成出发,探讨竞争情报系统的评价思路,然后将大数据的特性考虑进去,在综合其他文献提出的指标的基础上,设计出大数据竞争情报系统的评价指标体系。
3.1大数据竞争情报系统的评价思路
企业竞争情报系统是以人的智能为主导、以信息网络为手段、以增强企业竞争力为目标的人机结合的企业竞争战略决策支持与咨询系统[14]。由此可见,竞争情报系统由战略、技术和人3个方面组成:①竞争情报系统要服务于企业战略,要满足或者超越企业决策支持的期望和需求。②竞争情报系统是建立在信息技术基础上的软件系统,要有足够的技术支持才能胜任竞争情报任务,尤其是在大数据时代。③竞争情报系统的服务对象是人,包括开发者、管理者和使用者。
建设竞争情报系统的目的是以人为本,采用适当的信息技术,构建功能强大的软件信息系统,为满足和超越企业战略需求提供足够的情报支持。因此,我们不能仅从系统的技术性能表现来判断系统好坏,而要从多个角度来综合衡量:
(1)战略保障角度。主要考察竞争情报系统是否能够根据企业战略的具体要求,搭建竞争情报系统的功能构架,提供足够的竞争情报能力,满足或者超越企业决策支持的期望和需求。
(2)运行状态角度。主要考察竞争情报系统的技术性能状态。技术是竞争情报系统运行的基本保障,尤其是在大数据时代,必须要有足够的性能表现才能应对海量的复杂数据。在评价时,要深入到技术层面,考察各个功能模块的性能表现,从细节上衡量竞争情报系统的好坏。
(3)用户体验角度。主要考察管理者和用户对竞争情报系统的使用感受。竞争情报系统是一个人机结合的智能系统,人的感受是决定其效用的一个重要方面,同样也是进行系统评价时必不可少的一个方面。
根据上述描述,我们对竞争情报系统的评价思路进行了归结,如图1所示:
从评价过程来看,采用由表及里、主观评判与客观测量的评价策略。先评价静态的东西,考察竞争情报系统的功能构成,然后深入到每个功能模块,测量其性能表现,再从用户的角度,根据用户感受对系统进行补充评价。评价的主要目的是要改善和提高竞争情报系统的质量,因此,在评价过程中有内反馈、外反馈和跨域反馈,如图中虚线所示。其中,内反馈是指前向的直接反馈,如功能评价后,发现问题,反馈到情报规划层,修改或补充系统功能;外反馈是指从评价结果到大数据情报系统的反馈;而跨域则是不同的领域之间的相互反馈,如根据用户评价的结果,调整系统的技术指标等。
根据图1可知,该评价思路中有3个评价过程:
(1)功能评价。评价纸面上的东西,即评价竞争情报系统所具备的功能、数据处理类型、提供的文档、制定的流程和安全管理的规范等。
(2)性能评价。性能评价是对竞争情报系统的运行情况进行评价,该过程需要统计系统日常运行的记录数据,包括网络流量、响应时间、故障恢复时间等。这些因素是系统在运行过程中表现出来的特质,是系统性能状态的数据表征,较为客观地反映了系统的真实质量。相对来说,技术性能视角的评价更为科学、客观和颗粒度更细。
(3)用户评价。用户评价主要是从情报系统的使用者和管理者的视角来考查系统的质量问题,由管理者和使用者根据系统在竞争情报业务流程中发挥的功能效用的使用体验,对大数据竞争情报系统的质量进行评价。
3.2大数据竞争情报系统的评价指标体系
由上节提出的评价视角和评价过程分析,我们将竞争情报系统的评价指标划分为3类:功能性指标、性能指标、用户指标。在这3类指标中,我们力图突出大数据的特性,提出符合大数据思维的竞争情报系统评价指标体系,如表1所示。
3.3评价指标的度量
从上述对评价思路、评价视角的分析来看,大数据竞争情报系统的评价与一般的软件系统评价有很大的区别:
3.3.1评价指标多层次多视角
大数据竞争情报系统的评价涉及到多个阶段,从总体到细节,由外至里,划分为3个不同的评价过程。每个评价过程涉及的因素众多,指标体系呈现多视角、多层次结构。
3.3.2主客观评价相结合
除了技术性能中部分指标之外,其他指标为定性指标,有一部分指标需要依靠主观评价得出,如用户体验视角的评价指标。
对于客观指标,主要的手段为专项测试,针对大数据竞争情报系统的某个属性,采用专业技术进行单项测试,检验系统在某个功能上的性能表征。如系统的TB 可以通过测量系统的平均等待时间内响应次数,然后除以测量次数,即可得到客观的数据值。表2是部分三级指标的度量方法。
对于主观指标,主要手段有两种:专家打分和问卷调查。专家打分邀请竞争情报方面的专家和有丰富经验的竞争情报工作者对系统的功能、设计进行评分,然后采用层次分析法、灰色评价法或神经网络法进行综合评判;问卷调查则是将设计好的问卷发送给竞争情报从业人员,让其回答问题,根据回答问题的结果进行评分。专家打分表部分如表3所示。
4结束语
本文从战略保障、运行状态和用户体验3个角度出发,结合大数据思维对竞争情报系统的影响,在宏观、中观和微观层面建立了大数据竞争情报软件系统的评价指标体系。本文提出的评价指标体系将业务、技术和人对竞争情报系统的要求相结合,提取出不同的评价指标,能够较为全面地反映系统质量的特点。由于大数据本身的复杂性,评价指标体系对于大数据的特性体现得仍然不足。在今后的工作中,将继续深入探究大数据的特性,进一步完善评价指标体系,增强量化评价的可操作性,同时,统筹兼顾各指标间的内在联系和相互制约,研究建立综合量化的大数据竞争情报系统评估方法。
参考文献
[1]黄晓斌,钟辉新.基于大数据的企业竞争情报系统模型构建[J].情报杂志,2013,(3):37-43.
[2]J McCall,P Richards,G Walters.Factors in Software Quality[R].Technical Report CDRL A003,US Rome Air Development Centre,1977,(1):1106-1113.
[3]B W Boehm,J Brown,H Kaspar,et al.Characteristics of Software Quality[A].TRW Serious of Software Technology Vol 1[M].New York:North-Holland,1978.
[4]W E Perry.Quality Assurance for Information Systems:Methods,Tools and Techniques[M].New York:John Wiley & Sons,1991.
[5]A Gillies.Modelling Software Quality in The Commercial Envi-ronment[J].Software Quality Journal,1992,(1):175-191.
[6]Eric A.Brewer.Toward robust distributed systems[C].Proceedings of the Annual ACM Symposium on Principles of Distributed Computing,Portland,July,2000,(19):7-10.
[7]D.J.Abadi.Consistency Tradeoffs in Modern Distributed Database System Design:CAP is only part of the story[J].Computer,2012,45(2):37-42.
[8]张翠英,张静.灰色模糊评价法在竞争情报系统绩效评价中的应用[J].情报科学,2010,(1):81-85.
[9]邱均平,谢辉,李进华.竞争情报系统绩效综合评价研究[J].情报科学,2011,(4):481-486.
[10]侯丽.基于决策的情报系统评价指标体系构建[J].情报理论与实践,2009,(1):105-108,104.
[11]胡桓.基于层次分析法的竞争情报软件可用性评价[J].情报科学,2010,(3):434-437.
[12]张志千,赵继伦.企业竞争情报成果模糊综合评价研究[J].图书情报工作,2014,(4):53-58.
近几年随着社会的发展,信息技术和计算机在迅猛发展,在各个领域都需要大量的数据,这有利于企业了解市场,而这个时代的数据大爆炸已经不能被现代化的计算机所消化了。在信息化社会,到2020年,全球以电子形式存储的数据量预计将达到35ZB,而这其中,企业数据正在以55%的速度逐年增长。IDC预测,大数据技术与服务市场将在2015年达到169亿美元,年增长率甚至达到40%,这是大数据时代到来的趋势。我们将这些数据称为“海量数据”,这个概念其实在2008年时就已经被提出来了,最早提出是在谷歌成立10周年的庆祝典礼上,被称为“BigData”,后来也曾在杂志上讨论,我们应该如何面对现在的数据大爆炸时代,这不仅是机遇,也是一种挑战。可以这么说,大数据时代是信息社会的变革,是信息化和科技发展的产物,它具有很强的紧迫性,对我们这个时代也有重要意义,如何将数据整理、分析、归纳和共享成为全世界都在关注的事情。大数据时代的到来对于企业来说是更大地挑战,如何在这样的一个时代加强自己的竞争力,把握住每一个客户的资料和数据,成为企业提高国际竞争力的关键。数据流的广泛应用使企业不断审视自己的IT管理模式,逐渐形成规模化、多样化和高速化的企业管理模式,可以说大数据时代的到来对于企业既是机遇又是挑战。
2相关概念
在信息化时代“,数据”成为一个热门词汇,如今数据已经深入到每一个行业和领域,并成为促进生产的重要因素。而“大数据”这样的概念是在数据的基础上逐渐流行起来的,这最早源于美国“。大数据”指的是运用更先进软件和科技对数据进行管理和分析,将数据流整合,将海量的数据进行处理,也就是说,传统的数据管理技术已经不能适应现在的大量数据了,我们要进行新技术的开发,迎接大数据时代的到来。大数据(Bigdata)一般指的是软件工具难以捕捉、管理和分析的大容量数据,其单位通常是“TB”。大数据是一个企业在创造了大量非结构化和半结构化数据后,组成一个数据集,其具有4V特性:(1)容量大(Volume)。非结构化数据的超大规模和增长;占总数据量的80%~90%;比结构化数据增长快10到50倍,是传统数据仓库的10~50倍。(2)格式多(Variety)。异构和多样性;很多不同的形式,如文本、图像、视频、机器数据等;没有模式或者模式不明显;不连贯的语法或句义。(3)价值高(Value)。大量的不相关信息的提纯;对未来趋势与模式的可预测分析;深度复杂分析(机器学习、人工智能VS传统商务智能咨询、报告等)。(4)速度快(Velocity)。实时分析而非批量式分析数据输入、处理与丢弃,立竿见影而非事后见效。数据之间的跨应用和跨系统的结构化和非结构化数据体现着数据与数据的复杂关系,这些数据相互之间关联却又相对独立,大量的数据通过储存和分享进行交换和联系。通过对大量数据进行分析、整合和交换,不断创造新的价值,加快生产,发现新领域和新知识,将数据流最大价值化和最大应用化,这是大数据的实质与内涵,简单来说,就是将大数据内部信息进行关联和挖掘。
3大数据给公司带来的挑战
新疆新捷股份有限公司成立于1995年8月,是专业从事天然气终端销售及综合利用的企业。公司秉承中国石油“奉献能源、创造和谐”企业宗旨,坚持昆仑能源“低碳经济、绿色发展”理念,努力将公司建设成为国内一流的天然气终端销售企业。从企业战略着眼,信息就是财富,企业如果对这些大数据管理得当,就可以发掘出更为强大可靠的决策信息。目前大数据时代给企业管理者带来的挑战有如下几个方面。
3.1如何获取大数据现在很多企业所能获取的数据信息有限,仅仅是冰山一角,大约为总数据的15%以下,并且对数据整合程度不够,存在很多非结构化数据和半结构化数据。无法获取足够的数据成为企业发展的障碍,这些对于现代企业来说是一个很大的难题,传统的商业智能系统对大量信息数据的标准化和结构化整合已经不能适应,海量数据的产生需要企业运用先进的手段获取更多,并对信息数据加以整合,这样才能通过大量的数据分析市场需求,增加客户,提高企业的服务质量,不断提升企业的国际竞争力。因此,如何获取大数据成为新疆新捷股份有限公司的一个挑战。
3.2对管理团队的挑战新疆新捷股份有限公司的传统管理模式是高层决策者凭借自己的经验和决策能力下决定,其他管理人员负责完善决策和执行。在大数据时代来临前数据量较小,信息有限且获取信息的成本较高,因此这种传统的管理模式还可以适应企业发展。但随着信息化社会的发展和大数据时代的到来,这种传统的管理模式已经不能适应海量的数据,这更多的是需要新疆新捷股份有限公司通过大量的数据进行分析,结合企业自身的特点,组成管理团队进行决策,这样才能不断适应社会的发展,增强企业的竞争力。决策者在决策过程中的直觉主义已经不能适应大数据时代,这是企业在管理上遇到的一个挑战。
3.3对企业管理流程的挑战多数企业的管理流程是逆向思维方式,也就是说通过在经营过程中出现的问题进行分析,通过一个管理团队的讨论和协商,制定出一套解决方案,这样的管理流程有一定的好处,但也会因为有一些管理问题还没有出现,导致管理上的疏漏,而新疆新捷股份有限公司就曾是这样的管理流程。对于现在海量数据的产生,新疆新捷股份有限公司不能再按照逆向思维模式进行管理了,其应该尽量运用正向思维的管理方式,根据现在大数据时代的特点,进行数据收集,找出数据之间潜在的关系,对客户信息进行整理分析,充分了解客户的需求,进而提出优化方案,这样更有利于企业发现自身的问题,并走在其他企业前面,提高竞争力。
4大数据时代企业管理变革
随着信息流动、网络新生代的成长和数据量的增加,过去传统企业可能通过强大的体制控制力,或者信息不对称的优势地位进行封闭企业管理的模式,在今天已经越来越行不通了。面对海量数据,我们要以数据体现的内容为先决条件,不断适应大数据时代的变革,同时,对企业的管理进行改进和变革,大数据时代下企业管理需要做出变革几点如下。
4.1获取数据在大数据时代,企业最重要的是进行数据的获取,收集一定的数据才能更好地对企业进行管理和实施决策。大数据需要有一个平台,需要进行一个数据的抓取,它有传输、分析、建模、优化等作用,最后产生认知,这些都是在大数据这个平台上所必须具备的一些特性。这些特性使得企业间可以通过大数据平台进行跨行业交流。大数据平台会把全世界的数据进行共享,使得全世界在物理空间的活动都得以体现在大数据平台上,这是一个很重要的概念。对于企业来说,要不断融入这个平台,通过共享数据和收集数据,开发潜在客户。
4.2管理团队的挑战大数据时代的到来对于企业的管理既是机遇又是挑战,对于企业的管理者来说,这有利于数据的收集和分析,我们在面对大数据的挑战时,首先要将数据量化,量化的数据有利于管理效率的提升,管理者通过大量的数据信息掌握公司的业务和客户,对公司内部和外部客户进行管理,提升管理和决策的质量。我们可以通过以下三个方面面对挑战。
4.2.1转变管理模式企业在管理上要与时俱进,要在大数据时代充分了解数据是什么,并通过数据进行有利于自己企业发展的分析,要根据大数据转变管理模式。海量数据是管理的主线,我们应该通过数据说话,利用数据进行潜在客户的挖掘。以往的管理模式都是由高层人员根据自己的经验进行决策和管理,而在大数据时代,我们应该建立一个管理团队,对海量数据进行管理和收集,通过分析数据得出结论,再通过研究讨论,最终确立决策方案。这种管理方式可以给企业带来巨大的商业价值,实现企业对客户进行增值服务的附加值,以数据为主的管理模式更合理,更科学,也更符合大数据时代的特点,此外,还有利于企业增强竞争力,提高管理和决策的效率。
4.2.2转变思维模式面对大数据时代,企业管理者需要对大数据进行量化分析,这和传统的思维模式并不相同,因此需要转变管理者的思维模式。在面对重大决策和企业管理时,要先进行数据查找和数据分析,从数据上得出结论,分析结果,最后再进行决策和管理,这种方式不但会提高管理者的效率,也会提高其他工作人员的积极性和业务执行能力。另外,我们要允许数据做主,也就是说提高数据分析的力度,将来自一线的数据进行分析,通过数据判断决策是否正确,大数据的整理和分析是需要较长的时间来完成的,这对企业来说也是一种挑战。
4.2.3培养人才资源在大数据时代人才资源是一个企业发展的重要因素。如今的高级管理人才越来越稀缺,拥有综合能力的管理人才不多,因此企业应该进行管理人才的培养,只有将人才、科技、管理、决策进行融合和调整,才能使企业清晰自己的发展目标,制定适合自己的发展战略。企业可以在管理人才的选择上挑选一些经验丰富、学历较高的人才,再进行岗前培训和在职培训,提高他们的管理能力和应对大数据时代的能力。企业通过培养视觉化、系统化人才,将企业的海量数据进行快速、高效的整理和分析,从而提高企业竞争力,使企业能充分迎接大数据时代带来的挑战,更好地把握大数据时代出现的机遇。
5结语
[关键词]大数据;统计数据;准确性;评估方法;适用性
[DOI]1013939/jcnkizgsc201529041
1大数据的出现与应对
1.1大数据的概念特征
大数据的概念从字面上可以理解为庞大的数据集合,当然,如今的数据早已不局限于单一的数值变化,而是在数字网络概念中彼此交叠幂次增长的非结构化信息统筹。根据IDC报告,我们可知全球数据量的惊人变化,2009年80万PB,2010年增幅达50%,达到了120万PB,至2011年跃至190万PB,激增的数据量印证着大数据时代的到来,见下图。
2009―2011年的数据量变化柱状图
虽然对于大数据还没有约定熟成的理论定义,但是在本文中我们不妨直观地将其理解为涵盖数值数据和非结构化数据,并对其进行分析整合的海量数据集。
大数据的几项具有辨识度的特征,首先是数据集在体量上应超越TB数量级,其次是数据信息应多样化,有数值数据,也有像是图片、视频、音频等非结构化数据,再次是数据的产生、采集和处理应快速及时,最后是数据集整合的数据信息应具有全面性和有效性。
1.2大数据对统计研究的挑战
大数据的庞大数据体量,快速增长处理需求,多样化全面性数据整合等现实情况都让统计研究面临着巨大挑战。传统的单一维度的样本抽查的研究分析模式已经不足以保证统计数据的准确性。因此,我们不仅要扩大研究分析的样本量保证统计结果的客观性和真实性,还要通过增加反馈信息的呈现路径,激发目标群体的新型互动模式,将文字、图片、视频、音频等都纳入数据库,从而增加数据维度,获取高品质海量数据,实现统计研究新变革。
2大数据时代背景下统计数据质量的界定
2.1统计数据质量的含义
统计数据质量的核心在于其准确性,在大数据时代背景下,统计数据质量还需考量统计目的,即满足统计目的的具有准确性的统计数据呈现。
2.2统计数据质量的特征
根据上述统计数据质量的含义,我们可以提炼出有关大数据时代背景下统计数据质量的两点特征。第一,是针对数据内容,应在客户接受范围内控制误差,保证数据采集处理的快速及时,并符合统计目的。第二,是针对数据呈现,要有规范性的阐述,保证统计数据的口径计算等采用相对一致的方式,表达完整,直观易懂,尽量避免歧义冗长。
3各类统计数据质量的评估方法及适用性分析
3.1逻辑规则检验
逻辑规则检验法,是宏观的针对总量数据的一种评估方法,即根据统计数据中各个指标之间相互作用,彼此粘连的内在逻辑关系,来衡量测试数据的真实性和可信度。
由于这种逻辑规则检验法是基于传统的统计理论,且可操作性强,易被客户理解接受,所以在实际统计数据评估中应用广泛,常被用于政府统计部门的统计工作。但是,这种方法存在明显漏洞,因为其检验规则过于单一,只要不出现重大逻辑冲突则推论出数据可信,加上即使出现了逻辑矛盾,仅通过比较无法获知问题所在,无法确定问题数据的准确范围无法规避结果的多重性,使得结果相对粗略草率。
根据以上分析判断逻辑规则检验法的适用性,我们可以将其作为初步评估统计数据的方法,在宏观经济统计数据中以它为基础,结合其他方法,进行复式检验,能够更好地得出统计结论,获得民众理解和认可。
3.2核算数据重估
核算数据重估法,是一种对于逻辑规则检验法延伸拓展的评估方法,即基于待评估数据的核算体系重新设定的统计指标,从而重新估算统计数据,然后对比现实数据,实现对统计数据质量的评估。这种评估方法的基本思路是一种在重新计量中的重复调查,扩充针对性的资料,将理想数据与实际数据对比分析,找出问题所在。
这种重估统计指标的评估方法与逻辑规则检验一样是在假设基础核算构成准确性的前提下进行的,而重设的统计指标与现实统计的指标方式仍具有差异性,因此其对比评估的结果只能作为一种参考性依据,能找到问题数据的大致方向但无法呈现具体错误情况。它尤其适用于判断GDP的增速准确性。
3.3计量模型分析
计量模型分析法,也是一种针对总量数据的评估方法,即在难以确定统计数据确切逻辑关系的情况下,建立模型评估,检查是否出现差异情况。这种方法的关键是建立模型,寻找异常点,在操作过程中需要先根据统计理论和统计目的建立相应的计量模型,再将样本数据进行相应估算检查,反复调整,多次代入评估,最终得出结论。
3.4统计分布验证
统计分布验证法,是针对分类数据的一种评估方法,即在掌握了个体数据和分类汇总数据之后,基于已知的分布特性,验证理论性分布情况与实际统计数据分布情况是否相悖,进而得出评估结果。
这种评估方法的检验过程首先是通过理论分析和调查研究确定统计分布的特性,找到个体数据与汇总数据的分布形态,然后对比理论数据与待评估数据的分布是否一致,若是发现异常点则需要进一步验证分析其具体误差值情况,从而判断统计数据质量。这种评估方法的缺陷在于确定统计数据的分布特性,这是评估的前提,但也是在实际操作中最难攻克的关键。
3.5调查偏差评估
调查偏差评估法,是一种事后调查分析的方法,即通过对统计数据中调查偏差的评估,约束调查条件进行重复调查,以期获得最真实的统计数据。这种方法的开展是在预设存在可得的真实统计数据前提下,那么这个关键点就成为了该评估方法最大的痛点和争议点,因为是否存在理想调查条件下可得的真实统计数据是未知的,换言之就是假想的,没有科学依据的。加之在实际操作中,要进行有效的调查条件控制涉及误差参数的确定,计量模型的构建,同时在区域范围内实现多次重复调查的难度也很大,因此,调查偏差评估的实际应用有限,当下仅适用于像人口普查这类的地区性普查统计数据的分析。
3.6多维评估延伸
由于大数据时代统计数据内容的多样性,多维化,评估方法的多维延伸也成为必然。所谓多维评估法目前涉及四种的评估路径,即多级量度、指标检测、用户需求,以及统筹综合。虽然由于长期以来对数值统计分析的侧重,多维评估还在发展阶段,尚不成熟,但是随着统计数据的非结构化特性日益彰显和人们对于统计数据质量要求的日益提升,多维化评估将逐渐受到重视,得到完善应用。
4结论
本文分析了包括逻辑规则检验、核算数据重估、计量模型分析、统计分布验证、调查偏差评估、多维评估延伸在内的六种评估方法的概念特征,以及适用性。其中前三种都是针对统计总量的评估方式,而后几种则是针对分类数据的评估方法,涉及充分的信息采集,分布特性的确定,初始调查条件的确定,以及多维度的延伸。这些假定的前提与实际数据始终存在偏差,因此在获得真实数据上还是属于理想化推测,始终存在争议点,而且在实际操作中具有执行困难。
通过分析,我们不难发现目前各个对于统计数据质量的评估方法仍存在较大的缺陷,这直接影响到我国统计事业的发展和与之密切相关的经济社会的总体发展。因此,我们需要加强对统计数据质量评估方法的研究力度,进一步完善评估体系,适应大数据时代的发展需求,用多维度复合型的研究成果保证统计结果的客观性和真实性,还要通过增加反馈信息的呈现路径,激发目标群体的新型互动模式,实现中国统计研究的新变革。
参考文献:
[1]王华,金勇进统计数据准确性评估:方法分类及适用性分析[J].统计研究,2009(1)
[2]许涤龙,叶少波统计数据质量评估方法研究述评[J].统计与信息论坛,2011(7)
[3]程开明,庄燕杰大数据背景下的统计[J].统计研究,2014(11)
[4]崔路云基于大数据时代背景对统计学教育的几点思考[D].北京:首都经济贸易大学,2013.
[5]刘春燕论大数据时代的统计制度与方法改革[J].芜湖职业技术学院学报,2013(11)
电子商务的发展离不开大数据,企业通过大数据对各种数据进行整理得出一定的规律来探寻近期的消费趋向、消费特征,以此来制定一系列的相应营销策略,这样大大缩小了市场调查与决策分析的时间,使企业获得更多的经济效益,实现了一个良性的市场循环使各个环节都实现高效运作。大数据与电子商务的结合是必然的,它将带我们步入一个新的创新局面。
一、大数据概述
大数据不仅仅只是单独意义上的拥有海量的数据信息量,而在于它更深层次的意义,对数据进行专业化的处理及分析,大数据是指所涉及的海量数据无法通过一些技术或者工具来进行整理和收集,而大数据时代的到来却解决了这一问题,使海量数据变成了企业最宝贵的财富,给企业和人们的生活带来了无法想象的巨大影响。
大数据和传统的数据仓库相比,具有很多的优势和创新点。大数据具有四方面的特点:
1、数据量巨大。它拥有各类的海量的数据,涉及面更广、种类更加齐全,还包括了需求分析、用户细分等不同的数据分类,能够满足人们不同的需求。
2、数据种类繁多。大数据的容量比传统的数据仓库更大,其容纳的信息量也必然繁多,信息种类也更加广泛,有用户的反馈信息、消费记录、消费特点等非结构化的数据。
3、价值密度低,商业价值高。大数据需要从海量的数据当中提取出来对人们有用的资料,技术的难度增加了,数据的价值密度与其数据量不成正比,因此数据的价值密度低而商业价值高。
4、数据处理速度快。大数据通过对海量的数据进行处理,在巨大的数据库中进行查询,找出有价值的资料,只有通过不断的提高其运行速度才能降低成本获得经济利益。
从某种程度来说,大数据是信息时代的一种创新技术,它将海量的信息数据量进行统计分析,从中获取有价值的数据,它的这种获取有用信息的能力就是大数据。企业通过这一技术能够提高决策效率,降低生产成本从而获得经济效益。
二、大数据处理与电子商务
(一)电子商务的大数据时代
大数据的特点为电子商务带来了许多的技术创新和思想观念的改变,电子商务的发展主要依赖于消费者,掌握了消费信息的数据,就能够以此来制定合理化的经营策略,能够提前预测市场的发展方向,提前规划和调整商品的类型及数量,依据消费者的消费特性来生产不会造成资源的浪费,还提高了生产效率,降低了成本。使企业拥有了更多的时间来开发新的商品,来增加消费者的数量,提高市场占有率。
(二)大数据时代的电子商务
步入大数据时代的原因:
1、个性化需求的增加。社会的发展使人们的生活水平不段的提高,人们的消费心理也在不断地发生着变化,都希望自己是独特的,是与众不同的,企业通过大数据来进行数据分析,来为人们制定不同的需求方案和个性化产品。
2、信息技术的发展。随着互联网的发展我们进入了信息时代,海量的数据信息的出现让数据的收集更加的便利,通过网络数据被广泛的使用,提高了其利用价值,还能够被反复地使用,实现循环利用超出了其自身的价值。
3、用户产生数据。大量的数据是来源于用户,用户通过网购、查询资料、浏览网页等都能产生大量的数据,通过对数据的收集、分析就能够为用户制定出不同的需求方案,这种信息的种类是广泛的,成本是低廉的。
4、数据的可获得性。网店与传统的零售商相比不同的就是数据的获取方式不同,网店通过用户的访问就能得到用户的相关信息,浏览记录和消费行为,得到用户更多的相关信息,而传统的零售商只能知道用户此时的需求和购买意向,无法获得更全面的信息和更有价值的资料,电子商务使数据的可获得性更加便利。
5、决策分析方法的智能化。大数据通过对数据的分析整理使企业的经营决策更加精准与便利,智能化的应用节省了企业大量的时间,提高了其效率,也为未来的发展提供了经营方向,同时也推动了各种分析工具的发展。
三、大数据为电子商务带来的影响
(一)加强信息的安全服务
数据是一个企业的核心资源,也是企业具有竞争力的关键,加强信息的安全与保护对企业的持续经营至关重要。互联网本身就具有很大的安全隐患,存在着漏洞,容易被黑客和不法分子攻击、利用,如果对信息不加以严密保护将会造成很严重的后果,许多辛苦研发出来的成果也将会丢失造成不必要的麻烦,加强信息安全是企业必须进行的一道程序。
(二)提供准确的数据分析 ,创新营销模式
大数据通过提供准确的数据分析,得到人们广泛的重视,使企业能更加便捷的制定出合理的营销策略,提高生产效率,降低成本,实现精准营销。为创新商务的发展提供了突破口,有力的推动了电子商务的发展,构建了新型的商务模式,并且创新了营销模式,为用户提供了个性化的服务,凸显不同消费者的特性,增加了企业的经营业绩,使其进入到了一个新的发展阶段。
(三)及时的应急处理能力
大数据能够对海量的数据资源进行信息查询、数据分析、能够快速的处理各种的数据,企业不需要任何的硬件安装,就能通过云平台来进行存储数据,同时云技术能够存储海量的数据,为大数据的发展提供了便利,能够不占任何企业的空间来发展企业,为企业存储信息、分析数据提供了便利,加快了企业的运营速度,促进了企业的发展。
(四)实现产业技术创新,推动差异化竞争
创新使一个企业具备新的活力源泉,创新为企业增添了向前发展的动力,使其具有更广阔的发展前景和发展空间, 阿里巴巴集团通过对其旗下的平台业务资源发展创新不断整合,使其拥有了独特的数据处理与分析的能力。提高了企业的竞争力,使企业上升了一个层次,通过技术创新使企业获得发展,用低成本获得高收益。
【关键词】大数据时代;计算科学与技术;专业综合改革;人才培养
引 言
大数据是一次信息技术的大变革,已经慢慢成为商业、科技甚至教育领域的焦点,它的数据信息量庞大,其庞大的程度是没有办法在人工的有限时间内管理和分析,并且从中提取到能为人们所利用的信息的。大数据通常有四种特性:数据的信息量巨大;数据的类型多种多样,包含常见的视频、图片、音频、文本和它们的聚合体等;数据处理的速度极快,能从各种数据中快速获取有价值的信息并能给出决策。大数据技术高速发展,行业应用的需求也越来越大,所以目前市场上的掌握大数据的人才很紧缺,因此,对大数据人才的培养是目前教育行业的重点。大数据的时代使现当代的大学生有了新的机遇去创业和创新,同样的也为当代的高校信息与计算科学专业课程的改革提供了方向,其人才的培养模式和课程研究显得尤为重要。
一、什么是大数据
大数据就是海量的数据,并从中获得有很大价值的信息或见解的当今社会特有的一种新的能力。大数据通常有四种特性:数据的信息量巨大;数据的类型多种多样,包含常见的视频、图片、声音、文本以及它们的聚合体等;数据处理的速度极快,能从各种数据中快速获取有价值的信息并能给出决策;具有很高的商业价值。
二、大数据时代对人才的需求与培养
在大数据的背景下,对信息与计算科学专业的学生的教育与培养目标主要是:
(1)增强对于数据的分析能力
面对数据庞大的大数据,分析能力显得及其重要,在合理的时间内进行管理和处理对帮助公司经营和决策具有积极的作用。
(2)增强本专业的知识,计算科学专业的知识对于数据的分析并了解其中的结构很重要
(3)要增强对数据的应用能力
在对数据的分析能力的前提下增强对数据分析的应用能力,从而实现数据的最终应用。
这三种能力的培养使得学生既具有对大数据的分析能力,又符合当代社会对该专业的知识的需求,从而更好地适应社会,培养出一批能够掌握能对大数据地收集,储存,分析,处理并应用地人才。
三、提高大学生的创业创新能力
要提高大学生的创业创新能力,在大数据的时代不断进步的社会环境下,要增加对实践能力的培养,多在社会中磨练,增强自主意识,增加创业实践的机会,让学生的创新能力在一次次的亲身体会中得以增强。因此对计算科学专业课程的结构进行改变并优化,使得其具有创业创新效果的变革显得极其重要。应当对课堂教学内容和课后的实践教学,并且对于考核的方式和方法要有实质性的改变。
专业知识教学和实践教学之间要完美结合起来,在实践中巩固理论知识,要培养学生的独立工作能力,增强计算科学专业的学生的竞争能力,要处理好这个教学环节,就要增加实践的次数,要充分利用实践活动,要求全员参加,不得被其它课程取缔或占用。
四、要编写好新型的适合大数据时代的教材并提升相关地硬件设施
目前的教材需求是要增加计算机信息技术、数据处理和分析的相关知识,例如:大数据的分析,数据的探索,大数据网络的建设等课程。对于一些不太重要的内容可以适当的削减或取消,相关的一些及其复杂的理论可以适当的略讲,而要把重点放在实践和应用上,从而加强学生的应用计算能力。增强学生对概念的理解能力,将一些实用性很强的专业比如C++语言和Matlab语言的应用等课程提前开设,让学生可以在之后的学习中对实际的问题进行求解,为了实践课程的学习铺垫基础。同时加强对实践实验室的建设,对硬件的升级,全面改善学生的实践环境,让实践教学能更好地进行,让学生在理论学习后能很快地动手实践,并在实践后能又很快地去学习,实现理论学习和实践活动地完美结合。
五、考核方式要变革
改变现有的考试和平时相结合的模式,要重点加强对学生的实践成果和实践能力的检测。好的考核方法会更利于教学的进行。要以能力为核心全面考核学生的学习、实践和创新能力。要对实验实训进行全面评价,以利于接下来的实训的工作的进行。
结束语
逐渐完成教育制度,规范教学模式,提高教学质量。全面提高人才的培养水平,让国家的人才能为国家的建设增砖添瓦,而计算科学专业体系的建设仍然有更大的空间去开发,时代在进步,科学在不断地发展,要把传授知识和培养能力并提高学生的素质完美地融合起来,而这还需要很长的路要走,这就需要相关人员的共同努力奋斗,不断变革,创新,让我国的人才们能更出色,从而推动社会的发展,让我国的教育实力越来越强,在迈向世界强国的路上能走的更快,提升我国的综合国力。
作者简介:吴娜(1995.9-),女,籍贯:湖南岳阳,研究方向:计算机。
参考文献:
[1]刘淳安.大数据时代信息与计算科学专业课程体系优化改革c实践――高教学刊,2016.
关键词:互联网时代;大数据营销
0.引言
随着新时代互联网技术的不断不发展,人们的衣食住行已完全离不开现代信息技术,企业在发展运营过程中对信息技术的要求越来越高,应用也越来越广,企业需要依靠现代信息技术将收集到的数据经过汇总分析,总结出客户的喜好,市场的走向,以便根据市场的变化,随时做出相应的调整。现代企业的竞争越来越激烈,好的营销策略是企业在市场竞争中占据一席之地的重要力量,想要企业在如此激烈的竞争中脱颖而出,就必须依靠大数据时代的先进的技术手段找到最简单有效的营销策略。大数据的普遍应用对传统的营销模式产生了巨大的冲击,消费者对生活品质的个性化追求日益提高,大数据分析技术下的营销模式逐渐成为各行业企业取得市场优势、赢得消费者喜欢的突破口。各行各业根植于本行业特性,在原有成熟营销体系下加入大数据分析技术,提升营销策略的准确性,实现营销手段经济价值最大化变现。目前,针对大数据技术营销的发展还处于萌芽期,企业对用户消费网络行为等数据的采集、追踪、智能画像、定向输出等高新网络技术的整合系统还不完善,还未挖掘出大数据技术营销的潜力,没有体现出其巨大的商业价值。因此,跳出现有的行业营销模式和营销思维,辅以大数据技术特点及已取得突破的大数据营销模式最新研究成果,全面地分析大数据营销模式落地实施方式,探索在大数据时代背景下企业营销的发展目标和方向,从长远来看有利于企业创造出顺应时代潮流的营销模式,加入大数据技术手段的创新性营销能够极大地刺激消费人群,最直接地提高企业对消费市场的占有份额,实现营销经济投入与产出的价值最大化。
1.互联网时展下企业大数据营销存在的问题
1.1数据质量较差
大数据营销的基础是通过大数据技术收集、分析用户的消费网络行为的作出定向输出内容,基础数据的准确性是大数据行销的根本。而亟需营销创新的大部分中小企业由于技术和设备跟不上,专业的技术人员缺乏,导致大数据获取渠道有限,并且未能对所获取的大数据进行专业精确地分析。由此当大部分中小企业面对企业经营过程中用户产生的海量消费数据,也无法提取出有价值的信息,剔除无效信息,导致企业的大数据分析成本极高而转化率无法满足企业的要求,无法发挥其高效的营销效果。同时,大数据技术营销的各种成功案例促使着机构和相关企业利用大数据炒作、造假和诈骗现象屡见不鲜,辨别数据真实性的专业技术手段也成了企业利用大数据营销时所面对的难题之一。企业获取的不准确数据容易造成企业营销决策的方向性错误,导致企业在市场竞争中掉队,甚至经营困难面临倒闭的危机。企业必须通过正规的渠道获取大数据以保证数据来源的可靠性和准确性。只有在所获取数据真实准确的前提下,才能真正地发挥出大数据的优势。同时企业也需要配备大数据相应的技术人员,引导企业营销人员分析企业的大数据,并将获取到的有效信息运用到实际营销中。另一方面,有些企业在人员、技术和设备等方面都能够投入足够的资源,但是仍然存在着较大的问题。是因为在大数据营销实践过程中,片面地关注于大数据的数据量上,却忽视了数据本身只是为营销行为所服务的,需要对数据根据不同产品、不同部门进行分类同时全盘统筹,避免不同营销人员和部门各自为政。数据的分割是企业面临的一个严重问题,不同产品和部门的数据收集储存在不同地方,联通性差难以对用户全面有效地数据汇总分析。而且企业的营销人员的能力限制,导致无法把收集的数据转化为有针对的营销方法,大大降低了大数据营销的使用效果和转化成果。
1.2营销效果不理想
当今社会发展中传统营销方面,广告媒介比较丰富,除了传统电视报纸等媒体之外,还有门户网站、商业LED屏、手机APP客户端、交通宣传等多种方式,想要达到宣传效果,就需要统筹媒介渠道,这种营销手段的营销成本十分高昂。另外,一般的综艺冠名和活动赞助费用动辄过亿,明星代言更是花费巨大,所以企业采用传统的营销费用是显而易见的。但是即便在高企的营销费用基础上,企业也承担着较大的风险,企业产品与代言的明星相关性太强,一旦明星发生任何负面新闻,对于企业也是有着不小的影响。即便企业在产品设计、市场定价、渠道销售等方面考虑得面面俱到,例如产品市场定位,先打入中高端市场建立人气和口碑,再扩展自己的产品线发展极具性价比的低端产品;在销售渠道方面,参与各大节日促销和网络平台促销。但是往往企业忽视了产品营销的根本点,比如对于日常出行类而言,客户所关心的问题是质量、安全、性价比,这三项特性有一项不足,再完美的营销策略也达不到预期的效果。
1.3缺乏专业的大数据营销人才
在这个大数据时代,数据的量多且繁杂,要想从庞大的数据库中提取出高价值的信息,就需要专业的数据处理团队。数据的收集、整理、筛选等工作,都不是简单的数学计算或依靠电脑软件就能够获得的,目前很多企业都缺乏处理海量数据的专业人才。专业的数据分析员成为了各大企业争相得到的人才,而既能对本公司的运营操作了如指掌又能熟练地掌握庞大的数据信息的人才更是少之又少,大部分的企业在大数据营销人才方面还是很匮乏的。很多企业虽然有专业的市场营销团队,甚至不惜花大价钱聘请专业的营销管理者,但是,大数据营销人才和大数据技术型人才仍是他们稀缺的人才资源。
2.互联网时展下的企业大数据营销策略分析
2.1拓宽数据来源
在互联网时代背景下,企业可以根据需要多方位的获取有效数据:(1)政府机构如银行等数据;(2)交易数据;(3)移动通信数据;(4)移动通信数据;(5)机器和传感器数据;(6)企业信息系统。大数据可以作为企业对营销决策的辅助手段,不能跳跃企业决策人直接下达指令。在大数据技术运用过程中,企业应结合传统的调研手段构建企业创新型大数据营销体系。
2.2提升营销效率
为了进一步提升企业营销工作效率,企业可以选择第三方技术团队帮助自己搭建大数据系统,通过大数据系统源源不断地获取数据,并进行高效地数据提取和分析,然后智能化输出与企业商品、服务及用户群体相关联的信息链,在系统中将这些信息链优化处理并不断累积,逐渐形成企业自有的庞大用户信息数据系统,以供营销人员作为营销方案的原始数据。企业在经营过程和营销活动中利用大数据平台的作用,积累大量的市场信息与客户数据,依靠大数据系统数据作为基础,对每一位实际消费者和潜在消费者进行智能画像,透析其个人喜好与需求,精准地向其输出商品信息。大数据营销关键在于企业应建立对市场定位及用户信息数据的信心,从零到有加大资源投入,做到比用户更了解自己替用户做出选择。例如,企业在运营过程中可以利用移动端应用、移动通讯、免费WiFi点等服务获取本地位置信息类大数据,还可以通过各大电商、搜索、短视频平台获取用户近期浏览、搜索、关注的内容信息并智能化分析,了解其的消费需求信息,整合不同企业的商品及服务内容,采取精准定向投放内容包括商品折扣活动、广告信息、销售链接渠道等多种信息,具有个性化的营销活动能更加贴近消费者,提高企业营销投入的转化成功率。大数据系统的建立和运营需要企业投入足够的设备及软件系统、专业技术人员、信息渠道等资源,收集企业所提供的商品、服务、技术解决方案相关的经营数据、市场定位、竞品信息、客户及潜在客户等一系列数据,在大数据系统中将这些信息有效的联系整合,然后通过分析建立企业的用户消费数据库。
2.3加强专业人才的培养
在大数据系统运营中需要有专业的技术人员提供维护、升级、更新、数据转化等服务,可以将企业原有的营销部门人员配合专业的大数据分析工程师组成工作小组,根据企业商品和服务的特点以及现有营销活动,制定出大数据背景下的个性化营销方案,而原有营销部门人员也可以发挥工作特长,调研前期市场需求和定位,后续跟进商品口碑及改进建议,分析其市场占有率及相关竞品数据等信息。通过调研信息调整企业新业务战略发展方向,打造符合市场潮流的爆款新品,争取更多的市场占用率。新产品运营部有利于公司大数据资源的成果转化,利用大数据系统预测用户潜在消费力和消费想法,提前布局抢占商机。同时在企业管理方面,可以将该部门并入业务团队,确定以数据流量、用户粘度、消费额作为考核要点。将营销部门和大数据工作部门作为兄弟部门,提供良好的沟通协作环境,提升工作效率。企业也可组建单独的大数据部门,发挥大数据技术的强大分析能力。加强对大数据分析人才的重视和培养,推进大数据营销复合型人才的岗位定岗定薪工作,快速推进企业大数据营销的发展。
或许会让你感到惊讶,但它确实是全新英特尔至强E7 v2处理器带来的变化。E7 v2是否就是那把打开大数据应用之门的钥匙?、
“IDC报告显示,到2020年,中国产生的数据量将达到9ZB。“如果将这些数据印刷装订成册,形成的书将厚得超过在冥王星和地球之间往返30次的距离。”2月25日,在英特尔至强处理器 E7 v2 产品家族的会上,英特尔(中国)有限公司产品平台事业部总经理Brent Young所形容的这个数据世界,离我们还有不到6年。但今天,大多数人一定依然觉得它十分遥远。
不要着急,我们与数据亲密接触的时间,或许能伴随英特尔至强处理器 E7 v2 产品家族的面世而大幅缩短。作为通往大数据未来的关键,这个全新的计算平台或许会驱动整个产业链向大数据快步进发。
内存计算的突破
正如Brent Young所说,对计算平台而言,大数据是一种“新负载”,它所对应的将是对内存计算、内存分析和大规模虚拟化的需求。英特尔至强E7 v2正是为这种“新负载”而设计的。拥有最多15个处理内核,每插槽1.5TB内存容量,平均性能为上一代产品的两倍,最高可支持32路的服务器平台……这些改变,让英特尔至强E7 v2相比上一代产品有了本质上的变化。
人们对大数据的最初设想,是具备对数据的实时分析能力,而支撑实时分析能力的恰恰是内存计算。过去几年,应用层的众多需求都指向内存计算,这个诉求虽然一直驱动着计算的发展,但质的变化远没有E7 V2显著。从以往计算平台的演进来看,多核、并行的发展趋势,并不能有效解决大数据实时分析的需求。在浪潮集团副总裁胡雷钧看来,E7 V2与上一代产品相比,内存的可扩展能力提升了3倍,是最令人感到兴奋的地方。原先必须放到硬盘上的数据现在可以放到内存中,意味着未来80%以上的数据库都可以放在内存中运行,连续的数据处理能力将大幅提升,其意义将是划时代的。
“基于Hadoop架构的大数据分析,对处理器和内存之间的带宽要求同样很高。光有大内存并不一定会让内存计算发挥其应有的效力。E7 v2不仅有足够大的内存容量,还有足够强大的内存带宽的扩展能力,才能让软件体现出足够好的性能。”胡雷钧强调,这些新特性将让未来的大数据应用有更大的发挥空间。
大数据是技术推动的结果,扼制住大数据的恰恰也是技术本身的局限性。长久以来,内存计算的变革主要依赖系统上的优化,“胡雷钧们”要突破众多技术难关仅能获得“一小步”改善。而基于计算平台的突破性变革,才是让内存计算跨出“一大步”的关键。
从分析到实时分析
数据宇宙中的东西对人们似乎很重要,但当前的大数据分析、大数据应用,还远远没有达到人们的预期。人们已经看到了那个将由大数据改变一切的未来,但却触不可及;人们努力尝试着各种大数据应用,但代价却是长时间的等待或高昂的成本。基于传统的计算平台,大数据的价值根本没有被挖掘出来。
在会现场,戴尔的工程师展示了一个真实的大数据应用案例。这是一个基于HANA和BU平台的智能交通应用,主要是对一个城市的交通状况进行实时分析,数据量约为100亿条、40TB。按照戴尔大中华区企业级解决方案部市场总监彭宇恒的话说,这个演示如果运行在以前的平台至少需要几个小时,有时甚至还“跑”不出来。但在E7 V2平台上,不管是基于投入、成本比或劳动强度进行的运价补贴可选性分析,还是通过基于空间热点的地理位置分析实现的车辆调度、驾驶路径优化,抑或是基于一定区域对空车空载率的行驶速度和负重车行驶速度的分析判断城市道路拥堵状况,出分析结果的时间均为秒级。
“比如我们选择一周的数据,一般是100GB左右。再选择管理驾驶舱,再选择一个时间段,系统就会立即对这个时间段的数据进行回归分析,得出数据分布图,还能细化到每小时、每天、每辆车的数据展示,参数可以随时调整。”彭宇恒的整个演示过程就像在玩游戏,无需等待,所有的分析结果都是实时按照他的操作显示成图表。对于这样惊人的分析速度,彭宇恒给出的解释是,因为这是“内存计算”。所有的数据都在内存中,可以被实时读取,所以数据分析的图形可以实时动态变化。
这次演示带给观者的最强烈感受是,一直在阻碍人们接近大数据应用时代的东西似乎已被移除。如果说这是计算平台的又一次进步,那么这次进步正在改变的正是人们对数据分析、数据应用的感官认知。更关键的是,它带来了成本效益上的巨大变化,而这才是大数据被广泛应用的前提。
2018年,内存计算技术市场规模将达到132.3亿美元,是2013年的6倍之多。内存计算会在系统内存中放置整个大型数据集进行分析,而非在传统硬盘上进行。这意味着企业可以“实时”完成复杂的数据分析,为用户提供之前无法想象的全新体验和服务。面对海量数据的实时分析,企业束手无策,很难高效、实时地分析数据,并用其进行高效的商业决策、改善用户体验、完成精准的广告营销等的局面将宣告结束。
服务器产业再度进入创新期
E7 v2的价值还不仅仅是在大数据分析领域发酵。胡雷钧认为,在关键业务领域,E7 v2对于大幅提升系统稳定性又提供了更多的可能。“几年前,在底层硬件平台还没有像今天这么完善的情况下,我们一直在上层寻求突破。但实际上,如果从系统的角度去做更多保障CPU稳定性的设计,不仅困难大,耗费的精力也会很多,而且还可能费力不讨好。一个处理器的生命周期一般只有两年或两年多一点,但这种优化就要花上几个月甚至半年时间。”他告诉记者,现在很多问题都已经被英特尔在处理器端解决,上层的软件可以做更多创造性工作。例如,过去如果处理器周边的电路上落有灰尘,在电磁环境不好的时候,随时可能因为静电短路发生错误,而这些意外错误积累到一定程度随时可能会发生突变。如果可以利用软件查看到这些问题,就可以立即解决,而以前这些问题是没有办法解决的。现在我们通过CPU提供的一些特性就可以用软件随时冻结或关闭CPU,而不影响业务运行。因为处理器有了这样的特性,服务器厂商才能在系统平台上进行相应的设计,处理器特性的丰富也会给浪潮的设计带来更大的想象空间。
“从计算的角度看,E7 v2将会带来强劲的创新加速效应。”在胡雷钧眼中,服务器厂商等待已久的创新机会即将因为E7 v2而到来。
通过E7 v2,英特尔已经把高性能计算领域的很多关键技术移植到了商业应用领域,商用服务器产品的潜能将由此被激发,而在大数据分析领域,它又提供了解决核心问题的突破性方法。当初,E5的推出曾被服务器市场认为是恰逢“云”时,而今天E7 v2的面世在大数据领域似乎也产生了类似的效果。英特尔如果能赢得整个产业链的响应,很可能会让国内的大数据应用在明年出现全新局面。
一、大数据的概念和发展
大数据指的是以多元化形式,根据众多来源搜集信息,并将其汇总成一个巨大的数据库。一般情况下,大数据具有实时特性,这些数据来源于社交网络、电子商务网站或者顾客的来访纪录等等,而这并不是企业公司与消费者关系管理数据库中的常态数据。在大数据库中,不仅蕴藏着数据生产者的喜好、目的、真实意图等非传统结构上的数据信息,有效处理这些数据信息对网络架构及数据处理能力也带来了更多挑战。同样,从酒店管理的未来发展走向来看,随着大数据时代的不断推进,酒店领域的大数据化也正处于发展阶段,这就需要酒店企业正视大数据时代的发展优势,紧紧抓住发展机遇,切实提高酒店管理工作的效率和质量。
二、大数据应用于酒店管理工作的现状
(一)对大数据的认识不全面
在不同时代,酒店行业的发展会遇到不同的机遇和挑战,伴随大数据时代的不断发展,酒店行业也得到了更为广泛的发展平台。所谓大数据,就是将客户的资料信息进行综合归纳和整理,以便作为酒店企业在进行布置布局的重要数据基础,从而促进酒店行业的快速发展。在采集客户数据的过程中,仍然存在很多纰漏和不足,而且由于很多企业对大数据的认识不够全面,导致数据库往往失去其原本作用,徒有形式而没有实际作用。
(二)应用程度较低
经过调查与分析,发现很多酒店在进行客户数据整理与利用方面都存在或多或少的缺陷,其中多数酒店仅仅将大数据应用于销售营业报表以及盈利预算方面,疏于对这些数据的进一步开发与分析,导致数据信息的浪费,没有真正发挥在酒店市场营运方面应有的作用。由此可见,在现代酒店管理工作中,很多酒店企业对大数据的应用程度极低,在很大程度上影响了酒店行业的后续发展。
(三)酒店基本服务设施不配套
对一个优秀的酒店企业而言,其服务质量和水平不仅体现在为客人提供的优质餐饮方面,更体现在酒店客房别具一格的设计上。然而,很多酒店企业的基本服务设施不配套,也影响了消费者对酒店服务的满意程度。因此,为了解决这一问题,各大酒店企业必须要充分考虑到消费者的隐私问题,采取智能门禁、智能取电开关、智能电脑网络等等先进设备,提升消费者的满意度。
三、酒店管理工作中大数据的具体应用
(一)应用标准化酒店管理,简化数据管理
在酒店管理工作中,为了保证其科学化与自动化,就必须要采取良性循环发展的管理模式,应用标准化酒店管理,简化客户信息数据管理。另外,酒店也要根据技术与市场的不断发展做出相应的调适,充分运用大数据,达到推动酒店行业快速发展的终极目的。
(二)确保大数据运用的安全性
目前,由于大数据技术系统仍然存在漏洞,在酒店管理服务工作中常发生客户信息泄露等问题,而这也严重威胁着酒店行业的经营与发展。因此,酒店大数据管理系统必须要及时更新,并通过设计具体管理部门,对客户信息加密,保证酒店信息的正常流动。由此可见,确保大数据运用的安全性,能够有效提升消费者的满意程度,从而增加酒店的收入。
(三)加强酒店信息系统的开发
面对大数据时代的发展与推动,酒店行业必须要积极应对挑战,及时加强对酒店信息系统的进一步开发,充分发挥在线旅游平台的优势,从而建立独立的数据收集与整理的平台,通过对信息的归纳与分析,帮助酒店企业更好地了解消费者的实际需求。
关键词:大数据;信息;大数据安全
中图分类号:TP311.13
麦肯锡公司在2011年的报告(Bigdata:the Next FrontierforInnovation)中,对这种密集型数据爆炸的现象称为“大数据”时代的到来。大数据领域出现的许多新技术,是大数据采集、存储、处理和呈现的有力武器。
1 大数据概念
大数据概念的前身是海量数据,但两者有很大的区别。海量数据主要强调了数据量的规模,对其特性并没有特别关注。而大数据对传播速率、体积、特征等数据的各种特性进行了描述。目前对大数据最广泛的定义是:大数据是无法在一定时间内用通常的软件工具进行收集、分析、管理的大量数据的集合。大数据的特点一般用“4V”概括,即:Volume:数据量大,目前大数据的最小单位一般被认为是10~20TB的量级;Variety:数据类型多,包括了结构化、非结构化和半结构化数据;value:数据的价值密度很低;velocity:数据产生和处理的速度非常快。
2 大数据相关技术
2.1 大数据处理通用技术架构。大数据的基本处理流程与传统数据处理流程的主要区别在于:由于大数据要处理大量、非结构化的数据,所以在各个处理环节中都可以采用并行处理。目前,Map Reduce等分布式处理方式已经成为大数据处理各环节的通用处理方法。
Map Reduce分布式方法最先由谷歌设计并实现,包括分布式文件系统GFS、Map Reduce分布式编程环境以及分布式大规模数据库管理系统Bigrable。Map Reduce是一套软件框架,包括Map和Reduce两个阶段,可以进行海量数据分割、任务分解与结果汇总,从而完成海量数据的并行处理。Map Reduce的工作原理是先分后合的数据处理方式。Map即“分解”,把海量数据分割成若干部分,分给多台处理器并行处理;Reduce即“合并”,把各台处理器处理后的结果进行汇总操作,以得到最终结果。用户只需要提供自己的Map函数以及Reduce函数就可以在集群上进行大规模的分布式数据处理。Map Reduce将处理任务分配到不同的处理节点,因此具有更强的并行处理能力。
2.2 大数据采集。大数据的采集是指利用数据库等方式接收发自客户端(Web、App或者传感器形式等)的数据。大数据采集的主要特点是并发访问量大,因为同时有可能会有成千上万的用户来进行访问和操作,比如火车票售票网站的并发访问量在峰值时达到上百万,这时传统的数据采集工具很容易失效。大数据采集方法主要包括:系统日志采集、网络数据采集、数据库采集、其他数据采集等四种。
2.3 大数据分享。目前数据分享主要通过数据集市和开放数据平台等方法实现。开放数据平台可以提供涵盖本地服务、娱乐、教育和医疗等方方面面的数据集合,用户不但可以通过API访问,还可以很方便地通过SDK集成到移动应用当中。在线数据集市除了提供下载数据的功能外,还为用户提供上传和交流数据的场所。数据平台和数据集市不但吸引有数据需求用户,还能够吸引很多数据开发者在平台上进行开发。
2.4 大数据预处理。数据预处理就是对采集的数据进行清洗、填补、平滑、合并、规格化以及检查一致性等处理,并对数据的多种属性进行初步组织,从而为数据的存储、分析和挖掘做好准备。通常数据预处理包含三个部分:数据清理、数据集成和变换和数据规约。
2.5 大数据存储及管理。大数据需要行之有效的存储和管理,否则人们不能处理和利用数据,更不能从数据中得到有用的信息。目前,大数据的存储和管理技术主要分三类:分布式文件系统、数据仓库和非关系型数据库(NoSOL)。
2.6 大数据分析及挖掘。大数据的分析和挖掘是一种决策支持过程,它主要基于人工智能、机器学习、模式识别、数据挖掘、统计学、数据库等技术,高度自动化地分析大数据,做出归纳性的推理,从中挖掘出潜在的模式,从而在大数据中提取有用信息。大数据的分析和挖掘与传统的数据挖掘比较有两个特点:一是通常采用并行处理的方式;二是大数据分析对实时处理的要求很高,流处理等实时处理技术受到人们欢迎。常用的方法有:机器学习、数据挖掘、模式识别、统计分析、并行处理。
2.7 大数据检索。(1)数据库实时检索:在数据仓库或者NoSOL等大数据存储平台上,或者多个不同结构的数据存储平台之间快速、实时地查询和检索不同结构的数据。(2)实时搜索引擎:对互联网上的大量数据和信息进行即时、快速搜索,实现即搜即得的效果。目前各大搜索引擎都在致力于实时搜索的实现。
2.8 大数据可视化。可以提供更为清晰直观的数据感官,将错综复杂的数据和数据之间的关系,通过图片、映射关系或表格,以简单、友好、易用的图形化、智能化的形式呈现给用户供其分析使用,可通过数据访问接口或商业智能门户实现,通过直观的方式表达出来。可视化与可视分析通过交互可视界面来进行分析、推理和决策;从海量、动态、不确定甚至相互冲突的数据中整合信息,获取对复杂情景的更深层的理解;可供人们检验已有预测,探索未知信息,同时提供快速、可检验、易理解.的评估和更有效的交流手段。可视化是人们理解复杂现象,诊释复杂数据的重要手段和途径。