时间：2023-05-19 16:04:58
导语：在大数据开发的过程的撰写旅程中，学习并吸收他人佳作的精髓是一条宝贵的路径，好期刊汇集了九篇优秀范文，愿这些内容能够启发您的创作灵感，引领您探索更多的创作可能。
通过一系列收购，EMC已经建立了一条比较完善的大数据产品线。在此基础上，EMC抛出了大数据之旅的三段论。
第一关：构建云基础架构
大数据分析和处理的基础是完善的云基础架构，主要包括大数据存储和大数据分析两个平台。
EMC大数据存储平台的两大支柱产品是Isilon集群NAS以及Atmos海量智能存储。Isilon集群NAS是EMC两年前收购的产品，具有很强的横向扩展能力，使用起来非常方便。目前，Isilon集群NAS被用于许多云存储的项目。Atmos海量智能存储可以很好地支持分布式大数据计算。许多电信运营商基于Atmos构建了公有云系统，其部署非常简单，而且性价比很高。
EMC的大数据解决方案分成纯软件和软硬件一体两种。Isilon集群NAS与Greenplum软件组成了一体化解决方案。蔡汉辉介绍说：“Isilon集群NAS目前主要作为大数据存储平台，可与Greenplum、Hadoop结合，但同时也会兼顾传统存储应用。为了更好地支持大数据和云服务，Isilon集群NAS在今年底还会开放API，让更多第三方的厂商能基于Isilon集群NAS平台进行开发。”
EMC大数据分析平台的核心是两年前收购得来的Greenplum的产品，主要包括Greenplum Database（支持结构化数据库）和Greenplum HD（支持Hadoop）。蔡汉辉介绍说：“Greenplum大数据分析平台可以实时处理任何来源的数据，包括结构化、半结构化和非结构化的数据。Greenplum不仅可以处理PB级的数据，而且处理速度可以达到10TB/h。”
第二关：实现社交化服务
构建高性能、可靠、灵活的大数据分析平台是第一步，接下来，用户要构建数据处理的协作平台，建立自助服务的环境。EMC把这个阶段称为社交化阶段。
2012年3月，EMC了首个用于大数据的社交工具集Greenplum Chorus，使得数据科学家可以通过类似Facebook的社交方式进行协作。Greenplum Chorus是EMC中国研发团队主导开发的产品。Greenplum Chorus基于开放的架构，是一个用于数据挖掘和协作分析的流程平台。Greenplum Chorus包括数据探索、个人项目工作空间（又称个人沙盒）、数据分析和几个主要环节。
Greenplum Chorus开发主管庄富任介绍了Greenplum Chorus的工作流程：Greenplum Chorus提供了强大的搜索引擎，可以快速寻找到数据，并将这些数据进行关联，从而实现数据采集的可视化；采集来的数据被放到个人沙盒中进行处理，这个处理过程不会影响整个数据库的运行；在协作分析阶段，数据分析人员可以共享工作空间、代码，协同工作兼具灵活性和安全性；最后，相关的处理结果被出来。上述处理过程将循环往复。
Greenplum Chorus未来将走向开源。EMC已经了一个名为OpenChorus的计划，其目标是促进技术创新，同时促进那些运行在Greenplum Chorus平台上的协作的、社交化的数据应用的普及。2012年下半年，EMC还将公布Greenplum Chorus源代码，让更多人加入到Greenplum Chorus阵营中来。
第三关：敏捷开发服务
大数据处理的第三个阶段就是构建一个敏捷的开发环境，用于实时决策，并且更好地支持大数据应用程序。
从形式上看，传统的大数据方案包括打包方案和定制化开发两种。打包方案具有高效率、低成本的优势，但是需要精确的数据模型。定制化开发可以实现应用的创新，但是实施起来难度大，周期长，而且价格昂贵。EMC希望为用户提供一种敏捷开发的方式，在充分发挥上述两种方案优势的同时弥补其不足。为此，2012年3月，EMC收购了Pivotal Labs公司。Pivotal Labs是一家私营的敏捷软件开发服务和工具提供商。
关键词：大数据时代；软件工程；技术分析
1大数据时代概述
目前随着科学技术的不断发展，互联网技术应用到社会的各个层次各个领域中，人类社会的发展已越来越离不开网络技术的支持。大数据时代即在这种背景下应运而生，人们可以将大数据通俗地理解成数量极其庞大的数据信息，是计算机软件技术发展的一次伟大变革，而且对社会及人们生活的影响作用逐渐增强，被广泛地应用于企业管理及公共事务管理等各个方面，促进社会向更高层次发展。同时，不同类型和领域的信息数据收集既是从事生产和生活的最基本元素，更是计算机软件工程的最原始依据。大数据时代的背景下，软件开发人员可以更加方便地获取数据信息，同时也对其更好地应用这些数据提出了更高的要求。总之，大数据时代需要大量先进的软件技术人员，领悟大数据时代的真正内涵，并将大数据时代的精髓更好地运用到技术分析中去[1]。
2软件工程技术现状分析
进入互联网阶段，计算机软件工程技术处于高速发展的态势，大数据时代背景下，要求计算机软件工程技术结合大数据技术，更好地服务社会。当前情况下，与大数据有关计算机软件技术包含虚拟化技术（VirtualReality，VR）和云储存技术，VR技术能提高信息处理的速度，云储存技术提高了信息数据的储存效率。大数据技术同时具备专业性和实用性的特点，对软件工程技术工作提出了更高的要求，不仅能收集整理各种各样的数据信息，保证数据信息的安全性和有效性，剔除数据信息对软件分析的不良影响，更要能利用大数据不断创新思路。对于我国现阶段的软件工程技术水平来说，要认识到与发达国家相比，还存在着一定的差距，因此软件工程技术人员更要适应大数据时代的潮流，让软件工程技术工作提到更高的台阶[2]。
3大数据时代背景下软件工程技术分析
3.1软件工程技术分析全新思路及方法
在软件工程技术分析长期的发展过程中，逐步形成了一套固有的思想与设计方法，对软件工程技术工作起到了一定的促进作用。同时，时代是进步和发展的，软件工程技术者也要用发展的思维模式对待工作。在大数据时代背景下，软件工程技术工作需要适应时代的要求，在原有理念的基础上，力求探求更符合时代特色的软件开发思想和理念。首先，根据大数据时代大数据处理的特殊形式，考虑如何更好地开发出更能支持数据处理的软件系统，逐步形成独特的面向大数据的软件工程技术思想，使用适应于大数据时代特点的软件工程技术方法。其次，在软件工程技术工作过程中，技术人员会接触到很多软件过程数据，或多或少都具备一些大数据的特点，所以软件技术人员应该认真分析数据的特征，找出有利用价值的数据群，并充分利用这些有价值的数据，力求在探求的过程中发现可能的软件工程规律，并将其运用到后续软件工程技术的工作中去，这样反复不断地分析思想及方法的更新，会促进技术人员逐步形成基于大数据的软件工程技术分析方法，其正是适用于大数据时代背景下宝贵的软件工程技术分析方法[3]。
3.2软件工程技术需要全新的技术手段和工具
对于软件工程技术分析而言，在很长的一段时间内，技术手段比较单一，技术分析工具比较简单，这些手段及工具适用于比较单纯的分析对象，但是对于大数据时代背景下的数据处理就显得捉襟见肘了，尤其对于大交汇数据的处理，不能做到全面研究，因此软件工程技术仍然需要新的技术手段和工作。鉴于现代社会生产及生活特点，大数据的范围包罗万象，大数据来源于生产生活中的方方面面，不仅包括生产企业或消费者个人在生产或消费的过程中产生的各种交易数据，还包含消费者在各类交易媒介中产生的大交汇数据，诸如美团、支付宝等各类网络终端或POS机、手机APP等移动终端中的大交汇数据。在这些数据中，交易数据通常情况下属于结构化的数据，软件开发者们在处理这些数据时，可以运用传统的设计技术手段和工具来完成。但是大交汇数据一般状况下属于半结构化甚至有些属于非结构化数据，软件开发者如果单纯用传统的数据处理方式将无法完整地处理这些数据，不论是从存储和管理方面，还是从更高层次的分析和应用层面，都要求软件技术人员运用诸如云计算技术等新的手段及技术工具。与此同时，由于大数据具有涉及范围广、数据纷繁复杂的特点，软件技术者必须具备将大数据并行分析的能力，并能从中挖掘出有利用价值的信息，这就要求软件工程技术人员能准确地认识到传统数据挖掘手段单点式挖掘依存性高、实时性差等不足，探寻针对大数据分布式存储特点的数据处理方法，增强自身对快速变化的数据实时处理的能力。
3.3软件工程技术需要全新的需求分析方式
从理论上讲，软件工程技术分析基本思路：软件工程技术分析首要的工作即是进行严谨的需求分析，深刻理解软件需求者的真正需求，根据需求确定要技术分析的软件系统的功能需求、性能需求以及其他各方面的需求。继而在此基础上进行后续的软件开发设计、测试及交付使用等其他重要工作。但是需求分析是软件工程技术的先决条件，很大程度上决定了项目软件设计最终能否成功交付。传统的需求分析方式，一般是采用与软件需求者进行面对面的交谈或者对大众需求者进行纸质问卷调查的形式，软件工程人员通过内部成员收集到的信息进行全面讨论，绝大多数情况下技术人员会渗透到业务流程中，因此必然会经历较长的过程，消耗较长的时间，使得软件设计的时效性得不到很好的保证。在大数据时代的背景下，大数据时代数据繁杂瞬息万变的特点要求必须加快软件工程技术分析结果的推出进程，而且要满足软件升级换代的速度要求，软件工程技术人员必须在短时间内收集大量用户的需求，并以最快的速度做出反应，完成相应的设计开发测试等工作，并在测试的过程中用同样的方式收集测试用户的反馈，对反馈意见归纳分析，运用到软件系统的优化工作中，使得设计产品迅速得到完善。实际上，在大数据时代背景下，想要获取广大软件需求者的真正需求，并不需要需求者面对面直接参与，毕竟这种形式能参与的需求者并不会太多，甚至有时不具有代表性，软件工程技术人员首先可以通过网上问卷调查的形式更大程度地了解受众人群的需求，更重要的是借助大数据分析的手段，通过对需求者一系列的网上活动来获取更加有价值的需求。总之，大数据时代背景下软件工程技术需求分析思想的变革，必然会引起软件设计思维方式以及设计流程的变革[4]。
3.4软件工程技术人才培养要有适合时代特色的培养方案和师资力量
软件工程技术人才培养，一定要围绕时代特点来开展，因此软件工程技术人才培养方案是应该不断更新和优化的。时代的变更、大数据时代的到来，必然会对原有的人才培养方案提出更高的要求。大数据时代需要软件工程技术人员具有快速的反应能力、敏锐的观察力和综合分析能力，旨在培养和加强人员的实践创新能力。软件工程技术需要全新的思维模式和创新模式，更需要不断向技术人员的队伍注入新鲜的血液，大数据时代背景下，对专业软件工程技术人员的培养工作刻不容缓，要想做好设计人员的培养工作，必须制定出符合大数据时代特点的专业培养方案，并依据培养方案的要求，储备雄厚的师资力量。专业的培养方案为软件工程技术人才培养指明了培养方向和目标，而雄厚的师资力量更是专业技术人才培养的重要保障，确保了软件工程技术人才知识的先进性和专业性。大数据时代背景下，不论是从软件工程技术思想和设计方法方面，还是从技术手段和技术工具上，以及需求分析方式上的转变方面，都要在软件工程技术培养方案中体现出来，也给培养方案的制定提出了更高的要求，其中培养目标和课程设置尤为重要，要一切以大数据时代特点为理论依据，才会使培养方案更具时代特色，紧跟时代的步伐。在硬件方面，一批拥有过硬技术本领的师资队伍的组建，是培养优秀软件工程技术人才的有力保证，同时用于实训的实验平台的建设也要能跟上培养方案的要求。
4结语
综上所述，大数据时代，为软件工程技术分析带来了新的挑战和机遇，软件工程技术要依托大数据时代的特点和要求，不断优化设计模式，主要体现在：全新的设计思想和设计方法、全新的技术手段和设计工具、全新的需求分析方式以及适合时代特色的培养方案和师资力量等方面。如何更好地抓住大数据时代机遇，并不断迎接新的挑战，合理有序地做好这几个方面的工作，是软件工程技术人员需要重点考虑的问题。
[参考文献]
[1]何克清，李兵，马于涛，等.大数据时代的软件工程关键技术[J].中国计算机学会通讯，2014（3）：8-18.
[2]周明辉，郭长国.基于大数据的软件工程新思维[J].中国计算机学会通讯，2014（3）：37-41.
大数据是互联网技术变革所形成的新的社会态势，也是未来社会需要面临的主要社会形态。在大数据时代下，软件工程技术与大数据技术呈现出互相影响、相互促进关系。面临社会对软件工程技术提出的机遇与挑战，相关人士需抓住机遇、迎接挑战，致力于软件工程技术的开发与应用，提高信息数据处理能力，发挥我国各行业技术优势。
一、软件工程技术定义
软件工程技术是指应用计算机基础技术，应用编程语言对软件功能、软件操作等内容进行优化，将其应用在信息处理之中。我国对软件工程基础技术研究起源于上个世纪八十年代，并首次召开了软件工程研讨会，将其作为一个具体学科也在八十年代初。现如今，软件工程技术已经成为一个普遍名词，是各行业、各部门主要研究对象。
二、大数据时代下软件工程关键技术
（一）软件服务工程技术
软件服务开发符合我国当下社会主流需求，也是社会发展的主流需要。其在技术上主要应用在服务功能比较明显的软件开发之中，主要是指以工程化形式，利用计算机系统编程语言、开发程式及步骤、数据系统等内容，实现具备服务功能、应用功能软件的开发。软件工程开发以服务能力为核心，以虚拟特征以及分布样式为基础，对用户具体应用情况进行调试，保障用户应用软件工程系统科学性、稳定性、安全性。与此同时，服务软件工程技术可实现应用数据之间的整合，提高软件管理操作能力，对各项操作流程等进行明确。在大数据时代背景下，服务软件工程开发技术更加倾向于局域网内部应用，可以保护局域网内部用户不会受到木马病毒恶意袭击，极大程度保障软件工程应用安全性。例如，某企业应用服务软件工程技术，致力于服务与应用效果软件系统开发，将其应用在企业整体业务管理之中，为了提高软件服务工程应用效率，赋予了软件私人订制功能，强化软件服务工程自定义效果。由于该技术应用需要进行大量投资，在我国很多中小型企业中没有得到广泛应用，软件工程开发人员需在深度市场调研基础上，提高该技术应用能力[1]。
（二）众包软件服务工程
在众多软件工程技术中，大多数均具备的功能为处理信息、数据的集中性，可以生成大量数据信息，并呈现出集中性等特征。众包软件工程技术在世界各国均得到了广泛普及，是各国的重点研究对象。该技术在应用过程中可以流式数据、密集数据研究为主，实现系统化服务平台构建，其核心应用价值在于具有很强服务能力，并以群体信息服务等方式，优化自身应用价值。该软件工程技术相比较企业技术而言，具有明显优势，其在数据实质表现上具有真实性特征，忽略了软件形式要点，并不具备单位量化特征，重点突出在集中性上。众包软件工程技术具有很广阔发展空间，在市场有很强的发展前景，其技术能力与软件开发程度、系统管理能力息息相关，开发单位需重视该技术中数据传输有效性，促进软件长久稳定发展。众包软件工程技术以专业理论分析为依据，可从整体角度实现数据信息传输、处理等功能，以全面服务为核心，实现软件系统开发。企业及有关部门需强化众包软件开发技术应用，提高技术应用水平，在技术上进行创新，提高自身竞争实力。
（三）密集型数据科研技术
“第四范式”是密集数据研究一种，在2007年由吉姆格雷提出。在该技术理论研究过程中，强调大数据储存技术应用价值性，以统一的理论方法作为数据研究主要支撑。在该技术开发与应用过程中，对其传统软件工程中一、二、三范式进行理论与数据分析，提高其短时间内的数据储存与信息处理能力。在经过反复试验对比之后，研究人员改变传统思维模式，首先致力于“第四范式”数据结构研究，在整合驱动大数据基础上，对软件服务价值进行了全面概述。针对密集型数据分析方式，传统的数据周期、信息流程方法已经无法适用，在模型效果上存在滞后性。研究人员以原本数据、信息、模型研究为基础，对其数据服务、信息服务等进行推演，逐渐构建出第四范式模型，对其服务能力、服务价值等进行了全面优化。“第四范式”是大数据时代下，软件工程开发关键技术之一，在不断的研究中得以完善，可以实现密集数据生命周期有效提高，以全新的数据模型，为软件工程开发提供技术保障。有关部门需给予高度重视，使其能够适应未来社会的发展。
（四）软件工程技术在企业中应用
软件工程技术在企业中应用主要体现在两个方面，一是在信息通信中应用，二是在信息解决问题中应用。以某企业发展为例，某企业在运行过程中应用计算机软件工程监测技术，实现用户信息数据有效处理，并对用户信息进行科学保存。软件工程技术在逐渐发展中，其功能也在不断完善，信息通信功能可以为企业留存大量客源，具有十分巨大的行业价值。在信息解决方面应用软件工程技术，其主要应用方向在于系统平台管理，在大数据时代下，软件工程技术需具备以下五个环节，分别为产品抽样、产品样本采集、信息优化修改、构建数据模型、生产效果评定。企业应用软件工程技术进行信息问题解决，可以实现企业整体数据的有效分析与整合，保障企业内部信息准确、全面。所以。企业要重视软件工程关键技术应用，提高自身软件技术应用能力，致力于企业经济效益提高，进而提高自身竞争能力[2]。
结论：
总而言之，大数据时代在不断深入发展过程中，国家以及企业均需要给予高度重视，在软件工程技术开发上进行创新，并强化大数据时代下软件工程理论与实践研究，为企业发展提供更加优质技术服务。在未来发展中，软件工程技术将会越来越完善，其在技术上能给予用户更加优质服务，在信息处理速度与稳定性上均会得到极大程度提高。
参考文献：
关键词：大数据；数据创新；数据公开
中图分类号：C931 文献标识码：A DOI：10.3969/j.issn1003-8256.2013.02.010
网页时代，google凭借强大的搜索功能抢得先机；社交媒体时代，facebook凭借领先的分享模式独领；大数据时代，什么样的企业能执牛耳？
1、大数据时代的三种公司
按照牛津大学教授、《大数据时代：生活、工作与思维的大变革》作者维克托·迈尔·舍恩伯格的观点，大数据产业的价值创造一般有三部分组成：数据本身、处理数据的技能以及利用数据的创新思维。这三者也分别代表了大数据产业中的三种公司类型。
大数据掌控公司。这类公司拥有大量数据或至少可以收集到大量数据，却不一定有从数据中提取价值的技能或者用数据催生创新的思想。最好的例子是twitter，它拥有海量数据，但是它的数据都通过两个独立的公司授权给别人使用。
大数据技术公司。这一类公司通常是咨询公司、技术供应商或者分析公司。它们掌握了专业技能但并不一定拥有数据或提出数据创新性用途的思想。比如，沃尔玛和Pop-Tarts这两家零售商就是借助天睿公司（Teradata）的分析来制定营销方案—而天睿这样的公司就是大数据分析公司。
大数据点子公司。Jetpac是通过想法将大数据转化为价值的一个例子。这家公司通过用户分享到网上的旅行照片来为人们推荐下次旅行的目的地。对于这些公司来说，数据和技能并不是成功的关键，让这些公司脱颖而出的是其创始人和员工的创新思维，它们有实现数据新价值的独特想法。一般来说，这类公司的创始人会是外行人，他们思考的只是将数据转化为价值的可能性，而不考虑所谓的可行性—可行给技术人员操作。
当然，有一些公司，比如google，就是既拥有数据，也具有技术，同时还不缺点子的公司。以上分类，舍恩伯格也认为，只是针对采用信息化系统已久的非互联网公司的大数据价值链。而这些公司，正是大数据成为信息技术领域最新创新点的主要原因。
2、大数据处理：外包模式
国内一些具有大数据的非互联网公司也逐渐意识到了大数据能够带来的机遇。如上海的上广电就是一个典型例子。他们通过安置机顶盒，在给电视观看者提供数字内容的同时，也获得用户观看习惯的数据。同时，电视的位置也是可知的。基于这两种数据，就可以开发出一定种类的新的服务。
比如，基于客户行为的个性广告。如果某一家庭喜欢看少儿节目，广告就可以推送与儿童有关的。再比如，基于客户位置的信息推送。如果某用户居处附近有商家在打折，电视就可以推送这些打折信息。还比如，基于群体行为的广告定价。根据用户的过往数据，可以比较有把握地预测一部电视剧是否会火。
作为电视台，上广电（至少目前）并不具备大数据开发技能，但他们显然也不愿意将他们的数据直接交给大数据处理公司。所以如果他们想要从机顶盒数据中开发新的服务，一定会选择有能力的大数据专家或者公司上门服务。而他们根据计算结果进行应用即可。
3、大数据处理：中间商模式
在大规模爆发的大数据产业中，舍恩伯格认为，全新的数据中间商将横空出现。他例举了交通数据处理公司Inrix。这家公司位于美国西雅图，它汇集了来自美洲和欧洲近1亿辆汽车的实时交通数据。这些数据来自宝马、福特、丰田等私家车，还有一些出租车和货车等商用车。私家车主的移动电话也是数据的来源。一方面这家公司通过智能手机为用户提供免费的交通信息，另一方面它也得到了这些车辆的同步数据。Inrix是典型的独立运作的大数据中间商。每个汽车制造商可能都会利用自己的车辆在行驶过程中生成的成千上万条数据来预测交通状况，但这种预测不准确也不全面。但Inrix汇总了各家车厂车辆的数据，随着数据量的激增，预测结果越来越准确。
作为汽车制造商，各汽车公司并不一定掌握分析数据的技能，他们的强项是造车而不是路况分析。所以他们都很乐意第三方来做这一预测的工作，而且这些同行业的竞争者并不介意通过行业外的中间商来汇集他们各自手中的数据。
第三方的数据商出现固然是一种趋势，但这只解决了公司愿意提供的那些数据的处理。事关商业竞争力的数据一般公司是不会交给第三方数据公司的。
4、面对更大的客户需求，还有没有别的模式？
大数据越来越“大”。媒体、交通、运输、食品、医疗等领域，都有大量数据在持续积累当中。目前几乎所有对大数据的定义，都包括了“海量”、“实时快速”、“多种类”这三种特点。在大小公司的数据开发成为规模后，大数据将呈井喷状态。
根据IBM和牛津大学的合作报告《大数据在真实世界中的运用—创新型企业如何从不确定数据中提取价值》，2012年，在接受他们调研的1061家公司中，28%的公司开始试点和实施大数据战略，47%的公司处于规划阶段而剩下24%则处于概念认识阶段。他们的全球调研发现，虽然大多数企业对大数据是为何物还不清晰，但是都表现出了越来越浓的兴趣。未来越来越多的公司将意识到大数据的价值并寻找大数据技能和创新公司。不利用大数据的公司，很有可能被利用大数据的同行公司甩开。
可以预见，绝大多数公司都实行大数据战略后，数据分析的要求要比现在大的多。这一方面将会刺激大数据技术处理公司的增长，同时也会刺激大量的数据中间商的出现。但是，应对越来越大的大数据处理需求，还有什么新的模式来吗？
5、大数据处理的技术黑箱
大数据处理最主要的目标，就是将机器可读的“数据”转化为可以应用的“知识”。
无论是交给大数据技术处理公司，或者中间商，他们的工作内容，都是将公司的“数据”转化为可供利用的“知识”。而这个转化过程，一则需要一定的技术，二则需要一系列的软硬件。具体的转化过程—大数据处理的技术黑箱。如下图（由上海交大梁晓峣教授和朱其立教授联合绘制）所示。
在目前热炒的“大数据”概念中，其实对于不同企业意味着不同的意义。如，IBM、Intel等比较关注最底层的硬件层，oracle等则比较关注系统软件层，百度、街旁等比较关注最上面的应用软件层，现在最为大众所知的也是最上面这一层，如facebook、新浪微博的广告推送，腾讯的微信即时聊天服务等。
但是“知识工程层”，也就是，在硬件和系统架构的基础上，如何将“数据”转化为“知识”，一直被当作是大数据公司内部的技术能力，人们往往并不对其深入剖析。
6、一种新模式：大数据处理平台模式
事实上，从“知识工程层”着手发展，是可以大有作为的。如果一个客户，将其数据提供给一个大数据技术公司，该公司将其数据转化为“知识”，就完成了一种业务。这也就是本文一开头提到的第二种公司—大数据技术公司的业务流程。
如果，有多个客户将数据传给不同的数据技术公司，而这些公司同时在这一平台作业。那么，各个数据处理公司不仅分别满足了各自的客户，同时平台也汇集了各个客户的数据，进而有了将这些数据重组、混搭的机会。这种情况所能带来的效益更是不可估量的。因为大数据处理，数据越“大”，创新的机会越多。而在处理各种数据的基础上，平台的技术能力和数据基础也得到一步步加强。随着领先者效应，有可能成为大数据时代的No.1企业。
所以，有没有可能建立一个国有数据处理平台？此平台，可以处理各种客户的数据处理需求。在满足各种客户自身需求的基础上，还可以利用客户的数据—在客户同意的条件下—进行新的二次甚至三次开发利用。同时客户也可以分得新一轮开发所创造的价值。
大数据带动的在这一层级的产业需求，其下层的IBM、Intel、 oracle等以及其上层的facebook，百度等，由于“船大难掉头”无法顾及。当然，即便他们想发展，也还面临另两个关键问题。一，第一桶数据哪里来？二，由于客户众多，数据必须有足够的安全保障。
7、政府的作用：提供第一桶数据和控制平台发展方向
最近几年，政府数据开放运动（open data）在很多国家展开。这些国家公开政府数据的目的是为了刺激各种数据处理公司对政府的数据再利用从而创造新的价值。中国由于各种原因一直没有加入此一行动，所以大部分的政府数据是处于搁置状态的。
我们认为，在不公开政府数据的情况下，政府也可以成立一个国有的大数据处理平台对政府自身的数据进行处理。这样，既可以保证政府数据不发生外泄，同时也可以二次开发利用创造新价值。
而这一政府主导的平台，也可以接受各个企业将其数据融入。企业出于对政府数据安全的信任，会愿意将自己的数据分享到政府的平台。作为回报，企业可以得到该平台基于各种类型数据所计算出的知识，提供的各种创新应用以及盈利的一部分。
当然还有另外一种可能，企业而不是政府建设这一平台，但政府可以分享自己的一部分数据给以支持。通过这第一桶数据，该平台可以进一步吸收其他企业、社会数据，并最终壮大。
8、待讨论的问题
政府提供数据培养企业，一定存在这样一个问题：政府数据作为一种独特的资源，政府应当提供给哪个企业？选择企业，无论是一家还是若干家，都是“选择赢家”式的。这无疑会被认为是某种程度的政府“慈父主义”。欧美发达国家的处理方式，是将能够公开的政府数据公开在互联网上，任何企业或个人都可以开发利用。但是，在中国的背景下，一旦政府数据也通过互联网公开，很有可能被国外发达数据公司抢先开发。如何平衡这两者之间的矛盾，还需进一步研究。
参考文献：
[1] [英] 维克托·迈尔·舍恩伯格（Viktor Mayer-Sch-nberger）肯尼思·库克耶（Kenneth Cukier）.大数据时代——生活、工作与思维的大变革[M].杭州：浙江人民出版社，2012.12
大数据时代的到来，对整个世界都已经产生了巨大影响，具体到军队档案管理领域，大数据的功能作用以及其对档案管理工作的影响则主要表现在以下几点：一是分析判断能力强，方便了电子文件的鉴定和索引。大数据时代，电子文件以指数级的速度增长，给电子文件的管理带来了前所未有的挑战，虽然我们知道浩瀚的电子文件中蕴藏着巨大的“金矿”，但我们逐渐发现想要从这些电子文件中“淘金”比纸质文件还困难。面对着巨量的电子文件，逐一阅读每一份电子文件的原文恐怕实在是无能为力。而大数据技术的强大功能作用为上述问题的解决提供了有效的帮助。在普通的硬件上安装大数据转发器，就能收集数据形成的庞大的系统数据，大数据软件可以为机器生成的海量数据建立索引，将其整理成可以搜索的链接，这正是档案工作迫切需要的技术。除此之外大数据技术还能完成数据的分类、数据的挖掘，从而使档案管理拥有应对越来越复杂的数据的分析能力。二是处理技术手段高，解决了非结构化数据的处理难题。大数据类型繁多，包括结构化数据、半结构化数据和非结构化数据，至2012年末，非结构化数据占有比例达到整个数据量的75%以上。面对着快速增长的非结构化文件，档案工作者在进行电子文件管理时困难重重，现在基于大数据技术的数据库，如SQL已经既可以做关系数据，也可以做空间数据、图像、数据流等非结构化数据，而且基于对象的存储架构可以在一个系统中管理十亿级别的文件数量，还不会像传统存储一样遭遇元数据管理的困扰，大数据技术为档案工作者管理非结构化电子文件的问题提供了解决之道。三是数据存储容量大，避免了海量信息和数据的丢失。近年以来，在档案数据库的使用过程中，常常会碰到无法向数据库中增加新的档案数据的情况。要想安全地存储巨量的档案数据，不可能一味的盖大楼、盖机房，这就要求我们必须优化存储、提高效率和节约成本，其实比起其他诸如电信行业、通信行业、电子商务等行业面临的数据存储空间问题，其实档案行业的存储空间问题只是小巫见大巫，大数据在计算机领域已经具有相当的成熟度，这也说明大数据技术对于解决存储海量数据问题的有用性，这些公司使用大数据的经验对档案行业解决数据的存储问题具有高度的借鉴意义。
2档案管理运用大数据的策略
既然大数据时代已经到来，而且其功能作用对部队档案管理工作有着较为深远的影响，运用得当，大数据将给我军档案管理工作带来前所未有的成功，那么如何将大数据的理念较好地运用到档案管理工作中来呢？
2.1建立档案资源管理中心
大数据技术支持庞大数据的存储和处理，使档案资源的统一管理成为可能。为了维护档案的安全及对档案资源的综合掌控，档案需要备份，目前档案馆采用的是档案的电子备份，档案部门是否可以在全军范围内建立一个区域或者档案备份中心，并且各部队档案部门能够做到资源共享呢？只要通过严密验证和科学规划，这一措施是完全可行的。若全军的档案数据资源能集中起来，那么利用大数据进行档案资源的管理、开发和利用将指日可待。
2.2培养大数据分析的专业人才
外界企业通过寻求和专门的大数据开发公司合作，较好的运用了大数据技术。而档案管理牵扯到部队保密工作，若想引入大数据，又要有效防止信息数据的泄露，就必须加紧健全信息化档案管理人才队伍，花大力气培养大数据分析的部队专业技术人才，方能有效避免拥有大量数据却不懂数据分析的尴尬。
2.3开发大数据分析工具
部队档案管理区别于地方，存在特殊性和敏感性。这就要求我们必须结合部队实际及档案建设的特点，开发出一套符合我们自己的大数据分析工具。
3档案管理运用大数据应注意的事项
【关键词】实验室建设 实验室管理 大数据 计算资源管理
1 引言
随着大数据应用的推广，在教育领域上，大数据应用被用于分析学生的基础信息数据、学习过程数据、学习行为数据、技能状态数据和学习偏好数据等，借助相关的数据分析为教育活动、培养模式和教育决策提供合理的、有效的、科学的数据支撑。在大数据背景下，对高校实验室的建设、管理及应用提出了更高的要求：
（1）实验室建设应建设在具备计算资源的管理、数据存储、数据采集能力的功能框架上；
（2）实验室应能为各专业学生提供具备大数据实验、大数据分析能力的计算资源及框架；
（3）实验室平台应具备产学研培养模式的服务能力。
以人才培养与学科研究/建设互动为原则，大数据背景下实验室建设与学科发展、创新人才培养、师资技术培训紧密结合，本文提出了基于项目管理和计算资源管理的计算机专业实验室建设及管理的研究，并提出合理的解决方案，为推动教学和课程改革，推动教学模式和教学手段转变，具备分析学生技能、学习行为及数据处理（数据采集、存储、分析）能力，形成技能型、应用型人才培养模式创建一个良好的实验教学环境。
2 大数据背景下计算机专业实验室建设需求
在大数据背景下，随着学校近年来专业数量的进一步扩大，增加的专业对实践动手能力要求较高，为了达到更好的教学效果，现在的教学模式亟需发生变革，必须寻求一种更有效的实训模式。结合计算机学科及专业实验需求，实验室的建设应具备前瞻性、扩展性、普适性的特征，专业实验室的管理是管理员对计算资源进行运维的过程，体现了应用与理论相结合的需求。实验室具备云计算、云服务及数据处理的能力，为培养新型技能型人才提供良好的实验教学、实习实训、对外服务的平台及教学环境。在大数据背景下，计算机专业实验室的建设及管理应从以下的几个方面进行规划及分析：
（1）针对计算机学科各专业的共同特征，在理论教学中各课程间是一个协同耦合的关系，以软件开发过程为主线，将专业课程用规范的软件项目过程模式应用到实践教学管理中，将新的软件开发模式、新的开发技术、新的业务流程快速地部署到实践教学中并实施――该过程的实现对实验室建设提出了专业实验室中应具有基于项目管理平台的能力。
（2）针对云计算、大数据应用的发展，为各专业学生提供个性化服务，实验室应以虚拟计算资源的方式对各类用户提供系统平台服务、数据存储及数据分析能力的计算节点：一方面通过实验室平台能方便快捷地管理硬件设施并以虚拟资源的形成呈现出来；另一方面所搭建的对计算资源进行管理的云计算平台能为学生学习与计算资源管理相关的一系列课程的开设提供良好的软件和硬件相结合的实验环境。
（3）实验室管理中应提供云服务平台的管理模式，各类各层次及企业机构用户能按其在参与的项目中所担任的角色参与项目信息的共享、项目开发过程的协同、任务的分发及监督、讨论等基于项目管理的活动，并可提供方便地按需进行系统环境的配置、开发平台的部署等。
（4）提供知识库管理功能，在课程上、在项目开发模版上、在开发素材上、在代码复用上，为项目开发人员提供支撑的知识库及归档服务。
（5）计算机专业实验室的建设是一项既有硬件建设，又有软件平台建设的复杂工程，同时针对计算机专业的特点，实验室是学生走向岗位的跳板和桥梁，其软件平台的建设应以产学研平台为指导原则进行构建。
结合计算机学科的发展，云计算技术类专业在教学过程中通过实验室平台依靠云计算技术的模拟实践环境的构建，将各行业实际的应用过程整合进来，把专业知识和实践方法综合与贯通起来，能更好地解决云计算技术类专业人才的培养和师资培训的问题。
3 计算机专业实验室建设方案及管理模式
3.1 实验室建设方案的总体框架
针对高校的特点，实验室建设的总体应用架构的搭建及系统平台的构建遵循面向服务架构（SOA）原则，具备安全性、集中性、高效性、高可靠性、开放性、可扩展性。实验室的总体框架由软件平台和硬件设备整合而成，主要包含了：
（1）应用层――教学实验实训管理；
（2）云服务平台层――云服务运维管理层；
（3）虚拟资源层――计算资源的虚拟化及管理；
（4）基础设施层――服务器及网络等物理设备。
方案的总体框架如图1所示：
图1中“计算资源管理平台”主要负责以下的工作：
用户管理：团队用户的申请、审批、权限、生产环境及计算资源的配置模板管理。
计算资源分配管理：针对用户的需求，制作对应的软件生产环境系统镜像（配置生产环境、开发嘞薜龋，并为其分配相应的计算资源。
在线用户管理：用户VM的管理、计算资源的回收和分配；
基础设施的管理：在基础设施中添加、维护物理服务器的入群和退出等。
计算资源管理平台是一个基于云计算应用的管理平台，部署上主要采用一台高性能服务器或与云服务平台层的服务器（高性能服务器）捆绑在一起。
3.2 实验室管理平台――软件项目管理平台
为实现实验室的高效管理，为实现产学研的实习实训模式，实验室管理和核心平台――软件项目管理平台，平台主要由三个子平台构成，其框架如图2所示。
3.2.1 知识资源库管理平台
一方面为支持构件（源码库、类库），相关的文档――需求说明书、开发计划、设计说明书等，设计素材，测试用例，案例库等各个项目研发过程性知识资源的复用，以提高项目研发的效率；另一方面为教育培训提供各个方面的知识资源案例，为培养软件研发人才提供详细的项目过程管理规范、项目案例示范、编码案例示范、文档模板及文档撰写示范。
3.2.2 协同开发服务云端平台
以协同软件生产线为业务工作流（需求分析设计任务分解任务分发开发整合（单元测试）测试验收），线上（云端）主要管理：任务分解、任务分发、开发、整合（单元验收）、项目验收五个过程，其它过程为线下管理。在平台上，首先将需求与设计部分（线下由项目负责人、项目经理完成――教师、学生、企业协同完成任务的设计及分配）产生的软件设计说明书作为一个新的项目在平台中进行注册的初始化文档导入系统，线上部分主要有：组织级项目管理、项目生命周期管理、任务管理、测试管理、评审管理、外包管理、审查管理、知识和文档管理等基于混合敏捷开发方法（即支持敏捷和传统的项目管理）的标准和方法。
3.2.3 协同开发桌面云
将桌面计算机的计算和存储资源（包括CPU、硬盘、内存）集中部署在云计算数据中心机房，通过虚拟化技术将物理资源转化为虚拟资源，并按需向用户提供虚拟桌面服务。实现完整的水平整合和云化企业异构IT基础设施的能力，能够支持数据中心虚拟化或桌面虚拟化构筑云计算基础架构和运营模式，实现固定和移动融合的云接入能力，帮助学生跨学院/跨区域对项目开发环境下的桌面、应用和数据进行统一管理、和聚合，提升软件项目研发过程的信息安全及技术保密。
该平台基于项目过程建立一个以流程导向、以软件项目为中心的实验室运维支撑平台，为整个云实验室提供一套行之有效的运维管理体系。
3.3 实验室管理的内容
3.3.1 实验教学管理模式
按照“三位一体”原则，主要由实验室管理员、课程教师、学生、企业机构四个角色，为云计算教学实践和实验提供一个统一的管理服务模式，在管理平台中完成实验资源调度管理、教学资源管理、实训课程管理、实验软件管理、实验考核管理、用户管理、权限管理及其他个性化设置管理等。
3.3.2 实验课程管理
按照计算机学科各专业将课程理论和云实验课程两部分组成，涵盖基础原理、核心技术、平台实践、应用案例等。
最终用户通过网络，使用各种PC浏览器或移动终端设备接入实验教学管理门户，通过统一身份认证、访问控制等安全策略控制后，使用云实验室各种虚拟云资源及学校云实验课程，为最终用户提供云计算教学和体验。
4 计算机专业实验室实施架构及基础业务流程
解决方案实施架构及基础业务流程如图3所示。
为了降低实验室的维护成本，提高信息安全管理力度，采用“云端集中化”模式，通过云桌面技术将学生个性化桌面集中部署在服务器上，不同设备可以随意访问，同时实现桌面维护简单化、业务数据集中化。具备：
（1）稳定、节能；
（2）少故障、易维护；
（3）模板式桌面部署，系统安装、软件分发、环境设置、故障恢复等工作可以一键下发，减少运维工作量；
（4）移动化、更灵活提升办公效率；
（5）安全、易备份，业务数据集中存储，形成分布式共享数据存储，提供经济高效的存储。
5 结束语
在大数据背景下，高等教育的实验室建设及配套的管理平台应具备高开放性和可扩展性，一方面形成高效的实验室管理模式的配套工具；另一方面能为培养计算机专业提供与研究热点相关的实验环境。
参考文献
[1]陈雷.大数据学习分析的研究与应用――以浙江省教师教育MOOC培训平台的课程为例[J].现代教育技术，2016，26（08）：109-115.
[2]张艳艳，韩涛，高秀芝，等.基于大数据时代背景下的实验室管理改革方向[J].教育教学论坛，2016（05）：219-220.
[3]毋妙丽，段晓英.基于云桌面的虚拟实验室建设及应用[J].中国现代教育装备，2016（23）：10-12.
[4]王娟 高等院校专业实验室建设与管理探析[J].中国轻工教育，2016（01）：64-66.
[5]欧跃发，黄文明.基于云计算的虚M实验系统的设计及应用[J].电脑知识与技术，2016（08）：097.
[6]刘世伟，田世鹏，甘涛，等.虚拟实验室的研究与应用现状综述[J].物联网技术，2016，6（09）：82-83.
作者简介
莫潇晓（1981-），男，广东省肇庆市人。现为肇庆学院教育技术与计算机中心助理实验师。研究方向为实验室管理、虚拟实验室、云计算。
一、“互联网+”的重要标志：大数据时代
“互联网+”行动计划日益渗透到各行各业，它代表着时展方向，对人力资源管理带来了创新变革。随着科学技术水平的不断提高，大数据应用已经在各行各业中体现出不可替代的价值，形成了“大数据+人力资源管理”的管理思维方式。大数据应用的出现意味着数据能够广泛渗透到各行各业及各个业务职能领域中；同时海量数据的应用掀起了新一轮的消费者盈余浪潮，并使得生产率有所增长。随着互联网及云计算等科技的兴起及普遍使用，大数据作为新时代的产物，在越来越多、越来越复杂的海量数据下成功塑造出这一全新的概念。
大数据的主要特征有数据体量巨大、数据类型繁多、价值密度低和处理速度快。大数据作为海量数据的集合体，存在三种分类方式：（1）半结构化数据。例如用windows系统进行处理的文字、电子邮件及在网上阅览的新闻等信息。（2）结构化数据。例如企业财务系统、人事系统等数据都是结构化的数据。（3）非结构化数据。例如移动终端、传感器及社交网络等产生的数据。大数据时代给人力资源管理带来了新的思维和机遇，以大数据的思维模式，整合各类数据，挖掘数据价值。因此，“大数据+人力资源管理”必定是人力资源管理的发展趋势
二、大数据应用在人力资源管理中的作用
1.大数据应用使数据具有广泛的可获取性及高透明度。部分制造商正在试图通过集成多种系统的数据，并试图通过从客户和外部供应商获取数据来共同完成产品的制造。例如汽车制造行业，汽车的零部件通过全球供应商集中提供。企业及其供应链合作伙伴通过这种高度集成的平台可以在产品的初期设计阶段就开始相互协调工作。
2.大数据通过改变决策的制定方式对竞争产生影响。大数据应用能够使决策制定产生根本性的转变。大数据可以通过利用可控实验，使企业能够对假设进行验证，并对数据显示的结果进行分析，从而达到利用大数据指导投资决策及运作方式的目的。大数据应用对面向用户的企业有着极其重要的影响作用，面向用户的企业通过对数据的分析和划分来对用户进行定位，而大数据应用可以使用户质量实现质的飞跃，使用户的实时性及个性化制定成为现实。新一代的零售商已经采取利用大数据应用，并且通过互联网的点击量对用户进行定位和跟踪，同时能够影响并更新用户的个人爱好，通过实时模仿其可能发生的行为对自己的产品进行改进和完善。
3.大数据对数据管理所做的改变及替代趋势。大数据应用通过提高机器的分析能力及算法，能够使制造商获得更高的生产率。例如部分制造商利用大数据算法对生产线的传感数据进行分析，为减少及避免损失创建自动调节过程，以达到减少成本过高的人工干预并实现生产率的提高。
4.基于大数据应用的新型商业模式产生。大数据的广泛应用促使许多在价值链中生存的新型公司产生，通过商业交易创建具有高价值的“排出数据”，这种商业模式已被大量新型公司采用[1]。
三、大数据应用在人力资源管理中的价值
大数据应用使得人力资源管理系统的数据来源得到拓宽，并使人力资源的信息采集能力得到提升，使数据量最大化。大数据应用对人力资源管理的精确性、客观性及针对性都有十分重要的作用。
大数据应用为人事工作提供更加全面的量化参考基础。在组织人事工作的过程中，利用大数据的分析方式可以对人员流动、绩效考核结果及人员培训需求等进行有效分析。利用大数据的优势结合全面的人力资源信息并对其进行反复持续地深入挖掘，利用人才分析或人力资源核算等方法，使大数据为人力资源管理工作发挥出战略性的预判能力。
在大数据时代下，人力资源管理系统已经打破了传统的组织形式并开始向普通员工靠近，从而在与员工交流的过程中产生更多的交互性数据，这样不仅可以优化人力资源的组织结构，同时为员工服务创造出有利的条件，使员工能积极参加到认识管理工作中，并且使人力资源管理有更加规范的工作流程。
人才的核心竞争力在大数据时代下正发生着巨大的变化，利用大数据可以建立高效的人才数据管理模式。在大数据新时代下数据已成为企业的核心资产之一。通过对大数据应用的使用使得企业的一切信息都能够被录入和存储，并且通过对企业及员工群体的信息进行有效分析和总结。
四、大数据下人力资源共享网络的组织模式设计
1.人力资源共享网络的构建框架。人力资源共享网络的构建包括以下四个部分：确定共享网络的目标、选择共享伙伴、组织共享网络结构和共享网络的运行及反馈与平台的设计开发。其中选择共享伙伴与构建共享网络平台的设计开发是人力资源共享网络建设的核心部分，因此，对二者进行深入分析[2]。
2.人力资源共享网络的伙伴选择。在人力资源共享网络的建设过程中，共享网络的伙伴可能是任何行业的人员或企业，因此，在选择过程中，通过对人力资源状况进行识别与评估，对候选共享伙伴进行初步确定，同时在此基础上根据海量信息及经验制定合理的共享伙伴评价体系与指标，从多方面对伙伴进行综合性的评价，最终确定合适的共享伙伴名单。影响人力资源共享网络选择共享伙伴的因素有很多，根据不同的人力资源情况会出现不同的选择侧重点，在选择过程中应根据共享网络的建设目的及各组织进行合作的宗旨，从而确定对共享伙伴选择中的评价体系。
3.人力资源共享网络的平台设计及组织结构。在确定网络共享伙伴之后，开始对网络组织进行详细设计，其中包括网络共享平台的设计及组织结构设计：（1）人力资源共享网络组织结构。在人力资源共享网络组织的运行过程中，应建立各项功能机构并且执行网络共享合作协议，使共享成员组织之间能够有效而具体地开展人力资源共享活动。人力资源网络共享组织一般具有两个层次的功能机构：一是从微观上根据具体的人力资源网络共享需求及合作项目、目标组建人力资源网络共享合作团队，并且形成人力资源共享体系，运用不同的网络共享方式实现需求者与人力资源拥有者之间的网络共享；二是从宏观的层次上建立由共享成员组织共同参与的高层管理机构，对整个人力资源网络共享组织内部的工作负责并进行协调[3]。（2）人力资源网络共享平台的设计开发。人力资源网络共享的平台设计开发工作主要有以下几个环节：利用网络服务器将人力资源拥有的能够进行编码的知识及每个成员组织提供的相应人力资源信息进行传递；通过网络共享平台的各个内部子系统的运作，对人力资源编码化的知识进行处理加工并且对共享成员间人力资源的需求进行匹配；最后通过网络或人工传输，对每个网络共享团队的实践活动进行指导。人力资源共享网络平台由以上各环节共同构成。
五、大数据下人力资源网络的协调机制
人力资源网络共享平台的开发设计作为共享成员之间进行人力资源及知识共享的基础平台环境，还需要能够支持整个网络共享组织运行的协调机制，通过与协调机制的配合才能够使得共享网络组织的运行目标得到实现。
协调机制在人力资源网络共享组织中主要强调以下几点：配合并协调人力资源网络共享平台的运作过程；通过网络共享文化培养及激励机制等方式对各共享成员组织间的合作关系进行协调，达到使每个共享成员都能够以有效的目标优化方式与其他成员合作共同达成目的。协调机制主要包括网络目标分解、网络组织结构及具体执行等层次的内容。
因此，人力资源网络共享组织的协调机制主要在向前协调及向后协调两个方面进行作用[4]。
1.人力资源共享网络组织协调机制的向前协调作用。人力资源网络共享组织的向前协调主要强调根据各共享成员的差异在共享网络组织构建过程中预先设计合理的协调机制，以达到协调管理各共享成员组织与人力资源网络共享整体运作的关系。
2.人力资源共享网络组织协调机制的向后协调作用。人力资源网络共享的向后协调机制主要包括发现、分析及解决问题三个部分。协调机制在人力资源网络共享组织中主要着手解决在共享网络运行中已经存在的冲突或问题。作为一种反馈模式被动地对事后出现的问题进行解决。
在人力资源网络共享组织的运行过程中存在大量需要处理的共享伙伴之间的制约及依赖关系，因此，全面、正确地对其进行形式化描述并对整个运行过程进行有效的维持，从而减少共享成员组织间出现冲突的情况以降低协调工作量。
“大数据时代的预言家”维克托近日在北京面对一万多名技术信徒再次预言。
显然，这三大经典的技术信条在大数据时代面临动摇，
技术信徒的思维模式也即将发生颠覆。
那么，大数据对技术信徒意味着什么？
他们又将如何面对这一颠覆性的变革？
“技术汇成一条大河，一波推动另外一波。”IBM中国开发中心首席技术官兼新技术研发中心总经理毛新生带着对技术的满腔痴迷这样形容道。
一波未平一波又起，移动、社交商务、云计算、大数据等先后涌现的新趋势正在融合成一股巨大的潮流，将所有的行业IT化，进而推动商业和社会的演进。这也就意味着“科技是第一生产力”在当下有了更深层次的涵义——“IBM认为，在由新一代技术组成的智慧运算时代，中国的企业家们需要更为战略地思考信息科技的定位，将其运用到自身的变革转型之中。” IBM全球副总裁兼大中华区软件集团总经理胡世忠为企业新发展出谋献策。
由2012年的“软件技术峰会”改名为2013年的“技术峰会”，在这么一个盛会上，IBM试图展示的内容涵盖范围更为广泛——移动应用、大数据、云计算、DevOps软件持续交付、应用整合、社交商务、专家集成系统等热议话题，上百场技术主题演讲、28场分论坛、22场动手实验室和80个未来产品的现场演示，再加上被誉为“大数据时代的预言家”的《大数据时代》作者维克托·迈尔-舍恩伯格以及数十位来自IBM的院士、杰出工程师、相关领域的全球首席技术官和首席架构师的现场分享，IBM 2013技术峰会再次成为技术精英们关注的焦点。 大数据的新信条
《大数据时代》作者、牛津大学网络学院互联网治理与监管专业教授维克托·迈尔-舍恩伯格的出现着实让场内数以万计的技术信徒激动了一把。作为深刻洞察大数据给人类生活、工作和思维带来的大变革的第一人，维克托以价格预测网站的例子作为开场白，论证了大数据已经悄然在大众的身边出现并给他们的生活带来改变。
“全体性、混杂性和相关性是大数据的三个主要特点，而且这三个特点是互相加强的。”维克托归纳出了大数据对应的思维变革。收集和分析更多的数据才能获取足够的数据隐含的细节，这些细节恰恰是随机抽样所错失的。“干净”的、高质量的数据不再是标的，大数据需要我们摒弃对宏观上精确性的追求，转而获得微观上的准确性，即接受混杂的数据。最重要的是，人们不再沉迷于追寻数据之间的因果关系，即不再纠结于为什么，而是直接获得“是什么”的答案，并通过应用相关关系，更好地捕捉现在和预测未来——抽样因错失细节得不偿失，盲目追求精确性已经过时，执着于因果关系丧失机遇。
如何在大数据时代生存？维克托指出了两个关键点：一是意识到技术或者规模并不是成功的充分条件。遗忘规模经济，因为它的效益会逐渐淡化。20年前，一个公司只有拥有上十万台的服务器才能提供搜索服务，但在大数据时代，由于云计算的便利性，不拥有实体服务器的公司，如前文提到的，它只有30个员工，但它有能力为其上10亿的用户提供数据分析。二是为了在大数据时代获得胜利，大数据的思维模式不可或缺，工具的力量不容小视，分析能力是必要的。蓝色被谷歌选为搜索窗口的色彩，但蓝色实际上有51种，而且这51种蓝色人依靠裸眼无法明确区分，却能在心理层面给人带来不同的感受。经过大数据分析，谷歌发现原本由人工选出来的蓝色会导致谷歌损失200亿～300亿美元的收入，因为这一种蓝色并不最具备诱惑力，无法激起人们点击的欲望。
大数据的力量需要具备大数据的思维模式，并有效利用大数据的工具去发掘。IBM杰出工程师、InfoSphere Stream高级开发经理James R Giles阐述了IBM对大数据的看法：“我们正一步步走到了一个新纪元——大数据时代。如同对待自然资源一样，我们需要开掘、转变、销售、保护大数据资源；不同的是，大数据资源是无穷无尽的，我们不能任由大数据淹没自己，而应该在获得洞察需求的驱使下获得价值。”
大数据的类型广义而言有移动数据和静态数据，还有结构性数据和非结构性数据，这对应着不同的处理方式。“技术人员的责任是，能够去管理这些数据，能够理解这些从不同的数据源而来、不同类型的数据，能够分析这些数据，得出结论，让其提供决策支持，为企业拥抱新的大数据时代提供技术支撑，以保证管理、安全、商业的持续性。” James R Giles号召技术人员积极行动，以大数据的思维模式展现技术的价值和魅力。
找到内在联系
技术的趋势总是融合，也只有有机融合才能形成合力，发挥更大的威力，而实现这一合力的前提是明确各个趋势之间的内在联系。
“实际上，社交商务、移动、大数据、云计算是一体化的。”毛新生建议技术人员用一个全面的、融合的范式来沉着看待和应对纷繁的热点技术，理解这些热点会如何影响整个IT的走向，进而明晰IT如何可以很好地支持各行各业的业务转型和创新，“让每个行业都可以从新的技术转型当中获得足够的原动力”。
从贴近最终用户的角度来看，移动技术、社交技术改变了商业机构与其雇员、客户进行互动的方式。“就我个人的经历而言，航空公司的移动应用可以提供更好的客户交互。我是西北航空公司的粉丝，因为它家的移动应用服务很贴心，比如查询航班信息、根据我的喜好预留位置、定制化地进行社交推荐等。”毛新生以一个普通消费者的感受证明了企业通过移动应用收集并利用用户行为数据所带来的服务质量的提升。
移动催生了“一种崭新的服务交付端点”，即为用户提供了更多样化的服务体验点，让用户随时随地可以利用碎片化的时间去获得业务服务，也为企业带来了全新的服务交付渠道。移动这个渠道提供了更为丰富的全样性数据，在此基础上，大数据分析就更可信。“移动所具备的碎片化特点会带来更大量的用户行为信息。当把所有的人的行为结合在一起，就可以做群体的社会性分析。社会性分析会得到比较准确的群体特征。而群体特征足以获得很好的交叉销售与线上销售机会。”毛新生认为移动与大数据结合给企业提供了新的商业机会。
移动的设备无处不在。人、汽车，甚至建筑物、道路、桥梁，它们无时无刻不在提供数据，这就是新的数据源，是它们引领我们来到维克托所描述的更为广阔的大数据世界。
移动和社交商务的便捷性使得企业的整个业务流程变得非常自动化，用户可以享受自助服务，对应到企业端就意味着业务流程对前端的需求要反应得更为迅速，也意味着各个业务系统之间无缝连接，否则没有办法支撑以最终用户为中心的服务体验，但跨部门和跨应用的整合实属不易。进一步延伸开来，对用户体验的追求是无止境的，合作伙伴的API和服务可以作为补充，这即是“跨企业边界”的行为。这种行为必然导致大规模的用户访问。这些整合和外部拓展都需要云计算提供灵活有效的基础。没有云计算，移动前端的体验、大数据分析的效果都会大打折扣。“云的基础设施使大规模互动、大规模数据处理、大规模应用可以更好地服务我们。”毛新生指出。
环境变化加速，竞争更加激烈，要求企业的反应速度越来越快，应用以及端到端解决方案快速改变。毛新生饶有兴致地介绍道：“这个改变有多快呢？我们有的客户尝试以天为周期去改变，这意味着应用和业务流程的设计、开发、部署、测试、维护的整个过程要大大加快，也就是所谓的DevOps。只有把敏捷的开发和运维结合起来，生命周期变得以天为周期，才能响应新的商业环境。”
“移动、云计算、大数据、社交商务之间的紧密联系让我们应该以整体的眼光来审视它们。”胡世忠坚信，它们的组合可以创造可持续的竞争优势，可以迸发变革的力量。
至于一个企业应该从哪里下手来实现这一幅宏伟蓝图？毛新生给出的答案是：“每一个企业，因为它所处的行业或者特定的情况而拥有不同的切入点，有一些企业需要从移动开始，有一些企业需要从云计算开始，有一些企业需要从大数据开始，但是它们是不可分割的整体，只有综合地运用它们，找到适合自己的切入点，一步一步脚踏实地，才能掌握先机，打造竞争力。在这个过程中，要拥有正确的思维，改变既有思维，理解趋势，制定策略。”
例如，银行、保险、零售业这一类和最终消费者打交道的服务业在很大概率上需要先从移动、社交商务入手，从而使其有机会改善和用户交互的过程。而以数据为生的行业会琢磨如何将自己的内容和资源数据增值，而传统的运营基础设施的重资产企业，会追求将资产数字化，得到数据并进行分析，以优化资产的生命周期管理来预防性地降低维护成本，这些企业是以大数据作为切入点的。还有一些企业希望跨行业整合进行业务创新，背后牵扯到它们自身现有的业务模式和新业务模式的整合，这种情况下需要以云的方式构建新的应用、服务、商业流程。
毛新生认为切入点不同只是表象，每一种场景到最后都是综合性的运用，要把这几个技术综合运用起来。从前端开始，首先是利用移动，并借助社交渠道交流，很快这些渠道会得到新的数据，这些新的数据和原有的交易数据和积累的数据结合起来做进一步的数据分析，这就是大数据分析。大数据分析以后可以做社交推荐、关联推荐了。随后，能不能跨界再实现更广泛的销售？跟别的价值链上的合作伙伴合作，那么引入云是解决之道。数据量增大，用户数增多，云的基础设施可以让成本更合理。“所以说，到最后都是综合性的应用，尽管起点不一样”，毛新生说。
对技术人员而言，IT就是交付业务流程的基础，是信息化的工具。它的目标无非是优化业务流程或者创新业务流程。创新到达一定程度后，业务流程的量变会导致质变。“这就解释了为何全球越来越多的CEO将技术视为驱动企业发展的首要因素。” IBM软件集团大中华区中间件集团总经理李红焰强调，技术人员有能力，也有责任将“看不见的技术转变为看得见的享受”。
移动开发的转变
在大数据的带领下我们进入移动时代，企业有了新机遇，技术人员却有了新挑战。为什么移动开发和之前不一样呢？有什么不一样呢？这成为了萦绕在技术人员脑子里最主要的两个问题。
IBM杰出工程师及IBM移动平台首席架构师Greg Truty解答了这两个疑问。他认为，很多企业现在所做的事情与在移动的状态下做的事情是不一样的，移动状态下的任务和规划更具有战略性。移动应用是在不稳定的网络上运行的，所占用的资源更少。用户在移动设备上和非移动设备上的体验是完全不一样的，他们会希望在不稳定的网络上仍然能够获得良好的体验。企业现在需要思考的是，怎么样把大量数据、大量体验变成一些有意义的体验。同时，移动管理的需求也不一样了，开发的特性也不一样了。比如对一个企业来说，移动开发周期更短，有更多设备需要支持，有更多开发方法可供选择，也有更多的工具和库可供选择，这时候企业就需要仔细斟酌，哪些开发方法和工具是自己需要的。
自然而然，对于设备的管理也有了变化，因为应用变化了。“一直以来，客户端服务器的应用架构是企业在使用的。你需要协调在服务器端的服务以及在客户端的服务，挑战非常大。你不可能强迫客户运行你的应用，而必须能协调和兼容原有的系统。这是非常关键的一点。” Greg Truty强调了设备管理的重要性。
此外，产品种类也非常多，新应用层出不穷。Greg Truty 认为多而新的局面下更需要冷静处理：“我们会把应用和数据结合起来，移动和社交网络结合起来，这样做会创造一些新的得到数据的机会，需要进行管理。新的机会、新的技术，给整个IT组织带来了更多的挑战。”
关键词：网络大数据 特点 统计 分析利用
中图分类号：TP309 文献标识码：A 文章编号：1007-9416（2016）11-0237-01
大数据信息种类繁多，不仅包含了大量的结构化数据，还包含大量的非结构化数据，对这些数据的统计和整理是一项较为复杂的工作，必须先将非结构化数据转换为结构化数据，可是由于当前信息数据的统计标准还不统一，大数据的采集方式、分析手段等方面还存在一些问题，因此大数据的利用效率并未达到最佳状态，大数据的分析利用还有待我们进一步的研究和和完善。
1 大数据的特点
大数据的“大”就是特点之一，他代表大数据信息量大、规模大，且大数据的规模会保持持续、高速的增长趋势。其次，大数据的价值高，这些数据被广泛的应用于数学、物理、生物、工程、管理、营销等多个方面，在其中占有很重要的角色。例如，部队管理上，利用大数据分析管理经验、预测管理结果等，对提高部队的综合管理水平很有帮助。 此外，大数据信息相对于简单的信息加工有许多优势，一方面，大数据信息加工要不断的积累和更新，而一般的简单信息加工具有重复加工、反复存储等缺点，无形中增加了信息收集、加工、利用的成本。因此相对于简单的信息加工，大数据的价值优势显而易见。再次，大数据具有交叉复用的特点，数据存入信息库后可以被不同的人同时调用，数据信息也可被反复调用，这样的数据库节省了信息资源整理的成本，对提高信息资源的利用效率意义重大。第四，大数据具有全信息可见性，一方面，大数据信息量丰富，各类信息包含其中，且更新速度较快，信息类型全面，利用效率高。另一方面，大数据对于信息的生产、组织、流通等有较为成熟的流程，这样既保证了信息收集的全面性，也确保了数据库信息的广泛性、全面性。
2 大数据的统计
大数据是当前计算机网络应用的发展趋势，大数据的统计方式和分析方式都很丰富，当前大数据的统计目的在于更深层的挖掘信息广泛信息背后的巨大价值。在应用过程中人通过大数据要看到的是事物的本质和全面情况，要了解事物的实时发展情况，因此大数据统计中，对于数据分析、数据收集、用户信息等较为重视，大数据的统计和分析利用要对不同来源的信息数据进行科学的、有效的整合，才能满足“人、机、物 ”对信息交换融合需求，提高人机交流的效果，更好的把握物发展的趋向和规律，以实现数据信息利用的更高价值。
3 大数据的分析利用
大数据的分析利用形式很多，就大数据分析而言大体分为可视化分析、实时分析、关联分析。以可视化分析为例，可视化就是能够直观的看到的信息数据，如文本、图片、图像等，在数据整理中发现不同类型知识结构和内容的可直观的进行分类、加工、利用，这些信息数据的应用是用来反映一个事物与其他事物的关联性，其特点是可以直观的应用信息数据，也可深挖数据信息，还可对数据信息进行预测分析，不同的大数据利用目的，可通过不同的方式分析、应用信息数据，在可视化分析过程中，信息互交性强是一个最突出的特点，信息的者不仅是信息的传播者，还是信息的接收者，不同的大数据用户可通过信息交互的形式管理和开发信息数据，使信息数据更具利用价值。其次，可视化分析的直观性很强，信息数据显示出多维性，信息数据的分类、排序、组合等可不断的变化，其显示也可分为图像、三维、动画等，形式非常丰富，加工利用的价值很高。其他分析手段的应用也很广泛，但不论哪一种分析手段，大数据分析的最终目的都是对信息数据的利用，在这一过程中要通过计算机网络强大的信息传输、存储、分析等功能，揭示事物之间的联系和事物的发展规律，并结合对信息数据的挖掘，开发信息数据隐藏的价值，揭示事物之间内在的联系，以便更准确的掌握事物的发展动向，预测事物的发展趋势。当前，大数据分析利用还存在一些难点，例如大数据标准不统一、采集方法单一、数据处理庞杂等，要提高大数据的分析利用价值，这些问题是值得考虑的。第一，统一大数据标准，结合大数据不同的特点、来源等，将非结构化数据进行标准化处理，以方便信息的统计和分析利用。同时完善大数据统计的指标，简化大数据的统计、利用过程。第二，完善和丰富大数据的采集方式，同时改进数据处理方式，使用户在大数据利用中能够转变身份，不仅是大数据的应用者，还是大数据的建设者。第三，丰富大数据分析手段，进一步改进非结构化数据转换为结构化数据的方法和技术，以提高信息数据的分析效率，增加其利用价值。此外，应结合大数据统计和分析利用中的各种问题，系统的分析大数据的统计、分析、利用规律，更深层的挖掘信息数据的潜力，使其更好的为我们服务。
4 结语
大数据的利用在当前的计算机网络应用中早已成为热门话题，但具体的利用手段还不成熟，其中存在着一些不足和安全隐患，针对这些问题大数据的利用效益显然更受人们关注。总之，大数据的发展是信息时代的必然趋势，为信息数据的统计、分析、利用提供了绝佳的机会，使信息资源的利用价值更为突出。因此，研究大数据的统计和分析利用不仅要停留在当下，更要放远眼界，重视信息科技的发展，才能将对大数据的研究推向另一个高度。
参考文献
[1]张莉，林海霞.给予互联网信息传输的网络大数据校准技术研究[J].激光杂志，2016（06）：119-122.
购物车(0)