时间:2023-08-07 17:29:18
导语:在数据分析分析技术的撰写旅程中,学习并吸收他人佳作的精髓是一条宝贵的路径,好期刊汇集了九篇优秀范文,愿这些内容能够启发您的创作灵感,引领您探索更多的创作可能。
关键词:联机分析处理;多维数据库;数据分析;甲骨文产品;财务预算系统
中图分类号:TP392 文献标识码:A 文章编号:1007-9599 (2013) 02-0000-03
OLAP(On-Line Analytical Processing,即联机分析处理)是一种多维数据库技术。这种技术的设计目的是针对特定问题的实时数据访问和分析,并且提供直观易懂的查询结果。还有一种处理技术OLTP(on-Line transaction processing,即联机事务处理),与OLAP不同,OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理。
1 OLAP技术介绍
1.1 OLAP技术的发展背景
60年代,关系数据库之父E.F.Codd提出了关系模型,促进了联机事务处理(OLTP)的发展(数据以表格的形式而非文件方式存储)。1993年,E.F.Codd提出了OLAP概念,认为OLTP已不能满足终端用户对数据库查询分析的需要,SQL对大型数据库进行的简单查询也不能满足终端用户分析的要求。用户的决策分析需要对关系数据库进行大量计算才能得到结果,而查询的结果并不能满足决策者提出的需求。因此,E.F.Codd提出了多维数据库和多维分析的概念,即OLAP。OLAP技术正是为了满足决策管理的需求而产生的。
1.2 OLAP特征
OLAP的技术核心是"维"(Dimension)这个概念。“维”是指一种视角,是一个判断、说明、评价和确定一个事物的多方位、多角度、多层次的条件和概念。通过把一个实体的多项重要的属性定义为多个维,使用户能对不同维上的数据进行动态的多维快速访问和分析。包括:在维之间、成员之间交叉组合分析;对连续时间段进行趋势分析;将数据切片从不同切面比较数据;向下钻取到组合数据的更深层观察细节数据;向上上卷到细节数据的更高层观察汇总数据.因此OLAP也可以说是多维数据分析工具的集合。由此可以得出OLAP的四个特征:多维性、快速性、可分析性和信息性。
1.3 多维数据的概念及层次关系
关系数据库是围绕一条一条“记录”而形成的。多维数据库的技术核心是“维”,类似于数组。下面举例说明:NBA(National Basketball Association)联盟有三种收入来源(转播、门票和广告),下表是其中两支NBA球队(LAKERS,KINGS)的销售收入,其中表1是关系表,表2是根据每支球队的销售来源转化成的多维表。
通过上图可以看出,表2中表达的数据关系更直观。在多维数据库中,通常将“球队”定义成“组织”(Entity)维,将“收入来源”定义为“业务方向”(Business)维,销售额定义为“科目”(Account)维。表2从组织维和业务方向维展示了销售收入状况。其中,“Entity”为维度,球队名称:LAKERS,KINGS为维度成员,即维值。“维”具有层级关系,如父子关系,兄弟关系等。如本例中,Entity和LAKERS的关系就是父子关系,LAKERS和KINGS的关系为兄弟关系。若在Entity和LAKERS之间定义了其他维值,如NBA、WEST(西部)和Pacific Division(太平洋赛区),即:Entity-NBA-WEST-Pacific Division-LAKERS,那“Entity”与“LAKERS”的层级关系就变成了祖辈与后代的关系。
1.4 多维数据分析的操作
OLAP的基本多维分析操作有钻取(roll up和drill down)、切片(slice)和切块(dice)、以及旋转(pivot)、drill across、drill through等,对数据进行剖析,使用户能从多个角度、多侧面地观察数据库中的数据,从而深入分析包含在数据中的信息。
钻取是改变维的层次,变换分析的粒度。它包括向上钻取(roll up)和向下钻取(drill down)。roll up是在某一维上将低层次的细节数据概括到高层次的汇总数据,或者减少维数;而drill down则相反,它从汇总数据深入到细节数据进行观察或增加新维。切片和切块是在一部分维上选定值后,关心度量数据在剩余维上的分布。如果剩余的维只有两个,则是切片;如果有三个,则是切块。旋转是变换维的方向,即在表格中重新安排维的放置(即行列互换)。
根据综合性数据的组织方式的不同,目前常见的OLAP主要有基于多维数据库的MOLAP及基于关系数据库的ROLAP两种。MOLAP是以多维的方式组织和存储数据,ROLAP则利用现有的关系数据库技术来模拟多维数据。在数据仓库应用中,OLAP应用一般是数据仓库应用的前端工具,同时OLAP工具还可以同数据挖掘工具、统计分析工具配合使用,增强决策分析功能。
2 OLAP技术在企业财务预算数据分析中的具体
下面以ORACLE公司的产品Hyperion系统为例,介绍OLAP技术在企业财务预算数据分析中的应用。Hyperion系统是一种基于Web的OLAP解决方案,该产品分为三层架构,客户端、应用服务器和Essbase数据库。用户可以通过浏览器访问应用服务器,进行检索和分析数据;也可以通过Essbase Spreadsheet Add-in插件直接对数据库进行操作,进行数据访问和分析。Essbase Spreadsheet Add-in是一款软件,可以与Microsoft Excel实现无缝连接。安装该插件程序后,Excel应用程序中将增加一个菜单项――Essbase。该菜单提供了可以对数据库操作的命令,例如“连接”、“旋转”、“放大”(向下钻取)、“缩小”(向上钻取)、“发送”等功能按钮。用户仅通过单击鼠标然后进行拖放就可以展开立体式、快速灵活的数据访问和分析。
下面应用前面总结的多维数据库技术方法对一大型能源集团公司的预算数据进行数据分析,数据分析的前提是在执行了业务规则(可以认为是计算财务数据的勾稽关系的公式)。连接数据库和应用“Budget”后,搭建一张利润表。如图1:
下面从多角度组合分析该大型能源集团公司的利润情况。比如我们想了解集团公司下属各单位2012年的盈利状况,只需要选中“集团公司”,然后双击,即可进行向下钻取,获取各单位的数据,如图2:
以上是从组织维的角度对数据进行了查询,现在换一个角度,我们从年份和场景进行对比各下属单位的盈利情况,通过对“2012年”和“预算”维值的拖拽,选择“2012年”的兄弟级成员“2010年”和“2011年”,选择“预算”的兄弟级成员“实际”,从而形成图3:
对比2010年、2011年的预算数、实际数和2012年的预算数据,经分析发现,从集团公司层面,集团公司2010年的实际利润1480超过了预计利润1450;2010年、2011年实际利润和2012年预算数据对比,每年利润成上升趋势,说明公司经营状况良好。但是再仔细分析发现,2010年实际利润虽然达到了预期目标,但是有一家分公司的利润为-10,这就会让分析人员去进一步研究是什么原因造成了这种状况,对“上海分公司”执行“仅保留”操作,“2010年”、“预算”和“2011年”、“实际”执行相同的操作,然后将“净利润”展开,将“上海分公司”进行“旋转”操作,得到下图4:
通过对图4分析得出,上海分公司净利润的减少是由于营业总成本的增加和投资收益的减少造成的,经过进一步分析,其中营业总成本的增加体现在人员管理费的增加和研究开发费的增加,因为今年上海分公司引进了一批技术人才进行新技术的开发研究,预计技术成熟后,即可投入到开发生产中,为公司盈利。投资收益亏损是由于当时对投资的一个项目没有进行很好的预估,造成了公司的亏损。通过一系列的分析,得出了结论,这能够指导公司在将来制定更加合理的战略决策。
3 总结
按照企业的业务目标,对大量的企业数据进行分析和探索、揭示隐藏其中的规律性,指导管理者决策,OLAP技术的灵活、高效的特点被体现的淋漓尽致,对于从大型多维数据库在获取数据也显得轻而易举,另外它还具有启发性,引领分析者进行进一步的思考,做进一步的分析,直至得到明确的结果和结论。能够更好的指导企业进行经营决策管理,提高企业经济效益,提升企业的市场竞争力。
参考文献:
[1]ERIK THOMSEN.OLAP解决方案:创建多维信息系统(第二版)[M].朱建秋.北京:电子工业出版社,2004.
[2]施伯乐,朱扬勇.数据库与智能数据分析:技术、实践与应用[M].上海:复旦大学出版社,2003.
[3]姚家奕.多维数据分析原理与应用实验教程[M].北京:电子工业出版社,2007.
[4]姚家奕.多维数据分析原理与应用[M].北京:清华大学出版社,2004.
[5]刘汝焯.审计数据的多维分析技术[M].北京:清华大学出版社,2006.
[6]陈安,陈宁,周龙骧.数据挖掘技术及应用[M].北京:科学出版社,2006.
[7]ALEX BERSON,STEPHEN J.SMITH.Data Warehousing.Data Mining and OLAP[M].USA:Computing Mcgraw-Hill,1999.
关键词:大数据;可视化;数据仓库;市场监管
引言
运用大数据技术来加强对市场主体的服务和监管,是促进政府职能转变、简政放权和优化服务的有效手段,也是近年来的发展趋势[1]。国务院办公厅的《国务院办公厅关于运用大数据加强对市场主体服务和监管的若干意见》中要求,各级政府部门都要充分认识运用大数据技术加强对市场主体服务和监管的重要性,通过运用大数据技术来提高对市场主体的服务水平、加强和改进新形势下的市场监管能力,并以此为动力推进政府和社会信息资源的开放和共享,提高政府部门运用大数据技术的水平。为了进一步加强和改进市场监管方法,提升市场监管部门的市场主体服务能力,顺应大数据时代潮流,运用大数据技术加强对市场主体的服务和监管,促进政府职能转变,做好简政放权和优化服务,在现有软硬件资源的基础上,整合原工商、质监、食药监、物价、知识产权等相关部门各个业务系统的数据,建设基于可视化技术的市场监管大数据分析系统。基于可视化技术的市场监管大数据分析系统由数据仓库、大数据分析软件及相关软硬件设备组成。
1系统架构
系统采用松耦合、高聚合、多层次和面向服务的体系结构,坚持功能实用、接口规范和高响应时效的原则,采用J2EE架构和多服务器、虚拟化和集群化的部署方式。支持Oracle、mysql、SqlServer、DB2等主流数据库,支持Hadoop分布式系统基础架构。采用了兼容性较好的B/S模式,并结合当前科技创新工作的要求,支持Linux系统客户端下的火狐、谷歌等主流浏览器。系统的基本架构如图1所示。系统的数据源来自原工商、质监、食药监、物价、知识产权等多个部门不同厂家、不同版本的业务软件,经过数据清洗模块对各部门的数据进行整理、清洗,存入数据仓库。J2EE平台调用数据分析模型接口对数据仓库中的数据进行分析,并通过可视化工具以图、表等形式对结果进行可视化输出。
2数据预处理
由于数据源所在的数据产生部门、数据库厂商和版本各不相同,数据库中表结构的差异较大,必须先对从各数据源中抽取的数据进行预处理,将清洗整理过的数据存储到数据仓库中,才能把数据完整、有效地提供给数据分析模块进行分析,并对分析产生的结果进行可视化输出。
2.1源数据抽取针对多部门不同的数据库系统,都开发了相应的数据库接口进行数据抽取,对于未采用数据库进行存储的数据,则通过从软件用户端界面手动导入的方法进行抽取。抽取到的源数据保存在前置数据库中。前置数据库提供了自定义表结构功能,用户可通过数据导入模块自行定义表结构和数据表中的字段属性,以便灵活导入未经过事先定义的数据。以市场监管工作中的反不正当竞争监管数据为例,通过数据抽取模块将行政执法的基本数据(案件号,案件名称,当事人,案值,处罚金额,立案时间等)导入系统后,系统将数据自动转化并存储至前置库的数据表中,数据表中相关字段的属性自动根据导入的字段类型进行判断,若表中部分字段内容缺失,系统先以默认值填充,待数据清洗时进一步处理。前置库中的行政执法信息数据如表1所示。
2.2数据清洗
数据清洗是对前置库中的数据进行校验和审查的过程[2]。数据清洗的目的是删除前置库中的重复信息、纠正错误数据,并将字段值的单位进行统一[3-6]。来自各部门的历史数据往往存在数据重复、无效值、空值等实际情况,需要对其进行数据清洗后再存储到数据仓库中以供进一步分析展示使用。对源数据的数据清洗主要采用以下方法进行。对源数据中属性值均相等的数据视为重复信息,将其进行合并处理,只保留一条重复的数据。对源数据中的存在空值的不完整信息,若某个属性存在的空值过多,且该属性对所展示的问题不是特别重要,则删除该属性;若该属性仅存在少量空值,则判断该属性与其它属性间的相关性,存在相关性的根据其他属性的值和相关规则推测该属性的值,无法推测的保留空值。若处理后的某条数据存在的空值仍然过多,则将此条数据删除,否则保留此条数据并保留空值。对源数据中日期等格式不规范的数据进行格式转换,将不同的数据格式转换成统一格式。清洗后的数据存储在数据仓库中,供数据分析模型和可视化工具读取并产生可视化分析结果。
3基于可视化技术的大数据分析系统
利用数据可视化工具,开发市场监管大数据可视化平台,将处理过的市场监管数据以多种类型的图、表等形式直观地展现出来,并对展现出来的信息进行标注、解析、汇总和分析,系统能直观的显示出市场主体的基本概况、发展趋势、风险预警等信息。
3.1数据可视化技术
数据可视化技术是通过算法和工具对多维的信息空间进行定量的处理和计算,将大型数据集中的数据处理后以图形图像形式表示出来,从而将数据中隐藏的信息直观地展现给用户[7-9]。目前数据可视化技术已经提出了多种方法,根据原理的不同可以划分为面向像素的技术、基于几何的技术、基于图像的技术、基于图标的技术、基于层次的技术和分布式技术等[10-12]。
3.2市场监管大数据分析系统
市场监管大数据分析系统运用大数据技术来提高市场监管部门的公共服务能力,对市场主体事中后监管数据进行高效的采集和整合。系统利用市场监管大数据,制定规范了市场监管大数据标准体系,将大数据分析结果作为提高市场监管治理能力重要手段,不断提高服务和监管的针对性和有效性。市场监管大数据分析系统主要包括数据仓库平台及分析展示平台两大部分。数据仓库平台将原有各单位业务软件中的数据进行抽取,进行清洗及格式转换后存储在数据仓库中;大数据分析展示平台将数据仓库中的数据通过建模,以可视化的方式将结果展示给市场监管人员,提高市场监管部门的公共服务能力和事中事后监管水平。数据分析平台包括综合查询、业务分析、风险预警、决策支持、综合分析等主要功能模块及年报监控、统计报表等辅助功能模块。系统的主要功能模块如图2所示。其中,大数据分析工具主要采用集成了报表引擎、全文检索引擎、多维分析引擎、数据挖掘引擎及数据可视化组件中的BI工具实现。通过数据可视化BI组件,为用户提供应用层各功能模块的分析结果可视化输出,实现了市场主体分析的GIS热力图、放射性树状图、标签云等各类图形和报表输出等功能。
4系统实用效果
市场监管大数据分析系统通过对数据仓库中登记注册、信用监督、特种设备、食品药品安全、知识产权等几大数据源的数据进行抽取、清洗等预处理,将预处理后的数据进行挖掘分析,并对结果以图、表等可视化方式输出,效果简洁直观。市场监管大数据分析系统的每个模块根据业务种类划分子模块,每个子模块均支持多种方式的可视化输出,为市场监管人员提供决策支持。系统可对各类数据进行分析统计,形成特定的图表,可通过自定义条件对分析数据进行筛选,点击图表上的相关内容可向下一级进行钻取,查看下一级的分析图表。图3是上年各月度行政执法立案和处罚数趋势图。由图3中可以看出,上一年第二季度的行政执法立案数和处罚数较多;前三季度行政执法立案数和处罚数基本呈现正相关联系,而第四季度由于市场监管政策变化,行政执法处罚数出现明显下降;2月份由于传统假期,行政执法立案数和处罚数都明显较少。图4是市场主体分布情况的GIS热力图显示,根据市场主体的分布密度不同显示出不同的颜色。市场主体的分布密度越大,GIS热力图中的颜色就越深,市场主体分布密度小的区域颜色越浅。由图4可以看出,滨湖区和新吴区的市场主体分布密度较大,主要原因是这两个区的高新科技产业园较多,市场主体主要集中在产业园及其周边;对郊区而言,工业集中区及其周边的颜色较深,传统农业乡镇的热力图颜色较浅,结果符合该市城乡发展的实际情况。
关键词 智能电网;大数据;云计算
中图分类号 TP3 文献标识码 A 文章编号 1674-6708(2017)180-0030-02
1 概述
保定・中国电谷智能电网可视化平台整体采用大数据技术架构进行构建,能蚨缘缤在运行过程中产生的大规模、多种类、结构类型复杂的业务数据进行全景容纳,全面反映电网运行、监测、能量采集和检修过程的整体情况。较之传统信息系统,基于大数据和云计算的智能电网可视化平台能够有效提升系统数据分析的并行能力,显著提高计算速度,进一步提升智能调度的科学性和前瞻性,解决电网运行状态检测和电能损耗等方面暴露出来的问题,在负荷分布式控制和用户侧短期负荷预测方面取得突破。
2 设计规划
2.1 设计思路
随着大数据、云计算、物联网等新兴科技的发展,我国电力企业迎来转变生产模式和管理模式,实现可持续发展的重要契机,特别是对于坚强智能电网的建设,带来了深远的影响,大数据在支撑电力企业业务发展的过程中,具备广阔的应用前景。
基于大数据架构的智能电网可视化平台系统数据来源于国网省电力公司数据中心各系统,通过大数据技术进行数据清理、转换和展示。用电信息采集系统、区域新能源管理系统、故障抢修管理系统等多个系统,同时通过数据接口将区域新能源实时数据、电网运行状态信息、用电信息、配网抢修故障信息等系统的关键指标数据传输到大数据平台,利用大数据技术和云计算并行处理技术,对关键指标进行挖掘、分析,并通过三维可视化技术直观动态展现。平台的建设能够促进电力系统生产方式和管理方式的变革,推动风电、太阳能等新能源、清洁能源的消纳,帮助电力企业转变耗能高、排放高、效能低的现状,面向社会大众倡导节能减排理念,打造耗能低、排放低、效率高的绿色可持续发展方式,同时运用虚拟现实技术展现智能变电站、智能家居等智能电网取得的成果。
2.2 平台架构
建设大数据分析平台将逐渐融入智能电网全景数据,能够容纳海量、多样、快速率的电网运行、检修、能耗等电网信息资产数据,并运用海量数据和云计算模式提供高性能并行处理能力,以较快速度解析出规律性或根本性的判断、趋势或预测,在智能调度、状态检测、电能损耗分析、负荷分布式控制、用户侧短期负荷预测等领域存在极高的应用价值。
电网全景数据的接入、存储、管理和挖掘利用离不开先进技术的大数据平台支撑,数据服务质量的提高更离不开技术的保障。基于大数据架构的智能电网可视化平台的建设,采用Hadoop技术架构,该架构具备开源、可扩展、分布式应用计算的特点,为大数据实例化、具体化的应用提供了有效支撑。本项目引入基于 Hadoop 架构的分布式存储、并行计算和多维索引技术,立足电力行业大数据自身特点,通过建立分布式并行计算平台,结合数据中心,解决电力生产、调度运行过程中需要准实时大规模信息采集、高吞吐、大并发地数据存取和快速高效地分析计算问题。系统物理架构如图1所示。
3 应用场景
智能电网可视化平台的建设,紧紧抓住了政府打造“保定・电谷”可再生能源产业基地的契机。平台采用了先进的多媒体动画技术以及三维虚拟现实技术,实时、直观地反映保定电谷智能电网运行状态及业务管理过程,并为电网管理人员做出决策提供了辅助支持;平台立足于坚强智能电网与城市理念、发展及生活的关系,展现智能电网对保定电谷的支撑作用和重要意义,同时向全社会直观展示了智能电网支撑中国经济可持续发展的作用,更体现了人与自然和谐相处的主题,增强了社会对公司的感知度和认知度。系统主要包括下述几个方面的应用。
3.1 配电自动化系统
配电自动化系统目前采用数据批量导入方式,从调度部门获取配电自动化主站系统每日288点数据,导入智能电网可视化平台系统数据库,供指标提取。主要内容包括:
GIS地图,以GIS地图方式,对电谷区域进行展示,同时对电谷区域涉及的两座智能变电站进行标记,直观展示保定智能电网分布情况。
谷峰差,以柱状图方式对东尹庄、花庄两座变电站上月每天谷峰差进行展示,为工作人员分析用电情况提供依据。
谷峰差率,以柱状图方式对东尹庄、花庄两座变电站上月每天谷峰差进行展示,为工作人员分析用电情况提供依据24小时实时负荷对比。
遥控成功率,以仪表盘方式对电谷区域终端设备遥控成功率进行展示。
终端在线率,以仪表盘形式对智能电网建设中的智能终端设备的在线率与投运率记性展示。
3.2 输电线路在线监测系统
智能电网可视化平台目前对输电线路在线监测系统以链接的方式进行了数据接入,主要对线路在线监测系统中安装的监控设备反馈回的现场环境信息进行展示,具体包括以下内容:
气象信息。利用输电线路气象监测设备进行数据采集分析,最终以表格的形式将当天某一时刻数据展示到输电线路在线监测系统中,主要包括风速、降雨量、气温、气压、相对温度、最大风速、极大风速、光照强度等数据。
绝缘子污秽。利用绝缘子污秽度监测设备进行数据采集,具体包括盐密、灰密等指标。以曲线形式将最近一个月的数据展示到输电线路在线监测系统中。
导线温度。主要对导线温度进行监测,最总以曲线的形式将最近一个月的数据展示到输电线路在线监测系统中。
导线弧垂。对导线弧垂、导线对地距离进行监测,以曲线的形式将最近一个月的数据展示到系统中。
塔杆周边环境。通过高清摄像头对塔杆周边环境进行实时监测,将塔杆周边环境照片传输给系统,固定时间间隔更新图片。
3.3 清洁能源
开展了分布式光伏电源l电预测研究,开展了光伏电源接入系统电压稳定、准入容量、电能质量等专题亚牛,开展了分布式光伏发电实时监控研究。
新能源系统接入。采集每个月用户的各种数据,形成保定地区的光伏用户分布图。通过数据沉淀及数据分析方式,展示出每个光伏用户的发电量。
光伏发电、风力发电实时监控。通过安装高清摄像头,对国网保定供电公司下英利产业园光伏发电设备进行实时监控,将监控画面传输到可视化平台系统中,供工作人员参考。对曲阳等地风力发电设备进行实时监控,将设备运行状态信息传输到智能电网可视化平台系统中。
3.4 智能家居
对智能家居进行两方面展示,一是对智能家居概念及应用情况进行了文字性介绍,二是通过视频仿真模拟技术,对保定智能电网建设工程在智能家居领域取得的成果进行展示。主要包括智能安防控制系统、智能家居控制器、智能灯光控制系统、智能家电控制系统、家庭直流光伏系统五部分。
3.5 配网故障抢修
通过GIS地图展示故障点位置,突出显示,点击查看具体故障信息,并对停电影响的台区及用户信息进行查询。同时实现车辆信息的实时监控展示。
GIS地图。通过GIS地图方式,将故障点进行标注。直观反映给工作人员,提高故障处理效率。
数据接入。将故障抢修系统中故障分布统计情况、故障点位置信息、故障原因等数据进行提取。通过图表、表格等形式进行展示。
车辆定位功能。实现对抢修车辆位置定位功能,显示抢修车辆的实时运行轨迹。
停电范围影响查询功能。实现停电影响台区和用户的查询功能。
3.6 现场监控
加大对发电设备监控力度,对智能变电站、英利产业园光伏发电设备、曲阳等地风力发电设备安装高清摄像头,进行视频监控。通过视频图像采集终端设备以及无线网络,将传来的图片、视频等数据展示在智能电网可视化平台系统中。
3.7 智能变电站
智能电网可视化平台系统对智能变电站的建设规模、建设内容进行了介绍。并且对智能变电站进行了三维仿真模拟,对智能变电站进行了全方位展示。
4 结论
近年来,随着坚强智能电网全面建设的不断推进,电网数据资源呈现几何级增长,大数据、云计算为代表的全新IT技术在电力系统的建设中被广泛应用,数据与技术的结合,为优化电能生产、合理调配资源提供了决策依据。运用大数据、云计算技术推动智能电网的发展已经成为时代的必然选择,而大数据也必将成为电力企业的核心 资产。
参考文献
关键词:数据分析;设计思维;市场定位;精准营销
中图分类号:TS941 文献标志码:A
The Influence of Industry Big Data Analysis on New Models of Design Thinking
Abstract: Based on discussing big data analyzing technology as well as enterprise case studies and tracking surveys, the paper states that such data analyzing technology will facilitate the generation of new models of design thinking, which will more rely on Internet technology, and systematically reorganize complicated resources and information into data that can be further used as an important guidance for new product design. These data will help enterprises realize cooperation of various participants, information sharing and tier management in the process of product design and R&D and improve the efficiency and benefits of their design and R&D system.
Key words: data analysis; design thinking; market positioning; precision marketing
在全球服装纺织业格局中,中国还处于起步探索阶段,缺少真正有市场竞争力的自主设计品牌。企业们普遍缺乏高效务实的设计创新能力,成为了我国服装纺织行业的发展短板。面对国际品牌的激烈竞争,企业们需要建立自己的新型设计思维模式。更加适应市场需求的新设计思维将是一套有理有据、高效灵敏的产品设计与管理系统,这将有助于企业们更超前的把握市场发展动态,更精准的分析产品的优劣势,更合理的筹划销售策略,更敏锐的找到未来商业机会从而打造企业及品牌的市场竞争实力。
目前在经济发达国家的服装产业中,类似的研究已经进行到了比较成熟的阶段,如法国的Lectra(力克)公司,通过将其CAD/CAM 、三维技术与互联网技术的结合,进行最优化的数据传输,可以满足企业在整个生产过程中从服装系列设计到视觉化销售的所有环节的需求。力克公司的发展资料为本文的研究提供了非常有价值的可参考实例。
1 针对服装纺织产业大数据分析技术的研究
服装纺织产业大数据分析技术是基于互联网大数据分析的专业服装设计和生产管理辅助工具。该分析技术采用的是个性化分布式数据挖掘技术,通过对互联网海量真实的服装销售数据的分析,监控并分析网站,采用JAVA语言对网站中各种内容信息进行智能化的分析和挖掘,多维度、全方位对服装属性数据进行筛选,可甄别出不同时间段、不同地域、不同年龄层次、不同性别甚至不同消费习惯的服装购买者对服装颜色、款式、面料、尺寸等属性的偏好,并形成直观易懂的可视化报表,从而对设计和生产管理者形成指导,更加方便直接的形成“设计指导书”或者“生产指导书”。能够使产品更加符合品牌特征和市场需求,极大地提高设计生产效率,减少成本与避免试错风险。
在数据分析技术的层面上,它是基于html的个性化分布式数据挖掘系统。核心内容是监控并分析网站,生成Excel表格形式的报表,报表包含关键词和网站的链接地址。这种分析为采用Java语言对网站中的各种内容信息进行智能化的分析与挖掘。相当于目标网站名单读取模块,采用Excel表格存储目标网站列表和关键词,并且用Java语言读取信息,并利用web界面即时呈现监控结果。
2 服装纺织产业大数据分析技术对设计思维影响的实例研究
参与本次研究项目的北京相与文化发展有限公司,是一家由中法意等多国设计师和业内人士组成的专业服装纺织品品牌孵化和设计营销整合机构。
2014年公司开始进行自主开发和使用基于互联网的服装设计大数据分析系统,如图 1 所示,针对某款产品的数据分析结果,将对设计工作产生重要的引导作用。设计师们会根据数据分析结果来判断设计思路是否合理,改变了传统设计流程中过于强调设计师主观感受的不稳定性,将基于互联网的海量数据经过精准的筛选和整理,生成直观可视化的数据报表,并且形成多点共享和分级管理的平台化工具,将设计研发流程模块化,迅速找到针对市场切实有效的产品设计卖点和营销方式,可以极大地提高服装设计师和生产管理者的工作效率,降低了设计研发成本并有效减少了企业在新品设计研发方面的试错风险。
为了调研资料的充分性和客观性,本论文还调研了参与10家生产销售与男士T恤相关的服装企业。在男士T恤这个产品品类的设计开发之前,这些企业想去了解该产品的设计研发方向的需求集中体现在以下几个方面,如基础风格、花型图案、面料材质、款式细节和服饰工艺等;并且在这几个需求里面,关于花型图案的调研量最大,这个环节也就成为了企业们最为关注的问题所在,另外占比量22%位居其次的款式细节,也成了男士T恤的另一个设计重点。以上调研的数据比例图示(图2),充分证明了企业对产品的设计研发方向的设定,是有着比较明晰准确的需要点的,占比29%的企业都认为要将花型图案作为男士T恤的设计重点。如果通过产业数据分析技术,能比较清楚地告知这些企业,在服装设计研发的时候,是否要优先关注哪些方面以及如何把握这些方面的设计工作,这无疑对企业把控产品与市场需求的贴合度方面是有重要帮助的。
3 产业大数据分析技术对新型设计思维模式的影响
“积累、效率、协作、降本”―― 代表着新型设计思维模式核心要素的,将给产品的设计研发思维带来全新突破,将有力地帮助中国数以万家企业将设计真正转化为生产力并最终打造核心竞争能力,完善品牌体系并全面提升品牌价值。
将与产品相关的市场数据进行搜集整理和分析,在互联网大数据分析技术的帮助下,找到对企业的产品设计研发最具有参考价值的类比信息,不同于传统设计模式的主观化和分散化,新一代的设计思维模式需要将资源和信息模块化,形成支持系统;从而在企业的整体产品设计研发流程中实现多点协作、信息共享和分级管理,极大地提高了流程的效率,降低了错误判断市场导向带来的经营风险,节省了设计开发的时间和成本,同时新型设计思维模式又会强化对于流程中每个环节的工作指标的评估,从而达成有效良性的管理机制。
4 结语
关 键 词:计算机技术;数据分析;机械制造;销售管理
计算机数据分析技术在多个领域得以应用,作为现代的数据分析技术手段,其已经充当了生产、销售、决策等多个职能部门的多维信息分析工具,可以方便企业快捷的进行数据业务分析,全面加强业务控制,科学作出业务决策,以实现企业效益的最大化。相比较于传统的数据分析模式,计算机数据分析技术更具有比较优势,比如计算机数据分析技术能够有效解决企业日常业务数据统计,快速进行多维度精准查找,智能化提出问题解决的方案,在计算机数据分析技术的支持下,企业各项业务运行能力以及各项数据分析决策能力,得到较大幅度的提升,具有较强的实用价值。
1.计算机数据分析技术统计分析的应用研究。
计算机数据分析更多的是应用在机械制造企业销售管理的数据分析和统计阶段,这也是近年来计算机数据分析技术研究的主要目标和重点,有效的计算机数据分析是实现企业销售管理基本循环的重要措施,是企业销售管理中加强环节管理的重要手段,能够有利于分析统计数据的更加准确,实现销售管理的科学化、准确化进程,为销售部门提供更加精准的管理信息内容打下坚实的基础。计算机数据分析技术在统计分析环节的应用,可以采取多种多样的形式得以实现目的。比如,机械制造企业每个季度编制完成的销售统计表,即通过计算机数据分析技术对于近期企业销售部门的各项业务数据信息进行搜集、整理、分析、结论等一系列环节工作,并且能够按照一定的时间范围,在同一个环境和条件下,进行科学加权平均,进而得出相对科学合理的数据表格。此种数据分析表格属于事后数据分析,因为明确界定出一定的时间范围和条件环境。同时,机械制造企业销售管理中也较多采取销售趋势分析表格的形式,通常是在上一个季度的分析报表出台之后,结合当时当地的发展形势,以及市场环境的变化情况,对于下一阶段的销售情况进行预测分析,能够有效实现目标客户、潜在客户与企业销售管理部门业务订单的情况进行有效对接,进而确保圆满完成下一阶段的销售任务。数据分析表格中,将单位时间、销售数量、商品价值等方面的指标进行科学合理测算,得出相对较为合理的数据分析结果。
2.计算机数据分析技术信息处理的应用研究。
计算机数据分析技术最重要的功能之一就是进行快速有效的数据处理,从业务领域上看属于统计分析的大范畴,但是单纯的数据处理更是考验计算机数据分析水平的高低。因为在日常机械制造企业销售管理工作中,大量的数据需要及时处理,不仅仅是为了每个季度的统计分析报表做准备,也是为了更好的动态监测企业的销售情况,在瞬息万变的市场环境下,能够第一时间作出正确的决策。日常的大量数据处理主要依靠计算机销售管理系统来完成,其数据来源也存在一定的弊端,主要是因为数据处理要求更加准确的数据挖掘结果,以确保数据分析的数据质量和一致性,确保原始数据没有任何偏差或者丢失,从源头上保证计算机数据分析结果的可靠性。如果存在多个原始数据的源头,需要对于数据来源的准确性进行充分分析,并且确保数据之间不存在互相矛盾和打架的情况。对于属于同类型的数据要学会运用计算机数据分析技术进行合并同类项。
3.计算机数据分析技术数据模型的应用研究。
计算机数据分析技术通常都是建立在一定的数据模型基础上的,最典型的就是数据仓库的数据模型形式,此类模型形式主要是基于实体和关系之间的类型,对于更真实描述计算机数据分析环境下的企业销售管理具有更加鲜明的特点和更准确的效果,采用结构化的日常事务处理模式,和更为细腻的数据处理方式,进而产生一定的决策类型的数据,实现各数据之间的有机联系,并不是以往那样的数据之间的相对独立的模式。采取此种模型的好处就是在销售管理过程中和决策分析中,促使企业销售管理部门人员,甚至企业决策层面能够从多个角度、更高的层次、多个层面考核数据的准确性和可靠性,通过分析数据的规律性变化,做出更加符合市场发展规律的决策。随着企业销售管理的要求越来越高,以往单一的数据模型已经不能很好的适应企业销售管理的发展变化,因此一种多维度的数据模型应运而生,采取事实、维度等更多的要素来描述销售管理的环节。比如,将产品销售记录、销售业态、目标市场、产品名称等因素都加入进去,由上述这些因素共同构成新型的数据模型,更加具有科学性和可操作性。充分采取多维、多尺度的数据分析工具,进一步加强对于销售管理进行综合评价。通过科学合理的销售管理表格,可以对机械制造企业的销售管理业绩进行全面准确的描述性挖掘,综合运用统计分析的手段进行评估,动态调整产品发展战略。
综上所述,计算机数据分析技术有效应用于机械制造企业销售管理,并且从数据分析的角度深入研究通用技术,尽管对于单一的企业销售管理进行分析,但是其关键技术对于现代企业管理各个环节都将产生至关重要的作用。比如,计算机数据分析技术能够为其他业务部门提供较强的信息分析借鉴和参考,具有一定意义的企业信息共享性和公用性。因此,由于篇幅限制,仅将计算机数据分析技术在企业销售管理方面的作用进行简要分析,以期对于企业信息化建设起到些许的启示作用。
参考文献
[1]颜雪松,等.关联规则挖掘综述[J].计算机应用研究,2002,37(11):1-4.
[2]苏新宁,等.数据仓库和数据挖掘[M].北京:清华大学出版社,2006.
[3] 毕利,张礼平.数据仓库中OLAP的实现技术[J].微型电脑应用,2002,28(6):56-59.
[4]马辉民,卢益清.商务网站客户行为信息挖掘模型的设计[J].计算机应用研究,2002,28(8):140-142.
关键词:大数据;数据仓库;数据分析;校园卡;教务
中图分类号:G434 文献标志码:B 文章编号:1673-8454(2015)10-0013-03
随着大数据时代的到来,各行各业都在利用大数据推动本领域的发展。常熟理工学院自2009年开展教育信息化建设以来,在数据分析方面进行了不断地探索与实践,目前广泛应用于教学和管理中。
一、数据分析的必要性和可行性
高校内部一般都建有:教务系统、科研系统、学工管理系统、人事管理系统、资产管理系统等独立业务系统。这些系统都各自记录着学校方方面面的数据,却都静静地躺在服务器硬盘里,犹如埋藏在地下的金矿,不能为高校全局决策提供支撑。
数据分析的目的就是要让数据发声,通过直观的数据图表来为高校管理提供辅助决策。例如:对教师的专业与学校开设专业的统计分析可以为人才引进提供参考;对学生的校园卡使用记录和校内上网认证记录结合起来,可以为判断学生的行为指明方向;对各二级学院的资产数据统计分析有助于学校对二级学院进行成本核算。
二、数据仓库的建立
数据库是数据分析的源头,数据仓库的建立是数据分析的基础。
建设过程中,首先要统一数据标准,只有准确的数据才是有价值的,如果各系统的数据标准不统一,就会造成不准确的数据分析结果,也就无法为高校管理提供真实有效的统计数据;
其次要建立公共数据平台,公共数据平台是指实现校园内各种信息系统的互通互连和数据共享,包括多个系统业务数据集中存储、备份、数据共享和数据管理的公共平台,为学校各应用系统提供基础数据;
三是要规范数据流程,把各业务系统中形形的数据按标准定期抽取到学校公共数据平台中。确保任何业务系统的添加和修改不影响其他系统的正常运行,同时新建应用系统应建立在统一的数据规范基础和统一身份认证基础上,调用公共数据平台的基础数据(如部门、教工、学生等基础信息),应用系统产生的数据也应成为公共数据平台的基础数据,可供数据平台共享访问。确保提供反映学校全面情况的数据信息,为整个学校提供决策支持所需的数据信息,为今后应用系统的建设和信息服务奠定良好的数据基础。
图1为数据架构图,最底层的是各业务系统,他们产生的数据按编码标准经过抽取、转换、加载到数据中心,数据中心再按需要把相关数据同步给相应的应用数据库或各数据集市,最后形成各类主题数据分析或综合决策系统。
三、基于数据仓库的数据分析
在统一数据仓库的基础上,我们利用数据仓库技术(ETL、OLAP、REPORT)和数据挖掘技术,对多种数据集市进行数据分析,建立了校情综合统计分析系统。该系统从学校基本情况、教职工信息、学生信息、教学信息、科研信息、资产与设备信息、图书资料信息与师生消费等方面进行统计分析,为学校管理提供辅助决策支撑数据。
该系统从学校全局出发,通过多元主题展开分析,以文字、报表、图表等多种形式展现分析成果。
该系统的推出实现了教学质量、学生学习、生活行为等各种信息的监控与分析,对高校资源配置优化、提高高校管理科学化等方面具有不可估量的重要意义。这里笔者将以校园卡和教务数据分析功能为例进行阐述。随着校园卡在校园生活中使用范围的日益扩大,在应用过程中产生了大量数据。校园卡仅仅一年的交易数据就有大约1000万条记录。
校园卡数据分析主要实现以下五大类的分析功能:
(1)各时间段消费情况分析
①从“月、季度、半年、年”的角度来查询消费总额、消费用户数和人均消费等,反映出用户消费支出的趋势,也可反映出物价的变化情况。
②从“几点几分”的角度查询消费人数可反映用户在时间点上的消费习惯,对于各营业部门来说可以合理地调整工作时间、工作人员等,以加强服务。还可根据教职工就餐时间点来分析他们是否严格遵守学校作息时间。
③从“早、中、晚”的角度统计分析学生早餐、中餐、晚餐的就餐率。
(2)各类消费人群消费情况分析
①对于学生工作管理层来说,从“个人、班级、院系”的角度来查询消费金额作为发放贫困补助的依据。
②通过查询一个时间周期内(三天)学生消费人数,起到了解学生是否在校的危机预警作用。
③从学生所属院系、专业、年级等角度来查询消费人数、消费金额和分布情况。
④从学生性别、来源地区(省、市、区)、年龄等人的自然属性来查询消费人数、消费金额和分布情况。
⑤分析教职工的消费水平。
(3)各营业单位消费情况分析
从各个营业单位角度来查询校园用户消费人数,消费金额和分布情况。
(4)各交易类型消费情况
从消费类型角度来查询用餐、购物、上网、上机、水电消费等情况。
(5)工作站、终端个数统计
为直观反映上述消费数据,我们除用表格形式将分析结果展现在用户终端外,还提供了柱状图、饼图、曲线图、点图等形式来展现。图2展示了我校2010年至2014年学生早、中、晚三餐平均价格,呈逐年稳步上升状态,这给餐饮部门提供准确统计数据的同时,也稳定了学生就餐消费水平的承受心理。
高校教学信息化建设积累了丰富的业务数据,根据需求,教务数据分析功能主要包括三大类:教学任务、学生成绩和教学评价。图3为教务数据分析数据源视图,围绕教师的教学工作量、学生取得的成绩以及学生对教师的评价等,我们做了一系列的报表。例如:教学场地信息、学生情况、任课教师情况、各学期教学任务情况、成绩信息、教学评价、历年各专业招生人数、各学院历年教学情况、各学院历年学生对教师评价。
另外,为满足各二级学院要求,做了学业预警方面相关报表,各二级学院可根据年级、专业,通过总学分排行、课程门数排行来关注排在后面的学生情况。
数据分析表明,教师平均教学任务逐年增多,教师总体比较年轻,平均年龄男教师比女教师高,年龄在30-39之间的教师平均课时最多。管理学院历年招生数比其它学院明显高出很多,其中财务管理专业的学生数百分比最高。我校学生的成绩也完全符合正态分布曲线要求。
四、结束语
大数据分析是一种发展趋势,我们目前也仅仅就单项主题进行了逐个分析,如果把这些主题串起来,进行关联分析,将会得出更有趣更有价值的结果,这也是将来我们努力的方向。
参考文献:
[1]戴红芳,冯翔,先晓兵等.商业智能在校园一卡通中的研究与实践[J].微电子学与计算机,2012,29(7):175-179.
[2]戴红芳.基于多维数据模型的校园卡数据分析[D].上海:华东理工大学,2011.
在年级管理工作中,以班级为最小组织单位,以班主任和学科教学为最小实施单元,在承认并贯彻“教学质量是德育管理质量的副产品”的前提下进行年级的德育与教学的统一管理,是我们的基本认识和总体原则。从教学看德育,从教学看管理,如同“执果索因”,探求的目的绝不会偏离事物的本质。
但是,在当今以数据引领管理和管理决策的时代,由于种种原因,一些原有的年级管理模式和运行方式,仍然没有达到数据时代应有的分析质量和分析层次。
1.借鉴大数据时代的数据手段和数据分析,形成管理的数据思维,实现从“经验型”到“数据型”的转变
(1)数据思维要求年级管理从对学生成绩、班级成绩的粗糙了解,转变到精细的数据分析和对数据特征及规律的把握。
(2)数据思维要求年级管理从对考试中某一群体成绩的粗糙了解,转变到精细的分类和对每一个体特征的把握。
2.借鉴大数据时代的管理理念和组织原则,明确与挖掘管理对象的本质,实现从“分数型”到“知能型”的转变
(1)重新审视传统的“一分三率” (平均分、优秀率、及格率和低分率)关注的是什么,从学校及教学管理层关注“一分三率”,转变到学生和教师共同关注数据分析反映出来的知能问题。
(2)“知能型”分析不仅仅把进行教学分析的主体放在年级管理人员、班级管理人员一方,更注重把成绩分析的主体放在学生和家长一方,从而引导“教”的一方改进“教”的方法,促进“学”的一方改进“学”的策略。成绩分析更应注重使学生和家长参与到分析和质量评估的过程中来。
3.借鉴数据挖掘的思想,从“横断型”转变到“追踪型”数据分析,并确切地表现为决策、管理与实践
(1)从对一次考试的深入分析,转化到深入进行历次考试的纵向分析,并进行数据的比对。
(2)通过追踪分析多次考试成绩的变化规律,转变到思考教与学和管理细节,不仅仅是阶段性的决策与措施,更重视反思若干个连续的时期的措施与管理的系统工程的实施。
4.管理的精细化必然要求评价指标化、数据化,教学与德育管理中的数据存储与数理统计,需借鉴大数据的“数据存储仓库”和“网络数据分布”手段
(1)借助于计算技术和计算机技术,以往不能或难于进行的分析将被解决,但这需要评价人员革新观念和管理方式。例如,在传统的模式下,数据以“一周”或“一月”为周期的阶段性汇总和分析,以体现被观察对象的阶段表现。而在分布式数据存储模式下,数据可随时以任何时间间隔汇总与分析,并以方便的图表化方式呈现规律与状态。
(2)以往的成绩分析,因其技术性及专业性,只能由专业技术人员操作,而借助现有的计算技术和统计模型,成绩分析已经成为学生、家长和普通教师提取信息的操作。
(3)数据及分析结果的可靠存储和检索、便捷的提取和访问、即时的分析与使用,使得“用数据表述事实”、“用数据权衡资源调配”、“用数据判断决策”和“用数据改进管理”成为现实。
(4)以数据技术、计算技术和计算机技术为背景的数据分析、结果描述的数据思维成果,是教学资源的组成部分。同样,教学与德育的管理层、年级组长、班主任和任课教师,需要进行教育评价、数理统计和组织管理知识的自我“充电”,毕竟统计与评价是一门综合的科学。
案例问题
在实践工作中,我们发现在学校及教学管理层中所强调的“一分三率”标准,严重影响教师的教学策略,并成为教师教学与管理的事实标准。这种依据“一分三率”的管理目标,在指导教师教学时,使教师在教学中不能较好地针对每一个人,同时,各学科之间也将失去联系与沟通,从而优势力量与优势资源不能集中,学生得不到应有的提高,学生“偏科”和教师“拼抢”时间现象成为普遍。正因为过度关注“一分三率”,学生的层次差距、班级的针对性管理就成为笼统的分析,而不能建立在数据基础上清晰地描述年级和班级之中出现的层次分化,也不能建立在如何调整后续工作的思考上。
我们在多次以数据进行思考的成绩分析的尝试后,逐步认识到要尽可能引导教师以数据来分析和反思成绩分析所反映的知能问题。这种引导,不是仅限于“一分三率”,更注重直观化、图表化和数据化问题,体现成绩分析中表现出来的学生整体结构问题、阶段性问题、时序性问题和层次问题,从而追踪和返回到教学问题、班级管理问题以及家校互动问题。这样的分析,就把年级管理的上层与下层,学校、教师、学生和家长作为一个系统有机的整体,完全纳入到问题的分析之中,形成教育与思考的合力。
问题解决
1.在年级教学管理中,关注班级整体和学科整体的分析与比对
(1)关注各个班级的学科成绩是否均衡,从差异上观察班级与任课教师特征。通过统计的方法,得到某次考试的班级“学科成绩均衡图”,直观反映单次某一班级各学科的优势。这样,结合“各科成绩对班级贡献度比较”,年级组长、班主任可详细掌握班级各学科学习情况和动向。
(2)关注各个班级的历次总分的追踪性对比。基于网络存储的数据,可方便地得到“历次考试成绩总分对比”图表,由此可追踪班级整体发展和规律,借以研究一个时期的班级发展情况;若参考“总分”、“名次”和“标准分”的追踪性对比,则可反映不同侧面,如学生是否出现了层次的分化等。
(3)年级组长与班主任可通过数据存储仓库,提取到其他数据,如通过“考试总体情况”数据、班级历次或单次的成绩册来细致研究每一位学生,或者某一特异性群体的学生;查看备课组长、班主任和任课教师的数据报告,则可反映教学与管理中出现的问题。我们再次强调,德育管理与教学管理是密不可分的,教学中出现的问题,本质上有些就是德育管理中的问题;而班级管理中出现的问题,有些就是教学问题。
2.关注备课组,研究纯粹教学上的细节问题
(1)关注备课组,从统计学角度细致研究整体与个体、全局与部分。可以用统计的方法研究单学科或总体成绩的单次考试成绩“箱线图”。“箱线图”可以最直观地反映五数总括(最高值、最低分、中间分数、上下四分位数)和数据散布规律、异常值。当然,若对统计图表较为熟悉,也可以分析和使用“茎叶图”,则可更为细腻地刻画班级学生成绩分布情况。结合“班级平均成绩―班级标准差对比表”,则可反映学生成绩的集中或离散与总体平均分情况。
(2)关注备课组的单一学科历次考试班级对比,以追踪教学与管理的变化。使用“标准分追踪对比图”来反映班级成绩的变化,则使对比不再依赖具体试卷难易等情况,可以真实地反映整体与个体到底是进步了,还是后退了。同样,在标准分计算时所反映的差异数值,则可反映班级学科成绩的变化,这从另一个侧面反映了教学与管理的协同性。
若备课组长参考“卷面质量分析”、“命题分析和能力分析”等数据,则从知能基础及学生个性特点上把握管理中的问题。当然,我们也可以参考班主任数据、任课教师数据,进一步去研究和反思问题。
3.关注学科教师的统计数据,以探求教学、管理和学生群体的知能问题
(1)学科教师分析成绩,应关注发展性和“人”的因素。只依赖一种或几种统计方法来表现和反映学生成绩、教学成绩不完善,也不客观。但它是必然的导向。 同样的,没有建立数据模型,不从数据出发,不用数据说话,这种分析的科学性与可靠性,就更为荒唐了。在当前已经进入“细节管理”、“数据管理”的时代,学校与学校之间的竞争与发展,本质上是某一方在管理中极为微小的进步超越了对方,那种一方大幅度超前于另一方而获得发展的时代,几乎一去不复返了。
(2)统计的学生数较少时,对数据更有意义的处理,不仅仅是统计,而是分类、追踪和挖掘。从学科教师角度看,较少学生的分数是否趋中或正态,现实意义不大,此时针对个体进行深入分析的意义更大。
(3)学生成绩相对于知识、习惯、能力、态度等,在成绩数据上是如何表现的,需要对现实与发展同时关注,而不是只关注现实或发展的一种情况。必须承认,学科教师的数据统计知识的素养和能力,技术与数据的支撑,也会影响到成绩分析的效率和质量。
(4)学科教师“追踪性”地关注班级整体情况。借助当前计算技术和计算机技术的强大优势,可从各个角度研究班级总分、对比历次考试成绩的变化、研究各分数段人数分布。关注进步与退步的具体学生,落实、定位到个人,以解决管理的各个细节问题。
(5)反思个体作答与试题情况。学生在考试中的反映,本质上是操行的意识与习惯问题。例如,以网络技术采集数据,可从学生作答的“小分统计”,研究每个题目的得失分;“知识点统计”对应到知能问题;“错题名单”对应到个人。基于数据采集技术和分析技术的作答分析,实现了人、题、答的一一对应,从而为“定位”和“盯人”做出了技术和实现的准备。三个要素的对应,本质上指出了教学与管理中要寻找的问题―― 个体与知识、能力的情况与后续管理。
利用数据分析,在实际工作中,我们经常会发现“经验性”的容易知识点,数据却显示出现实与经验的大相径庭。数据会揭示教师、学生和教与学双方作用的变化,时代背景,社会背景等情况的不同,以往的经验和固有的做法,需要进行调整和改变,而数据则将显示这种改变与方向。
(6)从数据指导管理,让数据说话,以指引学生进行自我反馈、自我监控和内省性的学习与自我管理行为。数据的这种指导作用,不仅仅表现在学生身上,也将指引教学的管理。例如,提取数据仓库中的数据,二次利用作答分析数据,做出知识与能力的考点“灰度矩阵图”,用灰度表示通过程度,迅速掌握个体的知识(或能力)的薄弱点,迅速对学生进行辅导层面的分类。这是一个富有启发的实务性的工作,它可以被利用到管理的很多方面。
案例反思
学校的年级管理是一个承上启下的系统管理工程,涉及教学、德育和组织管理的资源调配等方面,其最终目的是实现年级教师教学、学生学习成绩及操行表现的整体提高,达到上级管理部门和社会的需求。
管理必然要涉及评价。以“教学管理”带动“班级管理”,为教学管理在年级层面上形成一种数据所表现出来的有积极意义的客观性描述,这种客观性描述,描述教与学的事实本身,促进教师思考与改进,促进学生思考与改进,同时也促进年级管理人员和家长、社会在服务层面上改进服务质量。借鉴数据时代的数据分析、数据挖掘的技术与方法,实现成绩统计与分析从“经验型”提高到“数据型”,以实现管理与评价的科学性;从“分数型”深入到“知能型”,以实现管理与评价的积极性;从“横断型”转化到“追踪型”,以实现管理与评价的发展性。在这三个方面力量综合起来的状态下形成师生自我反省并积极改进的价值管理理念,从而能够调动全员管理的积极性,尽可能规避只有年级管理人员才去管理年级的局面。
关键词:大数据技术;智能交通;数据平台;组织优化
引言
与传统数据数量手段比较,大数据技术具有数据类型复杂、处理迅速、实效性强等优点,在智能交通领域运用大数据技术,可以采集海量的数据,这些数据内包含许多不可估量的价值,通过挖掘和分析能够快速得到所需的数据信息[1]。针对上述情况,本文提出基于大数据技术智能交通台数据平台各功能层设计情况,并提出其在交通数据诊断、路网延迟指数等方面的应用。
1智能交通数据平台功能需求
随着智能交通管控平台违法数据、道路信息增长速度日益加快,过去的关系型数据库在数据保存、处理等方面的性能已无法满足庞大的数据需求。关系型数据库在对智能交通转向场景的规律展开分析时,难以从多个维度数据类型间创建良好的相关性联系。大数据技术的应用就是为将这些结构或者半结构化的智能交通数据实施整合处理,因此,依托大数据技术设计的智能交通数据分析平台具有的处理功能如下:①过车数据:处在行使状态的车辆从卡口、电子警察等智能视频采集点通过时,能够准确记录该车辆的车牌号、颜色、车型等结构化的数据信息。②车辆违规行驶数据:前段配置的采集设备能从各路口采集车辆是否闯红灯、压线、违法掉头或停车等数据。同时,利用智能的视频采集点或固定源能够实时采集车辆行驶速度、车头间距等车流量信息。③运用大数据技术设计的智能交通数据分析平台能够与信号控制系统实现对接,及时获取信号控制系统的相位控制等信息。同时,智能交通数据分析平台还具备监控和智能交通管控平台,能够提供过车信息数据、路网信息、违法数据等。
2大数据背景下智能交通数据平台架构
2.1设计整体架构
智能交通数据分析平台是采用先进的计算机信息技术、通信技术、传感技术、人工智能等有效整合用于交通运输信息的管理和控制中,注重人、车与道路之间的协调,组成一种有利于改善环境、节约能源、保护安全的综合运输系统。智能交通数据分析平台运用层次化结构模型展开设计,并根据大数据建设要求,整个平台包含数据感知、资源层、应用层三个层次,数据感知层主要任务就是采集交通信息,资源层旨在管理交通领域的数据;应用层旨在负责实时调度智能交通资源。本次设计的智能交通数据平台系统能满足采集、存储、调度及处理数据等方面的需求,具体架构如图1所示。
2.2各模块层设计
2.2.1资源层从智能交通数据存储方面分析,运用数据仓库与挖掘技术实现大数据的存储和分析。其中,数据仓库技术能够满足智能交通数据平台处理海量数据的要求,该技术依托预设的存储模式,把交通领域中的异构数据根据数据结构数据实施提取、调用、处理等操作。同时,根据预设的仓储模型把数据存放在数据仓库内,借助数据仓库技术设计的智能交通数据平台下数据存储及挖掘架构见图2。
2.2.2应用层设计利用SOA实现智能交通数据平台系统应用层的设计,该层主要包含三个子模块:①应用实现模块:该模块旨在完成数据的调度,借助逻辑编程及时实现相应的功能;②应用流程模块:大数据调度流程依托专业的BPEL工具调度各种资源;③特殊调度模块:该模块的主要任务是把自定义调度流程转换成BPEL流程。依托SOA服务设计的应用层。
2.2.3数据表现层智能交通数据平台系统中的表现层是使用者直接参与的界面,用户可依托浏览器、平板、手机等终端设备浏览各种智能交通信息数据。该层主要任务是确保用户与整个系统的交互性,因此,配备简洁的外观、界面框架、各单元控件等。
3智能交通数据分析平台系统的应用
3.1智能交通数据共享及数据诊断
智能交通数据平台系统各功能的实现离不开各模块之间的信息整合与共享,因此,实现各模块信息融合的主要方式就是创建信息共享平台,这个平台能支持相关子模块功能提取所需的数据资源及信息共享服务。此外,一个完整的智能交通系统还必须配置智能交通信息中心、管理中心、智能交通基础设备等,它能满足城市交通信息规范化发展要求,包含各类信息性质、功能及传送方法,组成相应的信息流机制,对共享的数据进行存储和管理操作。依托大数据技术的相关功能,这些共享数据可以由日益变化的智能交通各数据信息提取出来,实现各地区、不同领域的数据库实施综合处理,将历史数据迁移至大数据平台下,还要保持数据的完整性及各种数据之间的关系可以理解。同时,可依据各模块不同需求及相关关系为客户提供各种数据信息服务,组织内部存储各类数据直接输出来,其他子系统保存相关数据从信息共享平台提供一系列的查询功能。此外,大数据平台可以及时统计并输出道路网络的拥堵、事故情况,并能归纳为利于用户决策的有用信息,例如:利用大数据分析,某个路口闯红灯数量明显少于平时,出现异常数据可以设置报警规则,提醒出现异常信息[2]。维护者对现场道路智能交通设施实施排查操作,判定是否存在设备故障。利用大数据技术直观展现道路不均指数,提供最佳的信号机配时/相位方案,便于决策人员制定科学的决策。
3.2道路网延迟指数分析
依托大数据技术对各个路口/路段历史流量进行统计,进一步分析路网的延迟指数。智能交通延迟指数求解方法是实际通过旅行时间与自由流通旅行时间相减,若所得数值为负数,则设定为0,表明并未发生延迟,并把这些数据映射至[0,10]数据区间之内。如果智能交通延迟指数较大,说明这个地点的拥堵情况更严重。左侧向使用者展现设定日期、特点等交通延迟指数改变情况,来回移动水平滚动条,能够及时查看不同时间段的延迟数据。左侧展现路口、道路等级、行政区划等各维度下相对应点的延迟指数和排名情况。通过综合分析道路延迟指数,能够为决策人员提供新建道路规划等决策提供支持。
3.3道路路口组织优化设计
进行组织优化过程中,必须收集相应的数据信息,包含交叉口现状图、事故数据、智能交通控制情况等。基于大数据技术展开分析,可以提供大量数据样本,进而输出相应的数据(空间及时间维度)。其中,时间维度主要包含小时、季度、每年、双休日、工作日等;空间维度由交叉口、行政区划、道路等。大数据技术对道路过车流量展现分析,进而获得城市各区域不同点一天的高峰表现及不同模式。依托大数据平台,根据历史数据明确早晚高峰期利用大量例数数据和智能算法,盘点各路段或交叉口早晚高峰出现时间,以此把控整体及局部智能交通分布状况,达到优化智能交通管理方案的目的。
【关键词】医学;数据分析;信息管理系统
0.引言
21世纪以来,社会的各个方面,各行各业发生着日新月异的变化,计算机的普及与应用已经融入到了经济、政治、文化的各个领域,电子信息化的有效性使我们摆脱了繁重的文书工作,同时也增强了我们对于信息的利用性。医学信息管理系统的实现一方面充分体现了计算机强大的信息收集、数据处理功能,使医疗数据的利用率得到了提高,数据的保存和提取更加的快捷方便,保存时间也大大增长;另一方面,避免了繁琐的文书记录、数据分析统计工作,减轻了医疗工作者的工作负担,不仅提高了他们的工作效率,还使整体服务质量得到了改善,管理水平得到增强。
1.医学信息管理系统的必要性和可行性
医院整体系统的庞大,工作内容的繁杂,需要有一种技术可以对医学数据进行更好的整理和分析。在门诊挂号时需要进行的手续较多,采用手工记录书写的方式操作,则会使排队的人越来越多,不能使病人在最短的时间内得到治疗,同时大量的人群会增加医院工作人员的压力,更容易出现错误,长时间的等待和工作也增加了两者在交流过程中发生摩擦的几率;在门诊看病的过程中,采用记录病历的形式,并不能在患者再次看病时迅速的提取出原来的纪录,这在无形中增加了医生的压力和工作量,不方便医生对患者的病情进行更详细的分析,对患者们的研究更是需要大量的工作。另外医院的其他部门比如财务管理系统,人事管理系统,药品库存管理系统,门诊挂号系统,划价收费系统,综合查询系统等等都存在等待时间长,工作效率低的问题,而计算机技术的不断发展和应用,可以很好的满足这个需求,计算机管理系统的出现使得医疗数据的记录、查询、统计和分析消耗时间短,工作量小,工作效率高,保存时间长,满足了医院对数据系统整理的要求,具备了快速的响应能力和联机事务处理能力,使管理更加优秀和有效,可以使患者享受到更好的服务。
实现医院信息化管理需要的计算机技术并不复杂,医院中信息化管理主要处理文字和数据,基本不会用到多媒体数据的动态传递。从这方面来说,所需服务器的性能要求也不太高。因此,建立医院信息化管理所需投入不会太高,但是由此产生的效果却是明显的。
2.信息管理系统的设计
2.1系统的设计思想和特点
(1)本系统所构建的网络采用局域网的形式,医院内的计算机都可以登录到这个系统。
(2)完整的信息管理系统涉及医院的各个部门,将不同部门联系在一起,数据实现共享。
(3)该系统设有不同等级的管理人员和医务人员,其中一部分人可以对信息进行记录和修改,一部分只能对信息进行查看,保证信息的安全性和有效性。
(4)设计可以使系统进行修改和改革的程序,使系统保持先进性。
2.2系统运行环境
为了保证系统运行的效率和可靠性,应该保证系统服务器具有较高的软硬件配置,但对于客户端的要求不是很高,一般的客户端都可以满足要求。此应用程序可广泛运行于国际互联网即因特网,同时也可适用于内部的局域网。其硬件要求很小,运行要求较低,有利于广泛的使用。
2.3系统的总体结构设计
利用医院内部局域网将各个部门联系起来,各个计算机的数据可以进行共享。在系统管理方面,设定不同等级的管理人员和医务人员,医院最高等级的领导可以对系统进行最大程度的控制,系统设定密码,密码管理员可以添加医务人员并修改医务人员的密码。病历管理人员可以查看所有患者的治疗信息但不能进行修改,门诊则负责对病历的录入和修改。相关人员只能修改对应职位的信息。所有信息的查看在各个计算机上是互通的。
2.4基本设计概念以及相关技术介绍
本系统使用ASP技术框架和局域网数据库,程序在IIS服务器端运行,以大大加快了数据的处理速度和安全性。为了使数据库保持先进性,方便修整和改革,系统设计应采用模版方式,界面的修改完全不影响处理程序流程。设置数据库维护系统,方便对整个系统进行管理。根据每个不同类型的用户分别为其制作独立的管理或者是操作页面,以便区分和提高系统安全性。
ASP:全称是Active server pages,意为“动态服务器页面”,是微软公司开发的代替CGI脚本程序的一种应用,在这里可以生成和运行动态的、交互的、高性能的Web服务应用程序,是一种简单、方便的编程工具。ASP是一种服务器端脚本编写环境,可以用来创建和运行动态网页或Web应用程序。ASP网页可以包含HTML标记、普通文本、脚本命令以及COM组件等。利用ASP可以向网页中添加交互式内容(如在线表单),也可以创建使用HTML网页作为用户界面的web应用程序。它不仅仅是一种编程语言,更不仅仅是一种开发工具,他更是一种强大的技术框架和模型。
Javascript:是一种嵌入在HTML文件中的脚本语言,它是基于对象和事件驱动的,能对诸如鼠标单击、表单输入、页面浏览等用户事件做出反应并进行处理。
SQL(Structured Query Language): 结构化查询语言,是关系数据库的标准语言,通过几个命令,就可以实现定义、查询、更新和控制功能。在ASP 中对后台数据库进行查询、添加、删除和更新等操作所采用的就是SQL 语言。数据查询基本命令是SELECT,SELECT 语句用于对数据库进行查询并返回符合查询条件的数据。在查询语句中使用SQL库函数,可以实现在查询的过程中同时对某属性上的值进行统计分析。
这是主要涉及到的几种技术,除此之外还有其他便于使用的技术,通过对这些技术的应用,专业技术人员的设计就可以实现信息管理系统的实体化。
3.信息管理系统的设计分析
信息管理系统联系到了医院的各个部门,将收费、问诊、病历等结合在一起,为医院的信息化建设和科学化管理建立了一个很好的平台。该系统主要完成文本信息和医院各种数据的录入和整理,并使患者可以快速的查看的信息,同时各个部门之间信息的共享不仅可以使医院内部信息交流更加的及时和迅速。这不仅可以增加其他部门的监督的作用,使管理更加的公开透明,使得医生更加注重治疗技术的增强,并对患者的信息进行更好地掌握以供进一步的诊断,对于病人则更加的放心并对自己的花费、病情了如指掌。
4.总结
信息管理系统的设计和使用建立了完整性强、一致性高、数据安全可靠的数据库,简化了繁琐的文书操作,规范了整个医院的数据处理流程,系统中包含强大的数据处理功能,不仅可以清楚快速的查询信息,而且可以利用一些应用程序对数据进行统计分析,简明直观的了解到医院的各种信息,方便医院的管理,提高了医院各项工作服务的质量和效率,提高了患者的满意度,对于医务人员,大大减轻了他们的劳动强度,使他们有时间和精力来服务于病人,进一步的学习,这在一定程度上促进了医学科研和教学的进行。医院管理系统紧跟时代的潮流,采取新的形式改革管理体制,优化医疗服务,使医生患者可以更好的交流,为医疗领域增添了新的特色,随着计算机技术的不断发展,信息管理系统将会有更优秀的平台。
【参考文献】