时间:2023-04-06 18:33:35
导语:在大数据技术论文的撰写旅程中,学习并吸收他人佳作的精髓是一条宝贵的路径,好期刊汇集了九篇优秀范文,愿这些内容能够启发您的创作灵感,引领您探索更多的创作可能。
PDA也可以称为个人数字化助理,简称为掌上行机,它的优点是形状很小,携带很方便,可以把它放在手上或者口袋。很便于输入数据,操作结构很简单,使用起来很方便,可使用手接触或者笔输入信息,耗费功能很低,电池能使用的时间很长,通信里很强,可以使用蓝牙、红外接受发送信息,价格实惠。现在很多PDA使用windowsCE来进行操作,用来开发windowsCE系统功能,就像是在计算机的桌面进行开发软件程序一样,构建一个比较有相对性的移动设备。
2分析PDA和全站仪中的数据
2.1串口技术
使用Wicrosoftwindows开发串口系统,进行有以下方式:a.使用windows来进行通信函数.b.windowsAPI对端口进行读写或者开发其它程序,对串口实行操作步骤。C.串口中的组件通信,比如Activek控制MSCcomm。根据以上介绍的几种方法,比如b需要熟悉电路结构,驱动层次比较深,需要有比较强的专业技能,如C方式简便,不能使EmbeddedVisualC++所接受,该程序就是应用windowsAP来进行通信函数。
2.2串口施行步骤
windows的读写文件方式不一样,它主要使用windows结构中的多线程,然后再后台进行串口读写,正常使用程序就要在前台进行。进行改善1/0的速度,使用windows结构中的多线程,可以使用它来进行开发非单一系统,windows不能操作1/0的异常操作,可以使用它来进行操作串口,使用异步的方法,可以提高系统的操作能力。工作效能比较高的串口是事件驱动。应用这种方法有比较高的时实性,主要是针对一些比较广泛的串口,跟查询的方式不一样,不是只对那个串口进行查询。是以中断的形式来进行,一般运行中断时,确定的事件发生变化时,windows系统就会发出信息,才能有针对性的进行处理,确保数据存在。
3开发通信程序
3.1串口通信应用API函数
⑴串口进行打开关闭。在应用程序中用Create-File函数把串口打开,注意事项主要有:A.串口名后面需要加个冒号(:)。B.PDA的串口就是全部已经打开的串口,只含COM1。C.应用的参数定为零,安全没有危险性的参数定为NULL。应用Close-Handle可以把串口关闭。⑵对串口进行配置。串口配置与PDA通信中的参数进行配置一起,这样才能达到通信的效能,因此配置也是比较重要的一个步骤。LPDCB主要是针对DCB结构,DCB结构是对串口的进一步描述,串口的波特率主要是由DCB中的BaudRate来确定,原因是CE对非二进制不能进行输送,所以fBinary要设定为TRUE,ByteSize是指字节在进行发送时接受到的数据。Parity是奇偶校验,StopBits是停止位数,⑶对串口进行读写。串口进行读写时可以使用ReadFile和WriteFile函数实现,主要是串口进行读写时速度不是很快,⑷对串口进行异步读写,CE不能进行操作输入输出的功能,因此只能应用读写进行重复操作。第一,设定串口EV_RXCHAR要用SetCommMask函数来实现,应用WaitCom-mEvent阻拦线程,指直到把事件EV_RX-CHAR设定好,字符要应用回调函数来进行处理,续等发生事件。
3.2隔开水平角、竖直角、距离及进行组合测量
在测量过后,需要测出水平角,偏心的水平角与距离不能合在一起测量,测量时要分开进行,因此应用程序能进行水平角和竖直角及距离分开测量以及组合测量,进行测角时不能仅仅依靠棱镜。所以,可以应用水平角和、竖直角、距离重复选框来进行模拟。针对不一样规模的全站仪,使用的方式也不一样,索佳操作的模式只含有一种规模的全站仪,只需要点击按钮即可,假如选择斜距就进行输送测角距,没有选中斜距进行输送测角距,收到的数据后。在根据模块来分析与选取有针对性的数据,拓扑康是第二种模式,在选中斜距时,还要在斜距中的复选框中进行点击,在进行输送时改变测量距离的模式,进行发送时。进行驱动测量,跟读取指令是一样的。
3.3处理已经接收到的字符串
⑴ASCII编码是已经收到的字符串,可以使用MultiByteToWideChar函数转变成Unicode编码然,在进行处理。⑵测量指令在进行发送出去后,全站仪中的数据不是一次性发完,应该是分层次来进行发送,因此,字符串要直接连接到字符串,才能完成接受任务。⑶字符串的主要任务就是接收完后,要依据复合框进行有效的选择,分析全站仪的字符串,也会显示的很清楚。⑷拓扑康是第二种模式,符串后的任务就是接受,在输送时显示清楚。相反,就会把全站仪输送数据全部给PDA,造成不良后果。
4应用在实际生活中
VC++2005smartdevice的MFCsmartdeviceApplication,PDA与全站仪中的通信主要依靠多线程来完成,使他们能够稳定运行。根据太原市在进行测绘进行探索指出,外业进行采集时,效果是良好的。全站仪中的数据直接读取,防止在读、记方面存在有误差。不过,对存在有误差的数据要自动检查,防止2C差、差互差、2C互差的影响产生误差,而不能及时的进行检查,而导致返工现象的发生,工作效率的提高,PDA储存的文件就是测量的结果,外业任务完成之后把所得出的结果直接输入到PC,经过对程序的进一步分析,能直接评估精准度及计算坐标,不使用人工来进行操作,从一定程度上减少了工作人员的工作量,也能减少造成不要的麻烦,有效的提高工作效率。
5结束语
(一)大数据增值价值巨大,商业价值、经济价值和社会价值不可估量,终极价值在于助力社会进步与升级。美国奥巴马政府将数据定义为“未来的新石油”,是对其价值最生动的再现。大数据虽然价值密度低,但通过对数据的处理、整合和分析并使用,可创造出巨大的商业价值、经济价值和社会价值。面向大数据市场的新技术、新产品、新服务、新业态已不断涌现,大数据成为经济高速增长的新引擎,正在“吞噬”和重构传统组织架构,必将引发政府、公共事业、制造业、流通等领域全方位变革。特别是人机“生命共同体”快速进化,大数据将为人类的生活创造前所未有的可量化的维度,成为当代文明建设的助力器,让社会得以革新与升级,最终改变未来。
(二)大数据横空出世,源于个人全球化、记忆数字化、社会网络资本化的全力驱动,是IT业发展演进的历史使然。大数据不是突然产生的,是IT技术发展的必然产物。大数据浪潮主要源于三大驱动力推动。一是互联网、移动互联网及物联网等新一代信息技术,实现了信息、知识和社会关系网络乃至“个人”全球化,为大数据提供了广泛的数据来源。二是数据开放运动和数据民主化,实现了数据的分布式共享和全球性覆盖,云计算等廉价、高效的存储提取方式,让数据成为“共享的社会记忆”,客观上开启了大数据时代大门。三是挖掘复杂社会网络资本价值,加速了大数据技术的深度应用,构成了大数据的经济驱动力。全球化、数字化和社会网络资本化齐力推动了大数据大发展。
二、大数据:国家审计改革发展新动力
正在发生和演变的趋势表明,大数据时代无论对于社会、组织还是个人,都是一次革命,一个巨大的挑战,一个重大的转型机遇和飞跃的契机。国家审计无疑也是如此。1.飞速发展的经济社会新实践,必将推进国家审计理论与时创新。当前,人工智能、社交网站、RFID、语义网、云计算等技术或理念风驰电掣一般闯入我们的工作生活,数据开放、软件开源、普适计算、智慧地球等新思想令人眼花缭乱,新的技术和观念层出不穷。在信息技术环境下,丰富多彩的经济社会实践,通过信息交换、权能传递和功效联动等方式,将先进的信息技术、网络技术、网络时空观、数据挖掘、系统集成以及多媒体等多种学科理论和技术思想深层次地植根于审计理论,刺激审计理论的变革和创新。同时,国外一些先进管理理念,如企业再造工程、虚拟组织、穆尔法则(Mooreslaw)、基尔德法则(Gilderslaw)和麦特卡夫法则(Metcalfeslaw)等,与传统审计理论进行分化、碰撞、对接与融合,必将从广度和深度上推进审计理论不断繁衍与创新,审计理论将呈现多样性、交融性和虚拟性。2.审计客体内涵和外延的扩张,必将呼唤国家审计权力边界顺势突围。近年来,经济社会实践活动中,计算机、数据库、网络等现代信息技术得到了广泛运用,实物流、资金流表现向无纸化、数字化和信息流的转变,业务处理和财务管理逐步实现自动化和网络化,国家审计的审计内容、审计对象、审计资料、审计证据线索等都呈现出普遍电子化、数字化的特点。从而摆脱了传统帐套、传统财务信息、纸质的业务轨迹,从被审计单位的财务收支及有关的经营管理活动,会计资料和其他相关资料,扩展到电子数据、系统内部控制和信息系统自身;从财务数据延伸到业务数据;从内部数据关联到外部数据,审计客体外延和内涵的扩张,突破了以财政财务收支、纸质载体为主的审计权限范围。必然要求法律赋予审计部门数据采集、技术侦查、行政强制、诉讼等更多权力,以应对大数据时代的高科技舞弊,确保审计职能的充分发挥。3.新型大数据技术的广泛应用,必将推动国家审计作业流程优化再造。联机分析、数据挖掘、WEB2.0互联网审计、云技术等大数据技术普遍运用,将所有的审计内容、审计技术、审计方法纳入大数据审计之中。传统的现场审计作业流程必将改造优化为:了解调查,获取信息;采集数据,整理数据;进行数据转换、清理和验证;创建审计中间表;进行数据分析,找出审计重点;构建审计分析模型,分析数据;延伸落实,审计取证。数据分析成为审计作业的核心。信息技术还可以优化审计项目管理,如利用信息技术为审计项目管理内置一个标准的、符合质量要求的审计作业流程,用以规范审计人员的审计作业行为,使不同背景、不同水平的审计人员能够执行相同的审计动作。通过虚拟组织形态和数据集成智能化管理,实行远程控制审计项目,包括审计方案的控制、分工控制和授权控制,为质量控制和风险预防搭建一个良好的、高效的管控平台。4.国家审计供需矛盾更为激烈,必将要求国家审计主体能力自我革命。审计作为综合性经济监督部门,覆盖领域之广,涉及的经济社会活动之多,所产生和集聚的数据规模不可谓不大。大数据价值的发现和挖掘,必定给审计创造了更多需求,打开了更广阔的市场,对审计供给能力提出了新挑战。而决定审计供给能力的关隘就是国家审计主体能力。大数据时代,IT审计师将主导国家审计舞台。而目前,大部分审计人员主要精通财会知识,计算机知识和技能比较欠缺,知识结构还不能满足大数据技术的要求,数据分析与管理高端人才紧缺。审计人员除了要有专业的审计、会计知识外,必须精通信息技术,掌握网络、数据库、电子商务、信息系统的开发与管理和计算机辅助审计技术。优化审计人员能力结构,增强审计干部信息化审计基础能力、数据采集处理和分析能力、监测指标和模型的构建和分析能力、信息系统内部控制测评能力,尤为紧迫。
三、大数据背景下国家审计发展路径
无论是组织结构,还是国家文明,只有充分发挥大数据时代的价值、迎接好大数据面临的挑战并积极应对,才会处于不败之地。因此,国家审计应放眼未来,以大数据审计为目标,加快改革创新步伐,抢占审计发展的突破点和制高点,迎接新时代挑战。
(一)加快理论创新,为大数据审计落地提供实践指南。要坚持实践上的“摸着石头过河”与理论上的“顶层设计”相结合,加强审计理论和实务的研究,在理论上对大数据审计的性质以及由此决定的审计职能与任务等基本问题进行深入研究,构筑起适应大数据时展的、可用于解释和预测多种审计现象的审计理论。加强与国家信息化咨询委员会、公安部、发改委、工信部、财政部和国家信息中心等相关部门的合作研讨,多角度、更准确地把握客观现实及政策约束;组建由学术界专家、审计研究人员和实务骨干组成的团队,承担把握前沿热点、规划审计思路等工作,为加快大数据审计实践提供操作指南。要制定大数据审计发展的长远规划,坚持把大数据审计作为国家审计发展的核心战略,从数据、制度、人才和技术等方面逐步积累基础资源,有计划、有步骤、长期不懈地坚持推进。要加大宣传,营造数据审计文化氛围,革新思想观念,树立正确数据观,建立基于全数据模式、从整体到局部的审计思维模式,用大数据时代精神武装头脑。
(二)加快制度创新,健全完善大数据审计相关法规建设。目前,我国电子商务、网络经济和计算机应用相关法律法规制定相对滞后于经济社会实践活动,有些甚至还是盲区,导致大数据审计的法律地位和权限虚置。要加强电子商务、网络经济等相关立法,把电子合同、电子凭证、电子证据、电子签名的法律效力和保管要求,数据认证机构的管理,电子信息与网络安全等相关问题,以法律法规的形式明确固化下来,为大数据审计提供法律依据。要强化审计权威,扩大审计权限,赋予审计审查审计对象计算机信息系统的功能与安全措施,利用网络和审计软件进行审计,接入、采集、存储、提炼审计对象所有数据等的权力。要坚持本土自创与模仿移植相结合,建立健全与大数据时代相适应的审计标准和准则,如制定大数据审计评价准则、技术标准,数据挖掘分析指南,信息系统输入—处理—输出的符合性和实质性测试的准则,云计算以及网络审计准则等,确保大数据审计有法可依、有章可循。
(三)加快机制创新,积极构造政府主导、审计主推、IT企业参与的大数据审计联动机制。大数据技术在国家审计领域中的推广应用是技术进步的必然要求,但根据国家审计行业自身的特点,其无法自发地独自实现,必须积极构造政府主导、审计主推、IT企业参与的多点支撑联动机制,形成聚合效应。对政府而言,要积极把握大数据战略机遇,制定积极的政策法规,提供高质量的网络基础设施,营造适度宽松的大数据发展环境,鼓励企业、审计部门进行大数据相关的技术研发与应用创新,从标准、法律和意识形态层面大力引导大数据审计发展。对审计部门而言,要制定战略数据储备计划,加快与被审计单位数据实时互联互通,消除“信息孤岛”,为大数据审计提供数据载体;要逐步建立完善中央和地方的审计数据中心,构建审计管理、审计业务、审计方法和评价信息资源库,加快推进国家电子审计信息资源目录体系和交换体系建设,实现数据大集中。对IT企业而言,要深刻洞察大数据审计的需求,提供从硬件到软件、从产品到服务的一体化解决方案;要专注细分领域创新,提供具有审计行业特色的大数据审计专家级方案。
(四)加快应用创新,不断研究、探索、实践大数据审计技术方法。可以预见,大数据时代,审计人员时时刻刻都需要利用信息技术手段处理各种审计业务和工作。要结合审计工作实际,认真研究并积极实践A/B测试、关联规则挖掘、分类、数据聚类、众包、数据融合和集成、数据挖掘、集成学习等大数据分析技术,BigTable、商业智能、云计算、Cassandra、数据仓库、数据集市、分布式系统等大数据处理技术,以及标签云、Clustergram、历史流、空间信息流等可视化技术。要深度分析挖掘审计部门的大数据价值,从“业务驱动”转向“数据驱动”,实现审计决策和管理智能化。通过云计算的IaaS、PaaS和SaaS三大服务模式,建立国家层面的跨行业、跨领域的审计私有云和审计大数据分析平台。要建立审计专家和信息技术专家合作的审计信息技术研发模式,加强审计大数据分析模型和软件的研究开发。建立审计信息技术评选机制,对优秀的审计技术创新进行表彰奖励。建立审计信息技术库,把现有审计信息技术分类整理录入,实现网上查询、培训和新技术添加功能,加快大数据审计技术的推广和应用。
【关键词】日语语料库 日语学术论文 句末表达
一、序言
日语语言中书面语与口语在表达方式上有很大差异,日语学习者往往将重点放在练习口语表达上,而忽视了对日语书面语表达能力的训练。学生语言基础不扎实,影响了学术论文写作的质量。在研究领域,学术论文一直是呈现新知识的重要渠道。学术论文作为一种特殊的体裁,有着它独特的语篇结构。因此,系统性地归纳出学术论文的语言表达特点非常有必要,有利于帮助学生提高论文写作能力。丸山指出句末表达是一句话的表达当中最为重要的一个要素,句末表达形式变化的丰富程度可以视为展示那一类文章所蕴含的丰富表现力的线索。因此,本文以句末表达形式为切入点进而分析日语学术论文的表达特点。
二、研究方法
1.语料采集。CiNii(http://ci.nii.ac.jp)是目前世界上最全的日本学术论文数据库,收录日本各学会出版的学术期刊文献。本文从CiNii数据库中采集2000年到2013年间发表的日语语言学论文,涵盖语音学、词汇学、语法学、教育学、中日对比研究、语用学、语义学及认知语言学等领域,共计50篇论文作为本次构建语料库的文本素材。
2.语料处理。利用OCR文字识别软件“e.Typist”将采集到的样本转换成txt文本格式。然后使用软件“edamame”、“himawari”将样本制作为可检索的语料库。
3.语料分析。本文旨在研究日语学术论文的句末表达形式,因此在建成的语料库中将关键词设置为“。”进行检索,得到6512个结果。然后把检索结果的前文按照五十音图的顺序重新排序,统计得到的句末表达形式,除去检索结果中为论文引用的例句、注解以及谢辞的部分,最终得到4946句语料。将其分门别类,计算各自的比例进行分析。
三、研究结果
参照清水(2010)将句末表达按照语气(モダリティ)进行分类,结果如表1所示。
ル型包括ル、テミル、テオク、テイク、テクル、ラレル、サセル、エル、ウル、テモラウ、テシマウ、テイル,有12种形式,占据比例最大,为52.9%。タ型包括タ、テイタ、サセタ、ラレタ、テキタ、テモラッタ、テミタ,有7种形式,比例为10.9%。タイ型包括タイ、テミタイ、テイキタイ、テオキタイ,有4种形式,比例1.7%。ウ/ヨウ型包括ウ/ヨウ、テミル+ウ/ヨウ、ラレル+ウ/ヨウ、テイク+ウ/ヨウ、テオク+ウ/ヨウ、ダ+ウ/ヨウ、デアル+ウ/ヨウ,有7种形式,比例3.3%。デアル型包括デアル、ノ+デアル、ワケ+デアル、モノ+デアル、コト+デアル、ヨウ+デアル、ハズ+デアル,有7种形式,比例16.2%。デアッタ型包括デアッタ、モノ+デアッタ、コト+デアッタ,有3种形式,比例1.0%。“其他”指的是形容词、名词、助词、否定的句末表达形式,由于篇幅有限,本文不考察这些形式。ル型大约是タ型比例的5倍,デアル型约为デアッタ型比例的16倍,由此可见,在论文的句末表达中,ル型与タ型相比使用更为频繁。从时态的角度来看,ル型表示现在和未来,タ型表示过去,在论文叙述中更多的是,使用表未来的ル型来进行论述作者当前的见解,以及引出下文将要论述的内容。通过观察例句发现,使用タ型更多的是用来描述作者在过去进行了某项调查,相对于作者用于论述的笔墨而言占有的篇幅较少。表达作者语气的表现形式占比例较小,タイ型和ウ/ヨウ型加起来也仅为5%,可见在重视客观性的论文叙述当中,作者会尽量避免使用显露作者本人语气的语言表达,转而使用表示断定的句式来增添论文的可信度,力求保持中性的立场阐述客观事实。
由于篇幅有限,仅简短地分析一下比例超过半数的ル型。ル型当中比例较高的有ル形(如ある、なる)1342例,テイル形(如なっている)626例,以及ラレル形(如考えられる)457例,仅此三种形式就占据了ル型所有例句的92.6%。另外比例较高的只有デアル型中的デアル形580例,以及タ型中的タ形388例,这五种形式可以说是本次调查中学术论文的句末表达形式中最为常用的句型。
结果显示,包含作者语气的表达形式使用较少,使用更多的是断定的句式。和表过去的タ型相比,ル型使用更为频繁。句末表达形式中最常用的5种形式依此为ル形、テイル形、デアル形、ラレル形以及タ形。由于篇幅有限,本文未能就所获得的数据进行全面分析,并且未与中国日语学习者所撰写的论文进行比较分析,这些问题笔者将在今后的研究中继续不断努力,加以探索。
参考文献:
[1]盛文渊.语料库在日语专业毕业论文指导中的应用[J].读与写杂志2013(3):22-23.
统计学论文2300字(一):统计学方法的发展及其在大数据中的应用论文
【摘要】现阶段,统计学方法在我国企业管理中有广泛应用。本文尝试对统计学方法的诞生以及发展情况进行了简要的分析,同时还对统计学方法在现今大数据时代的应用情况进行了探索。
【关键词】统计学方法发展大数据应用
对于统计学方法来说,诞生的最初只是为了进行单纯的计数以及描述,随着统计学方法的不断发展,其所涉及到的内容更加多样化。在统计学家以及各个领域专家的不懈努力之下,统计学方法正在不断的进步以及完善,在实际应用的过程中也发挥出了较为理想的效果。在现阶段大数据的时代背景之下,对统计学进行深入探究是非常重要的,会对今后多个行业的快速发展起到促进作用。
一、统计学基本发展探析
对世界统计学的发展情况进行分析,会发现,其与科学界的发展趋势较为类似,随着统计学的不断完善,也开始与其他科学进行融合发展。对统计学进行总结,可以发现,其主要具备两个基本结合趋势,即与实质性学科结合的趋势以及与计算机学结合的趋势。对于统计学来说,其与经济学结合发展我国有广泛的应用,并且产生了经济统计这一专业;而统计学与教育的结合产生了教育统计。对于这些分支学科来说,其具有双重属性。一方面是统计学的分支;另一方面是实质性学科的分支。随着计算机信息技术的不断发展,其运算能力不断提升,这也使得大规模的统计调查工作在实际展开的过程中取得了理想效果,不仅保证了数据计算的准确性,同时也保证了计算的高效性。因此,在进行统计学技术研究发展的过程中,与计算机技术的深入结合应用是重要发展途径。通过对计算机软件的有效应用可以使统计计算过程中一些疑难的部分得到有效解决,同时也使得统计计算的展开更加方便。从现阶段我国经济类统计专业的教育情况来看,一方面在对统计方法进行创新教育,另一方面在对学生利用商品化统计软件包装能力进行提升。由此我们可以看出,在今后统计学的发展过程中,势必不能离开计算机技术的支持。在今后统计学相关专业的教育过程中,应该对学生的计算机程序设计以及利用能力进行培养提升,使得在展开统计工作的时候可以通过统计模型的编程来实现。
二、统计学方法在大数据中的应用趋势
(一)统计学方法及相关领域的动态分析
目前,国内外对统计学都有较为广泛的应用,主要应用在教育行业、生产制造行业以及企业管理当中,取得了较为理想的应用效果。根据CNKI数据库中统计方法、机器学习分布情况可以看出,在机器学习领域的论文数量从2013年以后一直呈现出持续增长的势头,并且在2016年超过了统计方法领域的论文数量。由此可以说明,我国在机器学习领域的发展速度正现出稳定提升的趋势,反映了我国在大数据领域研究方面越来越深入,所应用的研究方法也开始呈现出多样化的特点。从总体上来看国内在统计学方法研究过程中已经取得了阶段性的成果,并且其所面临的拐点与国家上的统计学发展拐点基本保持一致,大概都是在2013年开始对大数据以及将其学习等方面有了深入的探究,并且开始逐渐取得突破性的成果。而机器学习方法的论文数量都是在2016年开始超过统计方法的论文数量。但是与此同时,我们也看出其差异性也很明显,国内在统计方面研究的论文以及在机器学习方法方面研究的论文与国际相比较尚且存在较为明显的差距,并且这种差距呈现出了持续性的特点,这也使得我国在这两个领域方面还有很大的发展空间。
(二)统计学方法及相关领域研究方向分析
经过对CNKI数据库中的统计方法以及大数据领域期刊论文分布情况进行分析之后,可以看出,统计方法领域中出现频次最高的是“统计分析”以及“数理统计”、“人工智能”;在大数据领域出现频次较高的是“云计算”、“图书馆”以及“物联网”等关键词。通过上述关键词来看,其所涉及到的内容都是反映当前我国统计以及大数据技术所研究的重点以及热点,同时我们也可以看出,现阶段我国在统计与大数据领域方向的研究存在着一定的重合。在进行的数据研究的时候,需要应用到统计学方法,同时统计学方法在利用的时候往往也需要与大数据进行结合。
(三)统计学方法的发展展望
有数据的地方势必就会涉及到统计学。从17世纪开始,国势学派以及算数学派的争论到今天大数据计算、计算机技术的相互作用,使得统计学的内容正在不断完善,并且其应用领域也在不断扩大,随着大数据时代的来临,使得传统的统计学发展方向发生了一定转变,开始从小样本的统计推断分析走向大数据量的挖掘分析,从而使其所掌控的数据量不断提升。在未来统计学方法发展的过程中,应该注意将统计学与新的数据思维相结合,从而产生一种新型的、应用范围更广的大数据算法。从现阶段我国大数据方法创新发展的情况来看,其与国际研究在深度以及广度上还存在不小的差距,这也恰恰说明了我国在大数据统计学方面还有很大的进步空间。现阶段,国内的大数据研究更多的是停留在信息化产业上,与其他行业的融合发展趋势尚且不明显,这也使得信息服务以及数据产业的创新发展受到了一定影响。在今后统计学发展的过程中,其研究热点势必会从数据分析以及数据发掘向算法方向转移,这样也使得大数据技术与统计学方法二者之间的联系更加紧密。
结束语
综上所述,我国统计学方法在今后发展过程中应该充分考虑到实际需求,积极适应时代变化,现阶段大数据时代已经全面到來,并且大数据技术在我国有广泛应用,在实际应用的过程中取得了较为理想的效果。将大数据与统计方法进行结合可以使统计学方法的作用得到更好的体现,也使得统计学方法不断的进步以及拓展,在大时代背景之下,其功能性得到了更加充分的展现。
统计学毕业论文范文模板(二):线上线下混合式教学在生物统计学教学中的实践与研究论文
[摘要]为提升生物统计学课程的教学水平,针对传统生物统计学教学中的局限,分析和实践基于线上网络教学+线下面授教学的混合式教学模式在生物统计学教学中的应用策略和方法。实践表明,通过线上+线下的互动与教学,能激发学生学习的兴趣与动力,丰富生物统计学的教学形式与内容,促进生物统计学教学质量的提升。
[关键词]线上线下;混合式教学;生物统计学;实践
[作者简介]严明(1981—),女,重庆人,博士,讲师,研究方向:生物技术。
[中图分类号]G642[文献标识码]A[文章编号]1674-9324(2020)25-0273-02[收稿日期]2020-03-18
生物统计学是生物医学类专业的必修课程,学生通过学习本课程掌握实验设计的原理和方法,并学会对实验数据进行统计分析和处理。然而,生物统计学涉及到大量基础理论,单纯通过教师讲解,学生理解度较低,学习效果不佳。如何在有限的课时内,改革传统的以讲授为主的教学方式,有效提高教学效果是生物统计学教学亟待解决的难题。
近年来,随着互联网信息技术的发展,一种基于线上网络教学+线下面授教学的混合式教学模式应运而生。该模式可避免传统教学模式中以教师为主导,学生学习主动性差的缺点,又可克服学生完全在线学习缺乏监管、学习效果不佳的困难。本文尝试将混合式教学方法运用到生物统计学教学中,以期在有限的教学时间内最大限度实现教学目标,提升课程教学效果。
一、线上线下混合式教学的概念及内涵
线上线下混合式教学是一种新兴的教学模式,授课教师利用网络教学平台向学生提供教学视频和课件等教学资源,并设置作业、调查等互动模块,学生利用课外时间自主完成学习任务,并通过平台与教师交流。在线下课堂,教师根据学生在线学习的情况,对疑难问题进行有针对性的讲授,帮助学生理解、掌握教学难点。
线上线下混合教学模式打破了教学的时空限制,学生可以灵活安排学习时间,通过学习在线资料提出问题,并带着问题进行课堂学习,有效提升学习效率。线上线下混合教学还可帮助教师动态掌握学生学习情况,生成客观的过程性评价材料,并丰富课程的教学形式,拓宽教学路径,因此正逐渐成为高等教育领域的一大趋势。
二、生物统计学课程教学面临的困境
1.教学时长受限。目前,本校生物统计学面向生物医学工程和医学信息工程专业开设,每学期共32个课时。由于教学内容抽象,而且学生要通过大量实践才能掌握统计学原理在生物研究中的应用,因此,教学难度高,课堂教学时间很难满足教学需求。
2.教与学不同步。传统教学模式下,教师与学生之间的沟通以课堂为主,教师按照教学安排按部就班地进行教学,对学生需求重視不足;学生缺乏主动反馈的意识,教师很难掌握学生的真实学习状况,教与学处于不同步状态。
上述困境对如何拓展教学时间,完成课程教学并指导学生学以致用提出了新的挑战。
三、线上线下混合式教学在生物统计学教学中的实践探究
1.构建线上教学平台,实现课前线上自主学习。授课教师首先以超星泛雅平台和学习通APP为依托构建线上教学平台。教师在平台上将课程每章的重难点列示出来,搭建课程框架体系,并上传包括课件和教师根据课程知识体系录制的教学视频等资料。教学视频时长控制在15分钟以内,并保证精炼、易懂,让学生不会因视频过长而放弃观看,提高学习时效。同时,在教学平台提供视频配套的课件资料,方便学生下载并配套观看。教师还在平台设置了视频弹幕问答和闯关式章节测试,学生通过答题和测试后才能进入后续章节的学习。
在教学实践中发现,线上教学平台还可以为理论教学提供良好的拓展实践平台。教师可以在线上平台提供实验设计及实验数据分析的实例供学生练习,实现对课时压缩的有效弥补。学生普遍反映网络教学平台十分有利于自主学习,尤其是遇到知识难点时,学生可以通过反复线上观看教学视频来帮助理解,能达到较好的学习效果。
此外,线上教学平台可以通过视频回放次数、测试完成程度等数据统计帮助教师了解学生之间的差异性,既方便教师掌握学生学习状态,分析存在的问题,也为线下课堂教学提供依据,在后续教学中因材施教,满足不同层次学生的个性化学习需求提供依据。
2.线下检测自主学习效果,实施针对性教学。采用线上线下混合模式教学,课堂教学的任务发生转移。教师要集中精力对知识点进行梳理和归纳,并针对重难点以及学生在线上学习过程中的困难进行答疑解惑和查漏补缺。在教学实践中,为完成上述任务,在每个章节的线上学习完成后均安排答疑和小组讨论,让每位学生通过多种方式修正和完善遗漏或理解错误的知识点。全部授课结束后,授课教师向学生发放了关于教学效果的调查问卷,结果显示,78.2%(18/23)的学生认为采用混合式教学方法可以把重要知识点学透,在课堂上有更充裕的时间进行消化吸收,更有利于教学内容的掌握。
在线下教学中,教师还对教学场景进行了编排和优化。教师提供具体的实验案例,并以某一具体实验案例(如抗癌药物筛选)为背景贯穿整个课程教学始终,模拟真实实验场景,让学生从实验参与者的角度设计实验流程、整理实验数据、统计分析和解读呈现的全部流程。帮助学生实践生物学研究提出假说—实验验证—得出结论的基本流程,理解生物统计学对生物学研究的重要指导作用,培养学生知识迁移、应用和分析并解决科学问题的能力。
3.课后回顾学习并提升。在课堂教学完成后,师生的教学活动都还没有结束。教师要对线上线下教学过程中容易出现的问题进行整理总结,并将解决方案到网络平台,供学生回顾性学习。学生要对课堂上遇到的问题,搜集学习资料进一步思考和巩固。教师还要对学生课后学习情况进行挖掘,并根据学生的不同情况进行个性化的学习支持。对于有困难的学生,教师要单独辅导和监管,帮助学生完成课程学习;对于学有余力的学生,可以鼓励学生走进实验室,跟随教师的科研工作,完成真正的动手实践,实现素质提升。最终通过师生配合,完成对课程教学效果的提升。
4.教学考核。由于教学形式发生变化,课程的教学考核模式也要随之做出调整和改变。在实践中,教师改变传统的期末考核模式,充分利用线上线下教学记录,实现全过程考核。考试成绩包含网络平台学习考核(25%)、线下课堂表现(25%)和期末闭卷考试(50%)三部分。其中网络平台学习考核由系统根据学习时间、频率以及测试情况生成;课堂表现根据学生听课及参与讨论情况,综合学生互评和教师考核给分。上述考核方式,降低了期末考试在总成绩中的比重,更加侧重于学生的平时学习积累和实践能力的培养。因此,可避免学生“突击考试”的侥幸心理,促进学生向平时主动学习转变,更符合现代教学模式和人才培养的需求。
大数据时代 学术期刊 功能
柴英,中国人民大学书报资料中心编辑;马婧,中国人民大学书报资料中心编辑。
20世纪90年代以来,伴随着计算机技术的飞速发展,文字、方位等各种信息正在被全面数据化,这昭示一个大规模生产、分享和应用数据的时代――大数据时代的到来。大数据时代对于数据处理在理念上发生了三大转变,那就是要全部数据而不是抽样数据,要及时有效而不是绝对精准,要揭示相关关系而不是探究因果关系。[1]这些转变正在快速影响和改变着世界经济发展、商业模式乃至于生活方式。作为以信息为基础的人文社会科学研究领域,大数据势必引发知识体系、研究方法等的根本性变革。而为学术研究服务而生的学术期刊也将会在运行模式、销售方略、功能作用等方面,发生巨大甚至是本质性的变化和发展。这些问题已引起相关学者的关注和热议,然而在大数据时代,学术期刊的传统功能会被全盘废弃,还是承继中有所创新,尚未有学者进行深入细致的探讨。本文拟以正在兴起的大数据研究为视角,探讨学术期刊各项功能实现手段、效能发挥的新变化。
一、大数据与学术期刊的引领功能
学术期刊是学术成果交流、和传播的平台。它的诞生,是学术研究和技术发展双重推动的结果。如启蒙运动掀起的学术思潮,在古登堡的铅字印刷技术支持下,在17世纪下半叶催生出西方国家最早的学术期刊。而中国现代学术期刊,也是在中国现代学术研究和大机器印刷技术引进的背景下产生的。诞生伊始,学术期刊就肩负着引领学术发展的神圣历史使命。学术期刊通过征集、整理、筛选、加工、编辑、学术成果,洞察学术发展前沿,呈现学术界优秀研究成果,成为学术研究的领航标。同时,编辑也承担着学术研究的旁观者、参与者和引领者三重角色。学术期刊提供的学术信息反映并决定着学者的学术研究走向。学术期刊之所以拥有引领学术发展的权威地位,是因其掌握学术发展的数据。然而纸媒时代的学术期刊对于学术信息的筛选加工处理,主要依赖抽样、局部、片面数据,甚至纯粹依赖编辑的经验、推断和价值观去完成。至于编辑要经过很长时间的工作历练才能准确、客观、真实地反映学术研究状况,积极有效地推动学术研究、高屋建瓴地引领学术研究,是由学术期刊社的运行体制、声望影响以及编辑个人学养等多种因素决定的,因此传统纸媒时代的学术期刊引领功能的发挥和传承,具有长期性和不确定性。
大数据时代的到来,彻底改变了这一状况。“云计算”技术的发明和广泛运用,使得存储和保留学术数据变得既简单又方便。2000年,数字存储信息仍只占全球数据量的1/4,另外3/4的信息则存储在报纸、胶片、黑胶唱片和盒式磁带媒介中。2007年,所有数据中只有7%是存储在报纸、书籍、图片等媒介上的模拟数据,其余均为数字数据。到2013年,世界上存储的数据预计能达到约1.2泽字节,其中非数字数据只占不到2%。[2]大数据时代的来临,使学术界第一次有机会和条件,把囊括所有学科的学术期刊历史出版物进行数据化,从而全社会可获得和使用学术研究所有领域和各层次的全面、完整和系统的数据。大数据的核心是预测,即根据全面的数据预测未来事情的发展趋势。学术期刊通过对这些学术数据进行整合、分析,展示学术前沿、热点等基本学术动态,继而深入探索学术研究的状况和发展规律,最终既可为学术研究提供真实、客观、准确、全面的学术信息,也可为编辑提供筛选、评判稿件学术依据,还可通过重组、扩展、再利用数据,开发学术研究的衍生产品。
传统纸媒时代的学术期刊只能实现宏观领域的学术引领功能。对于读者个体的学术需求认知是模糊的、不确定的。然而在大数据时代,在技术的支持下,学术期刊可对每个学者或读者的个体需求了如指掌。如电子书阅读器可记录大量关于读者阅读期刊的相关数据,如读者群的构成,读者选择阅读论文的好恶,阅读一页或全文需花费的时间,哪些内容做了笔记或画线强调……这些数据聚合起来将会向期刊展示一些重要信息,如读者的浏览论文时间、研究旨趣等,而这些信息是在传统纸媒时代因过于分散根本无法获取的。根据这些信息,学术期刊可为读者提供个性化的服务,如学者个人专业研究领域的相关动态、研究状况。真正实现学术期刊宏观引领和微观服务的有机结合。
二、大数据与学术期刊的交流功能
近现代以来,学术研究不再是个人兴趣,而是逐渐走向专业化和职业化。个人孤军奋战的学术模式也逐渐被学术团体取代。学术团体或机构中的学者们通过相互通信、定期集会、交换材料及出版期刊共同激发创造性研究的出现。学术期刊的先天使命就是要为学术研究搭建一个权威、公平、公正的学术成果交流平台。传统纸媒时代的学术期刊往往以著名学者为核心,汇聚某一学科领域从事相关研究的同道中人共同推动学术研究发展。学术期刊是展示该学派学术观点洞见的窗口,是学派与学派之间、学派成员之间沟通的桥梁。如法国的年鉴学派,依托《年鉴》,历经三代学术掌门人的共同磨砺,其社会文化史研究的理论和方法最终得到了历史学界的肯定。又如中国近代以顾颉刚为首的禹贡学派,创办《禹贡》,为那些专攻历史地理的学者找到了精神家园;以傅斯年为首的史料学派凭借中央研究院历史语言研究所的学术资源,出版历史语言类刊物《集刊》,为所有历史语言研究者提供了丰富的历史资料,也催生了许多重要的学术成就。[3]
近年来,“学术研究正从过去的单一领域向全领域方向发展,各学科在研究视角和方法上相互借鉴,交叉融合,使研究内容不断扩展,对信息的需求也呈现多角度、全方位和智能化的特点。学术创新模式、学术研究范式、知识形态、知识获取、知识交流及处理机制的改变,都直接影响着学术期刊的生存和发展环境”。[4]20世纪90年代开始,学术期刊逐步走向数字化。国内一些技术公司抢先与各家学术期刊达成协议,把所有的期刊论文数字化、网络化,形成了知网、万方等多个学术期刊数据库。很多人误以为学术期刊数据化,就是把纸本期刊改为PDF的网络版。大数据给学术期刊交流功能带来的变革远非如此,大数据促使无障碍、无延迟的跨国界、跨学科学术交流成为现实。学术期刊出版集团利用云计算技术和移动设备,以学术资源为核心,搭建吸引所有学者参与的学者在线交流平台。这一平台具有无地域限制、无时间限制、完全开放、资源共享、检索便捷、无需空间、方便互动等特性。在这个平台上,学者可按需获取全世界范围、全学科领域的学术资源,可随时个人成果,建立个人学术空间,可通过学术圈社交平台交换、学术信息、展开学术讨论。这都无需考虑时间、场所、经费等这些传统学术会议的必需因素。
此外,学者在这个平台上获取的资源将是跨终端的多样化、全媒体资源。如可以缩放的图片、可添加底色的公式、可观看的视频等,这些全新的资源将会给读者带来具有互动性的优质阅读体验。通过元数据标注内容的技术开发出来的著作者身份识别系统(ORCID)、基金来源识别系统(Fundref)、论文版本识别系统(Crossmark)等新增技术手段,则可帮助学者间的学术交流更加便捷。移动互联网随时、随地、随心等特性,丰富的互动及个性化门户等功能,可满足互联网学者用户学习、阅读的需求。学术期刊的交流功能将得到最大化发挥。
三、大数据与学术期刊的传播功能
传统纸媒的学术期刊肩负着传播学术成果、推动学术研究的重要功能。各家学术期刊秉承“内容为王”的理念,竞相争取知名作者资源,在选题策划、编校质量方面精益求精,以内容赢得关注,以质量树立品牌。纸媒学术期刊传播的媒介和途径比较单一,主要是通过邮局订阅、实体书店购买等方式,因而传播的受众主要是相关领域的学术研究人员,范围极为有限。受众所获取的信息有限,代价却巨大。即使是学术期刊论文数据库盛行的今日,下载大量论文所需的高昂费用也常常会令非包库读者望而却步。学术期刊出版周期漫长,大多是双月刊或者季刊,即使是月刊,从投稿到正式发表的周期少则数月、多则数年。大数据正在推动着各级政府、经济领域、商业模式发生日新月异的变革。这对于以社会现象为研究对象的社会科学来说,很多研究成果可能未及发表,就已成为故纸堆。学术研究成为象牙塔里少数学术精英的游戏。学术期刊对于学术成果的推介传播效果究竟如何,主要是依据主观感觉和经验进行模糊判断,在此基础上形成的传播决策和刊物定位也往往是不断试错的结果。
大数据时代学术期刊传播媒介将多样化,整合化,传播范围全空间化。互联网、物联网、移动智能终端、各种社交软件等技术平台都已成为学术期刊传播的重要媒介。学术期刊可把各自所掌握的学术数据,通过以上媒介和相关信息技术整合、融通,实现纸媒学术期刊和网络学术数据库资源同步、多种媒介之间互享互通、期刊传播和读者受众互动共建。如此一来,传统纸媒学术期刊和新媒体实现了内容、网络、终端、服务等全方位的“整融合”。学术资源和期刊结构重组后的学术期刊传播格局,将在数量和种类上呈现几何式递增态势,学术研究成果的传播路径得以全方位拓展。大数据主张开放、共享数据。学术期刊的传播范围将全空间化。未来学术期刊有可能彻底改变读者付费的传统销售模式,在国家财政支持下,所有学术数据将向所有读者免费开放。这有可能改变100多年来形成的学术研究专属于少数学术精英的学术研究专业化、职业化现状。
大数据时代学术期刊的传播速度将及时化、全时化,传播效用将最大化。大数据追求时效性,“允许不精确”。全部数据而非样本数据会提高网络数据的容错率,新的对的数据会很快修正乃至淹没旧的错的数据,讲求时效远比苛求准确来得实用。这将彻底颠覆传统学术期刊乃至学术研究遵循的“慢工出细活”的祖训。技术支持下的学术数据将及时、全时为受众服务,学术期刊的整刊定期出版模式,有可能被分篇随时出版模式取代。大数据将使学术研究成果取消门槛,无需编辑、随时、资源共享,这将有力推动学术研究的整体进程。大数据可将整合后的全体数据提供给受众。读者读取数据的过程又会产生新的数据,扮演着数据受领者和数据创造者双重角色。学术期刊可主动挖掘、分析这些阅读行为数据,发现并利用受众的个性化需求,促进传播的分众化、个性化、精准化,从而实现传播的效用最大化。如搜索引擎可以根据读者的学术论文浏览记录将读者需要的数据排序置前,还可为其推荐所需的最新研究动态信息。大数据时代,基于交互性的传播平台,以及智能的数据库管理,用户的形象被勾勒得更加清晰,且根据兴趣与需求被重新标签化、归类化,这样就提升了品牌形象推广的精准度。[5]
此外,大数据时代传播理念将会转变为“内容、服务并重”。大数据的大量全部、多样混杂特征势必使得人人陷入数据海洋中,如果任由其无序发展,人们获取有效信息会如大海捞针般困难。因此,大数据时代学术期刊要想在众说纷纭中清晰、准确地传播自己的声音,始终注重内容建设、不断完善服务质量将是学术期刊奉行不悖的传播理念。
四、大数据与学术期刊评价功能的变革
作为学术共同体交流沟通的平台,学术期刊为引领学术研究、制定学术规范、解决学术分歧,在最初发展中就形成了同行评议的评价机制。以学术期刊为核心的专业同行学术共同体,通过对论文的学术规范、创新与否、论证完备等方面进行评鉴并针对该学术成果是否应发表给出重要参考意见。从而针对学术成果及其所有者进行价值判断。学术期刊采用的外审匿名评议学术成果的评价方法主要是定性评价。同行评议能否公正、客观地反映学术成果的真实价值,主要取决于学术研究风气、学者学术水准、国家学术体制等多方面因素。鉴于同行评议学术成果具有不确定、不全面等先天缺陷,学术界逐渐采用统计论文影响因子、被引率等定量评议的方法。我国的人文社会科学界,还形成了以核心期刊为基础的学术成果评价体系,量化评价学术成果的评价方法正在成为学术评价的主流形态,定量评价学术期刊发表的学术成果主要由专业评价机构来承担。学术期刊评价学术成果,同时自身也将成为被评价的对象。然而,由于模拟数据时代采集的数据样本数量小、种类少,结果导致学术期刊界关于定性或定量评价谁更客观公正争议不断。[6]目前,在更科学、更完善的学术成果评价机制出台之前,学术成果评价仍然采用同行评议为主、量化评价为辅的评价方法。
大数据时代学术期刊数据化的网络平台建立之后,学者期盼的“不同的学术共同体自己的表达平台,以及对于作为共同体代表参与学术评价活动(比如评奖或评审)的佼佼者的监督平台”也将随之产生。[7]这个平台不但对学术共同体的成员开放,还要对全社会成员开放。评价学术成果的主体不再仅仅是以学术期刊为核心的学术共同体、专业评价机构,而是包括全体参与评价活动的社会成员。关于学术期刊的评价主体应是专家同行还是评价机构之争也将不证自明。
大数据使一切皆可量化,正如哈佛大学社会学教授加里・金所言:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”大数据时代学术期刊评价学术成果的方法首先是“整融合”,包括学术共同体的全体参与者的评价意见、全网引用量、影响因子等各项数据,然后开发特定的工具来管理这些自有或来源于“云”的结构化或非结构化数据,最重要的是编辑人员要成为统计、分析这些数据的专业人才。由此,基于海量定性评价数据的定量化评价方法,才能真正客观公正地对学术研究成果作出价值判断,揭示各学科学术研究的质量,并在此基础上对未来研究作出科学指导和预测。学术腐败、学术不端行为也将在透明、共享的数据化空间中难以遁形。学术期刊将切实承担起在纸媒时代无法完成的监督创建学术规范的历史使命。学术期刊评价行为的性质也将由目前学术利益、学术资源诸因素干扰下的“权力行为”回归其学术活动的本真状态。
结 语
“大数据时代将要释放出的巨大价值使得选择大数据的理念和方法不再是一种权衡,而是通往未来的必然改变。”[8]学术期刊界应主动自觉地应对大数据带来的学术研究、政策抉择、经济效益、商业模式的重大变革,积极探索大数据时代最大限度发挥自身功能的路径。然而,大数据并不是万能的,如何让数据“发声”,人类的智识和道德判断是合理开发大数据潜力、正确发挥大数据功能的保障。大数据促使相关关系的发现和使用,创造出巨大的经济和社会效益,但探究因果关系仍将是学术研究的终极动力。追求真理、传播学术仍将是学术期刊秉承的核心价值,学术期刊的引领学术研究,提供交流、传播平台,评价学术成果,监督学术规范的传统功能仍将继续发挥。要实现这些功能的途径、效用方面的重大变革。“在数据驱动的智能时代,需要一股自上而下的力量。政府、行业组织及大型出版集团需要建立数据平台,进行数据标准化处理”。[9]唯有如此,学术期刊大数据的核聚能才能真正爆发。
参考文献:
[1] [2] [8] [英] 维克托・迈尔―舍恩伯格,肯尼思・库克耶. 大数据时代:生活、工作与思维的大变革[M]. 盛杨燕,周涛,译. 杭州:浙江人民出版社,2013:17-18,94.
[3] 程文标. 近代史学期刊的分类、特点及其影响[J]. 重庆社会科学,2011(3).
[4] 周小华. 大数据时代中国学术期刊的创新发展[N]. 中国社会科学报,2013-12-18.
[5] 喻国明. 传播学研究:大数据时代的新范式[J]. 新闻记者,2013(6).
[6] 朱剑. 量化指标: 学术期刊不能承受之轻――评《全国报纸期刊出版质量综合评估指标体系( 试行) 》[J]. 清华大学学报,2013(1).
摘 要:为深入揭示大数据背景下我国高校图书馆研究热点,该文以大数据、高校图书馆作为检索词进行可视化分析。结果发现,大数据背景下高校图书馆研究的热点呈现逐年增长趋势,主要包括信息服务、知识服务、学科服务等,个性化信息服务和数据分析领域成为新近发文量较多的热点领域。总体上来讲,利用大数据理念、大数据相关技术提升高校图书馆服务已经成为研究热点。
关键词:高校 图书馆 大数据研究 热点可视化
中图分类号:G250 文献标识码:A 文章编号:1672-3791(2016)07(a)-0019-02
大数据是继Web2.0和云计算之后的又一个热门词汇,作为高校的文献信息资源服务机构,高校图书馆拥有大量数据,而大数据在高校图书馆服务的各个方面都有广泛应用[1]。维克托・迈尔・舍恩伯格和肯尼斯・克耶在其编写的《大数据时代》中提出:“大数据”具有4V特点:Volume(数据量大)、Velocity(输入和处理速度快)、Variety(数据多样性)、Value(价值密度低),大数据的这4个特点得到了学者们的普遍认可。大数据背景下,数据量的急剧增长、信息技术的飞速变革都为高校图书馆的发展带来了新的契机,推动了信息服务的升级,也为高校图书馆的研究带来新的视角。数字时代,高校图书馆对数据的处理主要是将纸质文献资料数字化、网络化,信息服务的目的是实现师生对学术数据的充分利用,进入大数据时代,对海量文献数据的分析、处理将成为高校图书馆发展的新趋势,高校图书馆的信息服务重心也会逐步由传统的业务向深层次的数据挖掘服务转移[2]。在这一大趋势下,对大数据背景下高校图书馆研究热点的可视化分析,有助于学者们把握高校图书馆当前的研究热点和发展趋势。
1 数据来源
以中知网及万方数据平台为主要数据库检索对象,检索时间截至2016年7月15日。检索方法一:以“高校图书馆”和“大数据”作为并列主题检索词进行精确检索,不限发表时间及文献类型,共得到488篇相关文献。其中,期刊402篇、会议论文17篇、学位论文9篇,以“高校图书馆”作为检索关键词的文献有303篇。检索方法二:以“高校图书馆”和“大数据”作为并列题名检索词进行精确检索,不限发表时间及文献类型,共得到263篇相关文献,其中,期刊224篇,以“高校图书馆”作为检索关键词的文献189篇。综合以上两种方法对检索结果进行可视化分析,提高查全率和查准率。
2 研究热点及趋势分析
大数据时代,数据将成为图书馆最重要的资产之一[3],高校图书馆的服务不再局限于提供简单的文献和信息服务,而是更加注重运用大数据技术挖掘文献和信息中所包含的数据和知识内容,挖掘隐形知识,为教学和科学研究创新服务。对于大数据背景下高校图书馆研究热点的分析,可以从研究热点领域、研究热点期刊分布和研究基金分布三大方面进行。
2.1 研究热点领域分析
统计结果表明:学者们对于大数据背景下高校图书馆的相关研究在2013年开始呈现逐年增长的趋势,相关知识点如图1所示,圆形大小表示相关研究领域的研究热度高低。
自2013年至今,学者们对于大数据背景下高校图书馆的研究热点领域主要集中在信息服务、知识服务、服务创新、学科服务、数据挖掘方面,对于云计算、信息资源、数字图书馆、数据分析等方面也有涉及。在近两年的研究中,除了一直热度不减的信息服务、知识服务、学科服务问题之外,更加侧重对个性化服务、数据分析的研究。在系统构建方面的研究在近两年兴起,高校图书馆更加关注其自身生态系统的运行问题,学者们也在尝试运用生态学、系统学等多学科方法来进行大数据背景下的高校图书馆研究。研究领域的变化说明了学者们对这一研究主题从理论研究向更加深入的技术性研究靠近。
2.2 研究热点期刊分布
2.2.1 刊种统计
对于大数据背景下高校图书馆的研究,发文最多的期刊前六名依次是农业图书情报学刊、图书馆学刊、科技情报开发与经济、河南图书馆学刊、内蒙古科技与经济、现代情报,其总计刊文量占全部刊种的53.52%。各个期刊对此主题的刊文,反应出大数据背景下高校图书馆问题研究受到学者们的普遍重视。
2.2.2 核心期刊统计
刊文在核心期刊的数量统计分别为:(1)中文核心期刊55篇(59.1%)。(2)CSSCI中文社科引文索引(南大)32篇(34.41%)。(3)统计源期刊(中信所)4篇(4.3%)。(4)CSCD中国科学引文库(中科院)2篇(2.15%)。核心期刊的刊文反应出该主题成为学者们的重点关注领域,在大数据背景下高校图书馆方面的研究成果较深入。
2.3 研究基金统计
近年来大数据背景下的高校图书馆的相关研究基金项目共计38项,其中32项是2015年至今的基金项目。包含省市基金项目21项,占总基金项目的55.2%,国家社科基金项目8项,国家教育基金项目5项,国家自然科学基金项目1项,其他基金项目3项。基金项目立项的数量反映了该主题的研究热度和深度都在不断增加。
3 结语
目前,学者们对于大数据背景下高校图书馆的相关研究正处于高速发展的探索阶段,对于如何利用大数据技术来提升高校图书馆信息服务的研究越来越深入。研究热点不仅局限于信息服务、知识服务和学科服务方面,还涉及数字图书馆、学科馆员、系统构建等多领域,研究更加侧重对个性化服务、数据分析的研究,高校图书馆作为服务教学、服务科研的文献信息资源服务机构,深化基于大数据的相关服务是其未来发展的方向。
由于该文对大数据背景下高校图书馆的热点分析主要是基于“大数据”和“高校图书馆”两个关键词构成的检索式,在文献的查全率方面,漏查了只是应用具体的方法进行高校图书馆数据分析的个别文献,在相关文献检索中,有个别文献是应用具体的数据分析工具进行高校图书馆数据分析挖掘。这类数据分析工具的应用,更加印证了数据分析方面的研究呈现增长的趋势。
参考文献
[1] 康春鹏,杜蕊.大数据给图书馆带来的机遇与挑战[J].现代情报,2014(5):47-55.
一、大数据时代对会计学专业的影响
(一)改变会计学专业培养模式
会计学专业一直是广大学子追求的热门专业,传统的会计学专业人才培养模式是理论教学和科研相结合的方式,在教育教学过程中,会计学专业本科生培养侧重于理论知识的掌握,对实践和应用能力比较欠缺。近些年会计学专业毕业生人数增长迅速,社会企业往往更倾向录用有工作经验的毕业生,在当前就业压力比较大的情况下,人力资源市场对会计学专业人才的需求不对接,与社会对会计学专业人才的要求相差较远。大数据时代的到来,给高校会计类专业人才的培养模式指明了发展方向。
(二)改变了教师的传统职能
大数据时代高校教师的传统功能发生了改变,会计学专业教师不仅是为会计学专业学生讲解如何制作会计分录,如何编制会计报表等,而是需要把大学生作为教育教学活动的中心,引导大学生如何使用海量、有价值的数据,更注重培养大学生的实践能力,因此,在大数据时代背景下,会计学专业教师是大学生学习的组织者,引导者,学习行为的分析者,学习效果的评价者。
二、会计类大学生创新创业的价值
(一)缓解就业压力
近年来,全国高校不断扩招,会计类大学生数量大量增加,我国经济结构处在不断发展完善的过程中,会计人才劳动力供大于求,会计学专业大学生竞争压力尤为突出。因此,通过培养会计类大学生的创新创业意识、提高其创新创业能力,对于缓解会计学专业学生就业难问题尤为重要。
(二)培养高素质人才
大数据时代,我国经济活动空间不断拓展,经济主体多元化和复杂化,促使会计行业处在理论、观念、方法等巨大变革的关键时期,进而对会计从业人员提出更高的要求。我国每年都有很多创业者,但很少有接受过系统的创新创业教育,在创业知识和技能上有所缺乏。另外,会计岗位在不断转型,传统的会计已经跟不上社会发展步伐,会计知识的不断更新以及对会计人员素养要求的不断提高,对会计学专业学生来说既是机遇也是挑战,所以我们需要培养会计学专业学生的创新创业意识,提高会计学专业创业者的竞争力和专业素养,提高创新创业的激情和勇气,激发创新创业潜力,从而为会计岗位输送更多高素质、高水平的创业人才。
(三)推动学科建设
大数据时代,会计行业已经由会计电算化时代进入到了会计信息化时代,对现如今会计行业的现行规则,会计理论和会计方法是一种挑战与创新。所以会计学科也要与时俱进有所改变,应该让大学生在学习过程中形成新的、合理的知识结构,涉猎较为广泛的知识领域,包括经济学、管理学、法学等多领域学科知识,以及电子商务,计算机等互联网经济领域的知识。因此,要在传统会计学教育中渗透融合其他领域知识,并且随社会发展不断更新教学模式,完善教学结构,打破以往单一的知识壁垒,推动会计学科的不断发展和完善。
三、大数据时代对会计学专业大学生创新创业教育的促进作用
(一)推动教育科学决策
大数据与传统数据最大的区别在于采集来源和应用方向。传统数据信息采集是在大学生知晓的情况下,对大学生整体的学业情况和对学校以及教学满意度的周期性和阶段性的采集并进行分析;而大数据技术可以在大学生不知情的情况下,关注每一个大学生的细微表现,然后将每个大学生的实时数据进行整合分析,便能解决教育过程中的很多疑问。大数据技术能够采集庞大的数据信息,然后将数据进行动态实时监测和评价分析,使用者将具有更强的决策力、洞察力和优化力,最终实现精准决策。
(二)提高教学管理效率
与传统教学管理最大的不同之处在于,大数据时代的教学管理能够将教学、课后辅导和一些行为学习进行反馈。会计类大学生借助大数据技术,可以更好地了解自己的学习状况,随时随地收集学习中的双向反馈数据,有针对性的开展自主学习,提高学习效率。高校教师利用大数据统计分析功能,用“经验值”来准确衡量大学生在课堂上的表现,表现的越好、越积极的大学生,经验值越高,教师可以准确的掌握课堂每个大学生的学习状况,提高了教学效率。大数据技术也将教学管理与业务流程完美的结合,让教学管理更加灵活智能。例如考勤签到流程,传统的方式是教师根据点名册逐个进行点名,占用了一部分课堂教学时间;大数据技术可以进行线上线下相结合的网络教学管理模式,教师画个图然后点一个按钮就可以完成点名,缺课情况都一目了然,大大的提高了教学管理效率。
(三)整合创新教育模式
大数据时代,开展了很多线上教育平台,如慕课、蓝墨云、易班等,这些教育平台,能够记录大学生每次浏览频率,学习的时间,然后通过大数据分析,从而对每位大学生学习进度进行跟踪,揭示大学生学习效果和学习行为之间的关系,以及进行学习成效评价。运用大数据技术开展线上和线下混合学习模式,将会创新目前的教育模式。传统的教育模式是以教师为中心,教师将知识单向性教授给大学生。大数据时代改变了传统的教学模式和方法,高校教师转变成课堂上的组织者,引导大学生的自主学习,教授大学生学习方法,而不是只是传授给大学生多少知识量。大数据时代的教学模式可以利用移动互联网和智能手机,使教师与学生沟通更顺畅,使教学变得轻松、有趣、简单和高效。大数据时代,能够让高校教师方便真实的获得每位大学生的学习信息,有利于对大学生开展个性化教育。
(四)助力创新教育转型
大数据技术不仅仅是教师教授和大学生听讲的方式,这种方式有效地激活了会计类大学生的本科教学研究,营造了师生互动的对话氛围;这种新颖的授课方式与教师授课相结合,丰富了教师的授课手段,也增加了会计学专业课堂教学的趣味性。在课堂上,高校教师可以随时开展投票、问卷、头脑风暴、答疑、讨论等教学活动;大学生们要借助于手机,可以认真抢答,或者分组讨论形成将结论上传,或者开展互相评价;整堂课下来,师生都有意犹未尽的感觉,虽然大学生们都拿着手机,但是没有走神的机会,因为借助于大数据技术,大学生们要不停地跟上教师的节奏,才能完成课堂要求。教师还可以利用网页投屏及时将课堂上同学们的表现反馈出来,当然也没有哪个学生愿意把自己课上开小差的情景被曝光,因此,课上都会认真听讲,跟着教师的节奏,完成教学任务。大数据技术有助于推动教育转型。
四、大数据时代会计学专业大学生创新创业教育改革探索
(一)构建完整的教育体系
大数据时代,谁善于驾驭,谁便智珠在握。随着大数据技术在教育领域的应用日益深入,高等学校要及时调整思路,提出以高等教育与大数据教育融合为方向,以现代信息技术与教育教学过程相融合,创新构建大数据时代高校教育体系。利用大数据信息深入调研分析用人单位需求,分析同类专业人才培养目标,来不断优化人才培养目标,建立复合创新应用型会计人才培养目标。调整会计人才培养方案,将基础理论、专业实训、创新创业课程相结合,来提升会计学专业大学生综合素质。根据社会企业对会计人才的需求,不断优化人才培养方式,通过校企协同和订单培养的方式,将理论知识与实践需求相结合,大大提高会计学专业大学生的综合素质。
(二)培养创新创业型教师
作为新时代的高校教师,创新是教师的生命与灵魂,但大学教师还要有责任加强大学生的创新意识,激发大学生的创新热情,以培养和提高大学生的创新创造能力为己任。新时代的高校教师只有把创新创业精神同教学创新实践以及大学生的创新创业有机地结合起来,并相互促进和推动,创新创业意识才会不断增强,创新创业的热情才会不断地迸发出来。只有重视创新创业型教师培养,才会为创新创业教育提供人才支撑。高校可以鼓励教师到企业锻炼,参与企业管理,汲取实战经验;建立高素质创新创业教师人才库,由创新创业教师定期指导大学生进行学术科技竞赛,并结合创业大学生职业目标设计开展创业教育。
(三)搭建创新创业教育平台
高校要加强教学管理信息化建设,搭建创新创业教育平台,积极适应大数据时展现状,利用信息技术支持创新创业教育。建立创新创业教学平台,向更多的创新创业大学生提供创新创业的理论和实战知识;创新创业教育平台能够整合多种形式的教学资源,例如创新创业教师精心录制与制作的教学视频和教学PPT等,以及从网络上整合的各类创新创业资源,供创新创业大学生下载学习,将有助于创新创业的大学生相互学习和经验交流。
【会计学硕士论文参考文献】
[1]张蕾.基于云计算和大数据的智慧校园方案设计的应用[J].电子技术与软件工程,2019(5):181.
关键词: 大数据城乡规划管理
中图分类号:TU984文献标识码: A
1引言
随着云计算、物联网等的发展,新兴信息技术与应用模式的涌现,使得全球数据量呈现出爆发式增长态势,市场调研机构IDC的研究显示,到2020年,全球以电子形式存储的数据量将达到35ZB,大数据的时代已经到来[1]。最早提出“大数据时代已经到来”的机构是全球知名咨询公司麦肯锡,其在报告中指出,“数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产因素;而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。”
1.1大数据概念
大数据的概念,尚未形成公认的准确定义。根据维基百科的定义,它是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理、处理的数据集合。从产业角度,常常把这些数据与采集它们的工具、平台、分析系统一起被称为“大数据”。在数据特性方面,大数据主要为非结构化信息,如文本、图形、遥感遥测信息,大多是实时信息;在信息来源上,大数据主要是互联网、医疗设备、视频监控、非传统IT 设备等社会日常运作和各种服务中实时产生的数字数据,数据容量巨大,从 TB 级别跃升到 PB 乃至 EB 级别,大数据具有4V特征Volume(数据体量大)、Variety(类型多)、Value(价值稀疏)以及Velocity(速度快)的特征[2]。大数据时代带来思维变革:更多不是随机样本而是全体数据,更杂不是精确性而是混杂性,更好不是因果关系,而是相关关系[3]。
1.2大数据发展历程
大数据并非新近出现,早在1980年,著名未来学家阿尔文•托夫勒便在《第三次浪潮》一书中,将大数据热情地赞颂为“第三次浪潮的华彩乐章”。2009年开始,“大数据”成为互联网信息技术行业的流行词汇,2011年持续热门,在2012 年更达到一个高峰,2013年大数据概念逐为大众熟知。
2 大数据研究应用评述
2.1国外大数据研究应用
大数据的开发与利用已经在IT,媒体、医疗服务、金融业、零售业、制造业、物流、电信等行业广泛展开,并产生了巨大的社会价值和产业空间,但仍处于初级阶段[3]。2012年4月,美国政府启动“大数据研究和发展计划”,致力于提高从大数据中提取知识和观点的能力,并服务能源、健康、金融和信息技术等领域。在数据共享、突发事件处理、疫情观察方面已有较成功应用。2012年4月,英国、美国、德国、芬兰和澳大利亚等国家联合推出“世界大数据周”活动,旨在制定战略性的大数据措施;2012年5月,联合国发表了大数据发展白皮书;2012年7月,日本推出“ICT”战略研究计划,重点关注“大数据应用”。全球性IT巨头都开始关注大数据的机遇,微软、英特尔、甲骨文(微博)等都在开发基于大数据的IT架构。
2.2国内大数据研究应用
中国大数据的应用处于起步阶段,淘宝、腾讯、百度等互联网巨头是率先使用大数据技术的用户,主要是基于开源软件自主开发大数据应用,推出相应的大数据产品和平台,开展了多种深度商务分析,电信和银行领域也开始对大数据技术和服务产生浓厚的兴趣。此外,IT业、传媒界和学界举行了多次以大数据为核心的主题讨论会,共同探索大数据的发展与创新。
综观国内外大数据研究和应用现状可见:(1) 大数据相关的研究与应用目前仍然处于起步阶段,学术研究大多局限于概念、技术、发展预测等宏观探讨层面;(2) 基于大数据应用所需要的软件、硬件等技术支撑亟需进一步的深入开展;(3)现有的大数据研究大多立足于信息科学,侧重于大数据的获取、存储、处理、挖掘和信息安全等方面,鲜有从城市规划学科发展的角度探讨大数据对于城乡规划管理技术的变革与冲击的研究。
3 大数据时代城乡规划管理技术创新探讨
3.1现有城乡规划管理技术局限性
80年代末开始,我国城市规划管理领域开始引进新技术,网络技术、虚拟现实技术、数据库技术、地理信息系统、日照分析技术、电子报批审查技术等已初步得到运用,建立了基于GIS的城市规划管理系统,但仍存在一定局限性:(1)现有管理信息系统存储能力有限,仍无法建立实时、全面的资料档案库,同时也是内部条块分割,查询、检索困难,给城市规划管理工作带来了一定的障碍。(2)由于规划管理工作量大,规划管理人员虽然借助规划管理信息系统,提升了处理速度,但是仍不能满足快速城市化背景下快速准确地处理各类城市规划案件,对规划管理实施效果进行快速反馈。(3)公众参与与市民监督平台建设不足,城乡规划管理透明度有待进一步提高。
3.2大数据时代城乡规划管理技术变革方向探讨
3.2.1建立城乡规划管理大数据集系统,提高城乡规划管理效率
在大数据时代数据来源更广泛且分布更集中,以前散落各处的数据越来越集中,以前不可获取的信息现在可获取。通过互联网、医疗设备、视频监控、移动设备、智能设备、非传统IT 设备获得的文本、图形、音频、视频、遥感遥测等建立与城乡规划管理直接相关或者关联的实时数据集,处理空间信息与与之相关的属性信息,迅速及时地更新数据集,大规模综合性地管理城市空间分布信息。在城乡规划管理编制阶段,可以提高现状调研的效率和规划编制基础数据的准确全面,建立相应问题表象对于城市规划的决策系统、执行系统和反馈系统,改变规划的滞后性和低效率,提高规划的时效性。
3.2.2 建立城乡规划管理大数据分析系统,提高城乡规划管理科学性
基于城乡规划管理大数据,可将分散收集到的各种空间、属性信息实时更新,利用大数据技术中相关分析技术,同时结合GIS的空间分析技术,运用到规划管理的各个流程中,可进行人口、经济、交通流等与用地功能、空间等进行相关分析,对于城乡空间利用进行深入全面的解析,进一步提高城乡规划管理的科学性。
3.3城乡规划管理技术创新挑战
目前城乡规划管理技术创新所面临的挑战也是大数据发展应用中需要解决的问题:(1)从城乡规划管理大数据中精准定位并采集所需信息、管理海量复杂结构、实时增长的数据、保护和控制数据,数据管理挑战。(2)基于城乡规划大数据的实体识别与行为建模,挖掘大数据中蕴含的群体及其网络结构,分析社会群体的行为演化规律,数据分析挑战。(3)数据隐私性问题。
3.4城乡规划管理技术创新对策
大数据技术市场将会是一个混合多种技术的世界,应关注大数据技术的发展和应用,开发适合城乡规划管理不同层次的产品组合,包括服务器、存储、网络、软件和服务等,以获得更好的应用效果;加强城乡规划管理基础大数据集建设;提高城乡规划管理角度数据分析和提取技术能力;加快大数据处理相关技术人员培养;同时通过技术截堵,应用立法保护城乡规划管理大数据应用中个人隐私。
4 结论
大数据时代已经到来,大数据的应用仍处于一个快速发展的起步阶段,基于大数据和复杂系统管理理念的分析与决策是新形势下城乡规划管理发展的必由之路,大数据是城乡规划管理信息化建设的战略性资源和非物质性财富,是不可或缺的城乡规划管理和决策依据。将改变基于简单数据统计、经验分析甚至直觉判断的城乡规划管理模式,提高城乡规划管理的有效性,加快城乡规划管理大数据库建设和空间分析、相关分析能力,建立更加开放透明的公共参与平台和市民监督系统,随着大数据技术的发展改变大数据管理、分析、共享、决策、人才培养、隐私保护等问题,将会进一步提高城乡规划管理方面的信息化、智能化技术支撑能力,推动城乡规划管理由信息化向智能化发展。
参考文献
[1] Big data in 2020[EB/OL].[2012-12-24]/leadership/digital-universe/iview/big-data-2020.htm
[2] IDC,中国大数据技术与服务市场 2012-2016 年预测与分析
[3]维克托•迈尔-舍恩伯格,肯尼思-库克耶著,盛杨燕,周涛译.杭州:浙江人民出版社,2013
作者简介:黄 赞,男,国家注册城市规划师,现就职于中社科城市与环境规划设计研究院,城乡规划所所长
原创性声明
关键词:大数据;信令;区域监控
中图分类号:TP311
文献标识码:A
DOI:10.3969/j.issn.1003-6970.2015.09.020
0 引言
近年来,反恐维稳的形势日益严峻,对敏感区域的监控和分析随之变得越发重要。对于区域监控,国内应用比较广泛的是视频监控系统,即硬件视频设备和软件平台相结合。但监控区域受视频监控硬件设备限制,成本高,灵活度不高。
随着智能手机的普遍应用,“人手一机”已成为现实,随着技术的进步,如今电信运营商通过移动终端采集的位置数据实时性得到增强。信令数据具有实时性强,范围广,成本较低的特点,因此通过运营商基站数据来监控分析某一区域内人员情况有较高的性价比。
在通信领域,早在2008年,中国移动委托国家ITS中心组织并实施了的“基于手机位置采集实时交通信息科研项目”试验,作为相关领域的全国首次大范围尝试,此试验验证了基于手机位置切换采集实时信息的可行性。国内也有相关研究工作,韩鲁峰等。结合基站信息获取“三角公式法”,研究并提出了一种消除位置偏移算法。任旭提出了一种使用A接口信令数据生成实时交通数据的方法。提出了一种使用现网移动网络信令数据源,实时的对城市白定义区域实现人流量监测的方法。通过调研可知,已有文献多偏重于理论研究,有一些基于信令分析的系统应用研究主要用于人流分析,人流管理等方向,功能局限于人数统计,消息推送等,未能将人流量与获取区域内人员具体信息相结合,功能较单一。随着大数据技术的发展,将大数据技术应用与这些统计方法相结合,进行移动信令的监测统计,并建立起预警系统,还有较大的发展空间。
l 建设目标
本论文旨在设计与实现一个以海量信令数据为数据源,基于大数据技术的人员信息监控分析平台,以实现任意时间,任意区域内的人员信息的实时监控,历史监控数据查询等功能。
相对于已存在的区域监控类系统,本系统主要有以下优势:
1)任意区域的监控及查询。基于普及建设的运营商基站,可任意设定监控区域范围,附加的成本较低。
2)数据精准详细。本系统采用的信令数据覆盖人员范围大,并且利用起电信数据中的人员信息,可为刑侦等合法领域提供有效的监控信息。
2 关键问题
本论文的研究目标是根据移动信令数据实现对某一区域的监控分析,通过解决移动信令到位置信息的转换、分析监控区域对应基站位置等关键问题,完成基于移动信令的区域监控大数据分析系统的设计与实现。
本论文所涉及的关键问题分析及解决方案如下:
2.1 信令数据源的获取
本系统的数据来源是移动信令数据,从何种信令流程中获取到系统所需的包含位置信息的信令,成为本论文研究的首要关键问题。
GSM核心网的基站控制器(BSC)与移动交换中心(MSC)之间的A接口主要负责传递呼叫处理、移动性管理、基站管理、移动台管理等信息,并且A接口具有统一公开的标准,便于生产和组网,因此,本系统选择获取包含位置信息的A接口信令。
下面就GSM网和CDMA网分别描述能够获取到位置信息和号码信息的信令流程
G网中A接口位置如图1所示:
G网中位置更新流程包含了位置更新类型,IMSI,主叫CEELID,时间等消息,具体流程如图2所示:
位置更新过程主要采集的消息如表1所示:
在A接口上加装信息探测设备,即可获取到包含位置信息的信令,并将数据用分隔符分割,以txt文件的形式实时传输到系统存储单元。这种信息探测监听方式,是一种被动的监听方式,附加成本小,不影响已有移动通讯网络的正常运行,不会增加额外的网络负荷。
2.2 对信令数据实时收集和分发
本系统希望能够实时的对区域内人员情况进行分析和监控,故对数据的采集要求具有实时性。而且本系统要做到对历史记录的查询,又需要对实时采集的数据进行及时的存储。如何实时的对数据源进行采集分发是本系统的实现的基础及关键问题之一,通过调研使用Flume软件来可以对数据做到实时的收集和分发。Flume是实时流处理中常用的实时获取数据的软件,可以做到对数据的实时获取,实时传输,通过配置不同的source可以对多源头的数据进行监测,然后通过配置不同的sink将数据输出到不同的位置,本系统通过配置source,实时监测已配置文件夹下数据的变化,当有新采集完成的信令文件时,便将该文件内容读出到系统的存储系统和实时处理系统。
2.3 信令数据到区域内人员信息的转换
本系统是基于移动信令的区域监控分析系统,将移动信令转化为对应区域内的人员信息是至关重要的一步,移动信令里面包含和位置信息相关的数据,如何通过建模将信令数据转换为某一区域内人员信息并进行分析,是本系统的关键部分。
系统采用百度地图API进行操作,当用户选择区域进行实时监控或是历史查看时,前端获取的数据是时间范围、中心点经纬度、区域半径,如何将区域与满足条件的CELLID进行对应成为系统的关键问题。为解决这一问题,系统采用的解决方案如下:
1、对于实时监控,筛选需监控的信令数据。根据每一条信令数据的CELLID等信息查找对应经纬度,再根据经纬度判断是否在监控范围内,如果在则在前端进行显示。已知信令数据对应经纬度(al,bl),监控区域中心经纬度(a2,b2),通过地球半径计算两经纬度点之间的弧度,即两点间距离,d=R*arccos[cosbl*cosb2*cos(al-a2)+sinbl*sinb2](注:R为地球半径),并与设定监控半径i比较返回结果
2、对于区域搜索,根据区域中心点经纬度和区域半径搜索在区域内的CELLID,并根据CELLID获取Hbase数据库内的记录的位置数据,从而在前端回显相关信息。首先对基站信息表进行筛选,筛选方法与实时监控判断方法相同。将满足经纬度在监控范围内的CELLID进行保存,通过Hbase API筛选满足特定时间段内,满足这些CELLID的信令数据,通过划定区域的中心点经纬度及区域半径,计算区域内经纬度范围。
2.4 大数据量数据的实时处理
移动信令数据量是很庞大的,对大数据量数据的处理很难做到实时性,这就需要通过合适的大数据技术框架来解决这两个问题,使其既能处理大数据量,又能保证实时性,经调查研究flume+kafka+storm的实时流处理框架可以很好的解决该系统中关键的两个问题。
Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,可以定制各类型的数据发送方以收集数据。同时,Flume可对数据进行简单处理,并可将数据写入各种数据接受方。在该系统中可以用flume监测文件夹实时的将数据发送到kafka接收端;
Kafka是一个分布式的、分区的、多复本的日志提交服务,提供了一个消息系统的功能,主要用于处理活跃的流式数据。Kafka可以从tlume端接收实时传输过来的数据,然后将数据缓冲后,发送到storm端,进行处理。
Storm是twitter开源的一个分布式的、容错的实时计算系统,为分布式实时计算提供了一组通用原语,可被用于“流处理”之中,实时处理消息并更新数据库。Storm也可被用于“连续计算”,对数据流做连续查询,在计算时就将结果以流的形式输出给用户。用storm来实时对信令采集上来的数据进行分析处理,既能对大数据量进行处理,也可以保证实时性,是系统处理的核心部分。
最后,通过消息模拟器HttpServer实现消息的解析和传递,HttpServer保存Strom集群内部与他的连接,并且对外提供Http消息的协议,这样就可以将web发送过来的消息实时推送给Storm的所有集群,完成命令的实时处理及推送。
2.5 大量历史信令数据查询效率的保证
本系统希望能够对任意区域内进行某一时间范围内历史人员信息的查询,为刑侦等领域提供有效信息,故对大量历史数据的查询效率有很高要求和较大挑战。如何将实时采集处理后的数据进行存储和查询,是本系统的实现的基础及关键问题之一,通过调研使用Hbase这一非关系型数据库可以对大量数据做到存储和较快查询。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,通过设计合理的索引结构,Hbase能够比较轻松的解决海量数据问题。
3 系统设计与实现
3.1 系统结构与功能设计
信令分析系统目的在于分析信令相关数据,目的在于找出信令消息中人员之间的关系,可以提供给相关部门或者人员进行数据在处理和分析,可以用于刑侦等安全相关的领域。
系统的主要功能分析如图5所示:
区域实时监控:主要是区域的监控和告警功能。设定监控的任务及任务下监控的具体区域,并且设定刷新频率,可获取监控任务区域内人员的具体信息和人员的汇总信息;设定监控任务区域内的人流量限制阈值,实时统计人流量汇总,并与限值进行比对,若超出设定范围则进行人流量超限告警。
区域历史搜索:将区域实时监控获取到的人员信息和告警记录进行存储,可以获取一定时间段范围内,某一区域内的人员信息,以及某一时间范围内监控任务下的告警记录。
系统按逻辑功能划分主要是四个部分:信令数据的获取、数据ETL(Extract-Trans form-Load)、建模获得区域内人员信息、数据应用,如图6所示:
3.2 系统架构设计
实现系统的信令数据的获取、数据ETL、建模获得区域内人员信息、数据应用这四部分功能逻辑,进一步将系统架构设计如图7所示:
3.3 系统实现
系统数据采用Hbase和MySQL的非关系型数据库和关系型数据库的组合实现,充分利用起非关系型数据库的查询效率高和关系型数据库的接口封装完善,查询条件支持多样的特点。整体采用JavaWeb的技术架构,后台采用java实现具体业务逻辑,前台采用jsp页面展现。
3.3.1 区域实时监控的实现
实时监控模块目前实现的功能包括设定任务及每项任务下监控的区域,设定监控半径后,通过地图标点来实现监控区域的设置。在后台通过经纬度的筛选和对应,实时筛选出监控区域内人员的位置信息和号码信息。
3.3.2 区域历史搜索功能的实现
区域历史搜索功能模块目前实现的功能包括根据时间范围,设定搜索半径后,在地图上标识要搜索的中心坐标点,来实现某一区域的历史搜索区域设置。在后台通过经纬度的筛选和对应,筛选出搜索区域内人员的位置信息和号码信息。