时间:2023-07-24 16:32:54
导语:在数据分析的方法的撰写旅程中,学习并吸收他人佳作的精髓是一条宝贵的路径,好期刊汇集了九篇优秀范文,愿这些内容能够启发您的创作灵感,引领您探索更多的创作可能。
【关键词】 验证型实验 数学处理
物理实验中,验证型实验和研究型实验都是非常重要的两类实验。验证型实验是对已建立的物理规律的验证,研究型实验是通过实验得到物理规律,这两类实验虽然实验目的不同,但从数学处理方法上来看,具有相似性,都是通过实验数据分析确证物理规律或得到物理规律,所以对实验数据的分析处理方法是否得当就显得十分重要。下面以一个典型的验证型实验的数据处理为例进行相应探讨,以期望得出相对合理和妥当的实验数据处理方法。
以大学物理实验来说,验证型实验较多,诸如牛顿第二定律的验证、弹性碰撞实验等等都属于此类实验,其中牛顿第二定律的验证实验为该类实验的典型实验。牛顿第二定律的数学表达式是,力与加速度的大小关系可以表达成,要验证这个规律,就是给物体加一个大小为F的力,对应产生一个大小为的加速度,得到一个测量点,通过改变力,得到n个测量点后,即可通过适当的数学方法验证这个关系的成立。
类似这种线性物理规律,其数学模型都可以归结为的形式。要得到这个线性关系,就是要得出和。通过测量n组和的值,即、、……、、……、,在X―Y平面中得到n个测量点。若不考虑实验测量的系统误差,则测量误差应当服从高斯分布,反应在X―Y平面中,既是这n个测量点应当均匀地分布在所求表达式两侧,对第i个测量点,误差为,n个测量点导致的总体误差是最小的。若任意给一个直线,则一是测得到的这n个点不再均匀地分布在直线两侧,二是这n个测量点产生的总体误差水平将增大,甚至可以达到无穷大。由此可知,所求直线即是使得n个测量点的总体误差最小的那条直线。总体误差可以写成,但由于误差服从高斯分布,导致理论上而无法通过此求和值衡量总体误差水平。为使其不因为正负抵消而无法衡量总体误差水平,只要使得所有误差均为正再求和即可,故可用残差来衡量总体误差水平,虽然残差不再是总体误差。使得残差取最小值的和,即为所求直线的和。此即最小二乘法的数学思想。据最小二乘法处理,所求和即是使得取最小值的和,即有,解此式,得
将测量值供稿,即可得到所求和。通常大学物理实验中的处理方法,得到和,即是验证了[1]。但其实这是不太恰当的。
验证型或者研究型实验,特别是验证型实验,最关键的是需要解决两个问题,一是找出所要验证的关系,第二是要验证得出的关系的确成立,而第二点才是最重要的关键点。即使得出关系,但如果确证关系不成立,则第一步的工作就变得毫无意义。实际上,任意给出一组、、……、、……、,都可以根据最小二乘法得到和,即得出,但并不意味着此式的确成立,不能确证物理量和的确存在这样的数量关系,并没有检验此物理规律存在。因此,验证型实验做到这一步并不算已经验证被验证的物理规律成立,还需要研究和的相关性,通过计算相关系数,据的大小来检验和是否的确相关。
总之,验证型实验,是对物理规律的验证,最重要的是确证被验证物理规律成立,得出相应物理量间的数学表达式并不能说已经验证了相应物理规律的成立,最重要的是要通过计算物理量间的相关系数来确证所得物理规律是否成立。
传统VS敏捷
我们先来看一下传统的数据分析流程:解读业务战略目标-->确定目标分解的量化KPI-->确定KPI的计算公式和所需字段-->确定所需字段来自于哪些数据库的哪些表-->数据建模-->预先汇总成二次表和Cube-->结果展示。由于需要建模和打CUBE,这一流程通常需数月才能完成。
现在,取代传统数据分析流程的,是快速迭代式分析。敏捷数据分析不必在开始时花很长的时间构思大而全的分析指标体系,而是低成本快速迭代,几分钟就做好一个当前想要分析的结果,通过敏捷数据分析工具实现动态切换视角,灵活展示数据,日积月累,指标自然越来越丰富,计算公式也越来越符合业务逻辑,这时再体系化。下面的演示视频将帮助大家了解如何通过敏捷数据分析工具在几分钟时间内实现自己的分析需求。
视频链接:v.youku.com/v_show/id_XODcxNTgxMTQ4.html
为什么传统数据分析无法实现快速迭代分析的高效?因为在过去这么多年以来,我们对于大数据海量数据的计算能力达不到比较理想的要求,所以我们才需要IT人员用通过建模等方式提前把数据计算汇总好,随着现在大数据的技术相对来讲都日趋成熟和完善,分布式计算,内存计算、列存储等比较成熟的技术架构,采用这种新的办法去处理数据的性能,已经比以前提升了几十倍甚至更高。
符合迭代思维
快速迭代式的敏捷数据分析有什么好处?首先,这种分析方法十分符合互联网思维中的迭代思维。企业的分析指标不可能一开始想得非常全面,本身就是迭代逐步形成的。以电商行业为例,电子商务的数据可分为两类:前端行为数据和后端商业数据。前端行为数据指访问量、浏览量、点击流及站内搜索等反应用户行为的数据;而后端数据更侧重商业数据,比如交易量、投资回报率,以及全生命周期管理等。
在最初期,电商行业最关注的是那些核心指标:UV、转化率、客单价、毛利率、推广ROI、重复购买率,人们在核心指标的基础上逐步对媒体、用户、商品、营销等对象做详细分析;同时在客服、商品、仓储物流等内部运营绩效方面进行监控。这些数据现在又可以被归纳发展为4个方面,基础访问数据、商品销售数据、营销推广数据、用户数据,其中基础数据中包括网站的访问数据、网页链接点击、来源跳出等等。商品销售数据关系到品类、销售多少、影响因素等。营销数据包括投入产出的投资回报率,更多地是跟其他几方面的数据进行混合分析。用户数据包括分析用户区域、购买频率、客户构成、忠诚度、偏好等等。
适应变化需求
1因子分析模型及其统计检验
因子分析是一种通过显在变量测评潜在变量,通过具体指标测评抽象因子的统计分析方法。因子分析的目的即在找出量表潜在的结构,减少题目的数目,使之成为一组数量较少而彼此相关较大的变量。在本文中以主成分因素抽取法抽取共同因素,根据Kaiesr(1960)的观点选取特征值大于1.0以上的共同因素,再以最大变异法进行共同因素正交旋转处理,保留共同度大于0.6以及因素负荷量大于0.5以上的题目。因素负荷量为硕士论文因素结构中原始变量与抽取出共同因素相关,负荷量越高表示该题目在该共同因素的重要性越大。共同度和特征值是因子分析的两个重要指标。共同度是每个变量在每个共同因子的负荷量的平方和,也就是个别变量可以被共同因子解释的变异量百分比,是个别变量与共同因子间多元相关的平方。特征值是每个变量在某一共同因子的因子负荷量的平方总和。
因子分析的数学模型及其统计检验描述如下:
彼此之间是独立的,则模型(4.1)称为正交因子模型;相反,如果公共因子彼此之间有一定相关性,则称为斜交因子模型。由于斜交因子模型比较复杂,在本文中只考虑正交因子模型,而且假定各公共因子的均值为0,方差为1。
模型中的矩阵A称为因子载荷矩阵,a称为因子“载荷”,是第i个变量在第j个因子上的负荷。因子载荷阵的求解方法有很多,本文用常用的主成分分析法,求解载荷阵得到仅包含m个因子的因子载荷阵。主要问题就在于如何通过SPSS统计软件对数据的分析来估计因子载荷矩阵A,负荷量大的指标给予保留,否则剔除。保留下来的指标所构成的体系就是本文最终研究得到的指标体系。关于因子载荷的检验有:模型的标准化,这主要是为了得到抽象的因子含义,即对因子各维度进行命名;变量共同度检验,变量的共同度越高,说明该因子分析模型的解释能力越高;因子的方差贡献检验,用因子的累计方差贡献率来确定公共因子提取的个数,也就是寻找一个使得累计方差贡献率达到较大百分比的自然数,即最终提取方差贡献大于1的因子作为公共因子。
由于本文的论题是电子商务环境下服务业企业绩效评价指标体系构建,本文主要运用平衡计分卡把评价指标体系分为四个方面,18个二级指标作为18个因子,按照因子分析法来选取有效指标,各项指标在选取时,需要遵循两个原则,一是该指标在以前的研究中出现的概率,二是指标与所要研究的问题的潜在相关性。本文在四个方面的指标的选取上,另外考虑了①全面性,要求所选的指标能反映企业的经营、客户、企业学习与成长、财务方面的状况;②有效性,要求选择那些能够对预测企业的整体状况有指示作用的重要指标;如,若各项指标的双尾T检验的显著性概率小于0.05,则能有效的反映企业的四个方面的状况,反之,则是无效指标,应剔除。③同趋势性,即当各项指标增大时,表示企业的整体状况改善,反之当各项指标减少时,表示企业的整体状况恶化;④可操作性,采用易得到的数据。
2信度、效度、描述性统计、方差和相关分析方法
信度分析是采用一定的方法来衡量回收问卷中各变量的内部一致性,它主要考查的是问卷测量的可靠性,检验每一个因素中各个题目测量相同或相似的特性。本文采用克隆巴赫(Cronbach a)一致性系数检验量表的信度和各分量表的信度。效度分析是采用一定的方法对问卷的理论构思效度进行验证。首先,必须对题目的结构、测量的总体安排以及题目见的关系做出说明,然后运用一定的方法从数据中得出基本构思,以此来对测量构思的效度进行分析。用于评价结构效度的主要指标有累积贡献率、共同度和因子负荷。累积贡献率反映公因素对量表或问卷的累积有效程度,共同度反映由公因素解释原变量的有效程度,因子负荷反映原变量与某个公因素的相关度。描述性统计分析是对各维度中的测量题目的均值、标准差、方差等描述性统计量硕士论文进行统计,了解各维度中题目设置的水平。方差分析又称变异数分析或F检验,其目的是推断两组或多组资料的总体均数是否相同,检验两个或多个样本均数的差异是否具有统计学意义。
方差分析对客观事物数量进行依存关系的分析,主要刻画两类变量间线性相关的密切程度,其两个变量全是随机变量,且处于平等地位。两变量之间的相关关系可以通过绘制散点图或计算相关系数来反映。 3回归模型及其统计检验
现实世界中,一个事物的运动变化,总是与其他事物相关联。其中,有的还存在因果关系,这种因果关系有的是线性的,有的是非线性的。当预测对象与其影响因素的关系是线性的,且只有一个影响因素时,就可以用一元线性回归方法建立其一元线性回归预测模型,来表述和分析其因果关系;当有两个或多个影响因素同时作用于一个预测对象时,则用多元线性回归法建立多元线性回归预测模型。
本文就是以多对一的关系,因此,用多元线性回归模型进行统计检验。对于多元线性回归模型及其统计检验描述如下:
当预测对象y同时受到多个解释变量x1,x2,...,xm影响,且各个xj(j=1,2,...,m)与y都近似地表现为线性相关时,则可建立多元线性回归模型来进行预测和分析,模型为:
3)回归方程整体显著性检验
回归模型的显著性检验包括两个方面,即回归方程的显著性检验和回归系数的显著
性检验。
(1)回归方程的显著性检验
回归方程的显著性检验用于检验被解释变量与所有解释变量之间的线性关系是否显著。回归模型总体函数的线性关系是否显著,其实质就是判断回归平方和与残差平方和之比值的大小问题,可以通过方差分析的思想,构造F统计量来进行检验,F检验是用来检验多元线性回归模型的总体效果。
(2)回归系数显著性检验
回归方程总体显著并不意味着每个解释变量对被解释变量的影响都是重要的,还需要对每个回归系数的显著性进行检验。回归系数显著性检验通过构造t统计量来进行,
4)残差正态性检验
残差e是随机扰动项ε的体现。对残差进行分析的目的是检验随机扰动项是否服从经典假设。残差分析的内容包括残差正态性检验、序列相关检验、异方差检验等。本文应用残差的累计概率散点图进行残差正态性检验。
5)异方差检验
异方差常常表现为残差随某个解释变量取值的变化而变化,因此,检验随机扰动项是否存在异方差可以通过绘制被解释变量与解释变量的散点图来简单的判断。如果散点图呈带状分布,则不存在异方差;如果随着解释变量的增大,被解释变量波动逐渐增大或减少,则很可能存在异方差的现象。实践中,常常使用加权最小二乘法消除异方差。
7)多重共线性检验
所谓多重共线性是指各个解释变量之间存在线性关系或接近线性关系的现象。多重共线性常常会导致回归系数方差增大,从而使得t检验难以通过。用SPSS检验多重共线性共有四种方法:容忍度、方差膨胀因子、条件指数和方差比例。本文选用条件指数和比例方差这两种方法来检验共线性。
(2)方差比例
DOI:10.16842/j.cnki.issn2095-5588.2016.08.0021引言
“社会网络分析” (Social Network Analysis, SNA)是在人类学、社会学、心理学等众多领域中发展起来的研究个体之间关系结构的分析方法,是对社会关系进行量化分析的一门艺术和技术。SNA主要用于描述和测量个体之间的关系以及这些关系中所包含的资源、信息等,并根据这些关系建立模型,进而研究关系与行为之间的相互影响(刘军, 2004)。SNA从“关系”角度来揭示社会情境与嵌套于其中的个体的心理和行为的互动影响,即个体可以能动地构造他们的关系网络(选择效应,selection effect),同时这些关系又反过来影响个体的心理与行为(影响效应,influence effect)。因此,个体既形塑社会网络,也被社会网络形塑(刘军, 2006; 马绍奇, 2012; 马绍奇, 焦璨, 张敏强, 2011 )。在SNA中,反映个体之间关系的数据称为关系数据(relational data),通常的数据类型是0、1二分变量数据,即1表示两个行动者之间存在关系,0表示不存在关系(马绍奇, 2012)。
SNA从嵌入社会情境的个体之间的关系出发,分析群体结构及其与心理行为的相互作用,更能反映人际交往的社会性特点。如,运用SNA方法系统研究中学生班级的学习关系、友谊关系、咨询关系、信息交流关系等,运用SNA方法研究中学生的支持网络对中学生学业和心理健康等方面的影响。这不仅有利于从社会关系的视角理解学生人际关系的形成、特征和影响因素,还能及时掌握学生的心理动态,维护学生的心理健康(唐文清等, 2014)。但是,由于SNA的应用涉及到更多的人事物,数据的缺失是必然现象。研究者在SNA中常常会遇到数据应答率在65%至90%的情况(Albrecht, 1984; Dean & Brass, 1985; Moch, 1980; Monge, Edwards, & Kirste, 1983; Roberts & O′Reilly, 1978, 1979)。此外,由于数据结构的依赖性,如果网络中的行动者或者关系存在缺失,就难以全面地描述缺失行动者及其邻近行动者的网络环境(Robins, Pattison, & Woolcock, 2004)。已有研究发现,缺失数据不仅对网络结构描述产生消极影响,还会低估关系强弱和聚类系数,并使得中心性和度数的测量出现不稳定的情况(Burt, 1987; Borgatti & Molina, 2003; Costenbader & Valente, 2003; Kossinet, 2006; Huisman, 2009)。这说明,网络结构描述和网络数据分析的结果会因为缺失数据而产生偏差。
心理技术与应用4卷
8期黄菲菲张敏强: 社会网络分析中缺失数据的处理方法
要使SNA方法得到更好的应用及认可,既要介绍理论及应用方法,同时还要解决方法使用中可能出现的各种问题。例如,在数据收集和研究结论的推广方面,如何在实际的应用分析中,完善相关的统计模型和参数估计方法的发展,如何提高数据收集的信效度,如何处理缺失值等问题(马绍奇, 焦璨, 张敏强, 2011; 焦璨, 吴换杰, 黄?h娜, 黄菲菲, 张敏强, 2014)。由于社会网络数据的相互依赖性,对缺失数据的处理不能采用常规的缺失处理方法。本文就SNA中缺失数据的原因及缺失机制,比较分析了常用的四种缺失数据处理方法在实际应用中的优缺点,并就SNA中如何处理缺失数据提出建议。
2缺失数据的原因
21边界规范问题
边界规范问题指的是在网络研究中指定行动者或者关系之间包含的规则(Laumann, Marsden, & Prensky, 1983)。例如,学者在研究青少年的冒险行为过程中,想了解他们在学校里的人际关系情况。图1中的A、B、C、D是四位青少年在学校里的人际关系网络,E、F、G三位青少年虽然和A、B、C、D四位青少年的交往密切,但是学校外的人际关系与研究目的无关,因此,E、F、G三者和研究中的青少年的人际关系就容易被忽视(Valente, Fujimoto, Unger, Soto, & Meeker, 2013)。总体而言,边界规范是由研究者自行决定的。在实际包含网络的例子中,组织成员或者由位置界定的正式定义大部分取决于一个正式组织团队中成员占据的排列位置,例如一个学校最受欢迎的前10名老师或者一个班级成绩最好的前五名同学(Kossinets, 2006)。
社会网络是由行动者及行动者之间的关系组成的,因此研究者在规范网络边界时,除了需要考虑通过一组行动者来界定网络边界外,还要决定哪些关系应该纳入研究范围里。对于如何有效地规范网络边界,学者们提出了一个准则,即根据可测量行动者的交互作用确定。因此,研究中的网络边界被定义为该边界记录了在特定情境中行动者间的交互作用(Laumann, Marsden, & Prensky, 1983)。但是,无论是情景还是交互作用的设置,研究者首先需要根据研究目的给出操作性定义,然后再确定在这个情境中包含哪些存在交互作用的行动者。随着电子科技时代的发展与进步,这个准则不再仅限于小网络,因为大规模的社会网络交互作用数据可以通过邮件传递或者虚拟社区的记录得到(Newman, 2002; Ebel, Mielsch, & Bornholdt, 2002; Guimera, Danon, DiazGuilera, Giralt, & Arenas, 2003; Holme, Edling, & Lijeros, 2004)。
22固定选择的研究设计
固定选择的研究设计指的是网络中行动者和关系的缺失依赖于研究设计中提名选择的限定(Holland & Leinhard, 1973),即网络数据的偏差是由于研究设计造成的。假设图2中的行动者A属于Z团体,在这个团体中,他和其他5个行动者有关系,现研究者要求行动者A提名y个和他关系最好的行动者。如果y≤5,则行动者A和其他5个行动者之间的所有关系都包含在数据集中;如果y>5,则行动者会失去5-y个关系。例如,学者想研究班级的学业咨询网络对学生学业拖延的影响,要求学生提名2个在学习上遇到困难或疑问时会请教的同学。如果学生平时向同学请教问题的人数普遍都是3个,那么学者得到的学业咨询网络数据是有偏差的。因为在该网络中,大部分行动者(学生)都失去了1个关系。
在固定选择的研究设计中,会出现互惠提名(有关系的双方相互提名),非互惠提名(有关系的双方只有一方提名)和无提名(有关系的双方均不提名)三种情况。从本质上而言,非互惠提名和其他两种提名的情况不一样(例如:好朋友和普通朋友的区别),因此,研究者需要考虑是否将其纳入到研究范围内。固定选择的研究设计还容易使数据呈现非随机缺失的模式,如受欢迎的个体更有可能被其他行动者提名(Feld, 1991)。但是,在不同结构的网络中,这种影响会不一致(Newman, 2002; Vázquez & Moreno, 2003)。例如,在非相称混合性(即受欢迎的行动者倾向于和不受欢迎的行动者相联系)的网络中,互惠提名将会导致更多关系缺失的情况出现。
23网络调查中的无应答
网络调查中的无应答包括应答者完全缺失和特定项目的数据缺失(Stork & Richands, 1992; Rumsey, 1993)。应答者完全缺失指的是行动者没有参与到调查研究中,因此行动者的发出关系对于分析而言是无效的(如图3所示,N表示缺失数据)。特殊项目的数据缺失指的是行动者参与了调查研究,但是在特定项目上的数据缺失,因此只有行动者的部分关系对于分析而言是无效的(如图4所示,N表示缺失数据)。例如,在一个关于学生情感咨询网络对学业成绩影响的调查中,要求学生提名3个班上的好朋友。图3中的A和D两位学生因事由请假没有参与此次研究,但图3应答者完全缺失是其余的学生在提名中提及到了A和D,所以A和D的无应答属于应答者完全缺失。如果A和D参与了调查研究(如图4),但是在提名中他们忽略了被提及的学生,即B提名了A,A没有提名B,则A和D的无应答属于特殊项目的数据缺失。对于1-模网络而言,即由一个行动者集合内部各个行动者之间的关系构成的网络(刘军, 2009),无应答对网络结构及统计指标的影响不大,但是对于存在多元交互作用情景的网络(例如,二元网络)而言,无应答可能会造成特定的影响(Robins, Pattison, & Woolcock, 2004)。例如,在一个隶属网络的调查研究中,假设研究者没有其他途径可以了解团队的任何信息,只能要求行动者报告他们隶属于哪个团队。如果任何一个行动者出现无应答的情况,那么可能会出现这个无应答行动者所隶属的团队缺失的情况。Huisman(2009)通过模拟研究发现,忽视网络调查中的无应答数据对社会网络的描述分析会造成消极的影响。进一步比较分析行动者无应答和特殊项目无应答的结果发现,特殊项目的无应答可能会造成更大的统计偏差。
网络调查中的无应答易导致行动者或者关系的缺失,但是网络环境中除无应答行动者以外的不完整观察行动者的部分信息仍然是有用的,如可利用这个信息来估计缺失状态的效果和分析不完整网络(Costenbader & Valente, 2003; Robins, Pattison, & Woolcock, 2004; Gile & Handcock, 2006; Handcock & Gile, 2007)。此外,不完整观察行动者的部分信息还可用来估计行动者和网络的结构性能,并能给缺失数据机制提供参考。
和前两种缺失数据原因相比,无应答是社会网络调查中最经常出现的缺失情况。因此,有不少学者开始关注社会网络调查中无应答的缺失问题(Daniel, 1975; Stork & Richards, 1992; Butts, 2003; Kossinets, 2006; Huisman & Steglich, 2008; nidaricˇ, Ferligoj, & Doreian, 2012)。
3缺失机制
不同的缺失数据来源,还涉及一个重要的问题,数据是否系统缺失。如果数据是系统缺失,那么缺失概率是否和观察变量(性质或属性)有关。已有研究表明,在社会网络中处理不同来源的缺失数据时,应考虑缺失机制以提高处理方法的有效性(Huisman, 2009; nidaricˇ, Ferligoj, & Doreian, 2012)。
缺失机制指的是数据的缺失概率和研究变量之间的关系(Schafer & Graham, 2002)。Rubin在1976年根据缺失引起的偏差程度定义了三种类型的缺失数据:完全随机缺失(Missing Complete At Random, MCAR),随机缺失(Missing At Random, MAR)和非随机缺失(Missing Not At Random, MNAR)。假设所有变量观测值Y中,完整的变量记为Yobs,缺失的变量记为Ymis。如果缺失概率和Yobs及Ymis相互独立无关,此类缺失称为MCAR。如果缺失概率和Yobs相关,和Ymis独立无关,则为MAR。MNAR是指缺失概率依赖于Yobs和Ymis。因为Ymis的未知性,研究者常常难以判断缺失数据属于哪种类型的缺失机制。叶素静,唐文清,张敏强和曹魏聪(2014)在对追踪研究中缺失数据处理方法及应用现状的分析中综述了三种类型缺失机制的粗略判断方法。
对于社会网络数据而言,完全随机缺失是指缺失概率和缺失关系的数值及观察数据(例如,行动者的属性)无关。在这种情况下,观察数据是原始观察值的一个随机样本,因此不存在系统偏差。随机缺失是指缺失概率和观察数据有关,但是和缺失关系的数值无关。尽管在这种情况下缺失数据会呈现出系统模式,但是这些模式是可控的,因为它们和样本中的观察数据有关。非随机缺失是指缺失概率不仅和观察数据有关,还和缺失关系的数值有关,这种类型的缺失数据会对统计分析的偏差程度造成很大的影响。因为在非随机缺失的情况下,应答者和无应答者之间的差异是由系统误差造成的,关于网络结构性质的统计指标将会受到影响(Costenbader & Valente, 2003)。
4缺失数据处理方法
41完整个案法
完整个案法,即删除部分已有的数据以保证所研究对象信息的完整性。完整个案法相当于行动者的列删除法,它不仅移除不完整观察行动者的列数据且一并移除该行动者的行数据,而移除行意味着在分析中移除不完整观察行动者和完整观察行动者之间的所有关系(Huisman & Steglich, 2008)。因此,使用完整个案法后用于分析的数据集是完整的,即每一个行动者既有接收的关系也有发出的关系。例如,图5(a)是一个班级情感关系网络的例子,其中有A、D、F三个无应答行动者,每一个无应答者都没有指向外部的情感关系,在观察网络的矩阵表达式中就会有几行缺失关系数据N,对数据进行完整个案法处理后,结果就会出现如图5(b)呈现的小网络。因此,完整个案法是在可完全观察行动者的小网络基础上进行分析处理的。nidaricˇ, Ferligoj和Doreian(2012)用完整个案法等多种缺失数据处理方法对社会网络区组模型中的无应答情况进行分析,结果发现,在小规模网络中,完整个案法对区组模型结构的稳定性影响最小。Robins, Pattison和Woolcock(2004)的研究结果则表明,完整个案法重新定义了网络边界:移除无应答行动者之后相当于生成了一个更小的网络。
完整个案法是一种加权方法,它丢弃了不完整个案的数据,对完整个案和缺失个案赋予了同样的权重。在分析的统计软件包里,完整个案法通常是默认处理缺失数据的方法。它最大的一个优点就是简便,缺点则是因为忽视不完整个案而丢失了大部分信息,很可能出现模型和数据无法拟合的情况。因此,只能在缺失概率较小的网络中使用完整个案法。Schafer和Graham(2002)认为,当无应答者是完全随机缺失时,完整个案法可能是有效的。然而,如果这个前提假设不成立,统计分析结果就会有偏差,因为剩余的行动者样本可能是不具有代表性的。也有学者认为,完全个案法从系统水平而言,严重损害了所有分析(Stork & Richards, 1992),且可能会暗中破坏社会网络模型的假设(Snijders, Bunt, & Steglich, 2010)。
42有效个案法
有效个案法是指忽略缺失的数据,只使用观测到的关系变量。有效个案法是直接对不完整数据进行分析,即根据SNA需要计算的统计值选择行动者的有效数据。例如,在一元统计分析中,在计算网络的平均数和标准差时,可以选择所有变量都完整观察的个体行动者的有效数据,而在计算网络的协方差或者相关系数时,则需要选择所有变量都完整观察的配对行动者的有效数据。
Littile和Rubin(1989)在探讨社会科学领域关于缺失数据处理的分析方法时,比较了完整个案法和有效个案法对网络的均值、方差、协方差及相关系数四个统计量的参数估计影响及二者的差异。研究结果表明,和完整个案法相比,使用有效个案法后,网络的均值参数估计值是无偏的。但是,其余三个统计量的参数估计值的偏差较大。随后,Little和Su(1989)进一步对两种方法的差异进行了详细的讨论,也得出了相同的结果。
有效个案法简单易行,和完整个案法相比,它的参数估计值较为精准。但是有效个案法具有较低的统计功效,且和没有缺失数据的网络参数估计值相比,存在很大的偏差。因此,研究者较少使用有效个案法对社会网络中的缺失数据进行处理。
43重建法
重建法指的是通过互惠关系来推断缺失连接的存在与否。重建法和插补法不一样,重建法在分析的过程中没有增加新的关系,它只是通过观察到的应答者的入度关系(即行动者接收的关系)来重建网络中无应答者的出度关系(即行动者发出的关系)。从本质上而言,即用已经报告的一个关系进行测量,且重建法仅允许两个人之间的关系。重建之后的网络中应答者和无应答者之间的关系是对称的。使用重建法对SNA中的缺失数据进行处理时,必须满足两个原则: (1)相似性,即应答行动者与无应答行动者之间的作答模式应具有相似性。因为重建法是通过应答行动者所描述的关系去构建无应答行动者的关系,所以两个行动者之间的应答模式不能存在系统的偏差;(2)可靠性,即应答行动者所描述的和无应答行动者之间的关系要确认是有效、可靠的(Stork & Richards, 1992)。自重建法提出以来,不少学者将其作为社会网络缺失数据常用的处理方法。Gabbay和Zuckerman(1998)在有向网络中,通过应答行动者报告的和无应答行动者之间的关系重建了网络中行动者之间的关系。Huisman和Steglich(2008)则用重建法研究了网络面板数据中的无应答缺失数据情况,结果表明重建法在构建完整的网络数据时几乎不会出现不收敛的问题。
一般而言,针对不同类型的网络,重建法的程序如下所示:
(1)在无向网络中,通过观察到的应答者之间的关系以及部分应答者和无应答者之间的关系对网络进行重构(Stork & Richards, 1992)。
(2)在有向网络中,通过对立关系来推断缺失关系。例如,对于应答行动者i和无应答行动者j,重建法假设行动者i描述的和行动者j之间的所有关系和行动者j所描述的关系是完全一致的,即研究者可以通过应答行动者i来插补对立关系的观察值,即ximpij=xji(Huisman, 2009)。
重建法最大的优点就是允许研究者最大化地利用有效信息去构建社会网络。有研究表明,当社会网络中存在缺失数据时,仅有437%的关系能够被解释,而使用重建法后,则能够解释缺失数据网络中897%的关系数据(Neal, 2008)。但是,重建法无法构建两个无应答行动者之间的关系。如果两个无应答行动者之间存在重要关系,研究者就无法使用重建法去正确地定义网络的结构。因此,需要用其它的插补方法来重建整个网络。例如,对于无应答行动者之间的所有关系,随机插补一个和观察密度成比例的关系,使重建网络中缺失关系的比例等于网络的观察密度。
44基于指数随机图模型的多重插补法
指数随机图模型(Exponential Random Graph Model, ERGM)又称为p
瘙 ?? 模型,是用来描述x分布情况的概率质量函数,其表达式为:
其中,q是网络的实值函数,常以θTz(x)的形式出现,z是网络的向量值函数,其取值为网络统计值。这些统计值也被称为结构统计值,用来描述网络中的结构,如连接、三方关系等的数量。θ是一个维度为p×1的向量参数(θ∈Θ),ψ(θ)是一个常数,用于将函数值标准化(Koskinen, Robins, Wang, & Pattison, 2013)。
ERGM的原理是在综合了实测网络中的多种局部结构特征情况下来计算这些网络出现的可能性。具体过程为,首先使用马尔科夫链蒙特卡洛最大似然估计法(Markov Chain Mont Carlo Maximum Likelihood Estimation, MCMCMLE)模拟出一个随机网络,然后将这个随机网络的参数与实测网络的参数进行对比,最后通过对比指标判断是否采纳结果。Robins(2009)用ERGM方法对有向社会网络数据进行分析时指出,如果模拟的随机网络不能很好地代表实测网络,那么参数将被调整并运用到下一次模拟中,且这样的循环可能至少要进行8000次,直到模拟网络能够很好地代表实测网络为止。
基于ERGM的多重插补法,指的是通过ERGM产生的多个插补值的向量代替每一个缺失数据的过程。例如,当网络数据中存在无应答的缺失数据时,基于ERGM的多重插补法则会将应答行动者和无应答行动者看作是两种不同类型的节点,然后区分应答者之间的关系以及应答者和无应答者之间的关系。最后,根据研究者的调查目的,对缺失数据进行相应的处理。如果无应答者是随机缺失,则在网络特定结构间同质性的前提下利用ERGM对缺失数据进行多重插补。如果无应答者是非随机缺失,且研究重点关注应答者的网络结构,则可以将包含无应答者相关关系的信息看作是外源变量,并使用标准的马尔科夫图模型进行分析(Koskinen, Robins, Wang, & Pattison, 2013)。
基于ERGM的多重插补法最大的优点是,不仅能有效地辨别应答者和无应答者之间的差异是由系统误差还是随机误差造成的,还可以在缺失数据是随机缺失的情况下,最大化地利用观察到的数据信息。基于ERGM的多重插补法从本质上而言是通过网络的局部结构去推断整体结构。因此,即使数据有较大的缺失概率,只要网络有足够数量的局部网络子结构,就能够通过观察到的数据进行有理的推断。Koskinen,Robins和Pattison(2010)用基于ERGM的多重插补法对一个合作关系社会网络中的缺失数据进行处理,实证及模拟研究结果表明,这种基于模型的多重插补法能够正确地解释网络中80%的关系数据及允许有三分之一数据缺失的情况。但是,这种方法最大的缺点是运算过程较复杂,耗时较长。
5问题与展望
缺失数据对社会网络数据分析造成的消极影响主要体现在以下两个方面:(1)减少的样本量大小、行动者及关系的信息易导致模型和数据出现不拟合的情况;(2)缺失数据容易造成参数估计的偏差。例如,Kossinet(2006)和Huisman(2009)的研究发现,缺失数据会使社会网络数据分析的结果产生偏差,因为缺失数据不仅对网络结构描述产生消极影响,还会低估行动者之间的关系强弱和网络的聚类系数,容易造成中心性和度数测量不稳定的情况。因此,缺失数据是SNA广泛应用面临的严峻问题。
从表1的四种缺失处理方法的适用条件比较中可看到,缺失数据处理方法的选择和缺失概率、缺失机制存在较大的关联。进一步比较四种方法的优缺点可以发现,当缺失数据是完全随机缺失时,四种方法的参数估计是无偏的。当缺失数据是非随机缺失时,完整个案法和有效个案法虽简单易行,但容易导致信息的大量流失及具有较低的统计功效和较大的参数估计偏差。其中,和完整个案法相比,有效个案法在参数分布估计方面的偏差要略小,因为有效个案法分析的是全体有效样本的数据。但在其它参数估计方面,两种方法都出现了较大的偏差(Little & Rubin, 1989)。重建法和基于ERGM的多重插补法在非随机缺失的情况下,可以忽略缺失机制的影响而直接在缺失概率较小(20~30%)的网络中应用,两种方法在参数估计方面没有表现出太大的偏差,但是如果网络中的缺失概率较大时,两种方法会受到缺失机制的影响。
当数据是随机缺失时,重建法具有较好的统计功效,对社会网络进行描述性分析时,如计算网络的平均度数、互惠性和传递性等网络统计特征值,即使缺失概率达到50%,重建法仍然能够表现良好(Huisman, 2009)。但重建法只能用于特定网络的数据缺失处理,且在某些情况下会高估连接的数量。虽然,在社会网络中的数据缺失概率不大时,重建法和基于ERGM的多重插补法均没有太大的差异,但是后者能够利用插补值间的差异来衡量估计结果中不确定性的大量信息。和重建法一样,当社会网络中的缺失数据样本量在中等范围以下时,基于ERGM的多重插补法具有较小的参数估计偏差且不会低估标准误,但这种方法唯一的缺点就是运算过程复杂,需要做大量的工作来构建插补集以便于进行结果分析,且当缺失数据样本量大时,模拟网络和实测网络可能会出现不拟合的情况。
就应用现状而言,国内目前还没有关于SNA中缺失数据的处理方法这方面的研究,而国外的应用从2003年至今稳定增长(Butts, 2003; Robins et al., 2004; Kossinets, 2006; Gile & Handcock, 2006; Handcock & Gile, 2007; Koskinen, 2007; Smith & Moody, 2013)。
根据缺失数据处理方法的优缺点比较和应用现状的分析,对其在心理学研究中的应用提出以下建议:
关键词:整合数据分析;合并数据;分析策略
中图分类号:B841.2 文献标识码:A 文章编号:1003-5184(2012)05-0454-07
1 前言
任何学科的发展和完善都是建立在已有研究知识累积的基础上。在心理学研究中,可通过量化和质化的方法来对某一专题相关的研究进行综合分析,以达到研究知识累积的目的,促进心理科学的巩固和发展(崔智敏,宁泽逵,2010)。描述性文献综述法是综合分析方法中定性研究方法的主要代表,不仅可对前人研究进行回顾性评论,同时也通过比较分析阐述论题研究的创新之处,在心理学发展中占有重要的地位。但是描述性综述分析方法在应用过程中没有统一的标准,也没有对所综述研究的数据进行统计分析,结果具有主观性,对不同研究的差异性结果,也不能找出确信的原因。元分析方法则是在传统描述性文献综述局限的基础上提出来,结合了描述性文献综述和系统的量化统计方法的一种综合分析方法。
元分析(Mata-analysis)方法最早由Glass(1976)提出,是对某一专题已有的研究进行研究的方法。它根据一套明确的文献选择标准,就特定研究专题收集大量相关或相近的研究成果,采用一套系统的统计分析技术对这些研究的统计结果进行分析,总结出该论题的主要结论,是一种量化的综合分析方法。元分析在心理学中广泛应用,是促进累积心理科学(Cumulative Psychological Science)建设的重要方法(Hunter & Schmidt,1996)。但元分析只对研究的统计结果进行再分析,不可避免地丢失许多原始数据的信息。随着社会科学各领域研究的发展,研究数据共享成为必要,而计算机技术的发展,为数据永久存储、数据转换和数据共享提供技术上的支持。若能同时对某专题的多个研究的原始数据集进行分析,不但可充分利用多个研究数据的信息,克服元分析的一些局限,而且对研究结果有更深的理解,在心理学研究中有重要作用,因此,有学者提出了基于原始数据集的整合分析方法(Integrative Data Analysis,简称IDA)(Curran & Hussong,2009;Cooper & Patall,2009;Park,2004)。本文将对IDA方法的基本概念、原理和分析过程进行阐述,分析了IDA方法在心理学应用的优势和挑战,阐述了IDA方法中异质性的分析策略,讨论IDA方法在心理学研究中应用的现状和应用的前景。2 IDA方法概述
2.1 什么是IDA方法
整合分析(Integrative Data Analysis,IDA),也叫同时数据分析(Simultaneous Analysis of Data)、合并数据分析(Pooling Data Analysis)、或大型数据分析(Maga-analysis),是一类对多个独立研究的原始数据的合并数据集(data set)进行综合统计分析的方法(Curran,2009;Curran & Hussong,2009;Hofer & Piccinin,2009)。这种方法的基本思路是,确定进行整合分析的主题,收集与该主题相关具有原始数据的研究,把这些研究的原始数据合并成一个数据集,然后采用一套系统的统计分析策略对数据集进行综合分析,对原始的研究结果进行比较或者整合,获得单个研究所不能得到的信息。
整合数据分析方法首先在医学领域有广泛的应用。由于在医学领域通常只能对小样本进行研究,而重复验证研究又面临诸多影响因素,因此,这种分析策略把同一主题的多个独立的小样本合并成一个数据集进行分析,对医学领域的小样本研究的整合有重要意义(Simmonds & Higgins,2007;Simmonds et al.,2005;Stewart & Tierney,2002)。在临床医学研究中,把这种方法看成是元分析的一种,命名为“被试层面数据(Individual Participant-Level Data,IPD)”的元分析,传统的元分析方法命名“汇总数据”的元分析(aggregated data,AD)的元分析,也叫“样本层面数据(Group Level Data)”的元分析(Stewart & Tierney,2002;Simmonds et al.,2005)。在心理学研究中,Cooper和Patall(2009)也采用上述定义和命名,认为元分析包含IPD元分析和AD元分析。就现有的心理学领域中相关的研究文献来看,大部分研究者倾向于用 “IDA(Integrative Data Analysis)”命名这种对多个独立原始数据合并成的数据集进行统计分析的方法(Curran & Hussong,2009;Shrout,2009;Curran et al.,2008)。
综上所述,虽然在方法定位和命名上有所不同,但关于整合分析的基本思想是一致的,即是把同一主题相关的多个独立研究的原始数据合并成一个数据集,然后采用系统的统计分析策略对这个数据集进行统计分析,获得研究知识的综合累积,促进专题研究的发展。本文将用整合数据分析(IDA)来命名这种统计分析方法,把IDA定位为与元分析、描述综述分析相并列的三种综合分析方法。
2.2 IDA方法在心理学研究中应用的优越性
IDA方法充分利用已有的数据资料,对多个研究进行整合分析,可对原有的研究进行整合或比较,解决单一研究不能解决的问题,在心理学研究应用中表现出许多优越性(Curran & Husson,2009;Cooper & Patall,2009;Simmonds et al.,2005)。
2.2.1 重复验证研究假设
IDA方法通过建构不同研究的异质性(Heterogeneity)对结果的影响模型来对多个独立研究的原始数据进行再分析,为检验原始研究的结果是否可复制提供直接的检验方法。当这些原始研究的结果存在冲突时,关于研究间异质性的模型可对各独立研究在抽样、测量方法等方面的异质性进行等价性分析,确定不同研究的异质性对研究结果差异的影响情况,一方面可尝试调和不同研究结果的冲突,另一方面,也可通过综合分析验证新的研究假设。由此可见,即使不建立新的研究设计,IDA方法不但可以对原始研究的假设进行验证,对不同研究间冲突的结果进行调和或分析原因,也可验证原始研究中没有出现的新假设,减少创建新研究的必要。
2.2.2 增加行为的基数,提高统计功效
在心理学应用研究中,许多研究结果常存在统计功效不足的情况,其中一个重要的原因是样本量不足。而IDA方法把多个独立研究的数据合并成大样本进行分析,使低基数率的行为的绝对基数增加(如某一个行为有5%的样本量,合并数据后,可能比例保持不变,但这种行为的总体绝对数量增多),提高模型估计的稳定性,在一定程度上改进和提高统计检验功效,使一些相对较弱的效应也显现出来,从而提高了结论的论证强度和效应的评估力度。
2.2.3 增加样本的异质性,提高研究的外在效度
由于各种原因,心理学的许多研究采用随机抽样或者方便抽样等方法进行,这就导致了所要研究的样本中重要的子群体人数的不足,影响研究质量,使不同研究的结果存在分歧。IDA方法则汇聚了多个研究的样本,增大了研究中重要子群体的人数,增大样本的异质性,并在合并数据集中直接分析研究间的异质性对研究结果的影响,揭示单个研究中的不确定性。同时采取特定的方法尝试调整或控制这些差异,减小异质性对研究结果的影响,提高IDA研究的外部效度。
2.2.4 构建广泛的心理评估,提高对心理结构的评估力
心理学研究中,研究者通常根据年龄、性别和种族等特征选择心理测评工具对特定的心理结构进行评估,因此,不同研究常采用不同的测量工具来评估同一心理结构,单个研究采用单一的测量,获得对心理结构的相对单一的理解。而IDA则把多个独立的研究进行合并,运用合适的模型对这些研究中采用的不同的测量工具进行协调分析和等值处理,把这些不同的测量工具等值到相同的量尺上,然后进行综合分析,这就使心理结构的测量和评估更加广泛、严谨,加强和提高对心理结构的评估性能,提高研究的结构效度。
2.2.5 扩展发展研究的时间段
在心理研究中,不同研究的时间有所不同,且研究的时间跨度有限制,即使是纵向研究中,追踪研究的时间跨度也因各种原因受到限制。IDA可综合分析不同研究时间差异性对研究结果的影响,扩展研究的时间段,不但在横断研究中有明显优势,在纵向研究中尤为突出。在纵向研究中,IDA采用特定的模型和统计方法同时对多个纵向研究进行整合分析,可扩展心理发展轨迹研究的时间段,提高纵向研究的效率和速度。如,A研究的被试年龄范围是2~24岁,B研究的被试年龄是10~34岁,C研究对象的年龄是17~40岁,则IDA可建构纵贯2~40岁被试的心理发展轨迹。
另外,IDA同时对多个研究的数据集进行综合分析,促进心理学研究知识的累积应用,满足实现数据资源共享和资源最大化利用的需要。
3 IDA方法对异质性的分析策略
由于不同研究在研究设计、抽样方法、测量工具、研究时间等方面的异质性,使IDA过程不能对数据简单合并后进行分析,而要采用特定的统计分析方法对异质性进行分析(Curran & Husson,2009;Cooper & Patall,2009),这是IDA过程中必须解决的核心问题。
3.1 IDA方法对异质性分析的一般策略
根据对合并数据集的定义不同,可分为随机效应的IDA和固定效应的IDA。
3.1.1 随机效应IDA
随机效应(Random-effect)的IDA采用随机抽样的思想,把IDA的对象看成由两层抽样而来,一是研究层面(Study-level)的抽样,每个研究是从一个大的研究总体中随机抽取的研究层面的样本;第二层是被试层面的抽样,单个研究的样本则是从该研究假设的总体中随机抽取而来,即随机样本的样本(Random Sample of Random Samples),这两层抽样产生了由研究抽样所产生的变异和由被试抽样所产生的变异。这种定义类似于阶层模型的嵌套思想,因此,可采用阶层模型对数据集进行分析。随机效应IDA最大的优点是引入研究层面的预测变量以对研究之间的变异进行建模,把研究变异分解为被试水平效应、研究水平效应以及被试水平与研究水平的交互作用(Bauer & Curran,2005;Raghunathan et al.,2003),并在分析过程中同时估计这三种效应。
随机效应IDA的运用有两个重要的条件:一是要将这些研究的数据集看作是从一个同质的数据集总体中随机抽取;二是必须有足够的研究样本,才足以对研究之间和研究内的变异进行可靠测量。若是以上条件难以满足,则需考虑固定效应IDA策略。
3.1.2 固定效应IDA
固定效应(Fixed effects)IDA中,把各研究成员属性(Study membership)看作是嵌套于研究中的被试的固定特征(Fixed characteristics),采用某种编码方式(如虚拟编码、效应编码)描述这些固定特征(如对被试的性别、种族等变量进行编码),这些虚拟或效应编码变量将作为预测变量直接进入模型进行分析。固定效应IDA的主要优点是可以估计被试特点(性别、种族)和研究群组属性(Study Group Membership)之间的交互作用,即允许不同研究下被试特征对结果的不同影响。另外,一旦研究成员变量纳入模型,研究层面的特征变量则无法再纳入模型,这就使研究层面的差异得到控制,排除了研究间过多的潜在变异的影响,固定效应的IDA把研究层面的变异排除于模型之外,这既是固定效应IDA的优点,也是它的限制(Curran & Husson,2009;Bauer & Curran,2005)。
随机效应IDA和固定效应IDA的主要区别在于:(1)随机效应IDA假设被试样本来自同一总体,可以基于一个无限样本总体进行推断;而固定效应IDA则假定被试样本是固定且可知的,因此推断只针对所研究的样本,这更符合心理学研究中的实际。(2)随机效应IDA可以分解出研究层面效应、被试层面效应和这两个水平之间的交互作用;而固定效应IDA排除了研究层面的效应,只估计了被试水平的差异。由于随机效应的条件常难以满足,因此固定效应IDA在实践中更常用(Hussong,Cai,et al.,2008;Hussong,Flora,et al.,2008;Hussong et al.,2007)。
3.2 IDA研究中主要异质性的具体分析策略
不同研究之间在抽样、时间和测量方法上的差异使IDA分析过程变得复杂,但也为对这些研究进行综合分析和比较研究提供机会。从综合分析目标出发,需要对这些研究间的异质性进行控制,提高研究的外在效度;从研究比较目标出发,需要对这些异质性进行操纵,分析研究间异质性对研究结果的影响(Curran & Husson,2009;Simmonds & Higgins,2007)。
3.2.1 抽样、地域异质性及分析策略
抽样问题在心理学研究的各个领域都很重要,而在IDA研究中尤其重要。IDA可对合并数据的抽样异质性进行直接的分析,考察和评估研究样本之间潜在的差异,然后尽量协调这些差异,分析这些差异对研究结果的影响程度。IDA中对抽样导致的差异问题的处理过程中,首先明确每个研究的抽样方法是概率抽样还是非概率抽样,然后将这些信息将直接进入特定的分析模型。地域差异和抽样变量通常难以区分,独立考虑地域异质性时,需进一步考虑民族、犯罪率、社会保障等特定因素,而不是一般因素的分析。但IDA方法通常把抽样异质性与地域异质性结合在一起分析,根据对数据集的不同定义而选择随机效应IDA或者固定效应IDA。3.2.2 历史时间异质性及分析策略
历史时间异质性主要考察各研究在时间上的差异。在横断(Cross-Sectional)研究数据的IDA中,可直接比较研究之间施测时间的差异来考察历史异质性对研究结果的影响,采用上述的固定效应IDA方法或随机效应的IDA方法进行分析。
而纵向研究IDA的时间异质性分析不但要考虑发展趋势的差异,也要考虑施测时间、出生年代(Cohort),生理年龄对个体发展趋势的影响。通常采用固定效应的IDA进行分析,对被试出生年代进行虚拟编码,并作为预测变量进入分析模型,综合分析个体心理特征随时间发展的特点,并建立每个年代的成长轨迹,或者判断是否需要针对各出生年代建立成长轨迹。在这模型中,可直接分析被试出生年代和研究(Cohort×Study)的交互作用,以便在研究其他重要预测变量前控制这种交互作用。若合并数据中的被试的出生年代的数量足够多,则可以将之看作连续变量,把出生年代作为模型中一个连续型预测变量,同时估计出生年代相关(Cohort-related)和年龄相关(Age-related)的发展变化。若数据充分,则可估计这两个时间维度交互作用,及与研究群组的交互作用。
3.2.3 测量工具的异质性及其分析策略
测量工具的异质性分析是IDA研究中面临的最大挑战,直接影响到IDA的信度和效度。由于不同研究的研究者常采用不完全一致的测量工具来对同一种心理结构进行测量,这就使IDA的分析过程面临测量的恒等性(Measurement Invariance)和测量的可比性(Measurement Comparability)问题。对于共同的项目,在IDA研究中需检验测量恒等性,而对于不同的项目则需检验其测量的可比性。
测量恒等性是指一组项目在不同的群组或时间下可靠并有效地测量同一个潜在结构的程度(Rusticus,Hubley,& Zumbo,2008;Pentz & Chou,1994)。在IDA中测量恒等性主要指同一组项目在不同研究出现时,研究之间的恒定性,通常可采用因素分析对研究间共同项目进行因素分析,来检验恒等性情况。测量可比性在单一研究中少见,多出现在教育测量中,而在IDA研究中,测量的可比性是当不同研究中采用不同的量表来测量同一种心理结构时,各自测的是否是同一个对象。对于同一结构的不同测量项目,常采用IRT(item Response Theory)进行测验的等价性分析(Measurement Equivalence)(Curran et al.,2008,2009),建立不同测量方法的可比性。可见,IDA过程中,测量异质性分析主要包含了测量的恒等性分析和测量的可比性分析。测量异质性处理的目标是找出一个共同的度量标准(Common Metric),使测量同一结构的不同测量都可以放到这个“共同度量标准”上进行评估。
Curran和Hussong等人(2008)系统描述了IRT方法在建立共同度量中的运用步骤。第一步,找出研究之间共同的测验项目——锚题(Anchor Items),这些题目是在研究间有重叠的项目,并采用探索性因素分析检验单维性。第二步,根据数据类型选择统计模型对数据进行拟合,估计这些项目的参数,根据变量的不同类型可选用不同的统计模型,一般采用验证性因素分析(CFA)对等距数据进行拟合;采用非线性因素分析(NLFA)和二参数的IRT模型对非等距变量、二分变量数据进行拟合(Curran et al.,2008,2009);采用调节非线性因素分析(Moderated Nonlinear Factor Analysis,MNLFA)对包含了连续变量和二分变量的数据进行拟合(Bauer & Hussong,2009)。第三步,评估项目的恒等性,进行项目功能差异(Differential Item Functioning)分析,如在CFA中采用多组因素分析,在IRT框架下进行项目功能差异分析(Bauer & Hussong,2009)。第四步,计算被试的项目分数,用于进一步的统计分析。
4 IDA方法在心理学应用的研究现状
整合分析的思想在心理学研究中也早有出现(Bell,1953;Schaie,1965)。Bell(1953)最早提出的聚合设计(Convergence Design)研究中,就讨论到如何把不同年龄组的多个测量时间点连接和整合成一个连续的发展轨迹。但作为一种统计分析策略,IDA在心理学中的应用是近年才发展起来,目前处于探索和尝试应用阶段。相关的研究主要集中在对IDA方法在心理学中的应用原理、方法的优缺点、方法的应用前景、及一些争议性问题的讨论,特别是IDA过程中的测量问题、纵向研究数据的整合分析策略的探讨。 在关于IDA的原理和分析方法方面,Curran和Cooper等人(2009)对IDA的主要思想、基本原理进行阐述,分析了IDA在心理学研究中优越性和面临的挑战,并提出异质性分析的一般策略。其中Cooper和Patall(2009)对IDA方法与元分析方法进行系统比较分析,认为IDA不是对元分析的取代,而是对元分析的补充,相比之下,虽然IDA比元分析在人力和时间等方面的花费更大,但IDA可同时分析研究内(Within-study)和研究间(Between-study)的效应,并且,当条件满足IDA和元分析时,IDA的价值会更大。
IDA研究中,测量问题深受研究者关注,并提出多种方法来处理IDA过程中的测量异质性问题。根据测量变量的类型(连续变量或二分变量)提出采用比例分数模型(Proportion Score Model)、两参数的IRT模型、CFA模型、非线性因素分析模型(NLFA)对测量同一结构的不同测量进行“等值分析”,建立一致的度量标准(Curran et al.,2008;Bauer & Hussong,2009)。其中Curran和Hussong等人(2008)对IRT模型在IDA过程中的应用原理进行系统的阐述,并把IRT方法用于多个独立纵向研究数据的整合分析中。Bauer和Hussong等人(2009)对IDA研究中的测量的合并问题进行探讨,在综述传统的CFA、IRT方法的对测量异质性的分析的步骤、过程、优缺点的基础上,提出MNLFA模型,认为在IDA过程中,当多个研究中的测量的变量类型既有连续变量又有二分变量,MNLFA 模型可以有效地处理不同研究间测量的异质性问题。
在IDA的应用研究方面,主要表现在对多个纵向研究数据进行整合分析中的应用。如Curran等人(2008)先后阐述了IRT方法和潜增长曲线模型(Latent Growth Curve Model)对三个关于内化症状(Internalizing Symptomatology)的纵向研究数据进行整合分析,先采用IRT模型进行项目的参数估计、项目功能差异分析和被试分数估计,再采用潜增长曲线模型对合并数据进行分析,获得对个体内在症状从10岁到33岁的发展趋势特点。McArdle等人(2009)在对这种两阶段方法(Two-stage method)阐述的基础上,提出在一个联合模型中同时估计IRT模型和潜增长曲线模型参数的一段段方法,并用于对三个关于认知发展的纵向研究数据的整合分析,强调一阶段分析方法的优势。Hofer和Piccinin(2009)提出一种基于建立数据共享网络和合作协议的IDA分析框架,对多个纵向研究数据进行分析。
Shrout(2009)对IDA应用中的一些关键问题,如测量问题、研究价值问题、模型的拟合问题等进行讨论,并对IDA的应用提出建议;Curran和Hussong等人在IDA方法及其应用研究上多有成果(Curran et al.,2008;Curran,2009;Hussong et al.,2007;Hussong,Bauer,et al.,2008;Hussong,Cai,et al.,2008;Hussong,Flora,et al.,2008)。
5 IDA方法应用前景和挑战
5.1 应用前景
IDA在心理学应用是心理学发展的需要,在心理学研究中有深远的应用前景。
首先,IDA方法在发展心理学研究中的应用前景。追踪研究设计是发展心理学中研究个体发展规律的重要方法。追踪研究由于研究设计本身的特征,元分析方法在追踪研究中的应用受到限制,由于长期追踪研究的代价大,难以对一个样本进行终生追踪。IDA方法不但可对研究和测量的时间变异进行处理,而且可通过整合数据分析使研究的时间跨度增加,这就使个体心理终生发展轨迹研究成为可能。目前McArdle等人(2009)对IDA在合并追踪数据集中的应用进行了理论探索和实践研究。IDA在追踪研究中应用涉及到更复杂的统计分析过程,需要进一步的研究。
其次,在实验研究中的应用前景。心理实验研究中,大部分研究的被试样本相对较小,同时,即使是同一主题的研究,由于研究设计、实验操纵过程等的差异,使得这些研究的结果相冲突,若要调节或验证这些研究结果,则需要重新设计大型的完全随机抽样实验进行重复研究,这就可能花费大量的人力、物力。而IDA则为解决小样本问题和协调冲突结果问题提出一种研究思路。采用IDA方法对同一主题的多个实验研究进行整合分析,可增大样本,在一定程度上提高统计效应;同时通过整合分析,协调这些冲突研究成果,验证新的假设。
最后,当某专题的调查研究承载理论争论或者研究结果的冲突时,也可进行IDA研究,一方面验证理论和协调研究冲突,另一方面促进研究成果的积累。由于IDA对异质性的直接建模上和解释上的优势,跨文化的研究也是IDA可发挥优势的重要领域。
5.2 面临的挑战
IDA在心理学有广阔的应用前景,但在推广应用及研究中也面临一些挑战。
首先,IDA研究主题的确定和价值问题,虽说选什么样的主题进行IDA分析是研究者的兴趣所在,但在应用中,并不是所有的研究都有必要进行IDA研究,而要考虑研究本身的特征,及进行IDA研究的可能性、必要性和价值性。一般认为,当主题的一些相关研究承载着理论问题或者研究结果存在差异,且可获得原始数据,为了进一步综合解释这些差异或比较这些研究,可进行IDA研究(Curran & Husson,2009;Cooper & Patall,2009;Stewart & Tierney,2002)。但,对于某一主题,是否要进行IDA研究,若要进行IDA研究,研究结果能在多大程度上比原来的单一研究更有价值?另外,IDA应用的限制和条件还需要进一步探索,否则,IDA应用不当,必然导致错误的结果(Simmonds & Higgins,2007;Simmonds et al.,2005)。其次,IDA研究中统计分析策略上所面临的挑战,这是IDA过程中面临的最大的挑战。IDA应用过程中关键点是对研究之间的异质性进行处理,其中,最突出的是测量方法的异质性分析。在现有的研究中,已对这些问题作了探索,提出了异质性分析的一般策略,特别是在测量问题上,根据量表类型的不同提出了不同的理论模型来整合研究间不同的测量方法(Bauer & Hussong,2009)。但是这些方法的操作过程较为复杂,阻碍了IDA的推广应用,因此,需要进一步探索和规范IDA中的统计分析方法。
第三,数据获取和共享的问题。虽然计算机的发展使数据永久保存、恢复和转换成为可能,数据共享的技术障碍消失,国际心理学界也呼吁心理学研究数据的共享,但来自人为的障碍仍然存在。即使数据可共享,也面临一些问题:若研究者可自由获得他人研究的原始数据,则可能违背了科学研究的道德规则;被试愿意参加原始的研究,但是未必愿意参加第二次的研究;另外,IDA结果的著作权问题也是还未解决的(Cooper & Patall,2009;Shrout,2009)。因此,在IDA应用中,关于数据共享的鼓励措施、数据共享过程中的安全问题、伦理问题、研究结果版权问题等都需进一步规范。
6 小结
IDA方法在心理学领域的应用的研究处于尝试阶段,并初步显示了这种分析方法的优越性。同时,我们要明确,不是所有条件下IDA都适用,由于IDA研究代价较大(时间、经济、人力),分析过程复杂,数据共享困难的限制等,在进行IDA研究之前必须要考虑到各种问题,明确IDA应用的限制条件,正确开展IDA研究。虽然对于IDA的研究结果的价值、分析方法选择等方面存在诸多争议,但无疑,在心理学研究的一些领域中,如发展心理的纵向研究、跨文化研究,IDA是一种非常有用的方法。随着心理学研究数据共享的论题得到越来越多的关注,IDA方法的研究和应用也逐渐受到关注。
参考文献
崔智敏,宁泽逵.(2010).定量化文献综述方法与元分析.统计与决策,19,166-168.
Bauer,D.J.,& Curran,P.J.(2005).Probing interactions in fixed and multilevel regression:Inferential and graphicaltechniques.Multivariate Behavioral Research,40,373-400.
Bauer,D.J.,& Hussong,A.M.(2009).Psychometric approaches for developing commensurate measures across independent studies:Traditional and new models.Psychological Methods,14,101-125.
Bell,R.Q.(1953).Convergence:An accelerated longitudinal approach.Child Develpment,,145-152.
Cooper,H.,& Patall,E.A.(2009).The relative benefits of me-ta analysis conducted with individual participant data versus aggregated data.Psychological Methods,14,165-176.
Curran,P.J.,& Hussong,A.M.(2009).Integrative data analysis:The simultaneous analysis of multiple data sets.Psychological Methods,14,81-100.
Curran,P.J.,Andrea,M.H.,Li,C.,Wenjing,H.,Laurie,C.,Kenneth,J.S.,& Robert,A.Z.(2008).Pooling Data From Multiple Longitudinal Studies:The Role of Item Response Theory in Integrative Data Analysis.Developmental Psychology,(2),365-380.
Curran,P.J.(2009).The Seemingly Quixotic Pursuit of a Cumulative Psychological Science:Introduction to the Special Issue.Psychological Methods,14(2),77-80.
Glass,G.V.(1976).Primary,secondary,and meta-analysis.Educational Researcher,,3-8. Hofer,S.M.,& Piccinin,A.M.(2009).Integrative data analysis through coordination of measurement and analysis protocol across independent longitudinal studies.Psychological Methods, 14,150-164.
Hunter,J.E.,& Schmidt,F.L.(1996).Cumulative research special issue:Introduction knowledge and social policy formulation:The critical role of meta-analysis.Psychology,Public Policy,and Law, 2,324-347.
Hussong,A.M.,Bauer,D.J.,Huang,W.,Chassin,L.,Sher,K.J.,& Zucker,R.A.(2008).Characterizing the life stressors of children of alcoholic parents.Journal of Family Psychology, 22,819-832. Hussong,A.M.,Wirth,R.J.,Edwards,M.C.,Curran,P.J.,Chassin,L.A.,& Zucker,R.A.(2007).Externalizing symptoms among children of alcoholic parents:Entry points for an antisocial pathway to alcoholism.Journal of Abnormal Psychology, 116,529-542.
Hussong,A.M.,Cai,L.,Curran,P.J.,Flora,D.B.,Chassin,L.A.,& Zucker,R.A.(2008).Disaggregating the distal,proximal,and time-varying effects of parent alcoholism on children’s internalizing symptoms.Journal of Abnormal Child Psychology,,335-346.
Hussong,A.M.,Flora,D.B.,Curran,P.J.,Chassin,L.A.,& Zucker,R.A.(2008).Defining risk heterogeneity for internalizing symptoms among children of alcoholic parents:A prospective cross-study analysis.Development and Psychopathology, 20,165-193.
McArdle,J.J.,Grimm,K.J.,Hamagami,F.,Bowles,R.P.,& Meredith,W.(2009).Modeling life span growth curves of cognition using longitudinal data with multiple samples and changing scales of measurement.Psychological Methods, 14,126-149.
Park,C.L.(2004).What is the value of replicating other studies?Research Evaluation,13,189-195.
Pentz,M.A.,& Chou,C.P.(1994).Measurement invariance in longitudinal clinical research assuming change from development and intervention.Journal of Consulting and Clinical Psychology,62,450-462.
Raghunathan,Trivellore,E.,Diehr,Paula,K.,Cheadle,& Allen,D.(2003).Combining aggregate and individual level data to estimate an individual level correlation coefficient.Journal of Educational and Behavioral Statistics,28,1-19.
Rusticus,S.A.,Hubley,A.M.,& Zumbo,B.D.(2008).Measurement invariance of the Appearance Schemas Inventory-Revised and the Body Image Quality of Life Inventory across age and gender. Assessment, 15,60-71.
Schaie,K.(1965).A general model for the study of developmental problems.Psychological Bulletin, 64,92-107.
Shrout,P.E.(2009).Short and long views of integrative data analysis:Comments on contributions to the special issue.Psychological Methods, 14,177-181.
Stewart,L.A.,& Tierney,J.F.(2002).To IPD or not to IPD?Advantages and disadvantages of systematic reviews using individual patient data.Evaluation & the Health Professions,25(1),76-97.
Simmonds,M.C.,& Higgins,J.P.T.(2007).Covariate heterogeneity in meta-analysis:Criteria for deciding between meta regression and individual patient data.Statistics in Medicine, 26,2982-2999.
Simmonds,M.C.,Higgins,J.P.T.,Stewart,L.A.,Tierney,J.F.,Clarke,M.J.,& Thompson,S.G.(2005).Meta-analysis of individual patient data from randomized trials:A review of methods used in practice.Clinical Trials, 2,209-217.
The Application of Integrative Data Analysis in Psychological Research
Tang Wenqing Zhang Minqiang Wang Litian
(Psychological Application Research Center,South China Normal University,Guangzhou 510631)
关键词:土工试验数据;3 法则;Bayes方法
土工试验结果的可靠程度会直接影响岩土工程设计的精度与施工方案的选取,可靠的实验结果,可使岩土工程设计和施工方案经济合理;歪曲事实的实验结果,可能导致不良的后果,要么使设计过于保守,要么遗留安全隐患.
影响土工试验数据可靠性的因素包括土样本身的因素和实验因素两个方面.
土样因素取决于土体本身的复杂性,即使同一区域的同种性质的土体,可能由于其含水量的不同或者粘粒含量的个体差异,导致其物理力学性质不同;另外,同一种土的原状土和重塑土的物理力学性质指标也存在差异性;原状土在采样、运输和储存、制备样品的过程中,受到的扰动程度同样会对土体的物理力学性质产生影响,所有这些因素都会影响土工试验数据的可靠程度.由此引起的实验数据的误差,是由于土体本身的变异性引起的误差.
实验因素引起的误差包括以下几种:
1)系统误差:由于测量工具(或测量仪器)本身固有误差、测量原理或测量方法的缺陷、实验操作及实验人员本身心理生理条件的制约而带来的测量误差.
2)随机误差:偶然的、无法预测的不易控制的不确定因素干扰而产生测量误差,这种误差称为随机误差.
3)过失误差:明显歪曲实际事实的误差.
根据抽样理论,要使一组样本得到的试验结果有意义,必须满足两个主要条件:①从土样中取出的试验样本必须具有代表性且符合调查目的的需要.②试验样本数量必须充分.依照以上两个条件,土工试验数据的整理应包括三个方面的内容:一是总体实验数据的检查以及异常数据的分析和舍弃处理;二是最小样本数问题;三是与土体性质指标的自相关性有关的问题.
一 总体实验数据的检查,以及异常数据的分析和舍弃处理
土工试验数据一般是对于某一土体的物理性质或力学性质的测定结果,如果土体本身的变异性不甚明显,那么试验结果应该在真值附近一定范围内上下波动.在实验数据整理过程中,首先应根据经验和统计原则消除系统误差或过失误差,以免影响计算结果的准确度.一般可以依据下面的原则对试验数据进行检查、修正和剔除异常点.
1.1 根据土的物理力学特性可判出的明显不合理点
在一组实验数据中,如果存在明显不符合土的物理力学性质的值的范围的点,通过观察,可以找出这一类异常点,并予以舍弃.如果一组实验数据大部分在某个值域范围内波动,但有一点或几点与该值域相差悬殊,我们可以认为这些点是异常点,这类点可以剔除.
1.2 根据某一置信水平找出确定范围以外的异常点
1.2.1 实验数据较多情况下的数据取舍原则――3法则
根据概率论原理的3法则,在试验数据中,出现在[m - 3 ,m+3]之外的数据点的概率只有0.27 %,
我们可以把大于m+3 和小于m -3 的试验数据作为异常点处理.应注意用3 法则进行试验数据取舍时,前提条件是试验数据较多且总体呈正态分布.一般认为当样本容量大于等于3 时,抽样分布与正态分布近似,此时用3 法则进行取舍应该是可行的.在实际的大型岩土工程中,试验数据有可能达到30个.
实际应用时,不能机械地把位于[m -3 ,m+3]之外的点全部予以剔除,还应分析导致其异常的原因.如果一个土样的多个参数值均位于[m -3 ,m+3]之外,则这些异常数据是由土样因素引起的,应重新取土补做实验或进行相应的调整.如果某个土样的某一个参数位于[m -3 ,m+3]之外,说明此误差是由试验误差引起的,应予以剔除.如某工程的同一土层的内聚力c/kPa的试验数据为:2.58,3.26,4.12,6.12,5.28,4.19,7.61,4.38,
5.64,3.68,2.94,4.56,4.26,5.34,3.99,5.49,4.31,6.34,2.59,3.67,8.99,3.54,4.53,5.36,4.68,6.18,
5.48,4.39,4.61,1.99,3.58.其数值分布如图1所示.
从其分布可以看出,这些数据符合正态分布,计算得到:平均值为4.63,标准差1.44,置信水平99.73%的分布范围是[0.31,8.95],数值8.99可以剔除.
1.2.2 一次实验中实验数据较少,又无其他资料可以引用情况下的数据取舍原则在小型的岩土工程实际中,当试验数据数目n
此范围外的点可视作异常点.有一组土的内摩擦角实验数据为:9.4,9.0,8.0,6.0,4.8,6.2,8.7,9.5,4.3.用置信水平99.73 %进行数据取舍。
因为n=9
二 土工试验数据中最小试验样本数问题
在试验数据整理过程中,还有一个问题需要考虑,即最小试验样本数问题.试验样本数过少,会极大影响试验结果.试验样本数多少取决于种种因素,包括工程规模、现场勘探条件以及工程要求精度.以下仅从统计特征方面讨论这个问题:
某一工程中,从一硬粘土层中取得4个原状土样,对各土样作不排水三轴试验得出下列Cu值:101,97,95,109(KPa ).为使土样不排水剪切强度以95 的概率落在实验结果平均值100.5的范围内,求必须的土
样最小数目.
由于只有4个土样,n<30,用t分布计算.V=3,查表得相应于F(t)=0.95时的t=2.35;且Cu 的实验平均值为100.5(KPa ), =6.19,因而,相应的数值范围为100.5±2.35×6.19÷ =93.23~107.77(kPa),离开平均值范围为2.35×6.19÷÷100.5―7%,不在5%范围内,还需增加样本.以6个样本试算,u=5,F(t)=0.95,查表得t=2.02,于是离开平均值的范围为:
偏离值为5.10/100.5=5.1% >5% ,不满足要求.以7个样本试算, v=6,F(t)=0.95,查表得t=1.94,于是离开平均值的范围为:
偏离值为4.54/100.5=4.5 %< 5 %,满足要求。
所以,还需增加3个土样,即至少需要7个土样才可以达到所需精度要求.土工试验中,一次实验的试验样本数如果满足不了统计要求的最小样本数,增加土样又意味着增加额外的投资,而此时我们可以收集以往的实验资料,利用Bayes方法解决一次实验样本数不足的问题.
由《概率论》的Bayes方法,对离散型随机变量有
(1)
称为参数的验后概率; 称为验前概率; 为给定参数 条件下的 的条件概率,称为似然函数.) (2)
若已测得一组实验测值为 ,怎样由去推定 首先要求得其验后概率 ,验前概率 、似然函数 .一般 可通过以往的经验得到, 可通过测值 得到,于是由公式(2),就可以得到验后概率 ,从而求得其期望值,此期望值即为需求参数 的Bayes估计值。
土工试验数据可以认为是离散型试验数据.下面以长沙地区的粉砂抗剪强度参数 为例说明Bayes估计方法的应用。
一般情况下土的抗剪强度参数符合正态分布,故以下讨论以正态分布为基础.长沙电厂工程分三期进行,其资料见表1.下面用Bayes方法计算,第一步把一期工程资料作为二期工程的验前资料,以二期工程资料求得似然函数,从而可得验后概率;第二步,以此验后概率作为三期工程的验前资料,然后求得结合了全部一、二、三期工程的验后概率,这样求得的强度参数同时考虑了三期工程,将更为合理可靠.
由Bayes公式,有 ,就正态分布而言,Bayes公式可进一步具体化为
其中, 为一期工程资料, 。
其中,是根据二期工程资料求得的,
故验后概率为两个正态分布的乘积,它本身也是一个正态分布,其抗剪强度均值 和标准差 可由下式求得:
故验后概率 。由此可见,验后方差比验前方差和似然方差都要小.现以上述求得的验后概率作为验前概率,以三期工程作为新的测值进行Bayes法第二次应用的计算.
已知。由三期工程资料,
故得新的验后概率
即的验后分布。.所以此粉砂的强度参数的贝叶斯估计值为 31.52.将全部资料加以平均得到强度参数的平均值为=31.73.当然, 值应比值更合理可靠.通过以上分析可以看出:
Bayes法可以把不同时间测得的观测数据有机地结合起来,而不是简单的加权平均,从而得到一个更为可靠的数据结果.这个优点使它在一些大型工程的设计指标的研究中广泛使用,如在研究土的力学性质指标时,直接进行力学性质试验,特别是三轴试验往往是浪费时间、耗费资金、需要技术和设备,而进行土的物理性质指标的测定则要简便经济得多.假如在进行一定力学性质试验的同时,利用土的物理性质指标(如土的密度、含水量等)来丰富力学性质指标的验前概率,那么所得的力学指标将会更加精确.Bayes法在应用上的另一个优点是它可以更精确的处理不同观测结果的合并问题,如上例所述.再如测定土的抗剪强度时可能采用直剪试验、三轴试验或原位试验等方法,各种方法的实测值具有不同的概率函数,Bayes法就可将这些不同概率规律的信息有机结合起来,得出更可靠的参数验后分布,依此确定的土的
抗剪强度参数将更为合理.
3 土体性质指标的自相关性的问题
在以往考虑实验数据的相关关系时,常常是求它们之间的线性相关系数,对于土工试验指标其自相关函数通常不是线性相关,而是指数相关,因此,就不能用以往的求相关系数的方法来判别其相关性。
土工问题中,可用相关距离 来判别其独立与否.在相关距离 内,土性指标基本上是相关的;相反,在该范围之外,土性指标基本上是不相关的.而相关距离 事先是未知的,它也要根据样本测值来求,一般用递推平均法求相关距离,同时取样间距Z 对 的计算会产生影响,这种影响反应于当取样距离Z 不同时,得到的 也不一样.Z / 越大,说明各抽样点的土性越接近相互独立,抽样误差就越小。
因此,取样距离应尽可能大于 .但从另一角度考虑,如果样本间距太大,便不能精确估计自相关函数和相关距离.因此,当Z= 时将求出的 作为土的相关距离比较合适.有了相关距离后,就可以根据取样点的位置,以 为尺度,将指标的样本测值分成几组,在相关距离 内的样本点,用样本的加权平均估计该区域内的平均土性,在一个 范围内,可得到一个.对于n个样本值,可得到 m 个 .通过以上处理得到的这 m 个,就可视为彼此独立的样本了。
3.1 通过迭代求解土的相关距离
可以利用计算机程序,通过搜索 = Z 时的,只要以较小的基本间距取样本,程序在运算过程中,以基
本间距的若干倍作为Z 计算 ,直到 小于某个规定值 。
3.2 用样本的加权平均来估计该区域内的平均土性
在土体的相关距离内,测值点是相关的,这时可用样本的加权平均值来估计该范围的平均土性,具体做法为
(5)
这里 是有关样本 的权值, 是 内的样本点数.关于一组权 ,可依下式取极小值.
(6)
其限制条件为0≤≤1和Σ =1, 是 和 点处土性指标之间的相关系数,采用Lagrangian乘法,可以得到下列矩阵方程:
(7)
这里,相关函数 的形式可以假设,因为相关函数的确切形式对大多数实际应用意义不大,据此,一组权 就可以算出,从而该范围的平均土性可用估计值式(6)来计算.在实际工程中,虽然走值不一样大,但用起来还是较方便的.经过上述处理后的 m个 ,就是彼此独立的样本了。
具体情况下,可根据工程具体精度要求,进行简化或省略,如在6范围内的几个数据,通过实验判断或简单计算就可以确定其代表值时,就不需加权平均.在实际应用中,最多的情况可能是根据经验结合计算进行处理.
4 结束语
1)影响土工试验数据可靠性的因素包括土样本身和实验因素两个方面,在进行土工试验指标整理时,根据土的物理力学特性可判定出一部分明显的不合理点,还可以根据3d法剔除不合理的测定值,从而使土工试验数据更接近实际.
2)考虑土工试验数据的相关性可以通过迭代求解土性指标的相关距离,用样本的加权平均来估计该区域内的平均土性指标值.
关键词:交通事故;数据确实;相似原理
中图分类号:TB
文献标识码:A
doi:10.19311/ki.16723198.2017.12.098
1引言
事故分析和再现的过程中,事故现场图是必不可少的法律依据。但是往往在匆忙地绘制现场图的过程中,造成了数据遗漏和缺失,给事故分析和再现工作带来很大的困难。为了给事故处理提供更加有力的依据,对于现场图中数据的缺失,采用必要的数据分析方法是非常必要的。
2实际案例分析
图1是某事故现场图,大货车在事故发生的过程中在地面留下了清晰的制动痕迹,遗憾的是缺少了很长一段制动痕迹的长度,并且痕迹的形态有误差。根据制动痕迹计算货车的行驶车速,以及车轮抱死拖滑前的运动形态,根据这个现场图提供的数据是不可能的。
根据现场图来计算大货车车速是不可能的,我们只能根据其有标注12m长度的制动痕迹来计算其行驶的最低车速,但这个车速较低,对分析案情没有意义。但是我们能够发现,根据现场图所示的第一条制动痕迹的参数可以判断此制动痕迹为一条斜线,因此大货车在开始刹车时可能处于压黄线行驶状态。下面则判断其开始刹车时是否处于压线行驶状态。
2.1计算大货车车速与制动痕迹长度的关系
由现场图可以看出,大货车的制动痕迹为三段,我们假设这三段的长度分别为S1、S2、S3。当驾驶员开始踩刹车踏板到出现制动痕迹的这段时间内(制动协调时间),大货车也是向前行驶的,我们假设在这段时间内其行驶距离为ΔS。
首先根据大货车在地面上的制动痕迹,由动量守恒可以列出公式(1):
12mv2=k1μmg(S1+S3)+k2μmgS2(1)
式中,m为大货车、驾驶员及货物的总质量(kg);v为大货车开始刹车时的瞬时速度(m/s);k1为附着系数修正值;k2为附着系数修正值;μ为大货车在干燥沥青路面上制动时的附着系数;g为重力加速度(m/s2);S1――大货车在地面上留下的第一段制动痕迹的距离(m);S2――大货车两段制动痕迹中间的距离(m);S3――大货车在地面上留下的第二段制动痕迹的距离(m)。
大货车在制动协调时间内车速的降低量可由(2)式求出:
Δv=0.5μgt(2)
式中,Δv为制动协调时间内车速的降低量(m/s);μ为大货车在干燥沥青路面上制动时的附着系数;g为重力加速度(m/s2);t为踩踏时间和踩死时间之和(s)。
在制动协调时间内大货车所行驶的距离可由(3)表示:
ΔS=[(v+Δv)2-v2]μg(3)
式中,ΔS为制动协调时间内大货车所行驶的距离(m);v为大货车开始刹车时的瞬时速度(m/s);Δv为制动协调时间内车速的降低量(m/s);μ为大货车在干燥沥青路面上制动时的附着系数;g为重力加速度(m/s2)。
当然,由以上3式是无法求出大货车的车速的,因为在以上3式中缺少相应的未知数S1的数值大小,但是我们却可以得出S1与v之间的关系,即第一段制动痕迹的长度与开始刹车时的瞬时速度之间的关系。
2.2大货车的运动形态
在E点处,大货车开始制动,到D点时开始出现制动拖痕,到C点时第一段制动痕迹结束。如果在制动前大货车没有压线行驶的话,则直线EC应不与中心双黄线相交;如果压线的话,则直线EC应与中心双黄线相交。
利用三角形关系可以判断虚线ED是否与中心双黄线相交所示。
2.3大货车是否压线判断
在图3、图4中:CD=S1,DE=ΔS,AC=2.7m,GD=1m,如果大货车没有压线,则E点应在直线AG的右侧,因此B点也应在直线AG的右侧,这时有AC>BC(如图2);反之如果大货车压线,则有AC
由三角形相似关系可以得出:BCHC=CECD;因此:
BC=CE・HCCD=(S1+ΔS)・(AC-GD)S1(4)
F令BC=AC则:BC-AC=0(5)
联立式(1)~(5)得:v=-15.62m/s=-56.23km/h(舍去);
v=26.77m/s=99.97km/h。
因此由二次方程根的分布可以得出:如果-56.23km/h
显然v9997km/h也是不符合实际的,所以能够得出-56.23km/h
3结语
此方法虽然不能准确计算大货车的开始刹车时的准确车速,但是根据车辆的最高设计时速得出了大货车在开始刹车时处于压黄线行驶状态,已经违反了交通规则,这对交警事故责任的认定有很大的帮助,此方法虽然并不是对所有数据缺失的现场图都有效,但其却给我们提供了一种新的思路,开拓了思维。
Abstract: This paper describes several commonly used in environmental monitoring data analysis method of monitoring data, the comprehensive analysis is very important.
关键词:环境监测;质量浓度;数据;分析;方法
Key words: environmental monitoring; mass concentration; data analysis; method;
中图分类号:X83文献标识码:A 文章编号:2095-2104(2012)
一、监测数据综合分析的目的和作用
环境监测是科学性很强的工作,它的直接产品就是监测数据。监测质量好坏集中反映在数据上,准确、可靠、可比的环境监测数据是环境科学研究工作的基础,是环境管理的依据。一个环境监测站每年可提供成千上万的监测数据,但这些数据本身是孤立的、离散的,必须从不同的目的和作用出发,把环境监测所获得的资料、数据,通过不同的途径和方法分类、统计、转化、汇总,找出其本质的东西,获取环境管理所要求的各种综合数据。环境监测数据综合分析的目的是完成监测数据、信息资料向环境质量定性和定量结论的转变,通过监测数据、信息资料的深加工与自然环境、社会经济发展等诸因素的综合分析,实现为污染防治决策和环境建设决策的转变。环境监测数据综合分析是环境监测过程中环节的重要环节,也是最终环节。一般来说,环境监测综合分析技术的水平高低,代表着监测站技术水平的高低,也决定着监测站在环境管理中的地位和作用。
二、监测数据综合分析的方法
在对环境质量进行综合评价或对区域环境污染状况进行评价时,都是以一定数量的监测数据和资料为依据的。这些数据和资料包括环境要素的监测数据、环境条件数据、污染源调查监测数据、现场调查数据和实测数据等等。环境监测综合分析采用的方法很多,并在不断完善和发展,通常采用的分析方法有统计规律分析、合理性分析、效益分析等。
2.1 统计规律分析
统计规律分析中包括了对环境要素进行质量评价的各种数学模式评价方法,也就是应用数理统计方法,模糊数学方法和适用于不同环境要素的数学、物理方程等方法,对监测数据资料进行剖析,解释,做出规律性的分析和评价。该分析方法主要应用于环境调查、环境规划或课题、环评等比较大的工作中。
2.2 合理性分析
由于影响环境要素变化的因素十分复杂,而用于综合分析的监测数据资料有限,所以需要结合环境要素的各项条件和污染源参数,理论结合实际分析其合理性。应考虑到环境要素之间的相互影响,监测项目之间的相关和对比关系,全面分析其合理性,这样才能提供准确、可靠、合理的监测数据。如何合理的分析数据,可以从以下几个方面判断:
2.2.1 通过项目之间的相关性来分析
监测项目多种多样,有机的、无机的都有,但是物质本身具有相互关系,两个或两个以上的项目监测数据往往存在一种固定关系,这就为我们分析单个已实行质量控制措施的监测数据正确与否提供了依据,对一些例行监测数据,可做出直观的判定。例如,氟含量与硬度之间的关系。F与Ca、Mg形成沉淀物容积度较小,因此,在中性、弱碱性水溶液中,如氟含量在(mg/L)级,则其氟含量与Ca、Mg含量呈明显负相关,即与硬度值呈负相关,所以高氟区内的水质监测结果中硬度监测值一般较低。如果氟含量较高,同样硬度监测值也很高,数据就要重新分析。再如CO、BOD5和高锰酸盐指数之间的关系。根据COD、BOD5和高锰酸盐指数的概念,COD是指用强氧化剂,在酸性条件下,将有机物氧化成CO2 与H2O所消耗的氧量平;BOD5是指在水温为20℃的条件下,微生物氧化有机物所消耗的氧量;高锰酸盐指数是在一定条件下,用高锰酸钾氧化水样中的某些有机物及无机物还原性物质,由消耗的高锰酸钾量计算相当的氧量;结合其实际的测定过程,对于同一份水样三者的监测结果,应存在以下规律:COD>BOD5,COD>CODMn。三氮与溶解氧也存在一定的关系。环境中氮的存在形式根据环境条件的变化而发生变化,尤其受水体中溶解氧的质量浓度影响,一般溶解氧高的水体硝酸盐氮的质量浓度高于氨氮质量浓度,反之氨氮质量浓度高于硝酸盐氮质量浓度,亚硝酸盐氮质量浓度与之无明显关系。二氧化硫与氮氧化物之间的关系:对于以煤为主要燃料的煤烟型污染区域,其大气环境中二氧化硫体积质量大于氮氧化物,一般为氮氧化物的2~6倍。在以汽油、柴油为燃料的区域内,如马路边,交通繁忙而居民少的区域,氮氧化物体积质量则大于二氧化硫。综上所述,物质之间存在的相互关联性对综合分析监测数据的合理性起着至关重要的作用,它直观的体现出数据在分析过程是否存在分析误差,可以在第一时间分析出数据是否合理,为进一步综合分析数据提供了准确依据。
2.2.2 通过掌握的资料对监测值进行判定
对现有的数据进行综合分析,首先要了解采样地点的本底值范围,特别是例行监测或者是年度监测计划。这种工作一般情况下都是连续性的,一年或是几年,数据可比性比较好,对同一点位的数据,如个别项目变化较大,可以先将该值列为可疑数值,然后进行合理性分析。进行合理性分析,首先要了解是否有新的污染源介入,其次是采样全过程有无异常,包括水质的颜色,气味、流量的大小等。与以往数据进行比对,采样是否规范,采样的容器是否达到可用标准等。再次是实验室分析,如查找显示剂保存时间是否过期,标准曲线是否及时绘制,分光光度计是否调零等等。对于气体来说,还要考虑采样时的风向,采样仪器是否校准等。对于可疑值,在分析过程中已经知道数据是可疑的应将可疑值舍去;对复查结果时已经找出出现可疑值原因的,也应将可疑值舍去;对找不出可疑值出现原因的,不应随意舍去或保留,要对留样重新进行实验室分析或根据数理统计原则来处理。
2.2.3 通过监测项目的性质对监测值判定
在同一水样中有许多项目根据其性质可以判定相关的监测值是否正确。如总氮,是指可溶性及悬浮颗粒中的含氮量,如果同一水样监测结果出现总氮与氨氮、亚硝酸盐氮、硝酸盐氮数据倒挂,就表明监测结果是不正确的,需要重新分析找出原因;同样,还有总磷与可溶性磷以及无机磷之间数据的倒挂;大气中,氮氧化物与一氧化氮、二氧化氮,总悬浮颗粒物与可吸入颗粒物之间数据的倒挂等,都是不合理现象。同样,在噪声监测中,理论上监测数据L10 一定大于L50、L90、Leq,在实际监测中如果出现Leq 大于L10,如果不是监测数据或仪器出现问题,就是由于瞬时之间噪音值的突然增大,应当修正数据使用。以上只是列出部分项目之间的关系,还有许多项目关系需要我们在日常生活中不断总结和发现,运用到日常的环境监测综合分析中,更好地服务于环境管理。
2.2.4 通过了解污染源对监测值进行判定
监测数据是多种多样的,不仅仅包括环境空气、地表水、地下水等等,也包括点源,如我们常说的工业污染源。工业污染源多种多样,不同的行业有不同的污染物产生,多数行业都有自己的特殊污染物产生,化学需氧量和氨氮只是多数工业污染源的共性污染物。因此,要在日常工作中对辖区内的污染源或者是重点污染源有所了解,根据行业的不同,选择有针对性的监测项目来监督污染企业。如国家最新颁布执行的制药行业六项标准,就是根据制药行业不同工业生产工艺和污染治理技术的特点,分别制定了《发酵类制药工业水污染物排放标准》、《提取类制药工业水污染物排放标准》、《化学合成类制药工业水污染物排放标准》、《中药类制药工业水污染物排放标准》、《生物工程类制药工业水污染物排放标准》、《混装制剂类制药工业水污染物排放标准》。国家对这些行业制定了最多25项污染物监测分析排放标准,最少11项污染物监测分析排放标准,其中有共性的污染物,也有特殊的污染物,根据特殊的污染物是否存在,就可以判定是哪类制药行业。又如对化工行业来说,有机物含量种类较多,重金属比较少;对于重金属行业来说,有机物含量较少;造纸行业主要是有机污染等。如果在一个生产有机化工的企业,废水监测出高质量浓度的重金属,则监测数据应重新考虑,需按照综合分析方法分析其原因。
2.3 效益分析
环境监测数据有例行监测、环评监测、验收监测、监督监测等等。对于监督监测来说,分析数据相对较少,数据合理性比较好判断;而对于数据较多的例行监测、环评监测来说,在较短时间内判断数据是否准确、合理、可靠,上述综合分析方法提供了简单、明了的依据,在实际工作中能够及时为环境管理提供准确的监测信息,减少企业不必要的重复工作,在有效的时间内提供更优质的服务。
1.流量来源
从图中数据显示,该网站主要流量来源于外部链接,表明各种推广营销手段还是有一定效果的,而直接访问带来的流量却不太理想,说明该其用户忠诚度较低,需要继续加强。而搜索引擎流量的话其主要靠内容,而从该站数据看来,其内容还是比较欠缺,需要加强优化。。
2. 网站访问时段
从上图观察发现,我们可以分析出用户在上午9点-11点,下午14点-17点,这两个时段较为活跃,那么便可根据此进行推广,因为访客越是活跃,进行推广便更呕效果。同样的,在做竞价推广时,也可以此作为参考。
3. 搜索引擎分析
有统计数据可以发现,各个搜索引擎过来的流量有多少,而从该网站数据上看,该网站的主要访客来源于百度,竟然如此,该站就更加需要加强百度优化,更多的去迎合百度。
4.搜索词
通过对搜索词的查看,我们可以查看用户主要通过哪些词来到该网站,从而可根据此来对长尾关键词进行挖掘。同时我们可以发现用户是通过一些我们根本想不到的词来访问网站,通过这些词我也可作为研究用户搜索习惯的重要参考因素。
5.访问时长及跳出率
通过对访客的页面停留时间长短及跳出率,我们可以分析出用户的需求点,从而分析出哪些最终页,哪些是过度页。如此此我们就可以根据此来对页面进行优化,以及分析哪些栏目更应放在首页等。
6.浏览器访问比例
这个数据通常告诉我们应如何去设计网页,从图中可以看出浏览器中360与ie用户量比例较大。因此在我们对该网站页面进行设计或改版时,需要重点满足IE与360用户的需求,同时要保证网页在IE与360下的兼容性。