基于联机分析处理技术的数据分析

基于联机分析处理技术的数据分析Data Analysis Based on OLAP封玲' 欧阳红2Feng Ling Ou Yang Hong(1.深圳大学物理科学学院,深圳518060; 2. 南昌大学理学院，南昌330031)(1.Schoo1 of Physical Science, Shenzhen University, Shenzhen 518060;2.School of Science, Nanchang University, Nanchang 330031)摘要: 提出了基于联机分析处理技术的一种数据分析方法，并以教学数据为例，介绍了教学数据分析与处理的设计方案，以及在分析处理过程中数据转换问题的处理方法和联机分析处理的结果。关键词:数据分析;联机分析处理;数据转换中图分类号: TN919.5文献标识码: A文章编号: 1671-4792-(2007)5-01 60-03Abstract: Digest. This paper comes up a solution for the data analysis, based on the technology of On-1ineana1ytical processing. It not on1y describes the design of the teaching data analysis, but also offers someexamp1es of the data transform and shows the result of the on -1ine analytical processing.Keyword: Data Analysis; On -1ine Ana1ytical Processing; Data Transform0引言表是用于表述教学效果这- -主题，可以从教师、学生、时间数据分析是为了发现隐藏在大量数据背后有价值的信和教材四个维度来汇总和分析教学数据,用以描述教学效果息，目前突出的问题不是无法得到数据，而是应使用何种方的数值度量为考试成绩。法进行分析和处理数据，以充分利用这些数据得到有用的信教材维度表学期维度表息.联机分析处理(On-1ine analytical processing, OLAP)教材ID学期ID可以极大地提高数据分析和处理的能力。我们采用0OLAP技教材类型教学事实表年教材名学期术，对大学物理公共课程的教学数据进行分析。学期描述大学物理课程教学内容规范化、稳定化，考核标准也达教师ID到-致化,并具有大规模较为全面的教学数据。该课程是公教师维度表主修学生ID共基础课程,上课的学生数量多，专业覆盖面广，而且承担考试成绩教学任务的教师相对较多,这些对于教学状况的及时掌握与学生维度表评估,难度较大。采用联机分析处理技术在已有的大量教学学位生修学生R称数据的基础上,建立合适的维度模型,提供给用户多维度多姓名系名层次的分析，对于及时准确掌握教学状况、把握教学质量、项目数专业论文数班级合理配置师资等都有着重要意义。1维度模型设计图一星型数据仓库模型维度模型设计是0LAP分析实施的重要- -环, 可提供给用2联机分析处理户-个感兴趣的多维视图,包含事实表和维度表。维度模型2.1数据源结构是围绕着用户所关心的主题来组织数据,该主题用事实表表基于联机分析处理技术的教学数据分析,其维度模型建示,事实表包括每个相关维表的关键字和数值度量.维度是立在原有的学生信息数据库(图二(a) )、教工科研信息数据人们观察数据的特定角度。库(图二(b) )和教务管理数据库(图二(c) )三个数据源基基于联机分析处理的教学数据分析维度模型采用的是星础上。中国煤化工FoxPro 数据库和型结构，如图一所示，包含-张事实表和四个维度表。事实saL Ser!YHC N M H GPTS抽取工具,分别79科技广场20075从这三个数据源中抽取相关教学数据,将多年来大学物理课OLAP多维度分析程的考试成绩数据、以及相关的教师数据和学生数据,按照维度模型集中存放在SQL SERVER 2000数据库中,实现面向教学业务分析主题的数据集成、存储和管理。采用OLAP工具实现专门针对教学效果、教师课时量和课程选修情况等多维教学数据分析度的分析。维度模型收据ETL| 学生信息数据库教师科研信息库 教务信息数据岸文本文件|VisualFoxproSQL SERVR图三教学数据分 析的体系结构(a)学生信息库结构类型存在不同，一般只要知道数据结构信息,完成源数据结构到目的数据结构之间的映射就可以了，而无需关心数据内容及其含义。例如系统实现过程中为解决“学生维度表”数据转换时所遇到的源数据和目的数据的字段名冲突和数据类型冲突的问题，则可直接将源数据字段(单位、系名)与目的数据字段(学院、系别) -- -对应， 若其数据类型不一-致，可运用数据类型转换函数(如cstr( )等),进行类型转换。以下是用于实现“学生维度表”中“学院”、“系别”和“学(b)教师科研信息库结构号”三个字段数据转换的Microsoft DTS ActiveX转换代码:课程信息表选评成绩表学生信息表+Function Main()DISDestination("学院") = trim (DISSource("单位"))青程名年DISDestination("系别") = trim(DTSSource("系名"))DISDestination("学号") = cstr (DISSource("学号"))Main = DISTransformStat OKEnd Function口建学生题语义异构比语法异构要复杂得多，往往需要破坏字段的(c)教务数据库结构原子性,即需要直接处理数据内容,语义异构往往需要多步图二数据源结构骤转换。例如在进行“教师维度表"的“论文数”和“项目2.2体系结构数"字段转换时，所遇到的是源数据字段(论文题目、项目基于联机分析处理技术的数据分析体系结构大体可以分名称)和目的数据字段(论文数、项目数)在字段内容上的为三部分，如图三所示。后台是数据获取层，完成从数据源转换，其转换要分为两个步骤:系统将相关的教学数据抽取、转换和装载到多维模型数据仓(1)先将数据源中的字符类型字段“论文题目”和“项库的工作;中间层是数据存储层，完成数据的组织、存储和目名称”分别转换成临时表一“教师临时维表” 中的整型计算引擎的功能;前端是数据展现层,使用OLAP 分析工具字段“论文数”和“项目数”，其ActiveX 转换代码如下:进行数据分析，并将分析结果以图表方式展示。2.3数据转换if DTSSource(" 论文题目")o"" then系统采用Microsoft DTS作为数据抽取工具，负责完成DTSDestination("论文数") =1数据从数据源向目标数据库转换的过程,这是实施0LAP维度e1se模型的重要步骤。在进行数据转换工作时，会遇到数据源异DTSDestination(" 论文数") =0构性问题，异构性的主要难点表现在语法异构和语义异构上。中国煤化工名称"))0”. then语法异构一般指源数据和目的数据之间命名规则和数据YHC NMH G") =lelseDTSDestination("项目数") =0优的比河良的比所中的比传差的比的end ifMain = DTSTransformStat _OK1994 0.160.14 0.39、 0.02基End Function1995 0.1 0.45 0.39 0.02(2)然后再进行-次转换，将“教师临时维表"中的19960. 180.52 0.28 0.02机整型字段“论文数”和“项目数”按“姓名”字段分组后再1997 0.170.51 0.29 0.03求和，最终完成目的数据字段“论文数”和“项目数”的转19980. 130.52 0.32 0.03换。其SQL代码为:1999 0.16 0.42 0.38 0.05SELECT distinct SUM(论文数) AS论文数. suN(项目20000.05 0.28 0.59 0.09数) AS项目数FROM 教师临时维表GROUP BY姓名20010.05 0.34 0.49 0.12|的2.4分析结果采用Business 0bject 公司的B05.0作为OLAP引|擎和前20020.05 L 0.280.57 0. 10端展示工具，可以从SQL标准数据库中提取数据，并对所提20030.07 0.33 0.54 0.06析取的数据进行深人分析和加工(如钻取、旋转，切片和切块)，最终共享分析报表。应用OLAP技术可对学生成绩进行图三0LAP分析结果(b)多维分析。3结束语(1)不同教师教学效果情况分析文章介绍了基于联机分析处理技术的教学数据分析与处将教师按职称、学位、教龄.教研状况进行分类,根据理的方案设计与实现，并对大学物理课程的教学数据进行分每项分类0LAP可进行教师教学效果情况的分析，从而得到不析.该分析处理方法弥补了传统教学评价方法的不足，可多同职称、学位、教龄和教研状况教师教学效果情况的比较。角度、多层次、准确迅速总结教学效果的状况,最终达到促如图三(a)所示，从教师职称与考试成绩的分析图表中，可进教学质量提高的目的。采用联机分析处理技术对大学物理以直观反映出职称与教学效果的关系。课程的教学数据在其他方面的分析应用还有待于今后进步(2)不同时间段教学效果情况分析的研究，同时该数据分析方法还可用于其他公共课程的教学OLAP可按时间，如学期、学年,对教学数据进行切块,数据分析.可反映出不同时间段内的教学效果情况,从而可以得到不同时间段内实施的教学政策或教学改革措施对教学效果产生的参考文献影响。如图三(b)所示,从考试成绩按学年的分布表中,可[1]Ralph Kimbell, Nargy Ross. The Data Warehouse以看出2000年以后学生成绩有所下降,而高校扩招政策正是Toolkit: the Complete Guide to Dimensional Modeling从2000年开始实施,因而可引导学校决策部门及时进行原因M.北京:电子工业出版社, 2003.分析，以解决问题。[2]陈跃国,王京春.数据集成综述[] .计算机科学,2004(3)其他因素对教学效果的影响年,31(5) :48.还可通过教材、修课学生等维度进行教学效果的分析,[3]王珊.数据仓库技术与联机分析处理[W].北京:科从而辅助教学管理部门及时掌握教学状况，合理进行相关教学出版社，1999.学政策的制定。作者简介封玲(1972-),女,硕士研究生,主要研究方向:数据库、数据仓库;0.400.350.300.0F的比何只的1比何的比例0.050.00 副教视代的比剪中国煤化工图三OLAP 分析结果(a)MYHCNMHG__81