河南省风能数据库系统建设

ISSN 1009- 3044Computer Knowledge and Technology电脑知识与技术http://www.dnzs.net.cnVol.10, No.14, May 2014Tel:+86-551-65690963 65690964河南省风能数据库系统建设张少锋.(河南省轻I业职工大学,河南郑州450002)摘要:河南省的延津,林州,三门峡,方城和新县建立了五个测风塔站,测风塔观测资料分为风能每分钟数据文件,状态监控文件和十分钟数据文件,其中风能每分钟数据文件和状态监控文件一天传输四次,十分钟数据文件一天传输一次,这三类资料都属于实时资料。为了方便预报预测部门和决策部门调阅资料,需要构建河南省风能数据库系统,将测风塔观测的实时资料进行质量控制并入库。关键词:测风塔;风能数据库;元数据;质量控制中图分类号:TP311文献标识码:A 文 章编号:1009- -3044(2014)14 -3236-04The Construction of Henan Province Wind Database SystemZHANG Shao- feng(Henan Provincial Atmospheric Probing Technical Support Center, Zhengzhou 450003, China)Abstract: Five observing- wind stations were built in Yanjin, Linzhou,Sanmenxia,Fangcheng and Xinxian in Henan province.Wind resources observation data is divided into wind data per minute fle,tus monitoring file and wind data per ten minutesfile.Wind data per minute file and status monitoring file are transmited four times one day, wind data per ten minutes file aretransmited three times one day.These files are belonged to real - time data.In order to forecasts prediction departments and deci-sion-making departments acessing to information,Henan province wind database system is constructed and wind real- time dataare quality cotrolled and into database.Key words: observing - wind station; wind database; metadata; quality control1系统概述为了节约能源,建立可持续开发的风电项目,在现有风能资源普查工作的基础上,进一步展开河南省风能资源详查和评价工作,在河南省的延津,林州,三门峡,方城和新县共建立了5个测风塔站。依据《测风塔风能观测系统技术要求》,河南省测风塔观测资料属于实时传输资料,基本上每天传输--次(分钟统计项目文件和状态文件每天四次,分钟统计项目文件根据需要可以加密,而状态文件不进行处理)。对测风塔观测发送的各项数据进行质量控制、处理是构建风能数据库系统的目的。风能数据库系统系统的构建不仅为风能资源的详查和评估提供了数据支持,而且还建立了数据共享平台,给用户使用提供了统一的接口。2系统结构河南省风能数据库系统由通信系统分发资料,数据处理系统预处理和数据人库3个功能模块组成。2.1通信系统分发资料河南的5个测风塔:延津测风塔,林州测风塔，三门峡测风塔,方城测风塔和新县测风塔通过移动的GPRS线路将风能分钟数据文件,风能状态监控文件和风能十分钟数据文件发到河南省信息中心风能服务器172.18.152.34上。通信节点机172.18.152.13以FTP方式从风能服务器上获取文件,一方面将 文件传到省新- -代服务器10.69.72.30上,后上传主站;一方面将文件分发到风能数据库服器10.69.3.7的/workspace/workspace_ _DB/inpu/L1 1_ swap 目录下，进行质量控制后入风能省级数据库。2.2数据处理系统预处理数据处理系统对风能数据进行质量控制或者进行统计加工。以风能实时数据为例:运行在风能数据库服务器10.69.3.7的脚本,将风能十分钟数据文件复制到/vorkspace/workspace DBinput/L12_ swap目录下。测风塔质量控制程序读取/workspace/work-space_ DB/input/L11. swap目录下的风能分钟数据文件,进行质量控制,质量控制后的文件放到/workspace/workspace_ DB/input/pro-中国煤化工TYHCNMHG收稿日期:2014-04-223236a数据库与信息管理ee本栏目责任编辑:代影第10卷第14期(2014年5月)Computer Knowledge and Technology电脑知识与技术cessed/SURF_ BOU_ CHN_ _MUL_ FTM_ _WER_ L11 目录下;质量控制程序读取/workspace/workspace_ _DB/inputL11_ swap目录下的风能十分钟数据文件，进行质量控制，质量控制后的文件放在/workspace/workspace_ DB/input/processesdSURF_ BOU_CHN_ _MUL_ FTM_ _WER_ L12目录下。2.3数据入库2.3.1 实时观测资料入库测风塔观测资料分为风能每分钟数据文件,状态监控文件和十分钟数据文件,其中风能每分钟数据文件和状态监控文件--天传输四次,十分钟数据文件-天传输- -次 ,这三类资料都属于实时资料。风能数据库系统对十分钟数据文件和每分钟数据文件进行人库。.以风能的实时数据为例:测风塔质量控制程字读取读/workspace/workspace_ ,DB/inpu/ L12_ swap目录下的风能十分钟数据文件,进行质量控制,质量控制后的文件放到/workspace/ workspace. DB/input/processed/SURF_ BOU _CHN_ _MUL_ FTM_ WER L12目录下。入库程序读取该目录下的文件,人到风观测十分钟观测数据数据库的WSUL12_ 2表中。人库的资料供用户通过网站等方式进行调阅,也可以进行归档生成归档文件。2.3.2 气候背景资料入库气候背景资料主要包含历年逐月常用的气象要素、历年逐月天气日数.历年逐月最多风向及频率、历年逐月各风向及频率、常用气象要素标准气候值、天气日数标准气候值最多风向及频率标准气候值、历年逐月各风向频率标准气候值、地面观测逐小时风数据和地面观测风日极值数据。以历年逐月常用的气象要素为例。2.3.3其他风资源资料入库其它风资源资料包括数值模拟产品和风能资源评估信息两大类。其中数值模拟产品包括数值模拟月平均数据文件、数值模拟年平均数据文件、数值模拟全年风向频率、数值模拟全年风速频率分布、数值模拟全年风能频率分布、数值模拟全年风能密度方向频率、数值模拟范围表;风能资源评估信息子库包括观测年度平均风速年变化表观测年度平均风功率密度年变化表、各月(年)平均空气密度表、观测年度平均风速日变化表、观测年度平均风功率密度日变化表年各风速等级频率表、年各风速等级小时数表、长年代平均风能参数估算结果表、参证站50年- - 遇10分钟平均风速表、测风塔50年- - 遇10分钟平均风速及风资源等级表、月(年)各风向频率分布表、月(年)各风向风功率密度百分率表湍流强度年变化表、湍流强度日变化表、风速垂直切变指数表、年度风能参数表、Weibull分布曲线参数表、详查区域风能资源储量、参证站观察年度风速年景表、风能评估报告中的图。3系统安装及配置3.1安装环境需求要求数据库服务器的CPU:2颗Xeon5270( 3.5GHz);内存为: 16GB DDR2;内置磁盘: SATA II 2.0TB; 集成双千兆以太网。操作系统为Turbolinux,系统上应没有安装过Mysql和Tomcat应用服务,保证系统无其它应用占用3306端口和8090端口。3.2 安装步骤系统安装建管理库建风能数据库Javal.6tar.gzTomcat Server风能数据库管理数据库应用程序表安装图1按上图步骤安装完成后,Tomcat服务和Mysql会自动嵌人系统“服务”中,系统会自动启动Mysql和Tomcat服务进程。建立用户sysadmin,用于管理数据库及风能数据库的管理。加载管理数据库;然后用feng用户创建风观测数据子库,建立数据库表如下:表1数据项表名测风塔年各风向频率文件WSU410风观测风温湿压原始采集数据文件WSUL01风观测超声风原始采集数据文件WI1102测风塔分钟观测数据中国煤化工风观测十分钟观测数据YHCNMHG测风塔逐时年平均风速文件WSU412本栏目责任编辑:代影eeees数据库与信息管理田3237Computer Knowledge and Technology电脑知识与技术第10卷第14期(2014年5月)测风塔气压年值WSU403测风塔温湿风月值WSU405风观测状态监控数据文件WSUSTA测风塔气压月值WSU402风观测地方测风塔数据WSU001测风塔月各段风速频率文件WSU407测风塔气压日值WSU401测风塔月各风向频率文件WSU409测风塔温湿风年值WSU406测风塔温湿风日值WSU404测风塔年各段风速频率文件WSU408测风塔逐时月平均风速文件WSU411建立用户qxj,该用户用于风能数据库的管理。3.3系统配置风能资源数据库主要由配置文件Project.xml,Meta.xml,Task xml和元数据xml完成系统的配置工作。下 面介绍这几类文件的配置Priject.xml 的配置文件存放在/workspace/tomcat/webapps/qxj/WEB-INF/conf目录下,是整个系统的基础配置,如系统安装路径、数据库安装路径等。河南省风能数据库系统的安装路径为1workspace/workspace _DB/, 采用mysql数据库,建立了数据库管理员用户root,风能资源数据库用户feng.2) Meta.xml的配置Metaxml是对风能资源数据库系统的元数据进行配置，每- -个元数据的配置文件均须通过该文件进人配置。该配置文件位于/workspace/tomcat/webapps/qxj/W EB-INF/meta下。3)元数据.xml的配置元数据:xml是- - 个元数据一个配置 文件,当前的文件名标准是数据集ID.xml;该配置文件描述了元数据的人库流程归档流程、表字段等信息。元数据的配置文件包括以下要素:(1) metadata元素(元数据基本信息)描述元数据的基本信息,包括元数据的数据集ID,数据集中文名称和英文名称,元数据的存放类型和元数据分组信息。(2) Metabatch元素(元数据人库流程)描述元数据的数据人库处理过程,该元素配置人库的数据流程,读指定格式的文件名、目录。写人指定格式文件名、目录。入库流程包含-一个metajob,而- - 个metajob可以包含多个人库步骤metastep。- - 个人库步骤metastep包含一个任 务节点metatasklet,而一个任务节点包含阅读器( metareader)、处理器(melaprocessor)、写 人器(metawriter)。任务节点包含引用的任务类的名称。阅读器说明了引用的任务类的名称,读取文件的路径和读取文件的名称。处理器是数据人库过程中读取和写人中间,进行质量控制码统计的过程。处理器包含引用的处理器的实现类和处理器的规则例如使用脚本实现。写人器是将经过阅读器或处理器处理的记录,写人到目的地中。它包含引用的写人器的实现类,写入的路径、文件名称,写入器的规则例如使用脚本实现。(3) meta-archive(元数据归档流程)描述元数据归档的处理过程;归档的流程的属性同元数据人库流程。(4) table(表)一个元数据可以有多个表元素,表元素包括:表名称,中文表名称,说明等。-一个表可以包含多个字段,包括字段名,中英文名称，别名,单位，字段值,顺序，字段长度,是否为空,数据类型等。可以通过table的table-pk属性设定主键,通过table-index属性设定索引。4系统质量控制依据《测风塔风能观测系统技术要求》,我省测风塔观测资料属于实时传输资料(L11每天四次,L12每天一次),相应的各项数据质量控制、处理工作也为每天启动四次和-一次。但因不同测风塔资料可能存在补报、累计多日资料集中上报等情况,仍属于非实时传输资料。同时测风塔各时次资料并不按观测时点实时上传,其相应实时质量控制仅在测风塔内资料收集过程中进行过,故质量控制过程需要同时进行实时和非实时的质量控制处理。测风塔观测资料质量控制采用模块化结构设计,测风塔列表、参考站定义、处理中国煤化工件路径等参数统-保存在参数文件中,模块部分实现所支持功能的检查和处理方法，参数部分另外:YHCN M H G求。其中测风塔列表文件taions.t定义了我省测风塔的编号,塔名,塔经纬度,海拔高度等信息。所有模块均从指定文件路径获取所需要处理的数据,并将处理结果保存到指定路径。测风塔观测资料质量控制及处理功能3238a数据库与信息管理em本栏目责任编辑:代影第10卷第14期(2014年5月)Computer Knowledge and Technology电脑知识与技术自行管理内部数据文件保存区以优化运行效率。其中配置文件为working paths.ini,该配 置文件位于F/workspace/workspace_ DB/in-put/目录下。该配置文件设定了质量控制程序读取原始文件的目录LI1_swap.L12._swap,质量控制后输出文件的目录LI1._write、L12_ _write测风塔资料数据集的生成和统计加工工作在相应质量控制任务完成后进行,统计加工软件同样由任务调度软件定时启动,并需要根据前期资料到达和处理情况,自动进行补报资料的处理和统计。5结束语河南省风能数据库系统投入业务运行至今,用户可以通过访问本系统,获取风能数据.对我省风能数据的共享服务提供了后台技术支撑,为风能数值模拟资源评估等业务和服务提供良好的数据存储和共享支持,具有重要的意义。参考文献:[1]艾艳.风能资源观测数据省级传输系统[].气象与环境科学20104);.74-79.[2]王国复,徐枫,吴增详气象元数据标准与信息发布技术研究[].应用气象学报2005(16):114-121.[3]吴增祥,臧海佳,王国复.气象科学数据与气象数据集元数据:科学数据管理与共享[M].北京:中国科学技术出版社,2002.186-189.[4]李泽椿,朱蓉，等风能资源评估拘束方法研究[].气象学报,207,65(5):708 -717.[5]张鸿雁,丁裕国,等湖北省风能资源分布的数值模拟J].气象与环境学报2008.24(3);33- -37.(_上接第3232页)3结束语云时代已经到来,大数据已经无处不在并已爆炸式发展,数据安全风险是“云”进- -步 发展壮大的障碍,所以数据安全更是值得深究的一个方面,当数据安全(包括数据恢复)得到强有力保障的时候,云的发展必定更加快速稳健。[1]徐成俊.云计算实用技术[M].兰州:甘肃人民出版社，,2013.[2] WANG Chenxi,PENN J,HERALD A.How Secure Is Your Cloud?Forrester Research ForSecurity& RiskProfessionals[EB/OL]. [2009-08-03].3] Wei-Tek T,Peide Z,Balsasooriya J,etal. An approach for service copposition and thesting for cloud copmputing[C//Autonomous De-centralized Systems(ISADS),201 110th INTERNATIONAL Symposium on.Japan:Tokyo,2011:631-636.[3]边根庆.面向分散式存储的云存储安全架构[J]西安交通大学学报2013.6145);44.[4]项菲新的基于云计算环境的数据容灾策略[]通信学报,2013,6(34).[5]孙勇.面向云计算的键值型分布式存储系统研究[小电子学报2013,7(4);: 1409.[6]秦军.HDFS的多安全级数据销毁机制设计[J.计算机技术与发展，2013,3(23):131.[7]冯锐,王磊.如何恢复Linux上删除的文件第3部分[EB/OLJ.2012-04-04]. htt/ww.i.co/developerworks/c/ix /l-cn-files-c3.[8]刘云龙.面向安全风险的云计算测试技术研究[].微电子学与计算机,2013,6(30);:17-18.中国煤化工MYHCNMHG本栏目责任编辑:代影======数据库与信息管理相3239