分布式数据库在应急测绘专题分析中的应用研究

作者:检测购系统     发表时间:2020-05-12 20:50:15   浏览次数:511



摘要:突发事件发生后,如何及时高效地掌握周边地理情况,支持各级应急部门抢险救灾工作,是应急测绘的重点工作之一。基于分布式数据库建设的应急测绘专题分析系统能够对应急现场周边地物及人口、法人等专题数据进行快速查询及统计,实现不同尺度、不同用户需

  摘要:突发事件发生后,如何及时高效地掌握周边地理情况,支持各级应急部门抢险救灾工作,是应急测绘的重点工作之一。基于分布式数据库建设的应急测绘专题分析系统能够对应急现场周边地物及人口、法人等专题数据进行快速查询及统计,实现不同尺度、不同用户需求的测绘应急专题数据资源服务,支撑灾情分析与应急处置。试验证明,与传统Oracle数据库相比,采用分布式数据库开展应急专题分析,效率可提升10倍左右。

  关键词:分布式数据库;应急测绘;专题分析

  0引言

  近年来,国内外学者竞相开展大数据技术研究,大多采用Hadoop技术解决订单、交易等传统结构化数据分析问题,同样,采用Hadoop技术解决地理空间大数据存储、分析问题的也不在少数

  河南大学李运兴、马骏,基于Hadoop提出了HadoopSpatial分布式空间数据库的建设思路,其思路主要是对Hive进行扩展,使Hadoop支持空间数据的分布式存储、管理与访问。并且,通过对比试验表明,HadoopSpatial性能不逊于传统空间数据库,更适合大规模密集型空间运算。

  中国林业科学研究院资源信息研究所吴琰、唐小明提出了基于HBase的分布式空间数据库技术,并采用基于GeoHash的方式构建分布式空间索引,实现了矢量与栅格空间数据的分布式存储与快速查询。

  Esri公司及超图公司在新一代GIS软件产品中,均提出以分布式数据库HBase方式存储矢量空间,并采用Spark内存计算框架实现大规模空间分析。虽然实现了矢量空间数据的分布式存储与分析,但采用HBase+Spark的方式存在以下问题:

  1)数据存储形式区别于传统的关系型数据库,不利于成果数据的版本管理与浏览,入库成本高。

  2)采用该方式存储的空间数据不能与传统制图、应急或其他应用系统快速集成,迁移开发工作量大。

  3)产品价格昂贵,且体系过于庞大,不利于大规模推广应用。

  1分布式数据库技术

  1.1分布式数据库

  应急测绘专题分布式数据库采用BiGeo大数据平台作为空间数据引擎,建立分布式空间数据库。数据库的存储模式如图1所示。

  区别于传统单节点数据库,BiGeo分布式数据库主要由管理节点(Master)、存储运算节点(Segment)、网络总线(Interconnect)三大部分组成。BiGeo管理节点是BiGeo分布式数据库的入口,仅接收客户端连接及提交的SQL语句,而后将SQL运算分发给存储运算节点(Segment实例),由存储运算节点真正存储和处理数据,并汇交到管理节点。BiGeo网络总线负责管理节点与存储运算节点及存储运算节点之间的网络通信。BiGeo存储运算节点是独立的数据库实例,每个存储运算节点存储与计算一部分数据。

  1.2分布式应急测绘专题数据库

  针对应急测绘工作需求,应急测绘专题数据来源于天地图、地理国情、地理信息共享交换库等项目,数据内容见表1。

  根据应急专题数据及服务器实际情况,并为保证数据的高可用性,每个存储运算节点创建相应的镜像备份节点。实际部署情况如图2所示。

  如图2所示,本次研究采用两台Dellx86服务器作为存储运算节点服务器,部署分布式数据库主节点及镜像节点,两台服务器数据库节点互为备份,每个数据库节点存储部分空间数据,根据服务器CPU及内存配置,每台服务器按照16个存储运算节点部署,共部署32个存储运算节点。

  由于硬件环境限制,从其中一台Dellx86服务器中虚拟出一个Linux服务器作为数据库管理节点运行环境。在实际生产环境中,可根据硬件环境情况,作为独立服务器部署。

  按照分布式数据库建设思路,应急测绘专题数据是分布在不同的存储运算节点之上。如图3所示,本次研究采用Hash分布方式,根据数据主键(oid)创建Hash值均匀分布存储数据。

  2基于分布式数据库的应急测绘专题分析系统

  2.1系统设计

  应急测绘专题分析系统采用BiGeo大数据平台作为应急测绘专题数据存储及分析基础框架,未采用其他任何第三方商业GIS地理信息软件,实现应急测绘专题数据快速存储、分析、提取等功能。

  系统采用C/S开发架构,数据库与系统分离部署运行,总体架构如图4所示。BiGeo空间信息大数据平台提供空间数据分布式存储、分析二次开发接口,本系统采用.NETC#API开发应急专题分析系统业务功能。选用开源地图桌面框架SharpMap作为应急测绘专题分析系统研发框架。应急测绘专题分析系统功能架构如图5所示。

  2.2应急测绘专题分析

  专题分析是系统的核心功能,设置灾害名称、灾害范围,选择分析对象后即可开始专题分析,快速统计灾害范围内空间要素的数量、长度、面积等指标,为应急测绘处置工作提供数据支撑。

  针对专题分析结果,可再次根据查询对象字段进行统计,并可基于字段分组,如针对建筑物数据,可根据行政区统计建筑物面积,从而提供更加专业、深层次的分析。

  3结论

  相比传统基于ArcGISSDE+Oracle空间数据库建库方式,采用分布式数据的方式进行应急测绘专题分析的效率明显提升。以4000万条地理国情地表覆盖数据(物理大小:20GB)测试裁剪操作(空间相交分析)为例,Oracle一体机测试结果见表2,本文分布式数据库方式见表3。

  从以上两表测试结果可以看出,本文采用的分布式数据库方式进行空间分析比Oracle一体机方式快10倍左右,并且随着分布式节点的增加,分析效率明显增加。

  4结束语

  本文采用分布式数据库的方式进行应急测绘专题分析,在分析效率上明显提升,可快速掌握突发事件后应急现场周边道路、房屋、河流等地表特征,快速分发地理空间要素,对应急测绘保障工作具有重大意义。基于本文研究,采用分布式数据建设地理空间数据的方式可推广应用于时空大数据库、地理国情统计分析、自然资源地理空间数据库等项目。

知网论文查重:https://www.jiancegou.cn

本站声明:网站内容来源于网络,如有侵权,请联系我们,我们将及时删除处理。

论文写作相关资讯

学术不端查重入口


检查语种:中文/英文 预计时间:30-120分钟
系统说明硕博初稿检测(一般习惯叫做硕博预审版),论文查重检测上千万篇中文文献,超百万篇各类独家文献,超百万港澳台地区学术文献过千万篇英文文献资源,数亿个中英文互联网资源是全国高校用来检测硕博论文的系统,检测范围广,数据来源真实,检测算法合理!本系统含有(学术库与源码库)。(限制字符数30万)
检查范围硕士、博士论文初稿【误差一般在3%左右,不支持真伪验证】
498.00元/篇
立即检测
检查语种:中文,英文 预计时间:60分钟
系统说明学位论文查重,维普论文查重入口:高校,杂志社指定系统,可检测期刊发表,大学生,硕博等论文。检测报告支持PDF、网页格式,性价比高!
检查范围毕业论文、期刊发表
4.00元/千字
立即检测
检查语种:中文,英文,小语种 预计时间:2小时-6小时
系统说明比定稿版少大学生联合比对库,其他数据库一致。出结果快,价格相对低廉,不支持验证,适合在修改中期使用,定稿推荐PMLC。——不支持验证!!!
检查范围本/专科毕业论文
288.00元/篇
立即检测
检查语种:中文 预计时间:60分钟
系统说明毕业论文查重,万方查重系统,涵盖期刊、学位论文、学术成果、学术会议论文的大型网络数据库;比肩中国知网的学术数据库。最多支持10万字符。仅支持中文。
检查范围学位论文
4.00元/千字
立即检测
检查语种:中文,英文,小语种 预计时间:24小时-72小时
系统说明本科定稿查重版(一般习惯叫本科终评版),论文抄袭检测系统,专用于大学生专、本科等论文检测的系统,大多数专、本科院校使用此检测系统。(限制字符数6万)
检查范围本/专科毕业论文
388.00元/篇
立即检测
检查语种:中文 预计时间:60分钟
系统说明论文查重平台,PaperPass的比对指纹数据库由超过9000万的学术期刊和学位论文,以及一个超过10亿数量的互联网网页数据库组成。指纹库是指提取的文章关键性特征信息,并非全文。
检查范围学术期刊和学位论文
3.00元/千字
立即检测
检查语种:中文,英文,小语种 预计时间:1小时-24小时
系统说明amlc查重期刊系统是杂志社专用系统,针对编辑部来稿、已发表文献、学校、事业单位业务报告、职称等论文的重复率检测系统。
检查范围职称论文/学术发表
3.00元/千字
立即检测
检查语种:中文 预计时间:2小时-6小时
系统说明格子达依托学术期刊库收录了海量对比资源,其中包括中国论文库、中文学术期刊库、中国学位论文库等国内齐全的论文库以及数亿级网络资源,同时本地资源库以每月100万篇的速度增加,是目前中文文献资源涵盖全面的论文检测系统,可检测中文、英文两种语言的论文文本。
检查范围毕业论文、期刊发表
5.00元/千字
立即检测
检查语种:中文 预计时间:1小时-24小时
系统说明万方职称论文检测系统,适用于职称发表/未发表论文查重,注:上传论文请标注发表日期,如无则使用论文正式发表时间;如未公开发表的,则用论文完成时间作为发表日期。
检查范围职称论文
6.00元/千字
立即检测
检查语种:简体中文、英文 预计时间:60分钟
系统说明PaperTime论文查重系统,拥有海量的对比数据库,总收录超过9000万的学术期刊和学位论文以及一个超过10亿数量的互联网网页数据库组成,保证了比对源的专业性和广泛性。采用多级指纹对比技术结合深度语义发掘识别比对,利用指纹索引快速而精准地在云检测服务部署的论文数据资源库中找到所有相似的片段,该项技术检测速度快、准确率高,市场反映良好。
检查范围毕业论文、期刊发表
2.00元/千字
立即检测
在线客服 返回顶部