移动互联网产业发展(移动互联网的产业模型包含)
互联网小常识:废弃或待消磁介质转交他人时应经管理部门消磁处理。
(图片源自网络)
时空大数据概念
1、时空大数据的概念
时空数据是兼具时间和空间属性的数据,包含了时间、空间、专题属性等三维信息,在现实生活中,80%的数据均直接或间接的具备时空属性。当时空数据的数据量具备一定规模时,即可定义为时空大数据。
2、时空大数据的基础特征
时空大数据呈现出海量、多源异构、动态多变等基础特性。所有数据都是在特定的时间和空间背景中产生的,且直接或间接地被贴上时间和位置标签。因此,广义的大数据从本质上可以认定为与时空大数据同等属性,它是现实地理世界空间结构与空间关系要素中具有(现象)的数量、质量、时间变化特征的数据集的总和。
所以,时空大数据具有时间、空间、属性三个维度的信息特征,同时也具备与大数据相同的海量数据规模、快速数据流转、多样数据类型和价值密度低四大特征。
互联网小常识:设计一个网络安全方案时,需要完成以下四个基本任务:(1)设计一个算法,执行安全相关的转换(2)生成该算法的秘密信息(如密钥)(3)研制秘密信息的分发和共享的方法(4)设定两个责任者使用的协议,利用算法和秘密信息取得安全服务。
3、时空大数据的价值
时空数据正日益成为现代化治理能力、经济运行机制、社会生活方式以及各行业领域发展的核心驱动力。
利用数据挖掘技术能够在统一的时空基准下从事物的空间、时间、动态三个维度去寻找规律,在海量大数据中挖掘出有用的信息,探索数据之间潜在的关联,客观的分析出隐藏的容易被忽略的因素,并提供给决策者时空大数据的增值应用。
4、时空大数据的类型
目前,从数据源的物理载体角度来分,时空大数据可分为时间与空间基准数据、卫星导航轨迹数据、大地/重磁测量数据、RS(遥感影像)数据、GIS数据、空间媒体数据等类型。
1.时间与空间基准数据:时间基准数据包含守时/授时/用时等系统提供的时间数据;空间基准数据包含大地坐标基准、高程和深度基准、重磁(重力、磁场)基准等数据。
2.卫星导航轨迹数据:通过北斗、GPS、GLONASS、Galileo等卫星导航系统获得用户的运动数据(时间+位置),能够用于分析用户位置、状态、交通场景、社会偏好等情况。包括个人轨迹、群体轨迹、交通轨迹、信息流轨迹、物流轨迹、资金流轨迹等数据。
3.大地测量与重磁测量数据:包括大地控制数据、重力场数据、磁场数据等。
4.遥感影像数据:包括卫星遥感影像、航空遥感影像、地面遥感影像、地下空间和管线分布等感知数据、水下声纳探测等数据。
5.地图数据:包括各类地图、地图集数据,以数字化形式描述的空间地理数据及其属性。
6.空间媒体数据:指具有空间位置特征、且随时间变化的数字化图形、图像、声音、视频、影像等媒体数据。
2、时空大数据产业现状
2015年9月国务院印发《促进大数据发展行动纲要》,系统部署大数据发展工作,数据已成为国家基础性战略资源。2020年我国的大数据市场规模将超过万亿,预计2025年将增至48.6ZB,我国大数据行业正迎来发展的黄金时期(见图1)。
时空大数据与卫星导航行业、测绘行业、地理信息技术行业、位置服务行业、遥感图像处理行业等多个细分行业存在相互包含或交叉重叠的关系,可分为广义时空大数据和狭义时空大数据。
广义的时空大数据产业由上游的数据获取、中游的数据处理、下游的信息服务与应用,以及贯穿整个产业链的硬件制造和软件开发组成。而狭义的时空大数据只是中游的数据存储和处理。时空大数据产业链组成如图2所示。
上游基础支撑层:为时空大数据行业提供硬件支持,包括卫星导航设备、遥感测绘装备、测量载体制造业、网络系统设备制造业和服务业、数据存储装备制造业、设施及服务提供商。
中游数据资源层、软件服务层:产业链的核心部分。从卫星导航、遥感测绘、物联网、互联网等渠道获取海量时空大数据,通过对数据进行传输、清洗、存储、分析、加工、应用等,产生对下游用户有价值的数据资产,该部分是整个产业链的增值重点和技术发展难点。
下游应用层:是时空大数据的消费方,指政府、厂商、公众等。具体可包括位置服务提供商、地理公共信息服务提供商、物联网与智慧物流用户、政府智慧城市系统及政务大数据系统等。
随着应用场景不断被发掘,时空大数据的应用创新了很多商业模式,并创造了可持续的社会经济价值。
时空大数据的技术框架
(一)技术框架
1.总体架构
时空大数据框架主要是基于大数据技术、地理信息系统技术、卫星导航定位技术、卫星遥感技术、计算机和通信网络技术,面对海量多源异构的时空数据资源进行数据挖掘和分析处理与服务应用处理,面向多行业、多场景、多应用,提供多维动态时空信息服务的跨平台、可伸缩的框架(见图3)。
从产业链方面考虑,时空大数据框架主要包括处于产业链上游的时空基础设施,处于产业链中游的时空大数据平台和平台支撑环境,以及产业链下游的时空大数据应用。其中,时空大数据平台是时空大数据框架的重要组成,主要汇聚时空基础设施提供的海量时空数据资源;依托云计算环境中的计算资源、存储资源、网络资源、安全系统形成时空大数据中心;利用特征提取、模型匹配、特征关联、协同分析等技术挖掘时空大数据价值及其隐含价值,进而实现数据的应用价值。
2.时空基础设施
时空大数据框架的实现需要时空基础设施的支持,PNT(定位Positioning、导航Navigation、授时Timing)传感器是时空基础设施的基石,是人们得以在纷繁信息中准确描述时间和空间的关键要素。针对单一PNT传感器技术在安全性、可用性、连续性和可靠性等方面的不足问题,为了建立时空大数据体系,需搭建以北斗为核心、多机理PNT传感器互相补充与备份、多源时空信息深度融合的时空基础设施,以稳健的时空基础设施为支撑,实现基于时空大数据的多元化应用(见图4)。
根据应用场景,可将时空基础设施分为以下三种。
(1) 空天、深空时空基础设施。面对无线电信号微弱、载体动态高、运行环境恶劣等复杂情况,以北斗(北斗漏信号)为核心,利用惯导、脉冲星、VLBI、星图匹配等技术手段实现 PNT自适应深度融合定位方法及时间维持方法。
(2) 室内、地下时空基础设施。室内、地下时空基础设施主要包括Wifi、iBeacon、IMU、摄像头、5G、激光雷达等,利用这些基础设施的融合定位技术,可实现室内、地下的高精度、高连续、高可靠定位。
(3) 水上、水下时空基础设施。水上、水下时空基础设施包括北斗系统、声学定位系统、惯导系统、多波束测深声呐、浮标潜标等,基于各个传感器的优化组合方式,建立多传感器数据统一时空基准,实现不同场景不同工作模式下传感器间的自适应优选,采用卡尔曼滤波技术实现多波束地形匹配、重力场匹配、地磁匹配和光学图像匹配多源信息融合,与长基线、多波束测深仪同时完成惯导系统的位置校正。
基于多场景下的时空基础设施,充分考虑不同时空基础设施的特点、应用需求与场景约束,利用自适应信息融合技术,构建一种高保真的空天地海一体化时空基础设施体系。
3.时空大数据平台
时空大数据平台主要由云计算环境、时空大数据中心和服务资源池组成。
(1) 弹性云计算环境
云计算环境为时空大数据集平台提供了IT基础设施,对计算资源进行统一管控、形成资源池。由云计算中心管理平台的调度系统统一协调,并可根据实际需要,为云资源用户分配使用配额。云计算环境的架构如图5所示。
互联网小常识:网络需求详细分析包括:网络总体需求分析、综合布线需求分析、网络可用性与可靠性分析、网络安全性、以及分析网络工程造价估算。
云计算环境可智能交付的IT能力包括以下三点。
第一,计算能力(虚拟机)。云数据中心管理平台可在几分钟内完成用户定制的虚拟机实例的创建。同时可以提供一组虚拟机实例,比如论坛、博客模板。
第二,存储能力。计算能力的存储不再受本地硬盘的限制,云平台可以根据需求在数十秒的时间内交付一个拥有数百G容量的块存储设备。交付容量上取决于整个数据中心的共享容量。同时提供二级存储,用于存储用户的ISO、模板镜像,提高静态模板的读取速度。
第三,网络能力。提供丰富的网络拓扑结构、简单模式、路由模式、内部网络模式,满足用户搭建局域网的需求。路由模式提供DNS、NAT、DHCP、端口映射、VLAN、虚拟防火墙等网络服务。
(2) 时空大数据中心
时空大数据中心是时空大数据平台的核心,主要完成海量时空数据存储、大规模数据计算、快速数据分析等工作。通过面向时空大数据的时空分布、关联分析、深度学习、机器学习等技术,深入挖掘潜藏数据背后的知识与规律,提升时空大数据的价值。时空大数据中心的总体架构如图6所示:
面对海量异构的时空数据需求,时空大数据平台针对数据的不同特征提供多种接入方式及中间件实现海量异构数据的接入及标准化,并对多种类、多来源的全业务流程数据进行层级化的抽取、清洗、过滤等数据预处理。其中,按照数据来源可分为FTP、WebService、数据库、消息等。结合数据来源以及数据应用的需求,使用不同的工具对数据进行接入。
(3) 丰富的服务资源池
服务资源池是时空大数据平台数据价值升华的关键,是平台与用户之间的纽带。通过丰富的服务模块组合与配置,对第三方提供二次开发API接口,实现时空数据服务的共享。
如图7所示,服务资源池包括了数据引擎、知识引擎、业务引擎、GIS引擎,各引擎均通过接口调用的方式向用户提供服务。服务提供的接口包括有Restful接口、推送接口、地图服务接口。
Restful接口:主要的服务访问方式,可实现对时空数据、知识、业务信息的查询、增加、修改、删除等操作。
推送接口:用于对实时性要求较高的数据,支持将系统数据按照用户权限进行推送。
地图服务接口:用于用户的地理实体数据、影像数据、高程模型数据以及三位模型数据的访问。包括WMS、WMTS、WCS、CSW等多种标准服务接口。
数据引擎:提供基础时空数据、公共专题数据、地理信息数据、终端感知数据、政务数据、民务数据、互联网数据、本地扩展数据等数据的高效访问及管理。
知识引擎:通过大数据分析形成的专题信息时空分布规律、关联规则和时空演变等潜藏在大数据深层的规律和隐性联系,池化为知识服务。完成对数据的深度挖掘,进而获取有价值的知识。具体包括分析引擎、推演引擎、业务知识链。
分析引擎:基于时空大数据挖掘分析,通过统计分析、数据特征提取、关联分析、聚类分析等技术,建立实时分析模型库。
推演引擎:采用决策树、人工神经网络等技术,建立预测推演模型库,实现时空数据的预测与推演。
业务知识链:基于分析引擎及推演引擎,结合用户业务实际,形成智能化知识链,在用户使用中自适应调整与完善,实现知识链的丰富与扩充。
业务引擎:按照业务的逻辑和流程规则,建立不同业务流程模型,可通过业务服务接口调用实现业务流程的自动流转。具体功能包括业务规则管理、运行服务管理以及运行监控管理。实现了业务审批模块的工作流元模型,实现了审批流程节点、节点类型和角色类型及其之间相互联系的自定义逻辑处理。
4.平台支撑环境
平台支撑环境将完成系统安全保障及服务监测功能。通过对时空大数据平台各模块运行情况的监控、模块间数据流转监控、外部对服务接口的调用监控,实现快速系统异常识别以及系统动态扩容。
——安全保障:包括Web安全、虚拟化安全、数据安全、访问控制、安全审计、服务限流、熔断及资源安全隔离等安全模块。
——运行监测:实现平台运行情况监测管理功能,实现对平台自身运行情况、各组件运行情况和各模块运行情况进行实时监测、阀值预警、处置情况跟踪等功能。同时,保证资源开销和集群规模保持线性增长的关系,有效降低服务管理为平台带来的开销。
(二)关键技术
1.统一时空基准
时空基准建设是政治大国、经济强国和军事强国的重要基础建设和重要标志。实施军民融合国家战略,需要加强时空基准建设,确保领土、领海、领空安全,需要空天地海一体的时空基准保障。因此,统一的时空基准是时空大数据平台运行的前提,只有将时空大数据建立在统一的时空基准下,才能够真正构建空天地海一体化的时空大数据智慧化应用体系。
时空基准是包含了地理空间的几何信息和时空分部信息的地球三维立体模型,以数据的形式表示各种地理要素在真实世界的空间位置及其时变的参考基准。我国自主建设的北斗卫星导航系统是统一时空基准建设的重要依托,因此,建立以北斗卫星导航为核心的新一代天地一体、无缝覆盖的时空基准是时空大数据技术的核心关键。
空间基准。我国2008年启用的新一代国家大地坐标系CGCS2000属于地心大地坐标系统,该坐标系统的采用支撑了我国北斗卫星导航系统的建设和应用,同样满足全球航天遥感、海洋监测及地方性测绘服务的坐标参考基准需求。因此,以北斗位置作为空间基准,可以满足各行业用户对高精度、快速、实时时空大数据服务的要求。
时间基准。北斗作为现阶段授时精度最高、应用前景最广泛的授时手段,可实现标准时间大范围、高精度、全天候的播发,满足时空大数据应用过程中对统一时间基准的需求。因此,时间基准采用北斗时(BDT),它是一种原子时,以国际单位制(SI)秒为基本单位而连续累计,不用调秒的形式,历元为协调世界时(UTC)2006年1月1日0时0分0秒,采用周和周内秒的计数形式。
2.时空大数据挖掘
随着北斗三号的全面应用,时空信息在人们身边的作用越来越大,指示时空服务的需求越来越广泛,公众的出行需求以及政府的监管需求都需要精细化、智能化的时空服务。目前,很多省、市政府部门和企业已经开展了基于北斗的时空大数据平台的建设工作,包括建设交通数据大数据中心以及地基增强系统等。为了充分发挥时空大数据的服务作用,需要对时空数据进行挖掘,主要包括整合分析、训练预测以及可视化表达。
时空数据的整合分析主要包括两类,一类是面向轨迹点集数据的整合分析,如轨迹匹配(包括网约车人车路线匹配、雷达回波轨迹匹配等)、报警点聚合分析(包括车辆报警路段分析、道路拥堵分析等)、用户时空行为分析(包括社交媒体数据分析、公众出行分析、消费行为分析等);另一类是面向影像数据的整合分析,这部分内容主要需结合遥感数据,包括农作物遥感监测、洪涝灾害预测以及通过夜光遥感影像进行社会经济动态监测等。
时空数据的训练预测主要借助人工智能等先进技术,利用时空知识引擎进行数据的训练建模。时空知识引擎主要针对不同的应用场景模型形成知识链条,再通过数据训练不断优化模型和链条,最终可以实现时空数据的预测分类等功能。
时空数据的可视化表达可以借助目前丰富的GIS可视化手段,包括热力图、聚合图、散点图进行展示时空趋势,也可以借助不同场景进行展示包括二维地图场景、三维建模场景等,最后采用多视图整合、多维度的展现方式,以地图为基础,结合折线图、柱状图、迁徙图等统计手段进行同步展示。
3.时空大数据快速检索技术
时空数据的获取主要依靠PNT传感器(比如车辆位置数据依赖车载终端,遥感数据依赖遥感卫星),时空大数据的内容很广,可以包括行业业务数据、北斗/GPS位置数据等结构化数据,也可以包括遥感影像数据等非结构化数据。时空大数据的获取能力既快又易,然而与之形成对比的是数据的存储方式以及检索速度。
目前,时空数据的存储大多数以基础显性属性为主,往往容易忽略其时空特性,导致人们在实际应用中进行时空数据的检索效率不佳,同时有些遥感影像数据还需要人工经验去进行标定再进行存储检索。但是,随着时空数体量越来越大,依靠人工方法对影像数据进行标签,已经难以保证其准确性和时效性。因此,对于结构化的时空数据,可以对位置和时间进行索引,这里需要注意的是位置索引可以结合地理信息系统的特性,对区域查询以及线路查询进行特殊支持。对于遥感数据的快速检索,需要将影像数据进行语义提取,再通过语义进行快速检索。
同时,随着传感器、天地一体化信息网络等在时空数据的接入,由于目前的时空数据缺乏语义,从而对时空数据的检索需要提出更高的要求。然而随着人工智能技术的不断发展,基于时空数据的知识图谱的信息关联方法将会是时空数据关联的发展方向之一。通过机器学习增加时空数据的语义,能够快速索引时空大数据将成为今后的发展趋势。
箩筐分享转载自中国管理科学学会大数据专委会,文中观点仅供分享交流,不代表本号立场,如涉及版权等问题,请您告知,我们将及时处理。
关于箩筐技术公司
箩筐技术公司是全球技术领先的时空智能大数据服务公司,中国领先的位置数据及行业应用解决方案提供商,中国领先的高精度地图服务商。依托自主研发的专利技术,基于高精度地图及多源时空智能大数据,建立城市级和行业级全息时空数字孪生系统,积极服务于智慧交通(自动驾驶、智慧公路、车路协同)、自然资源资产管理(碳中和及环境保护遥感数据服务)、LBS智慧行业应用(移动互联网本地商业位置服务、智慧出行、智慧物流、新基建、智慧城市、应急救援)等领域。 有关更多信息,请搜索箩筐技术并访问公司网站。
互联网小常识:VTP有三种工作模式:VTP Server 、VTP Client和VTP Transparent.Server一般一个域中只有一个。用于设置因此不需要学习VLAN信息,Transparent相当于一个独立交换机不参与VTP工作,Client不能建立、删除或修改VLAN,它只能从Sserver学习VLAN配置。
免责声明:本站所有信息均搜集自互联网,并不代表本站观点,本站不对其真实合法性负责。如有信息侵犯了您的权益,请告知,本站将立刻处理。联系QQ:1640731186