遥感数据即得即用(Ready To Use,RTU)产品
遥感数据即得即用(Ready To Use,RTU)产品 作者:何国金 焦伟利 张兆明 龙腾飞 王桂周 彭燕 尹然宇 2020年5月29日 |
![]() |
摘要&关键词
[编辑]摘要:遥感数据呈现大数据特征并广泛应用于资源调查、环境监测、灾害评估等领域,但其潜在的应用价值还没有被充分挖掘出来。遥感数据工程的建立将有助于遥感数据的智能分析和信息挖掘。即得即用(Ready To Use,RTU)产品具有辐射归一化、几何标准化、剖分网格化等特点,可直接用于后续的分析应用。RTU产品的研究开发是遥感数据工程的重要内容之一。以卫星遥感数据为基础,介绍了遥感数据RTU产品的定义与组成、RTU产品的标准规范、RTU地理格网剖分等,为用户使用RTU产品提供参考。多源卫星遥感数据RTU产品将持续不断地通过CASEarth DataBank系统(databank.casearth.cn)向管理工作者、行业应用者、科学研究者以及其他公众提供共享服务。
关键词:遥感数据;即得即用(Ready To Use,RTU)产品;辐射归一化;几何标准化;网格剖分
Abstract & Keywords
[编辑]Abstract: Remote sensing data has the characteristics of big data, which has been used for different kind of applications,such as resources investigation, environment monitoring, natural disaster mitigation. However, its potential value has not yet been fully discovered. Data engineering technology can help intelligent analysis and information mining of remote sensing big data, in which RTU (Ready To Use) production is a very important part. RTU products are ready for application analysis, featuring with radiation normalization, geometry standardization and global gridding. Focusing on satellite remote sensing data, this paper gives the RTU definition, the production mix as well as the standard of the production. A CASEarth DataBank system (databank.casearth.cn) is under constructing, which is an intelligent data service platform for providing not only the RTU products sharing, but also big earth data analysis methods.
Keywords: remote sensing data; RTU (Ready To Use) product; radiation normalization; geometry standardization; global gridding
引 言
[编辑]二十一世纪以来,以对地观测技术为核心的空间地球信息科技已经成为一个国家科技水平、经济实力和国家安全保障能力的综合体现。高质量的数据是进行科学研究、认知地学规律和实现有效决策的基础。二十一世纪人类对地球进行多尺度、全方位实时动态监测的能力进一步增强,高质量、连续、均一、综合的对地观测系统的建立为获取全球数据提供了技术手段。近年来,对地观测数据呈现爆炸性增长并得到广泛应用。可以说对地观测领域已经正式步入了“大数据”时代[1]。
近30年来,中国的对地观测事业得到蓬勃发展,1986年中国遥感卫星地面站的建立标志着中国的遥感应用进入了新的纪元。在过去的30年间,中国遥感卫星地面站先后接收了包括Landsat、SPOT、JERS、Radarsat、ERS、Envisat、CBERS、HJ、ZY、GF 等国内外系列卫星数据,这些卫星数据记录着人类活动和自然变化,成为我国最长时间序列的星载陆地观测数据集。标准产品只进行了系统的几何纠正和辐射校正,不便于长时间序列数据的分析与应用。为了降低卫星遥感数据应用门槛,让数据应用者从寻找数据、整理数据和处理数据的繁杂工作中解放出来,2013年在“中国科学院135突破项目”支持下,研究开发了即得即用(Ready To Use,RTU)产品集,该类产品具有几何标准化、辐射归一化等特点,便于用户直接应用。
在中科院A类先导专项“地球大数据科学工程”——“CASEarth DataBank系统建设”课题的支持下,卫星遥感数据RTU产品不断完善与丰富,形成了大量的覆盖中国区域乃至全球的长时序Landsat以及国产卫星遥感数据RTU产品,论文以卫星遥感数据为基础,介绍了遥感数据RTU产品的定义与组成、RTU产品的标准规范、RTU地理格网剖分等,为用户使用RTU产品提供参考。
1 卫星遥感数据即得即用(RTU)产品的定义与组成
[编辑]遥感数据作为科学数据的一种,具有大数据的5V特征。其潜在的应用价值还没有被充分发挥。为此,应从工程化的角度理解遥感数据,以“数据—知识—服务”为主线,从全生命周期出发来开展数据工程建设。
遥感数据工程建设的最主要目的之一是为高效的遥感信息挖掘提供基础数据产品,这类产品称为即得即用(Ready To Use,RTU)产品[2]。该类产品具有辐射归一化、几何标准化、剖分网格化等特点,便于用户直接应用。2013年,我们在“中国科学院135突破项目”支持下,依托中国遥感卫星地面站的数据资源,逐步开展即得即用Ready To Use (RTU)产品的关键技术和系统研发;进一步,2018年在中科院A类先导专项“地球大数据科学工程”——“CASEarth Databank系统建设”课题的支持下[3],卫星遥感数据RTU产品不断完善与丰富。本章主要介绍遥感数据工程建设过程中的辐射归一化、几何标准化、剖分网格化技术及系统。
几何标准化通过卫星数据高精度的正射处理来实现,地表反射率和地表温度的高精度反演则是卫星数据辐射归一化的前提。在辐射归一化、几何标准化产品基础上,进一步开发了大区域镶嵌产品和指数产品,如全球一张图、全国一张图以及归一化差值植被指数(NDVI)、增强植被指数(EVI)、土壤调节植被指数(SAVI)、改进的土壤调节植被指数(MSAVI)、归一化差值水体指数(NDWI)、归一化差值水汽指数(NDMI)、归一化燃烧指数(NBR)产品,这些产品目前构成RTU产品的基本内容,它们按网格化进行剖分和管理,为后续的遥感数据智能的实现提供基础。RTU产品名称及缩写如表1所示。这些产品的主要算法、处理过程等将在该论文集的其他文章中进行阐述。
表1 RTU产品名称缩略表
中文 | 英文 | 缩写 |
正射影像 | Digital Orthophoto Map | DOM |
全球一张图 | Globe Map | GlobeM |
全国一张图 | China Map | ChinaM |
区域影像图 | Regional name Image Map | 区域缩写+M |
星上反射率 | Top Of Atmosphere Reflectance | TOA |
地表反射率 | Land Surface Reflectance | LSR |
星上亮度温度 | Top Of Atmosphere Brightness Temperature | BT |
地表温度 | Land Surface Temperature | LST |
归一化差值植被指数 | Normalized Difference Vegetation Index; | NDVI |
增强植被指数 | Enhanced Vegetation Index | EVI |
土壤调节植被指数 | Soil Adjusted Vegetation Index | SAVI |
修正的土壤调节植被指数 | Modified Soil Adjusted Vegetation Index | MSAVI |
归一化燃烧指数 | Normalized Burnt Ratio | NBR |
归一化差值水体指数 | Normalized Difference Water Index | NDWI |
归一化差值水汽指数 | Normalized Difference Moisture Index | NDMI |
像元质量标识 | Pixel Quality Attribute | QA |
2 RTU产品的元数据标准规范
[编辑]元数据 metadata:关于数据的数据。包含数据的标识、覆盖范围、质量、空间和时间模式、空间参照系和分发等信息。
元数据的组成和结构采用统一建模语言(UML)描述。元数据由一个或多个元数据子集构成,后者包含一个或多个元数据实体。采用UML描述元数据子集、元数据实体和元数据元素之间的关系。用UML中的包表示元数据子集,类表示元数据实体,属性表示元数据元素。元数据文件类型为XML。元数据文件的数据标志为Metadata。
RTU产品元数据包分为两类:第一类是全局元数据包(见图1)、第二类是分波段元数据包(见图2)。全局元数据包括数据提供者、卫星名称、传感器名称、数据获取日期、景中心时间、整幅影像的云量、影像中陆地部分的云量、太阳天顶角和方位角、日地距离、卫星轨道号、辐射定标系数/热波段常数(对于遥感指数产品,该项无)、影像经纬度范围、投影信息和卫星侧视角,未来的RTU产品可根据需要对全局元数据包进行扩充。分波段元数据包(见图3)则是对各波段数据文件及质量标识文件元数据的描述,包括像元质量评价元数据(Pixel QA Metadata)、RTU产品各波段数据文件元数据、气溶胶光学厚度质量评价元数据(LSR-AEROSOL Metadata)和辐射饱和度质量评价元数据(Radiometric Saturation QA Metadata),未来的RTU产品可根据需要对分波段元数据包进行扩充。
图1 RTU产品元数据包
图2 全局元数据包的类关系
图3 分波段元数据包的类关系
像元质量标识元数据包括的元数据元素有文件名、像元大小、重采样方法、数据单位、位图说明、软件版本和生产日期。
各波段数据文件元数据包括的元数据元素有文件名、像元大小、重采样方法、数据单位(对于遥感指数产品,则该项无,另增加了完整名称项)、有效值范围、软件版本和生产日期。
气溶胶光学厚度是地表反射率反演的一个关键输入参数,气溶胶光学厚度反演的质量在很大程度上影响着最终地表反射率反演的精度,因此在地表反射率产品元数据中加入了气溶胶光学厚度质量标识元数据。气溶胶光学厚度质量标识元数据和辐射饱和度质量标识元数据的元数据元素相同,即:文件名、像元大小、重采样方法、数据单位、有效值范围、位图说明、软件版本和生产日期。
以地表反射率产品(LSR)为例说明其包含的结构和内容。表2给出RTU产品元数据文件的内容和释义。
● 全局元数据信息:数据提供者、卫星名称、传感器名称、数据获取日期、景中心时间、整幅影像的云量、影像中陆地部分的云量、太阳天顶角和方位角、日地距离、卫星轨道号、辐射定标系数、影像经纬度范围、投影信息、卫星侧视角
● 分波段元数据包
◆ Pixel QA Metadata:文件名、像元大小、重采样方法、数据单位、位图说明、软件版本、生产日期
◆ Land Surface Reflectance per band Metadata(文件名、像元大小、重采样方法、数据单位、有效值范围、软件版本、生产日期)
◆ LSR-AEROSOL Metadata (文件名、像元大小、重采样方法、数据单位、有效值范围、位图说明、软件版本、生产日期)
表2 RTU产品元数据文件的内容和释义
参数名称 | 数据、格式和范围 | 参数描述/说明 |
global_metadata | N/A | 全局元数据信息 |
data_provider | CAS/RADI | 数据提供者 |
satellite | LANDSAT_X (X=5,7,8),GF,ZY3 | 卫星信息 |
instrument | 卫星传感器信息 | |
acquisition_date | YYYY-MM-DD | 卫星数据采集时间 |
scene_center_time | 02:41:19.0610130Z | 景中心数据采集的UTC 时间信息 |
cloud_cover | 百分数,0.00-100.00 | 整幅影像的云量 |
cloud_cover_land | 影像中陆地部分的云量 | |
solar_angles units | degrees | 太阳角度单位 |
zenith | 天顶角 | |
azimuth | 方位角 | |
earth_sun_distance | 日地距离 | |
wrs row,path | Worldwide Reference System (WRS)轨道号信息 | |
top_of_atmosphere_radiometric_rescaling | 计算星上辐射亮度时使用的辐射变换系数(增益和偏置) | |
radiance_mult | 增益 | |
radiance_add | 偏置 | |
THERMAL_CONSTANTS | 热红外波段相关常数信息的Heading | |
K1_CONSTANT_BAND_X | 热红外波段X的K1值 | |
K2_CONSTANT_BAND_X | 热红外波段X的K2值 | |
corner location | west, east (degrees; -180 to180)south, north (degrees; -90 to 90) | 影像四个角点的经纬度 |
projection_informmation | N/A | 描述投影信息的Heading |
units | meters | 投影系统的单位 |
datum | WGS84 | 坐标系类型 |
projection | UTM | 投影类型 |
corner_point location | (Variable) | 左上(UL)和右下(LR)角点的坐标 |
grid_origin | CENTER | 像素点原点信息,通常是CENTER |
utm_proj_params | N/A | UTM投影信息的Heading |
zone_code | 投影带号 | |
orientation_angle | 卫星侧视角 | |
bands | N/A | 描述所有波段信息的Heading |
band | N/A | 分别描述每一个波段信息的Heading |
fill_value | 填充值 | |
nsamps | 波段数据的列数 | |
nlines | 波段数据的行数 | |
data_type | UINT8,UINT16 | 波段的数据类型 |
category | image, qa | 数据种类 |
name | 波段名 | |
PIXEL-QA | 像元质量标识文件,不同数位表示的含义如下:0 表示填充(fill),1 表示晴空(clear),2 表示水体(water),3 表示云阴影(cloud shadow),4 表示雪(snow),5表示云(cloud),6 和7表示云置信度(cloud confidence),8 和9表示卷云置信度(cirrus confidence),10表示地形遮挡(terrain occlusion) | |
bitmap_description | N/A | 描述bitmap信息的heading |
bit num | 针对QA波段的数位的描述 | |
file_name | 波段文件名的全称 | |
pixel_size | 影像的分辨率 | |
resample_method | 重采样方法 | |
data_units | 数据的单位 | |
app_version | RTU产品生产的软件名及版本 | |
production_date | RTU产品的生产时间 | |
product | TOA_reflectance,TOA_brightness temperature,land_surface_reflectance,land_surface_temperature,spectral_indicesregion_mosaic_map | RTU产品类型 |
saturate_value | 20000 | 亮度饱和值 |
add_offset | 各波段像素值进行转换时的偏置 | |
scale_factor | 各波段像素值进行转换时的增益 | |
long_name | 产品全称,只针对光谱指数产品 | |
Cloud-QA | Landsat5/7地表反射率产品中反演气溶胶光学厚度时的质量标识文件,不同数位表示的含义如下:0 表示DDV(Dense Dark Vegetation, DDV,浓密植被),即该像素对应DDV,数据质量为优;1 表示云(cloud); 2 表示云阴影(cloud shadow); 3 表示云边界(adjacent to cloud); 4 表示雪(snow); 5表示陆地或者水体(land/water) | |
LSR-AEROSOL | Landsat8地表反射率产品中反演气溶胶光学厚度时的质量标识文件,不同数位表示的含义如下:0 表示填充值;1 表示气溶胶光学厚度反演的有效值(N*N窗口的中心像元); 2 表示水体像元; 3 表示云或者卷云; 4 表示云阴影; 5表示非窗口中心像素,气溶胶光学厚度值由临近的N*N中心像素插值得到 | |
RADSAT-QA | 表示像素的辐射饱和度,0表示有效值,1表示饱和值 | |
valid_range | 有效值的范围 | |
date_range | YYYY-MM-DD:YYYY-MM-DD | 镶嵌图像中图像的时间范围,前面的YYYY-MM-DD表示镶嵌图像中所用到的单景图像的开始日期,后面的YYYY-MM-DD表示镶嵌图像中所用到的单景图像的结束日期 |
scenesCount | N/A | 描述所有镶嵌子图像信息的Heading |
scene | N/A | 分别描述每一个子图像信息的Heading |
scene_number | 镶嵌图像中所用到的单景图像的编号,镶嵌子块按从左到右,从上到下顺序编号 | |
center_point | 景中心经纬度 | |
productID | 产品号(针对国产数据,Landsat系列无产品号信息可为空) |
3 RTU地理格网剖分
[编辑]遥感影像是一种平面栅格数据,以一定的平面投影方式反映地球表面的表象。常规的标准遥感影像分幅产品是以一定的规则按照景来分幅的,不同的卫星影像,景的分幅和编码规则不同。遥感影像的景没有完全与地球上的地理坐标对应。为了使长时序影像更容易查询、分析和管理,可对RTU产品进行地理格网剖分,即将全球影像按照定义的格网系统剖分为具有空间分辨率、角点坐标、格网大小、产品类型等属性的数据格网。RTU地理格网产品具有使用灵活、与地理编码相一致,可以按照空间维和时间维形成数据立方体,形成空间和时间上的连续产品,便于用户直接进行空间分析和应用。
RTU经纬度分幅产品和直角坐标格网分幅产品的分幅与编码方法《遥感数据即得即用(Ready To Use,RTU)地理格网产品规范》,适用于不同空间分辨率的遥感影像按照地理格网的划分与编码,为遥感影像共享和遥感信息整合提供以格网为单元的空间参照,便于长时序遥感影像的分析和应用。
RTU地理格网产品的名称应由产品名称和扩展名两部分组成,其表现形式如下:
影像格网的编码_起始时间_结束时间_版本号_产品名称.扩展名
示例1:2015年全国一张图产品中格网编码为2BN59E01的文件名称如下:
2BN59E01_20150101_20151231_V01_ChinaM.XML
2BN59E01_20150101_20151231_V01_ChinaM.TIF
2BN59E01_20150101_20151231_V01_ChinaM.JPG
2BN59E01_20150101_20151231_V01_ChinaM_THUMB.JPG(可选)
2BN59E01_20150101_20151231_V01_ChinaM_PIXEL-QA.TIF
RTU地理格网产品元数据在用于分幅影像元数据的基础上增加有关格网信息。
致 谢
[编辑]感谢中科院A类先导专项“地球大数据科学工程”(XDA190090300)国家自然基金重点项目(61731022)、国家重点研发计划(2016YFA0600302)对本研究的支持。
参考文献
[编辑]- ↑ 何国金, 王力哲, 马艳, 等. 对地观测大数据处理: 挑战与思考[J]. 科学通报, 2015,60(5):470-478.
- ↑ Guojin He, Zhaoming Zhang, Weili Jiao, et al.,Generation of ready to use (RTU) products over China based on Landsat series data[J]. Big Earth Data, 2018, 2: 1, 56-64. DOI: 10.1080/20964471.2018.1433370.
- ↑ 何国金, 王桂周, 龙腾飞, 等. 对地观测大数据开放共享:挑战与思考[J]. 中国科学院院刊, 2018, 33(08): 25-32.