遙感數據即得即用(Ready To Use,RTU)產品
遙感數據即得即用(Ready To Use,RTU)產品 作者:何國金 焦偉利 張兆明 龍騰飛 王桂周 彭燕 尹然宇 2020年5月29日 |
|
摘要&關鍵詞
[編輯]摘要:遙感數據呈現大數據特徵並廣泛應用於資源調查、環境監測、災害評估等領域,但其潛在的應用價值還沒有被充分挖掘出來。遙感數據工程的建立將有助於遙感數據的智能分析和信息挖掘。即得即用(Ready To Use,RTU)產品具有輻射歸一化、幾何標準化、剖分網格化等特點,可直接用於後續的分析應用。RTU產品的研究開發是遙感數據工程的重要內容之一。以衛星遙感數據為基礎,介紹了遙感數據RTU產品的定義與組成、RTU產品的標準規範、RTU地理格網剖分等,為用戶使用RTU產品提供參考。多源衛星遙感數據RTU產品將持續不斷地通過CASEarth DataBank系統(databank.casearth.cn)向管理工作者、行業應用者、科學研究者以及其他公眾提供共享服務。
關鍵詞:遙感數據;即得即用(Ready To Use,RTU)產品;輻射歸一化;幾何標準化;網格剖分
Abstract & Keywords
[編輯]Abstract: Remote sensing data has the characteristics of big data, which has been used for different kind of applications,such as resources investigation, environment monitoring, natural disaster mitigation. However, its potential value has not yet been fully discovered. Data engineering technology can help intelligent analysis and information mining of remote sensing big data, in which RTU (Ready To Use) production is a very important part. RTU products are ready for application analysis, featuring with radiation normalization, geometry standardization and global gridding. Focusing on satellite remote sensing data, this paper gives the RTU definition, the production mix as well as the standard of the production. A CASEarth DataBank system (databank.casearth.cn) is under constructing, which is an intelligent data service platform for providing not only the RTU products sharing, but also big earth data analysis methods.
Keywords: remote sensing data; RTU (Ready To Use) product; radiation normalization; geometry standardization; global gridding
引 言
[編輯]二十一世紀以來,以對地觀測技術為核心的空間地球信息科技已經成為一個國家科技水平、經濟實力和國家安全保障能力的綜合體現。高質量的數據是進行科學研究、認知地學規律和實現有效決策的基礎。二十一世紀人類對地球進行多尺度、全方位實時動態監測的能力進一步增強,高質量、連續、均一、綜合的對地觀測系統的建立為獲取全球數據提供了技術手段。近年來,對地觀測數據呈現爆炸性增長並得到廣泛應用。可以說對地觀測領域已經正式步入了「大數據」時代[1]。
近30年來,中國的對地觀測事業得到蓬勃發展,1986年中國遙感衛星地面站的建立標誌着中國的遙感應用進入了新的紀元。在過去的30年間,中國遙感衛星地面站先後接收了包括Landsat、SPOT、JERS、Radarsat、ERS、Envisat、CBERS、HJ、ZY、GF 等國內外系列衛星數據,這些衛星數據記錄着人類活動和自然變化,成為我國最長時間序列的星載陸地觀測數據集。標準產品只進行了系統的幾何糾正和輻射校正,不便於長時間序列數據的分析與應用。為了降低衛星遙感數據應用門檻,讓數據應用者從尋找數據、整理數據和處理數據的繁雜工作中解放出來,2013年在「中國科學院135突破項目」支持下,研究開發了即得即用(Ready To Use,RTU)產品集,該類產品具有幾何標準化、輻射歸一化等特點,便於用戶直接應用。
在中科院A類先導專項「地球大數據科學工程」——「CASEarth DataBank系統建設」課題的支持下,衛星遙感數據RTU產品不斷完善與豐富,形成了大量的覆蓋中國區域乃至全球的長時序Landsat以及國產衛星遙感數據RTU產品,論文以衛星遙感數據為基礎,介紹了遙感數據RTU產品的定義與組成、RTU產品的標準規範、RTU地理格網剖分等,為用戶使用RTU產品提供參考。
1 衛星遙感數據即得即用(RTU)產品的定義與組成
[編輯]遙感數據作為科學數據的一種,具有大數據的5V特徵。其潛在的應用價值還沒有被充分發揮。為此,應從工程化的角度理解遙感數據,以「數據—知識—服務」為主線,從全生命周期出發來開展數據工程建設。
遙感數據工程建設的最主要目的之一是為高效的遙感信息挖掘提供基礎數據產品,這類產品稱為即得即用(Ready To Use,RTU)產品[2]。該類產品具有輻射歸一化、幾何標準化、剖分網格化等特點,便於用戶直接應用。2013年,我們在「中國科學院135突破項目」支持下,依託中國遙感衛星地面站的數據資源,逐步開展即得即用Ready To Use (RTU)產品的關鍵技術和系統研發;進一步,2018年在中科院A類先導專項「地球大數據科學工程」——「CASEarth Databank系統建設」課題的支持下[3],衛星遙感數據RTU產品不斷完善與豐富。本章主要介紹遙感數據工程建設過程中的輻射歸一化、幾何標準化、剖分網格化技術及系統。
幾何標準化通過衛星數據高精度的正射處理來實現,地表反射率和地表溫度的高精度反演則是衛星數據輻射歸一化的前提。在輻射歸一化、幾何標準化產品基礎上,進一步開發了大區域鑲嵌產品和指數產品,如全球一張圖、全國一張圖以及歸一化差值植被指數(NDVI)、增強植被指數(EVI)、土壤調節植被指數(SAVI)、改進的土壤調節植被指數(MSAVI)、歸一化差值水體指數(NDWI)、歸一化差值水汽指數(NDMI)、歸一化燃燒指數(NBR)產品,這些產品目前構成RTU產品的基本內容,它們按網格化進行剖分和管理,為後續的遙感數據智能的實現提供基礎。RTU產品名稱及縮寫如表1所示。這些產品的主要算法、處理過程等將在該論文集的其他文章中進行闡述。
表1 RTU產品名稱縮略表
中文 | 英文 | 縮寫 |
正射影像 | Digital Orthophoto Map | DOM |
全球一張圖 | Globe Map | GlobeM |
全國一張圖 | China Map | ChinaM |
區域影像圖 | Regional name Image Map | 區域縮寫+M |
星上反射率 | Top Of Atmosphere Reflectance | TOA |
地表反射率 | Land Surface Reflectance | LSR |
星上亮度溫度 | Top Of Atmosphere Brightness Temperature | BT |
地表溫度 | Land Surface Temperature | LST |
歸一化差值植被指數 | Normalized Difference Vegetation Index; | NDVI |
增強植被指數 | Enhanced Vegetation Index | EVI |
土壤調節植被指數 | Soil Adjusted Vegetation Index | SAVI |
修正的土壤調節植被指數 | Modified Soil Adjusted Vegetation Index | MSAVI |
歸一化燃燒指數 | Normalized Burnt Ratio | NBR |
歸一化差值水體指數 | Normalized Difference Water Index | NDWI |
歸一化差值水汽指數 | Normalized Difference Moisture Index | NDMI |
像元質量標識 | Pixel Quality Attribute | QA |
2 RTU產品的元數據標準規範
[編輯]元數據 metadata:關於數據的數據。包含數據的標識、覆蓋範圍、質量、空間和時間模式、空間參照系和分發等信息。
元數據的組成和結構採用統一建模語言(UML)描述。元數據由一個或多個元數據子集構成,後者包含一個或多個元數據實體。採用UML描述元數據子集、元數據實體和元數據元素之間的關係。用UML中的包表示元數據子集,類表示元數據實體,屬性表示元數據元素。元數據文件類型為XML。元數據文件的數據標誌為Metadata。
RTU產品元數據包分為兩類:第一類是全局元數據包(見圖1)、第二類是分波段元數據包(見圖2)。全局元數據包括數據提供者、衛星名稱、傳感器名稱、數據獲取日期、景中心時間、整幅影像的雲量、影像中陸地部分的雲量、太陽天頂角和方位角、日地距離、衛星軌道號、輻射定標係數/熱波段常數(對於遙感指數產品,該項無)、影像經緯度範圍、投影信息和衛星側視角,未來的RTU產品可根據需要對全局元數據包進行擴充。分波段元數據包(見圖3)則是對各波段數據文件及質量標識文件元數據的描述,包括像元質量評價元數據(Pixel QA Metadata)、RTU產品各波段數據文件元數據、氣溶膠光學厚度質量評價元數據(LSR-AEROSOL Metadata)和輻射飽和度質量評價元數據(Radiometric Saturation QA Metadata),未來的RTU產品可根據需要對分波段元數據包進行擴充。
圖1 RTU產品元數據包
圖2 全局元數據包的類關係
圖3 分波段元數據包的類關係
像元質量標識元數據包括的元數據元素有文件名、像元大小、重採樣方法、數據單位、位圖說明、軟件版本和生產日期。
各波段數據文件元數據包括的元數據元素有文件名、像元大小、重採樣方法、數據單位(對於遙感指數產品,則該項無,另增加了完整名稱項)、有效值範圍、軟件版本和生產日期。
氣溶膠光學厚度是地表反射率反演的一個關鍵輸入參數,氣溶膠光學厚度反演的質量在很大程度上影響着最終地表反射率反演的精度,因此在地表反射率產品元數據中加入了氣溶膠光學厚度質量標識元數據。氣溶膠光學厚度質量標識元數據和輻射飽和度質量標識元數據的元數據元素相同,即:文件名、像元大小、重採樣方法、數據單位、有效值範圍、位圖說明、軟件版本和生產日期。
以地表反射率產品(LSR)為例說明其包含的結構和內容。表2給出RTU產品元數據文件的內容和釋義。
● 全局元數據信息:數據提供者、衛星名稱、傳感器名稱、數據獲取日期、景中心時間、整幅影像的雲量、影像中陸地部分的雲量、太陽天頂角和方位角、日地距離、衛星軌道號、輻射定標係數、影像經緯度範圍、投影信息、衛星側視角
● 分波段元數據包
◆ Pixel QA Metadata:文件名、像元大小、重採樣方法、數據單位、位圖說明、軟件版本、生產日期
◆ Land Surface Reflectance per band Metadata(文件名、像元大小、重採樣方法、數據單位、有效值範圍、軟件版本、生產日期)
◆ LSR-AEROSOL Metadata (文件名、像元大小、重採樣方法、數據單位、有效值範圍、位圖說明、軟件版本、生產日期)
表2 RTU產品元數據文件的內容和釋義
參數名稱 | 數據、格式和範圍 | 參數描述/說明 |
global_metadata | N/A | 全局元數據信息 |
data_provider | CAS/RADI | 數據提供者 |
satellite | LANDSAT_X (X=5,7,8),GF,ZY3 | 衛星信息 |
instrument | 衛星傳感器信息 | |
acquisition_date | YYYY-MM-DD | 衛星數據採集時間 |
scene_center_time | 02:41:19.0610130Z | 景中心數據採集的UTC 時間信息 |
cloud_cover | 百分數,0.00-100.00 | 整幅影像的雲量 |
cloud_cover_land | 影像中陸地部分的雲量 | |
solar_angles units | degrees | 太陽角度單位 |
zenith | 天頂角 | |
azimuth | 方位角 | |
earth_sun_distance | 日地距離 | |
wrs row,path | Worldwide Reference System (WRS)軌道號信息 | |
top_of_atmosphere_radiometric_rescaling | 計算星上輻射亮度時使用的輻射變換係數(增益和偏置) | |
radiance_mult | 增益 | |
radiance_add | 偏置 | |
THERMAL_CONSTANTS | 熱紅外波段相關常數信息的Heading | |
K1_CONSTANT_BAND_X | 熱紅外波段X的K1值 | |
K2_CONSTANT_BAND_X | 熱紅外波段X的K2值 | |
corner location | west, east (degrees; -180 to180)south, north (degrees; -90 to 90) | 影像四個角點的經緯度 |
projection_informmation | N/A | 描述投影信息的Heading |
units | meters | 投影系統的單位 |
datum | WGS84 | 坐標系類型 |
projection | UTM | 投影類型 |
corner_point location | (Variable) | 左上(UL)和右下(LR)角點的坐標 |
grid_origin | CENTER | 像素點原點信息,通常是CENTER |
utm_proj_params | N/A | UTM投影信息的Heading |
zone_code | 投影帶號 | |
orientation_angle | 衛星側視角 | |
bands | N/A | 描述所有波段信息的Heading |
band | N/A | 分別描述每一個波段信息的Heading |
fill_value | 填充值 | |
nsamps | 波段數據的列數 | |
nlines | 波段數據的行數 | |
data_type | UINT8,UINT16 | 波段的數據類型 |
category | image, qa | 數據種類 |
name | 波段名 | |
PIXEL-QA | 像元質量標識文件,不同數位表示的含義如下:0 表示填充(fill),1 表示晴空(clear),2 表示水體(water),3 表示雲陰影(cloud shadow),4 表示雪(snow),5表示雲(cloud),6 和7表示雲置信度(cloud confidence),8 和9表示捲雲置信度(cirrus confidence),10表示地形遮擋(terrain occlusion) | |
bitmap_description | N/A | 描述bitmap信息的heading |
bit num | 針對QA波段的數位的描述 | |
file_name | 波段文件名的全稱 | |
pixel_size | 影像的分辨率 | |
resample_method | 重採樣方法 | |
data_units | 數據的單位 | |
app_version | RTU產品生產的軟件名及版本 | |
production_date | RTU產品的生產時間 | |
product | TOA_reflectance,TOA_brightness temperature,land_surface_reflectance,land_surface_temperature,spectral_indicesregion_mosaic_map | RTU產品類型 |
saturate_value | 20000 | 亮度飽和值 |
add_offset | 各波段像素值進行轉換時的偏置 | |
scale_factor | 各波段像素值進行轉換時的增益 | |
long_name | 產品全稱,只針對光譜指數產品 | |
Cloud-QA | Landsat5/7地表反射率產品中反演氣溶膠光學厚度時的質量標識文件,不同數位表示的含義如下:0 表示DDV(Dense Dark Vegetation, DDV,濃密植被),即該像素對應DDV,數據質量為優;1 表示雲(cloud); 2 表示雲陰影(cloud shadow); 3 表示雲邊界(adjacent to cloud); 4 表示雪(snow); 5表示陸地或者水體(land/water) | |
LSR-AEROSOL | Landsat8地表反射率產品中反演氣溶膠光學厚度時的質量標識文件,不同數位表示的含義如下:0 表示填充值;1 表示氣溶膠光學厚度反演的有效值(N*N窗口的中心像元); 2 表示水體像元; 3 表示雲或者捲雲; 4 表示雲陰影; 5表示非窗口中心像素,氣溶膠光學厚度值由臨近的N*N中心像素插值得到 | |
RADSAT-QA | 表示像素的輻射飽和度,0表示有效值,1表示飽和值 | |
valid_range | 有效值的範圍 | |
date_range | YYYY-MM-DD:YYYY-MM-DD | 鑲嵌圖像中圖像的時間範圍,前面的YYYY-MM-DD表示鑲嵌圖像中所用到的單景圖像的開始日期,後面的YYYY-MM-DD表示鑲嵌圖像中所用到的單景圖像的結束日期 |
scenesCount | N/A | 描述所有鑲嵌子圖像信息的Heading |
scene | N/A | 分別描述每一個子圖像信息的Heading |
scene_number | 鑲嵌圖像中所用到的單景圖像的編號,鑲嵌子塊按從左到右,從上到下順序編號 | |
center_point | 景中心經緯度 | |
productID | 產品號(針對國產數據,Landsat系列無產品號信息可為空) |
3 RTU地理格網剖分
[編輯]遙感影像是一種平面柵格數據,以一定的平面投影方式反映地球表面的表象。常規的標準遙感影像分幅產品是以一定的規則按照景來分幅的,不同的衛星影像,景的分幅和編碼規則不同。遙感影像的景沒有完全與地球上的地理坐標對應。為了使長時序影像更容易查詢、分析和管理,可對RTU產品進行地理格網剖分,即將全球影像按照定義的格網系統剖分為具有空間分辨率、角點坐標、格網大小、產品類型等屬性的數據格網。RTU地理格網產品具有使用靈活、與地理編碼相一致,可以按照空間維和時間維形成數據立方體,形成空間和時間上的連續產品,便於用戶直接進行空間分析和應用。
RTU經緯度分幅產品和直角坐標格網分幅產品的分幅與編碼方法《遙感數據即得即用(Ready To Use,RTU)地理格網產品規範》,適用於不同空間分辨率的遙感影像按照地理格網的劃分與編碼,為遙感影像共享和遙感信息整合提供以格網為單元的空間參照,便於長時序遙感影像的分析和應用。
RTU地理格網產品的名稱應由產品名稱和擴展名兩部分組成,其表現形式如下:
影像格網的編碼_起始時間_結束時間_版本號_產品名稱.擴展名
示例1:2015年全國一張圖產品中格網編碼為2BN59E01的文件名稱如下:
2BN59E01_20150101_20151231_V01_ChinaM.XML
2BN59E01_20150101_20151231_V01_ChinaM.TIF
2BN59E01_20150101_20151231_V01_ChinaM.JPG
2BN59E01_20150101_20151231_V01_ChinaM_THUMB.JPG(可選)
2BN59E01_20150101_20151231_V01_ChinaM_PIXEL-QA.TIF
RTU地理格網產品元數據在用於分幅影像元數據的基礎上增加有關格網信息。
致 謝
[編輯]感謝中科院A類先導專項「地球大數據科學工程」(XDA190090300)國家自然基金重點項目(61731022)、國家重點研發計劃(2016YFA0600302)對本研究的支持。
參考文獻
[編輯]- ↑ 何國金, 王力哲, 馬艷, 等. 對地觀測大數據處理: 挑戰與思考[J]. 科學通報, 2015,60(5):470-478.
- ↑ Guojin He, Zhaoming Zhang, Weili Jiao, et al.,Generation of ready to use (RTU) products over China based on Landsat series data[J]. Big Earth Data, 2018, 2: 1, 56-64. DOI: 10.1080/20964471.2018.1433370.
- ↑ 何國金, 王桂周, 龍騰飛, 等. 對地觀測大數據開放共享:挑戰與思考[J]. 中國科學院院刊, 2018, 33(08): 25-32.