航天遙感大數(shù)據(jù)集群處理工廠將滿足不同業(yè)務(wù)的大量用戶同時登錄、數(shù)據(jù)入庫、數(shù)據(jù)處理、信息計算等功能,工廠采用高性能存儲計算節(jié)點(diǎn)。航天遙感大數(shù)據(jù)集群處理工廠是一套自主研發(fā)、全流程、高效快速遙感數(shù)據(jù)處理平臺,其核心部分是基于高性能集群/GPU 計算環(huán)境的海量遙感影像自動處理算法。
工廠采用先進(jìn)的數(shù)字?jǐn)z影測量技術(shù)、多任務(wù)調(diào)度技術(shù)、高性能計算技術(shù),集 數(shù)據(jù)生產(chǎn)、任務(wù)管理調(diào)度、成果質(zhì)檢為一體,通過合理調(diào)配計算資源與數(shù)據(jù)資源, 實(shí)現(xiàn)規(guī)?;⒖焖?、智能化的遙感數(shù)據(jù)處理流程。 工廠能夠接收和處理多種國內(nèi)外中高分辨率遙感影像,快速生成多種數(shù)據(jù)處 理產(chǎn)品及遙感解譯產(chǎn)品;系統(tǒng)建立了規(guī)范化、標(biāo)準(zhǔn)化的海量影像數(shù)據(jù)生產(chǎn)流程, 同時構(gòu)建了完備的全過程質(zhì)量控制體系,最終可以為用戶提供專業(yè)級及消費(fèi)級應(yīng)用。
為了減少數(shù)據(jù)遷移造成的資源消耗,在技術(shù)方案上擬用“存儲—計算”一體化的集群系統(tǒng);為了滿足對時空大數(shù)據(jù)快速積累的需要,存儲和計算節(jié)點(diǎn)必須能夠動態(tài)配置,實(shí)現(xiàn)熱插拔式的即插即用。同時,集群架構(gòu)采用機(jī)架式。
采用適合于海量數(shù)據(jù)的大規(guī)模存儲與高性能并行處理的“存儲—計算”一體化的分布式高性能構(gòu)架是一種典型的無共享系統(tǒng)構(gòu)架,分而治之的辦法,將數(shù)據(jù)規(guī)律地分布到節(jié)點(diǎn)上,充分利用節(jié)點(diǎn)主機(jī)的I/O能力,以使總體達(dá)到最大的I/O速率。
航天遙感大數(shù)據(jù)挖掘解譯工廠是一個面向多源空間數(shù)據(jù)實(shí)時挖掘解譯的復(fù)雜系統(tǒng),以攝影測量與遙感技術(shù)為核心的,GIS/CAD以及諸多IT技術(shù)相集成的,軟、硬件一體化的超大規(guī)??臻g數(shù)據(jù)生產(chǎn)系統(tǒng),我們把它叫做現(xiàn)代航測遙感數(shù)據(jù)挖掘解譯工廠(GDF)。該平臺支持衛(wèi)星、航空、地面等多種來源的光學(xué)、雷達(dá)、激光等空間數(shù)據(jù)的靈活處理解譯,滿足影像、地圖、三維模型等地理信息產(chǎn)品的快速制作。
目標(biāo)自動識別模塊
遙感影像植被檢測效果圖
平臺適用于國內(nèi)外各類遙感影像數(shù)據(jù),挖掘解譯自傳感器下行原始數(shù)據(jù)至各級地形產(chǎn)品、影像產(chǎn)品、三維產(chǎn)品及信息產(chǎn)品。平臺本身自帶完整多源遙感影像數(shù)據(jù)完整處理業(yè)務(wù),并支持集成及擴(kuò)展新型遙感應(yīng)用業(yè)務(wù),集處理平臺與集成平臺與一體。
智慧行業(yè)專題圖制作工廠可以進(jìn)行集群硬件狀況與性能的監(jiān)控;能夠?qū)崿F(xiàn)大規(guī)模柵格數(shù)據(jù)的接入、存儲、管理、檢索、快速可視化與制圖、共享服務(wù)等(數(shù)據(jù)單景可達(dá)500GB,數(shù)據(jù)總量可達(dá)500TB);同樣實(shí)現(xiàn)大規(guī)模矢量數(shù)據(jù)的接入、存儲、管理、檢索、快速可視化與制圖、共享服務(wù)等(單個數(shù)據(jù)可達(dá)3GB,屬性字段支持中文,并支持WCS、WFS等標(biāo)準(zhǔn)服務(wù));還有實(shí)現(xiàn)大規(guī)模三維模型數(shù)據(jù)的接入、存儲、管理、檢索、快速可視化與制圖、共享服務(wù)等(支持三維模型的漸進(jìn)傳輸模型的存儲與抽取);與此之外還可以提供非時空數(shù)據(jù)的接入、存儲、管理、共享等支持,設(shè)計實(shí)現(xiàn)大規(guī)模時空數(shù)據(jù)的計算框架,支持集群/多核/GPU等多層次的高性能計算技術(shù),實(shí)現(xiàn)分布式的空間計算(調(diào)用計算工具);提供空間數(shù)據(jù)模型(多種柵格與矢量數(shù)據(jù)格式),開放計算框架接口與工具編寫規(guī)范,并可由用戶自主開發(fā)計算工具;提供10~20個具有代表性的計算工具(RS計算工具、GIS計算工具),實(shí)現(xiàn)多層次的空間大數(shù)據(jù)計算與分析;大規(guī)模時空大數(shù)據(jù)的實(shí)時渲染與交互制圖,支持地圖配置、圖層配置、樣式配置等;達(dá)到單個地圖瓦片的服務(wù)響應(yīng)時間控制在45ms以內(nèi)。
在平臺功能服務(wù)的需求上,要求該平臺技術(shù)先進(jìn)、成熟,核心技術(shù)自主研發(fā);所有服務(wù)的使用都通過完善的加密控制和權(quán)限管理,確保用戶的數(shù)據(jù)安全;支持分布式和集群式部署,能夠?qū)崿F(xiàn)系統(tǒng)服務(wù)能力的動態(tài)擴(kuò)充。
基于智慧行業(yè)專題圖制作工廠,根據(jù)行業(yè)的特點(diǎn)和需求,本著急用先建的原則,開展智慧行業(yè)應(yīng)用示范。主要開展水、綠、地、文、環(huán)等行業(yè)的實(shí)時監(jiān)測、管理、執(zhí)法等專題服務(wù)。
1、水專題圖服務(wù)
主要針對智慧水務(wù)行業(yè)提供水污染在線監(jiān)測服務(wù)以及水資源分布及資源量分布專題圖服務(wù)。平臺主要利用衛(wèi)星和航空遙感手段,利用多光譜高光譜和紅外遙感反演,獲得水體的位置、面積以及水污染變化情況,同時快速監(jiān)測水質(zhì)(水體透明度、葉綠素濃度和懸浮物濃度),分析城市黑臭水體等級,進(jìn)行排污口的高頻次監(jiān)測識別,獲得水污染的精確位置、源頭位置及時追溯排污企業(yè)和個人。
2、綠專題圖服務(wù)
航天遙感大數(shù)據(jù)平臺主要針對智慧園林及林業(yè)行業(yè)提供綠被動態(tài)監(jiān)測服務(wù)以及林木分布專題圖等服務(wù)。利用多源遙感數(shù)據(jù),開展綠被監(jiān)測技術(shù)、不透水面監(jiān)測技術(shù)和水提取技術(shù)等手段,獲得城市區(qū)域內(nèi)的景觀布局、城市宜居環(huán)境及功能區(qū)分布情況。利用無人機(jī)、系留飛艇等平臺,及時發(fā)現(xiàn)城市綠地破壞行為。
3、地專題圖服務(wù)
主要針對規(guī)劃國土行業(yè)提供地災(zāi)監(jiān)測以及地災(zāi)風(fēng)險分布專題圖等服務(wù)。基于多時相衛(wèi)星和航空遙感數(shù)據(jù),提取地面塌陷前后的紋理特征和幾何特征,利用深度學(xué)習(xí)的開展地面塌陷動態(tài)監(jiān)測和風(fēng)險預(yù)測。結(jié)合合成孔徑雷達(dá),分析地面沉降趨勢,提供可行的預(yù)警措施。
4、文專題圖服務(wù)
主要針對規(guī)劃及城市建設(shè)行業(yè)提供城市違法建設(shè)及文物保護(hù)專題圖等服務(wù)。違章建筑一般通過城市管理執(zhí)法來解決,而違章建筑的界定是這一過程的關(guān)鍵前置工作,其界定標(biāo)準(zhǔn)主要包括規(guī)模、時間以及地域等三方面內(nèi)容。對于城市違章建筑的界定,采用人工巡查、航空遙感和衛(wèi)星遙感等天空地一體化手段。利用天基衛(wèi)星數(shù)據(jù)全面普查,依托航空平臺監(jiān)測,從空、地兩個維度對區(qū)域建筑進(jìn)行大范圍、多視角的長期監(jiān)控,及時發(fā)現(xiàn),快速定位,為行政執(zhí)法提供有力證據(jù)。
5、環(huán)專題圖服務(wù)
主要針對環(huán)保行業(yè)提供空氣污染監(jiān)測以及城市熱島效應(yīng)等服務(wù)。整合地面監(jiān)測資源,輔以激光雷達(dá)或飛艇和無人機(jī)、衛(wèi)星遙感等垂直監(jiān)測,構(gòu)建并完善立體監(jiān)測網(wǎng)絡(luò),開展區(qū)域大氣污染物立體監(jiān)測、源解析和機(jī)制分析。聚焦工業(yè)排放、居民散燒、秸稈燃燒、汽車排放等排放源,利用遙感等技術(shù)手段追溯霾污染來源。
城市熱島效應(yīng)監(jiān)測,通過多通道的熱紅外遙感數(shù)據(jù),結(jié)合大氣廓線、風(fēng)場和地形分布,反演獲得地表溫度和發(fā)射率等產(chǎn)品,分析城市熱島效應(yīng),提供城市高溫預(yù)警和公共場所安全保障,指導(dǎo)城市規(guī)劃,構(gòu)建宜居城市。
火情監(jiān)測專題圖服務(wù):指利用高頻次氣象衛(wèi)星進(jìn)行火點(diǎn)判識,主要是遙感分析的手段判識火點(diǎn)像元的經(jīng)緯度、所在位置的行政區(qū)劃、土地利用類型、火點(diǎn)判識的可信度(火點(diǎn)、可能火點(diǎn)、云區(qū)火點(diǎn)等)等。同時加入了可能影響到火勢發(fā)展的實(shí)況風(fēng)力、天氣、相對濕度、氣壓、降水等,同時可提供天氣及自然災(zāi)害預(yù)警,給森林防火監(jiān)測、秸稈焚燒監(jiān)測等帶來了時效性更高的監(jiān)測方式,與此同時可提供緊急調(diào)度、災(zāi)害專報自動生成、歷史回顧,全面滿足火情監(jiān)測的需求。