依莊防，博士，泰伯網(wǎng)海外特約專欄作者。傣族，出生于西雙版納，目前就職于Development Seed（美國華盛頓特區(qū)），是一位機器學習算法工程師。
作者： 依莊防
人工智能不可阻擋地向各行業(yè)滲透。這一現(xiàn)象，恰巧撞上了“商業(yè)遙感衛(wèi)星發(fā)射潮”。這似乎預示了某種潛流。此刻，從事衛(wèi)星遙感影像解譯和大數(shù)據(jù)提取的專業(yè)人士、科研人員、政府部門和企業(yè)都躍躍欲試：恨不得在獲取數(shù)據(jù)的同時，一股腦兒在衛(wèi)星上直接解譯、處理和打包，地面接收站再根據(jù)用戶需求分發(fā)。
顯然，這種愿景目前還無法實現(xiàn)。商業(yè)衛(wèi)星影像本身數(shù)據(jù)量龐大，有很多難點尚未攻關。不過，在高分辨率影像應用領域，市場和科研都有一些亮眼的成果——它們讓高分遙感從獲取、解譯到數(shù)據(jù)分配的一條龍服務的愿景成為可能。
?。ㄗⅲ耗壳盁嶙h的人工智能，其實包括了很多領域和應用。講真，所有可以用機器代替人工來做，特別是重復性強的，在媒體報道中都統(tǒng)稱人工智能。本文所指的人工智能，具體指用機器學習、深度學習等計算機視覺技術去分析、解譯高分遙感數(shù)據(jù)。）
所以，只有充分了解高分辨率遙感影像的直接應用難度，才能為人工智能與遙感的結合，構建合理的想像。
高分遙感應用難度
難度1. 數(shù)據(jù)大
高分遙感影像的分辨率越大，其數(shù)據(jù)就越大。
30米分辨率指的是遙感影像上每一個像素對應的地物是30米x30米。比如地面120米 x 120米的地塊，在分辨率為30米的衛(wèi)星影像圖上是16個像元，但是在3米x 3米的衛(wèi)星影像上就是1600個像元，到了30厘米 x 30厘米的衛(wèi)星影像圖中則變成了160000個像元。
分辨率越高記錄的數(shù)據(jù)信息越詳細，不僅僅是像元隨著高分影像增大，其每個像元的信息復雜性也在增加，因此高分遙感影像分辨率的提高和其更低分辨率影像之間的文件大小不是線性關系。
難度2. 分析難
分辨率越高，信息量越大，數(shù)據(jù)提取就越難。
同一個地點，高分辨率遙感影像隨著分辨率越高獲取的地面數(shù)據(jù)越多，信息越復雜，就越難提取有用的信息。
如果在一二十年前用Landsat衛(wèi)星影像（30米分辨率）做一個縣市級別的土地利用分類工作，直接把數(shù)據(jù)導入地理信息和圖像解譯工作平臺（ERDAS，ENVI和ArcGIS等等）大概都可以作出個產品來。但是如果衛(wèi)星影像分辨率達到了30厘米(相當于30m分辨率高出100倍的精度)：30米分辨率時只能看到大概的形狀，30厘米就可以看到路上行駛的車輛了——遙感影像分辨率越高，精度越高，可以觀察到的地物就越多，那么在眾多繁雜的信息中分辨出有用信息的難度就越大。
普通影像處理軟件處理分辨率越高的影像就越困難，此時人工智能的作用就凸顯了。高性能超級計算機，可以不知疲倦地實時處理人工和普通影像處理軟件無法完成的工作。
Digital GlobeWorldView-3影像兩個分辨率對比圖，左圖是分辨率為1.24米（文件大小為1.7M），右圖分辨率是0.31米（圖片大小是10.2M）
難度3. 可用性不確定
解譯數(shù)據(jù)的可用性。
這時，可能會有遙感專業(yè)的同事說，信息量大，正是高分辨率遙感的魅力所在。這話是沒有錯的。
下面咱們還要講怎么使用人工智能遙感從高分辨率遙感影像中提取有用的信息。但是在實現(xiàn)這一步之前，有一個不可忽視的細節(jié)難度——分辨率越高的影像解譯和提取的信息越多，處理不好，反倒可能使得結果沒辦法用。
我們從高分辨率影像中提取的數(shù)據(jù)，最終目的是希望可以放在地圖上，供專業(yè)人士或者普通市民使用?；旧虾芏嘤嬎銠C視覺里面使用到機器學習和深度學習（比如圖像分割、對象檢測和圖像分類）都可以在高分辨率遙感中應用。
無人駕駛汽車使用的機器學習算法是圖像分割，即該車在街道上行駛時不斷的拍照和解讀，哪里是道路、道路邊界、行道樹和行人。從高分辨率遙感解譯信息其實也是這么一回事，從圖像分割中知道哪里是樓房、道路、橋梁、樹林、機場等等。
和一般計算機視覺不同的是，高分遙感提取的數(shù)據(jù)需要放在地圖上，就是說這數(shù)據(jù)不僅要在機器學習（人工智能）模型中達到好的精度，還要有準確的地理信息（比如經(jīng)緯度等等）——這最終才有可用性。
比如咱們用圖像分割中解譯出來的道路在地圖上向右平移了5米，或者解譯出來的樓房缺了三分之一等等。那么數(shù)據(jù)要用到現(xiàn)實生活，如導航或者計算建筑面積，就沒啥用了。
難度4.其他
高分辨率遙感影像本身特點帶來的問題。
除了以上高分辨率遙感影像文件大、信息復雜、信息提取難度高、以及人工智能模型結果的可用性不確定等因素之外，高分辨率遙感影像本身還存在以下問題：
①云層覆蓋。大家抬眼看天空，云層千變萬化。不同的季節(jié)和地區(qū)云層覆蓋不一。一旦衛(wèi)星影像研究區(qū)域的云覆蓋率到了10%以上就很難從中提取好的數(shù)據(jù)。當然這個問題在商業(yè)小衛(wèi)星覆蓋率高的地區(qū)，衛(wèi)星可以在短時間內重復性的訪問一個地點，或者在天氣晴朗的時候使用無人機獲取數(shù)據(jù)等，是可以解決這個問題的。
?、跁r空分辨率的取舍?？臻g分辨率，是到目前一直強調的高分辨率。而時間分辨率指的是遙感影像以多高的頻率獲取，比如是一天拍一次上海，還是一個月一次，還是一年一次。
高分辨率衛(wèi)星影像不僅僅處理和解譯難，獲取的費用也是不菲的。因此沒有長期的研究、資金支持和投入，沒有市場需求，同時開發(fā)的高分遙感產品不能在時間或空間分辨率中占得優(yōu)勢的話，企業(yè)很難在市場上存活。比如美國Digital Globe，它的衛(wèi)星影像是根據(jù)客戶需要去采集數(shù)據(jù)，它最好的數(shù)據(jù)產品WorldView-3和4的分辨率可達0.31米。Planet Lab的商業(yè)模式則不同，它是通過提高時間分辨率但（部分）放棄空間分辨率（他們的最高分辨率的衛(wèi)星影像產品是1米空間分辨率），以實現(xiàn)每周生成覆蓋全球的遙感影像。當然，Planet同時也在提高衛(wèi)星影像的空間分辨率來搶占市場。
?、鄄ǘ味?，難以取舍。和計算機視覺的機器學習、人工智能模型中大部分只是用紅綠藍三個色相通道（就是普通的照片）不同，高分辨率遙感影像可以有十幾到上百個波段，不同的地物解譯和圖像分割可選取不通的波段組合。但是選擇多了也很痛苦，因為目前高分率波段組合和選擇在機器學習（人工智能）上的應用還沒有足夠積累。
人工智能和高分遙感的結合
人工智能和高分辨率遙感可以說是天作之合。
高分辨率遙感影像的存在是為了能讓我們實時監(jiān)測地面發(fā)生的變化。比如一個城市哪里新建了房屋，哪里新建了道路橋梁；農業(yè)上哪一個作物得了病蟲害；或者哪一個地區(qū)發(fā)生旱災澇害，要怎樣疏導災民，如何重建。也有保險公司在實時監(jiān)測用戶的屋頂材料和冰雹雪災之間的聯(lián)系，從而為拓展房屋保險業(yè)務提供服務。人工智能可以讓我們大規(guī)模、智能化、實時性的實現(xiàn)數(shù)據(jù)提取。
前面說了那么多困難，那么，人工智能和高分辨率遙感影像解譯能結合嗎？能有未來嗎？答案是肯定的。下面待我給大家一一解讀。
傳統(tǒng)計算機視覺的新玩法
01.啥是機器學習（深度學習）
機器學習可以分為監(jiān)督學習，非監(jiān)督學習和強化學習。
顧名思義，監(jiān)督學習指的是告訴模型你認為圖像里哪是房子哪是路，人工智能就會建立原始衛(wèi)星影像和你給的標簽（房子，道路）之間的數(shù)學關系。非監(jiān)督學習就是不告訴模型哪是房子哪是道路，模型根據(jù)衛(wèi)星影像里面的像元值對圖像進行分類。強化學習則是啥也不告訴模型，讓模型自己學習，并不斷強化。當然我這是往簡單里說，具體的解釋大家可以參考其他機器學習的資料。
高分辨率遙感影像解譯用的最多的是監(jiān)督學習。
第一排的兩張圖是監(jiān)督學習中的圖像分割訓練數(shù)據(jù)（左圖是衛(wèi)星影像圖，右圖是標簽數(shù)據(jù)——房子和道路）。這個訓練圖集的關系就如同解方程式：其中衛(wèi)星影像圖就相當于X，標簽數(shù)據(jù)就是y，人工智能模型就是在X和y中找數(shù)學關系。然后我們可以通過這個關系從未被人工智能模型訓練過的衛(wèi)星影像圖中提取房子和道路的信息。
第二排的兩張圖是監(jiān)督學習中的對象檢測訓練數(shù)據(jù)（左圖是衛(wèi)星影像圖，右圖是房子的對象檢測框）。
在第一排訓練數(shù)據(jù)訓練的圖像分割模型，就可以從高分辨率遙感影像中找出衛(wèi)星影像中哪一個像元是房子或者道路。第二排訓練數(shù)據(jù)集訓練的模型則可以用來“找房子”，這個方法一般可以用來數(shù)房子，即可以用通過新房子在一段時間的建設數(shù)量來衡量區(qū)域經(jīng)濟發(fā)展的速度。比如第一排的訓練數(shù)據(jù)集可以通過在高分辨率遙感影像和標簽數(shù)據(jù)之間建立數(shù)學關系（這里通常通過深度學習的方法），進而預測未知影像中的檢測對象。
人工智能模型通過輸入的高分辨率遙感影像和標簽數(shù)據(jù)來預測檢測對象。圖中第一排是房屋建筑面積的預測模型，第二排是道路系統(tǒng)檢測模型。
02.高分影像和開放街道地圖（Open Street Map）為機器學習新玩法雪中送炭
高分遙感影像數(shù)據(jù)量大，傳統(tǒng)的分析方法是下載一整片衛(wèi)星影像，導入到可以用來分析這個影像的地理信息軟件中來分析。這項工作繁瑣、緩慢、不討好，而且受各種不可知因素影響。沒有大量的人工投入很難用于應急，比如洪澇災害來了，只能依靠過往的地圖和模型信息積累來開展工作。
通過區(qū)塊地圖服務（Tile Map Service）實現(xiàn)高分遙感的實時分享，以及開放街道地圖的存在，它們是未來人工智能在高分辨率遙感影像解譯方面長足發(fā)展的兩個重要基礎。要做到以上實時預測道路網(wǎng)絡，離不開這兩個基石。
03.區(qū)塊地圖服務（Tile Map Service）
大家肯定熟悉百度地圖、高德地圖、必應衛(wèi)星影像圖。照理來說，全球或整個中國的地圖數(shù)據(jù)那么大，儲存了那么多數(shù)據(jù)，比如你喜歡的餐館、書店、咖啡館、電影院等等，以及你上學、上班和回家的每一條路，還有千千萬萬同學的同學、朋友的朋友的住宅小區(qū)等等。數(shù)據(jù)那么大，可是并不妨礙你一打開手機就可以瀏覽。
這得益于區(qū)塊地圖服務（當然還有其他的技術，咱們先往簡單里說），這個技術可以使我們從全球地圖開始，點擊放大地圖20次就可以看到世界上任何一個地區(qū)的街景。地圖在每一次放大過程中的信息量不一樣，在全球水平上是非常粗糙的國家級數(shù)據(jù)，放大20次在手機屏幕上展示的信息就是你感興趣的街景圖。
在放大地圖的過程中越來越多的信息被展現(xiàn)，在縮小的過程你會發(fā)現(xiàn)經(jīng)常走的那條街不見了，慢慢的學校在地圖上消失了，然后在全國地圖上你只看到你的省會城市。
這和高分遙感影像實時分享有啥關系？說白了就是同一個道理。高分遙感簡單的說是你可以放到最大看到的衛(wèi)星影像圖，精細、信息量大?？梢韵胂瘢@些塊狀的衛(wèi)星影像就像地板磚一樣（英文用詞是tile，很形象），分辨率為1米的塊狀衛(wèi)星影像要覆蓋（鋪滿）整個中國大概需要千萬億塊（960萬平方公里）?？上攵谶@個分辨率尺度上解譯國家級別的數(shù)據(jù)，這個工作量和人工需求有多大，就更不要說比1米分辨率更高的高分辨率影像了。
商業(yè)衛(wèi)星影像公司可以通過生成不同分辨率影像，來滿足不同的用戶需求。比如要做建筑物占地面積或者道路系統(tǒng)的人工智能模型，就會希望用到最高空間分辨率的影像（下圖提到的放大次數(shù)我們希望用到zoom level 17以上的影像數(shù)據(jù)），但是做農業(yè)相關的土地利用圖就不需要高分辨率的影像。
區(qū)塊地圖服務可以從全球低分辨率的衛(wèi)星影像放大到高尺度的衛(wèi)星影像。
04.開放街道地圖
開放街道地圖是以人人都可以編輯的世界地圖為其宗旨。全球有幾百萬會員每天都在世界不同的國家和地區(qū)編輯和錄入數(shù)據(jù)。其中人道主義援助的貢獻特別突出，比如海地和尼泊爾地震期間就有全球的志愿者通過高清衛(wèi)星影像編輯地圖，比如勾畫出哪個地段的道路和房子被毀了，哪里是最近的救援點和醫(yī)院等等。
開放街景地圖可以作為機器學習的訓練數(shù)據(jù)集，特別是訓練數(shù)據(jù)中的標簽數(shù)據(jù)。我們最近開發(fā)了一個開放的python數(shù)據(jù)包，叫做Label Maker。該數(shù)據(jù)包可以從開放街道地圖的API匹配同個地區(qū)的Mapbox衛(wèi)星影像來生成包括TensorFlow、MXNet、Pytorch、Theano和Keras框架下的深度學習訓練數(shù)據(jù)集。
我們在Label Maker的上面放了幾個機器學習的案例，包括圖像分類和對象檢測，大家可以去看看（我的中文博客介紹）。
高分影像、開放街景地圖和Label Maker，加上云計算，可以實現(xiàn)很多以往傳統(tǒng)的中低分辨率遙感影像和傳統(tǒng)的衛(wèi)星影像解譯無法做到的。SkyNet是我們做圖像分割的一個機器學習方法，開放的，大家可以去玩玩。
我們用SkyNet可以實時從高分遙感影像中解譯道路系統(tǒng)。當然SkyNet的背后是劍橋大學在前幾年開發(fā)的SegNet技術。機器學習中的圖像分割（也是SkyNet）背后的技術是目前無人駕駛汽車中主要使用的計算機視覺技術之一。 我們現(xiàn)在還在開發(fā)更多、更新、運算更快的算法。北美和全球都有很多類似的公司和機構，開發(fā)各種深度學習、傳統(tǒng)機器學習在高分辨率遙感影像解譯中的應用軟件包和工具。希望未來可以給大家多多介紹。
高分遙感影像的出現(xiàn)和人工智能可以幫我們做很多事情。作為這個領域的專業(yè)人士，我們該從應用的角度出發(fā)，挖掘人工智能和高分影像的應用。比如對于智能城市的建設，第一道數(shù)據(jù)關口是我們的城市里道路建設和房屋狀況是怎么樣的？哪里發(fā)展最快，哪里比較慢，為什么？洪澇災害來了哪里會受災比較嚴重？醫(yī)院學校都建在哪里，其他的公共設施都建在哪里？
高分遙感的實時更新以及人工智能的快速運算，需要能夠回答智能城市建設的最基本問題。比如下圖，通過對比人工智能模型的建筑占地面積預測結果和已經(jīng)在地圖上標記的建筑占地面積，就可以找出一個城市哪些建筑是新的、還沒有標記在地圖上的。開放街景地圖的制圖任務管理人員可以號召制圖志愿者到這些地方添加沒有地圖標記的建筑物。同樣的道理，人工智能和高分辨率遙感影像的結合，除了可以幫城市規(guī)劃機構標記城市化的進程外，遙感的多光譜波段還可以“看見”城市建筑物的材料，從而“預見”城市在不同自然災害下的脆弱程度，這對災后重建工作也會起到很大作用。
淺見未來
01.人工智能也需要加入人的協(xié)助
目前人工智能在高分辨率遙感影像上的應用日新月異，但是因為衛(wèi)星遙感影像應用難度，以及人工智能本身的應用瓶頸，還不能實現(xiàn)全程的自動化。因此，從衛(wèi)星影像采集到衛(wèi)星影像解譯和數(shù)據(jù)整理一條龍服務還難以達到。不過，相關專業(yè)人士可以在這個過程中助力。
比如上面提到的道路系統(tǒng)和房屋建筑占地面積預測在一定程度上是可以實現(xiàn)全程自動化的，但是還有大量案例是無法全部自動化的。
2018年我們幫助世界銀行制作巴基斯坦、尼日利亞和贊比亞三國的高壓電網(wǎng)圖。高壓電網(wǎng)在高分辨率影像中是非常難以分辨的，我們通過人工智能模型預測高壓電塔的分布、引導專業(yè)制圖人員制圖的方式完成，這要比傳統(tǒng)人工查看高壓電塔、畫高壓電網(wǎng)的方法在速度上提高了33倍工作產出（該方法現(xiàn)在是開放的報告和模型方法，可供大家參閱）。
02.高分辨率影像解譯和人工智能要完成三件事
現(xiàn)在人工智能（機器學習和深度學習）和高分辨率遙感的解譯和應用熱情空前高漲，但是所有業(yè)內人士也不能忽略這個問題：如何從高分遙感影像中提取可直接應用的數(shù)據(jù)。
這個問題不是專業(yè)人士拍拍腦袋就能夠決定的，而是應該從不同應用案例和使用者的角度出發(fā)來解譯和整理數(shù)據(jù)。比如同樣的方法論，我上面提到的應用圖像分割從高分辨率遙感影像中提取道路系統(tǒng)。城市規(guī)劃師需要的數(shù)據(jù)與交通管理部門不同，澇災情況下的導航需要的道路系統(tǒng)也與災后重建所需要的不同。
道路系統(tǒng)屬性不同，能夠支持不同的工作和需求。因此，機器學習算法工程師和高分辨率遙感影像解譯的工作，必須能夠滿足三方面的要求：第一，數(shù)據(jù)的完整性；第二，預測的準確性；第三，數(shù)據(jù)的應用性。其中，第三個條件不應該是最后考慮的，而是要在人工智能模型的開發(fā)過程中貫穿始終。
希望我們可以一起做更多更有意義的工作，通過開放的軟件開發(fā)服務更多的社區(qū)、地區(qū)、國家和需要數(shù)據(jù)的人。
文章轉載泰博網(wǎng)
