TWI760782B - 用於地理區域上果園辨識之系統及方法 - Google Patents
用於地理區域上果園辨識之系統及方法 Download PDFInfo
- Publication number
- TWI760782B TWI760782B TW109122891A TW109122891A TWI760782B TW I760782 B TWI760782 B TW I760782B TW 109122891 A TW109122891 A TW 109122891A TW 109122891 A TW109122891 A TW 109122891A TW I760782 B TWI760782 B TW I760782B
- Authority
- TW
- Taiwan
- Prior art keywords
- orchard
- image
- aerial
- aerial image
- shape
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G17/00—Cultivation of hops, vines, fruit trees, or like trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/752—Contour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Botany (AREA)
- Environmental Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本揭露係提供一種用於地理區域上果園辨識之系統及方法。所述系統係包括:預處理模組,係用於派生包含果園坵塊的航照圖目標區段;影像優化模組,係用於執行航照圖目標區段之客製化影像處理;以及辨識模組,係用於以深度學習機制判定航照圖目標區段上所呈現果園的種類及邊界。因此,農民及農業實體可有效率地監控不同地理區域內之果園,以獲得更好的水果生產及執行更佳的水果品質控制及土地利用。
Description
本揭露係請求於2019年7月8日提出申請的美國序列編號第62/871,252號的權益,其公開內容於此通過引用整體結合於本文中。
本揭露係關於人工智慧農業領域,且更特別是在地理區域上分割果園之邊界及辨識其種類。
在農業產業中,特定種類水果的種植過量或種植不足常會造成市場中供需的嚴重不平衡。為了在競爭的農業產業中適當地獲利,農民或農業實體通常最好能監控不同地理區域內的果園,以更好地調節水果生產,並執行更好的水果品質控制和土地利用。
航照圖係監控果園用之常見資源。然而,由於航照圖常包含例如陰影、雲、如建築物之非果樹元素等不良干擾,因此在航照圖上執行分析通常是困難的。更進一步地,就算航照圖沒有干擾仍是難以進行分析的,因為果園的不規則形狀(例如,果樹可能沿著山丘的地勢種植,且自耕農可能擁有不規
則形狀之果園)及不同果樹間的相似特徵,僅靠人類能力是不可能進行區分的。
現存在有本技術領域中的專業人員為了易於調查而於航照圖中所製作的果園形狀檔案(shapefile)。然而,製作這些形狀檔案需消耗大量時間,且需要航照圖分析的特定專業能力。舉例來說,一張具有五千比一之空間比例尺度且僅包含單一種類果樹的航照圖,一般需要專業人員十二小時來完全分析。
因此,本技術領域亟需電腦實施技術來解決前述的問題。
本揭露係提供一種用於辨識地理區域上之果園的電腦實施系統,包括:預處理模組,係經配置以自航照圖及形狀檔案派生該航照圖之目標區段,該目標區段包含該果園之坵塊及對應該果園之形狀之遮罩;影像優化模組,係經配置以藉由優化器調節該航照圖之目標區段;以及辨識模組,係經配置以基於對應該果園的形狀之遮罩及包含該果園之該坵塊的該經調節之航照圖之目標區段,藉由深度學習機制判定該航照圖之目標區段中該果園的種類及該果園的邊界。
本揭露另提供一種用於辨識地理區域上之果園的電腦實施方法,包含:自航照圖及形狀檔案派生包含該果園之坵塊的該航照圖之目標區段;自該形狀檔案派生對應於該果園的形狀之遮罩;藉由優化器調節該航照圖之目標區段;藉由深度學習機制判定該航照圖之目標區段中的該果園之種類;以及基於對應於該果園之該形狀之該遮罩及包含該果園之該坵塊之該經調節之航照圖之目標區段,藉由該深度學習機制判定該航照圖之目標區段中該果園的邊界。
100:系統
110:輸入模組
120:預處理模組
130:影像優化模組
140:辨識模組
150:後處理模組
1001:左側視窗
1002:右側視窗
1003:目標
1004:柑橘選項
1005:柑橘區域
1010、1020、1030、1040、1050:步驟
本揭露可藉由閱讀以下實施例的描述,並藉由參考伴隨的圖式而更具體了解,其中:
圖1係本揭露中用於判定地理區域上果園種類之系統的例示示意圖;
圖2至圖10係本揭露之實施態樣的例示示意圖;
圖11係繪示操作本揭露中用於判定地理區域上果園種類之系統的步驟流程圖。
本揭露係藉由以下實施例描述。本技術領域中具有通常知識者可在閱讀本說明書揭露的內容後充分了解本揭露的其他優點及功能。本揭露亦可以其他不同實施方式實行或施加。
參考圖1,係提供用於辨識地理區域上之果園的種類的系統100。具體而言,系統100包括輸入模組110、預處理模組120、影像優化模組130、辨識模組140及後處理模組150。上述各模組可在分開或整合之電腦設備、處理單元、或其結合者上運作。更進一步地,所述模組可通過有線或無線方式彼此電性通訊。
輸入模組110係經配置以接收用於訓練及/或分析之原始影像。舉例而言,系統100可以網頁或應用視窗之形式提供使用者介面,以允許原始影像之上傳及/或匯入。儘管未特別註記,本技術領域中具有通常知識者當知道,輸
入模組110所接收之原始影像可同時作為用於處理之後續階段中果園辨識的訓練資料及欲辨認之資料。
如圖2所示,本文描述的原始影像一般係指航照圖及果園之形狀檔案,但並不限於此。
在本文中描述的實施態樣中,航照圖係由衛星、飛機上之相機、無人機、或類似者所拍攝之影像,且可以多光譜影像或高光譜影像格式拍攝,而形狀檔案係本技術領域中之專業人員所辨認的描繪果園邊界的圖像。所述多光譜影像或高光譜影像可具有7、12或28的頻帶,但不限於此。更進一步地,航照圖可包含存在於RGB(red,green & blue;紅、綠及藍)可見光波、近紅外線(near-infrared,NIR)光波、長波長近紅外光波、全色波段光波及熱紅外光波之數據,且可包含CAVIS(clouds,aerosols,vapors,ice & snow;雲、氣霧、煙霧、冰及雪)資訊。
在另一實施態樣中,航照圖及形狀檔案皆可帶有地理資訊,例如,其相對於地理資訊系統(geographic information system,GIS)之座標及空間尺度,或航照圖及形狀檔案所產生的時間。航照圖及形狀檔案亦可帶有其設定資訊,例如,其解析度值、檔案大小、或類似者。所述關於航照圖及形狀檔案之地理資訊及設定資訊在果園辨識之後續階段中也是有助益的。
在另一實施態樣中,航照圖及形狀檔案可在使用者需求下被上傳、或從可靠來源自動匯入,例如,從台灣農業試驗所及農林航空測量所之資料庫自動匯入。然而,原始影像的檔案格式及來源並不限於上述,且可以不同檔案格式或其他來源取得。
回到圖1,預處理模組120係用於從輸入模組110所接收之航照圖及果園之形狀檔案中派生航照圖之目標區段及遮罩。舉例而言,所述遮罩可來自形狀檔案,但不以此為限。預處理模組120之處理流程及其結果係如圖3至圖4所描繪,並將詳細描述於下文中。
如圖3所示,果園之坵塊可藉由將航照圖及果園之形狀檔案彼此比較所派生。以圖3由左至右(如箭頭所示)描繪來看,預處理模組120係選擇具有相似地理資訊(即,座標及時間相近)之航照圖及形狀檔案來做比較。由此,果園之坵塊(即,無背景之坵塊)可使用形狀檔案所描述之果園的邊界資訊從航照圖中切割出來。應當理解的是,所取得的果園坵塊可用做果園辨識之後續階段中的訓練資訊(例如,果園坵塊之基本事實(ground truth)資訊)。
在另外的實施態樣中,在預處理模組120派生出果園坵塊後,可進行額外的步驟,以確保坵塊是可用的。舉例而言,休耕季節之果園或用做建地之果園在航照圖中不會呈現任何果樹。另舉一例而言,帶有嚴重干擾或不完整區域之航照圖亦不會呈現足夠的果樹資訊。在此情況下,預處理模組120可將具有高非植栽比例、高色差及/或過小果園區域之果園坵塊過濾。所述非植栽比例可藉由坵塊中呈現的歸一化植被指數(normalized difference vegetation index,NDVI)值計算之。
圖4係相對於圖3的接續流程,其中,果園之坵塊係用於取得航照圖中的目標區段。如圖4中由左至右所描述的(如箭頭所示),預處理模組120係基於果園之坵塊(即,箭頭旁之中間影像所示具有背景的果園坵塊)從航照圖中分割出包含坵塊的目標區段,使得果園辨識之後續階段更易管理(即,具有較小檔案大小且具有統一形狀)。更進一步地,預處理模組120另使用形狀檔
案產製對應於坵塊形狀之遮罩(即,右側所示之影像)。舉例而言,對應於果園坵塊的遮罩係遮蓋航照圖目標區段上除了果園所在之區域處。藉此方式,對應於果園坵塊的遮罩可在航照圖之目標區段中詳細描繪出坵塊的邊界(即,坵塊的形狀)。應當理解的是,所獲取的航照圖目標區段及對應於果園坵塊的遮罩可用作果園辨識之後續階段中的訓練(即,基本事實)資訊。
在一實施態樣中,對應於果園坵塊的遮罩可由以下格式生成:PNG/BMP檔案之影像遮罩、json或geo-json檔案中的Polygon、藉由未壓縮/壓縮長度變動編碼壓縮法(run-length encoding,RLE)或經修改的霍夫曼編碼加密的json或geo-json檔案中的加密影像、或類似者,但並不限於上述。
回到圖1,預處理模組120派生之航照圖之目標區段(即,具有背景之果園坵塊)係送至影像優化模組130,以進行客製化影像處理。
舉例而言,航照圖可能被不同設定之相機拍攝。因而,從航照圖分割之航照圖目標區段通常包含不理想之缺陷及噪音,例如,雲、霾、陰影、來自地球表面之光反射等,皆係不利於辨識航照圖中果園之種類(例如,種植於果園中之果樹)。因此,最好將航照圖之目標區段調節成易於掌握之狀態,以使後續處理階段中的果園辨識能有效率。
在本文中描述的實施態樣中,影像優化模組130係經配置有分類器及優化器,其中,分類器係經配置以判定航照圖之目標區段中的瑕疵種類,而優化器係經配置以基於分類器所判定的瑕疵種類達成所述航照圖目標區段的調節。舉例而言,分類器係用於影像中之瑕疵分類的卷積神經網路(convolutional neural network,CNN)模型,例如,AlexNet CNN模型、VGG CNN模型、或類似者,但不限於上述。再者,優化器執行之所述航照圖目標區
段的調節係包括果園坵塊之雲/霾移除、色彩校正及/或陰影去除等項目,但不限於此。
在一實施態樣中,航照圖目標區段之雲/霾移除的項目可使用以下文件揭露的方法達成:Kaiming He、Jian Sun及Xiaoou Tang所著之「使用暗通道先驗去除單張圖像霾」;Bharath Raj N.及Venkateswaran N所著之「使用生成對抗網絡去除單個圖像霾」;Chao-Hung Lin、Po-Hung Tsai、Kang-Hua Lai及Jyun-Yuan Chen所著之「利用資訊複製從多時相衛星圖像中去除雲」;或類似者。然而,其他具有相等或改進效率之用於航照圖目標區段之雲/霾去除技術亦可被影像優化模組130使用。
在另一實施態樣中,用於航照圖目標區段之色彩校正的項目可使用以下方法達成:GDAL Cookbook的直方圖拉伸方法、直方圖均衡、Ke-Sheng Cheng所著之基於PCA的色彩校正方法、通過全局/局部對比度優化和色彩校正的影像增強、中途均衡、對比受限的自適應直方圖均衡化(contrast limited adaptive histogram equalization,CLAHE)、影像之直方圖裁剪解相關拉伸邊緣感知局部對比度處理、影像之快速局部拉普拉斯濾波、伽瑪校正、或類似者。然而,其他具有相等或改進效率之用於航照圖目標區段之色彩校正技術亦可被影像優化模組130使用。
在又一實施態樣中,用於航照圖目標區段之陰影移除的項目可使用以下文件揭露之方法達成:Jifeng Wang、Xiang Li及Jian Yang所著之「用於聯合學習陰影檢測和陰影去除之堆疊式條件生成對抗網絡」;Oleksii Sidorov所著之「用於多光源顏色恆定的條件GAN:革命還是另一種方法?」;Graham D.Finlayson、Steven D.Hordley及Mark S.Drew所著之「從影像移除陰影」;Saritha
Murali、Govindan V.K.及Saidalavi Kalady所著之「通過使用非陰影錨點值進行優化之單一圖像陰影去除」;或類似者。然而,其他具有相等或改進效率之用於航照圖目標區段之陰影移除技術亦可被影像優化模組130使用。
在本文中描述的一些替代實施態樣中,影像優化模組130係配置有卷積神經網路(CNN)模型的優化器,例如,條件生成對抗網絡(generative adversarial network,GAN)CNN模型、或類似者,係可同時執行上述的航照圖之瑕疵分類及航照圖目標區段之調節。
圖5係描述影像優化模組130之運作的例示性圖樣,其中,航照圖之目標區段係經過複數個卷積、池化及/或完全連接層,以致能特徵提取及分類而執行所述航照圖目標區段之雲/霾移除、色彩校正及/或陰影去除等項目。應當理解的是,所述航照圖目標區段之雲/霾移除、色彩校正及/或陰影去除等項目係可被影像優化模組130逐步或同時執行,只要上述各項目被有效率地達成即可。
回到圖1,辨識模組140係經配置以判定航照圖之目標區段中果園的種類(即,種植於果園中之果樹的種類)。
在本文中描述的實施態樣中,辨識模組140係使用深度學習機制,例如神經網路,如卷積神經網路(CNN)模型,來辨識果園。舉例而言,辨識模組140所使用之深度學習機制係Mask R-CNN模型,但不限於上述。
在一實施態樣中,辨識模組140的深度學習機制可於實時或訓練期間使用影像優化模組130調節之航照圖目標區段及/或預處理模組120所輸出對應於果園坵塊的遮罩進行訓練。因此,辨識模組140係於接收到未辨識之航照圖
時,自動從其中辨識果園的種類,並接續辨識果園之邊界(即,果園的形狀)。
圖6係繪示如箭頭所示由左至右之方向所呈現使用辨識模組140之深度學習機制判定果園種類之流程。首先,候選區域網路(region proposal network)係用於辨認航照圖之目標區段上的興趣區域(region of interest,ROI),其中,ROI一般係包含欲辨認之坵塊的四角形邊框。接著,ROI係經過一系列完全連接網路(例如,圖6所示二個完全連接網路)以判定並辨認坵塊中所種植之果樹種類(即,坵塊種類),並產製切割出航照圖目標區段上坵塊之邊界形狀的遮罩,以標示坵塊的邊界。
有數種辨認航照圖上果樹之標準。舉例而言,對於生長特性方面,香蕉樹一般具有帶複數大型葉的星型樹冠;棗樹一般具有半透明層的纖毛狀樹冠;而蓮霧樹一般具有亮綠色之圓型樹冠。另舉一例而言,對於農業操作方面,棗樹常在收穫季節前以白網覆蓋;荔枝樹的樹冠常被修剪(例如,在荔枝樹的樹冠中央具有中空部分)以控制其高度;而蓮霧樹常以黑網覆蓋以控制其水果培育時間。這些果樹的特性因而形成自航照圖之果園中辨認果樹的標準。
因此,辨識模組140係經訓練,以藉由提取航照圖之目標區段內符合上述標準的特徵,自動辨認ROI內果園所種植果樹的種類。然而,應當理解的是,辨識模組140並不限於僅辨認上述的果樹種類。事實上,在辨認其他果園的標準持續被更新至辨識模組140之深度學習機制下,辨識模組140可被訓練以辨認更多種類之果樹。
圖7及圖8係顯示藉由辨識模組140所辨識的果園態樣。在圖7中,經辨認的ROI係輸出為標註有果樹種類(依次為:蓮霧、棗子、及荔枝)且標示有果園邊界(以圍繞果園之粗線呈現)的影像。圖8圖示基於農業操作特徵辨認ROI內之果園的另一態樣,例如覆蓋有白網之棗樹及覆蓋有黑網之蓮霧樹的果園。應注意的是,果樹的種類可包括梨子、柿子、竹子、龍眼、楊桃、葡萄、檳榔、香蕉、蘋果、芒果、枇杷、椰子、桃/李子、火龍果、番荔枝、番石榴、番木瓜、百香果、銀蓮花、甘蔗。
回到圖1,後處理模組150係經配置以輸出辨識模組140的辨識結果。舉例而言,具有經辨識之果園的影像可投射到包含果園之航照圖以做演示。
圖9至圖10係圖示後處理模組150的工作流程。在圖9中,後處理模組150係搜尋使用者所上傳之航照圖上對應於經辨認之果園的位置(例如,使用航照圖的地理資訊)。接續看到圖10,後處理模組150係將航照圖,連同對應之經辨認果園的影像呈現於使用者介面,以用於觀看選項。類似地,使用者介面可為網頁或應用視窗的形式,且可為與系統100所提供用於輸入原始影像至輸入模組110的使用者介面為相同的使用者介面。
圖10係繪示根據本文所描述之實施態樣中呈現後處理模組150輸出的辨識結果之使用者介面的態樣。在此實施態樣中,在欲從航照圖中修出種植有柑橘之果園之辨識結果的要求下,目標1003選項及柑橘選項1004可被使用者選定,以標示出左側視窗1001所呈現航照圖中種植有柑橘的所有果園。接著,當使用者選定視察航照圖上特定的果園時(例如,將滑鼠指標移動至航照圖上特定的果園上),被選定之果園的影像可被呈現於右側視窗1002(即,具
有經辨識果園的影像)上,並以圖像層(其對應於遮罩所標示之果園的邊界/形狀)標示所選定果園的影像中果園的區域。可選擇地,若果園中柑橘區域1005(以像素為單位)的額外資訊亦可呈現,則使用者可獲得所辨認果園的實際地理資訊(例如,果園的實際種植區域)。
圖11係圖示用於辨識航照圖中果園之方法的步驟流程圖。
在步驟1010處,係接收果園的航照圖及形狀檔案。舉例而言,果園的航照圖及形狀檔案可經由系統100所提供之使用者介面(例如,網頁、應用視窗等)上傳至輸入模組110。在此情況下,航照圖可包含一或多個欲辨識之果園。
在步驟1020處,航照圖係藉由預處理模組120預處理,以自航照圖產製包含果園之坵塊的航照圖目標區段,並使用果園之形狀檔案產製對應於果園坵塊的遮罩。
在步驟1030處,航照圖之目標區段可藉由影像優化模組130調節,其中,影像優化模組130係經配置,以判定航照圖目標區段中瑕疵種類及基於瑕疵種類替航照圖目標區段執行例如雲/霾移除、色彩校正及陰影去除的優化器。
在步驟1040處,航照圖目標區段中之果園係藉由深度學習機制被辨識。舉例而言,航照圖目標區段中果園的種類及邊界係藉由辨識模組140之深度學習機制,基於預處理模組120產製之對應於果園坵塊的遮罩及多種辨認果樹之標準來判定。
在步驟1050處,後處理辨識的結果。舉例而言,標示有果園種類及邊界之影像(如圖7及圖8所示),及其對應之航照圖,可藉由後處理模組150而被用於在系統100所提供之使用介面上呈現辨識結果。
在本揭露中用於在地理區域上辨識果園之系統及方法中,預處理模組係用於自航照圖派生包含果園之坵塊的航照圖的目標區段;影像優化模組係用於在航照圖的目標區段上執行客製化影像處理;以及辨識模組係用於以深度學習機制判定航照圖上所呈現果園的種類及邊界。因此,農民及農業實體可應用本揭露以有效率地監控不同地理區域內之果園,以獲得更好的水果生產及執行更佳的水果品質控制及土地利用。
以上實施態樣的描述係用於顯示本揭露的特徵及功能,並非用於限定本揭露的範圍。本技術領域中具有通常知識者應當理解所有根據本揭露之精神及原理的修改及變型均應落入所附申請專利範圍的範圍內。
100:系統
110:輸入模組
120:預處理模組
130:影像優化模組
140:辨識模組
150:後處理模組
Claims (19)
- 一種用於辨識地理區域上之果園的電腦實施系統,包含:預處理模組,係自航照圖及形狀檔案兩者派生該航照圖之目標區段,該目標區段包含果園之坵塊及對應該果園的形狀之遮罩;具有卷積神經網路模型之影像優化模組,係判定自該航照圖及該形狀檔案兩者派生之該航照圖之目標區段的瑕疵種類,以由具有該卷積神經網路模型之該影像優化模組依據所判定之自該航照圖及該形狀檔案兩者派生之該航照圖之目標區段的該瑕疵種類調節該航照圖之目標區段;以及辨識模組,係基於該果園之果樹生長特徵與農業操作特徵之至少一者、對應該果園的該形狀之遮罩、以及經具有該卷積神經網路模型之該影像優化模組依據所判定之自該航照圖及該形狀檔案兩者派生之該航照圖之目標區段的該瑕疵種類調節而成之該航照圖之目標區段,以判定該航照圖之目標區段中該果園的種類及該果園的邊界。
- 如請求項1所述之電腦實施系統,其中,該果園之邊界係沿該果園蜿蜒。
- 如請求項1所述之電腦實施系統,其中,該影像優化模組調節該航照圖之目標區段之方式係包括:以分類器判定該航照圖之目標區段的瑕疵種類;以及以優化器基於該瑕疵種類,執行該目標區段上之雲及霾移除、色彩校正、影像調整及陰影去除的至少一者。
- 如請求項1所述之電腦實施系統,其中,該辨識模組判定該航照圖之目標區段中該果園的種類及該果園的邊界之方式係包括: 辨認該航照圖之目標區段中包含該果園之興趣區域;辨識該興趣區域中之該果園內所種植之果樹以判定該果園之種類;為該興趣區域產生遮罩,以分割該果園之該邊界,該遮罩標示該興趣區域中該果園之邊界形狀;以及輸出標示有該果園之種類及該邊界的影像。
- 如請求項4所述之電腦實施系統,復包括用以將標示有該果園之種類及該邊界的該影像呈現在使用者介面上之後處理模組。
- 如請求項1所述之電腦實施系統,其中,該預處理模組經配置以自該航照圖及該形狀檔案派生該航照圖的包含該果園之坵塊及對應該果園之該形狀之該遮罩之該目標區段之方式係包括:藉由將該航照圖與該果園之該形狀檔案比較以產生該果園之該坵塊,該形狀檔案具有該果園之形狀資訊;分割該航照圖以產製包含該果園之該坵塊之該航照圖之該目標區段;以及使用該果園之該形狀檔案產生對應該果園的該形狀之該遮罩。
- 如請求項6所述之電腦實施系統,其中,該果園之該坵塊及對應該果園的該形狀之該遮罩的至少一者係作為該辨識模組之深度學習機制的訓練資料。
- 如請求項7所述之電腦實施系統,其中,該辨識模組係藉由提取該航照圖中對應於該果園之該邊界內之該果樹生長特徵或農業操作特徵以判定該果園之該種類。
- 如請求項1所述之電腦實施系統,復包括輸入模組,係經配置以接收該航照圖及該形狀檔案。
- 如請求項1所述之電腦實施系統,其中,該影像優化模組係包括優化器,該優化器係經配置以:分類該航照圖之該目標區段中之瑕疵種類;以及基於該瑕疵種類執行該目標區段上之雲及霾移除、色彩校正、影像調整及陰影移除的至少一者。
- 一種用於辨識地理區域上之果園的電腦實施方法,包含:自航照圖及形狀檔案派生包含果園之坵塊的該航照圖之目標區段;自該形狀檔案派生對應於該果園的形狀之遮罩;由具有卷積神經網路模型之影像優化模組判定自該航照圖及該形狀檔案兩者派生之該航照圖之目標區段的瑕疵種類,以由具有該卷積神經網路模型之該影像優化模組依據所判定之自該航照圖及該形狀檔案兩者派生之該航照圖之目標區段的該瑕疵種類調節該航照圖之目標區段;以及由辨識模組基於該果園之果樹生長特徵與農業操作特徵之至少一者、對應該果園的該形狀之遮罩、以及經具有該卷積神經網路模型之該影像優化模組依據所判定之自該航照圖及該形狀檔案兩者派生之該航照圖之目標區段的該瑕疵種類調節而成之該航照圖之目標區段,以判定該航照圖之目標區段中該果園的種類及該果園的邊界。
- 如請求項11所述之電腦實施方法,其中,該果園之邊界係沿該果園蜿蜒。
- 如請求項11所述之電腦實施方法,其中,調節該航照圖之目標區段係包含:以分類器判定該航照圖之目標區段中之瑕疵種類;以及 基於該瑕疵種類,以優化器執行該航照圖之該目標區段上之雲及霾移除、色彩校正、影像調整及陰影移除的至少一者。
- 如請求項11所述之電腦實施方法,其中,由該辨識模組判定該航照圖之目標區段中該果園的種類包括:辨認該航照圖之目標區段中包含該果園之興趣區域;以及提取該航照圖之目標區段中對應於該果園之該果樹生長特徵。
- 如請求項14所述之電腦實施方法,其中,由該辨識模組判定該果園的邊界係包括:產生用於該興趣區域之遮罩以分割該果園之該邊界,該遮罩係標示該興趣區域中該果園之邊界形狀。
- 如請求項11所述之電腦實施方法,其中,自該航照圖及該形狀檔案派生包含該果園之坵塊的該航照圖之目標區段係包括:藉由將該航照圖與該果園之該形狀檔案比較以產生該果園之該坵塊,該形狀檔案具有該果園之形狀資訊;以及分割該航照圖以產製包含該果園之該坵塊之該航照圖之該目標區段。
- 如請求項16所述之電腦實施方法,其中,自該形狀檔案派生對應於該果園之形狀的遮罩係包括:使用該果園之該形狀檔案產生對應於該果園的該形狀之該遮罩。
- 如請求項11所述之電腦實施方法,復包括:輸出標示有該果園之該種類及該邊界之影像;以及將標示有該果園之該種類及該邊界之該影像及該航照圖呈現至使用者介面上。
- 如請求項11所述之電腦實施方法,其中,該辨識模組係具有Mask R-CNN模型。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962871252P | 2019-07-08 | 2019-07-08 | |
US62/871,252 | 2019-07-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202109434A TW202109434A (zh) | 2021-03-01 |
TWI760782B true TWI760782B (zh) | 2022-04-11 |
Family
ID=74103173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW109122891A TWI760782B (zh) | 2019-07-08 | 2020-07-07 | 用於地理區域上果園辨識之系統及方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11455794B2 (zh) |
TW (1) | TWI760782B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112508027B (zh) * | 2020-11-30 | 2024-03-26 | 北京百度网讯科技有限公司 | 用于实例分割的头部模型、实例分割模型、图像分割方法及装置 |
JP7004962B1 (ja) * | 2021-02-05 | 2022-01-21 | エムラインシステム株式会社 | 無人航空機の制御装置及び無人航空機システム |
US11941880B2 (en) * | 2021-06-02 | 2024-03-26 | Ping An Technology (Shenzhen) Co., Ltd. | System and method for image-based crop identification |
CN113763196A (zh) * | 2021-08-23 | 2021-12-07 | 中国农业大学烟台研究院 | 一种基于改进YOLOv3的果园产量测定*** |
CA3232219A1 (en) * | 2021-09-30 | 2023-04-06 | Monsanto Technology Llc | Methods and systems for use in processing images related to crops |
CN114488921B (zh) * | 2022-04-14 | 2022-08-16 | 山东省农业机械科学研究院 | 一种智慧果园物联网管控*** |
US20240046626A1 (en) * | 2022-08-03 | 2024-02-08 | Cdm Smith Inc. | Drone-based Vegetation Assessment |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104063718A (zh) * | 2014-04-01 | 2014-09-24 | 中国科学院遥感与数字地球研究所 | 在作物识别和面积估算中选择遥感数据和分类算法的方法 |
US20170374323A1 (en) * | 2015-01-11 | 2017-12-28 | A.A.A Taranis Visual Ltd | Systems and methods for agricultural monitoring |
WO2018156069A1 (en) * | 2017-02-27 | 2018-08-30 | Katam Technologies Ab | Improved forest surveying |
US20180330486A1 (en) * | 2017-05-12 | 2018-11-15 | Harris Lee Cohen | Computer-implemented methods, computer readable medium and systems for a precision agriculture platform |
CN109146889A (zh) * | 2018-07-13 | 2019-01-04 | 洛阳中科龙网创新科技有限公司 | 一种基于高分辨率遥感图像的农田边界提取方法 |
CN109598767A (zh) * | 2018-11-22 | 2019-04-09 | 仲恺农业工程学院 | 一种基于无人机定位拍摄的果园监控***和方法 |
CN109815916A (zh) * | 2019-01-28 | 2019-05-28 | 成都蝉远科技有限公司 | 一种基于卷积神经网络算法的植被种植区域识别方法及*** |
TW201921316A (zh) * | 2016-12-02 | 2019-06-01 | 經緯航太科技股份有限公司 | 偵測航拍影像內物體之非暫態電腦可讀取媒體及系統,以及航拍影像中物體偵測之方法 |
CN109840553A (zh) * | 2019-01-17 | 2019-06-04 | 苏州中科天启遥感科技有限公司 | 耕地作物类型的提取方法及***、存储介质、电子设备 |
CN109859057A (zh) * | 2019-01-04 | 2019-06-07 | 平安科技(深圳)有限公司 | 一种农田数据处理方法、服务器及存储介质 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9953241B2 (en) * | 2014-12-16 | 2018-04-24 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for satellite image processing to estimate crop yield |
US20180330435A1 (en) * | 2017-05-11 | 2018-11-15 | Harvesting Inc. | Method for monitoring and supporting agricultural entities |
US10909368B2 (en) * | 2018-01-23 | 2021-02-02 | X Development Llc | Crop type classification in images |
US10885331B2 (en) * | 2018-01-23 | 2021-01-05 | X Development Llc | Crop boundary detection in images |
CN110297483B (zh) * | 2018-03-21 | 2020-12-18 | 广州极飞科技有限公司 | 待作业区域边界获取方法、装置,作业航线规划方法 |
CN108846325A (zh) * | 2018-05-28 | 2018-11-20 | 广州极飞科技有限公司 | 目标区域作业的规划方法、装置、存储介质及处理器 |
US10779476B2 (en) * | 2018-09-11 | 2020-09-22 | Pollen Systems Corporation | Crop management method and apparatus with autonomous vehicles |
EP3696406A1 (en) * | 2019-02-13 | 2020-08-19 | Siemens Gamesa Renewable Energy A/S | A method for computer-implemented analysis of a wind farm comprising a number of wind turbines |
JP2022520019A (ja) * | 2019-02-15 | 2022-03-28 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッド | 画像処理方法、装置、移動可能なプラットフォーム、プログラム |
US11869192B2 (en) * | 2019-11-08 | 2024-01-09 | General Electric Company | System and method for vegetation modeling using satellite imagery and/or aerial imagery |
US11100641B1 (en) * | 2020-06-11 | 2021-08-24 | Aerobotics (Pty) Ltd | Systems and methods for estimating plant age |
AU2020103026A4 (en) * | 2020-10-27 | 2020-12-24 | Nanjing Forestry University | A Single Tree Crown Segmentation Algorithm Based on Super-pixels and Topological Features in Aerial Images |
-
2020
- 2020-07-07 TW TW109122891A patent/TWI760782B/zh active
- 2020-07-08 US US16/923,161 patent/US11455794B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104063718A (zh) * | 2014-04-01 | 2014-09-24 | 中国科学院遥感与数字地球研究所 | 在作物识别和面积估算中选择遥感数据和分类算法的方法 |
US20170374323A1 (en) * | 2015-01-11 | 2017-12-28 | A.A.A Taranis Visual Ltd | Systems and methods for agricultural monitoring |
TW201921316A (zh) * | 2016-12-02 | 2019-06-01 | 經緯航太科技股份有限公司 | 偵測航拍影像內物體之非暫態電腦可讀取媒體及系統,以及航拍影像中物體偵測之方法 |
WO2018156069A1 (en) * | 2017-02-27 | 2018-08-30 | Katam Technologies Ab | Improved forest surveying |
US20180330486A1 (en) * | 2017-05-12 | 2018-11-15 | Harris Lee Cohen | Computer-implemented methods, computer readable medium and systems for a precision agriculture platform |
CN109146889A (zh) * | 2018-07-13 | 2019-01-04 | 洛阳中科龙网创新科技有限公司 | 一种基于高分辨率遥感图像的农田边界提取方法 |
CN109598767A (zh) * | 2018-11-22 | 2019-04-09 | 仲恺农业工程学院 | 一种基于无人机定位拍摄的果园监控***和方法 |
CN109859057A (zh) * | 2019-01-04 | 2019-06-07 | 平安科技(深圳)有限公司 | 一种农田数据处理方法、服务器及存储介质 |
CN109840553A (zh) * | 2019-01-17 | 2019-06-04 | 苏州中科天启遥感科技有限公司 | 耕地作物类型的提取方法及***、存储介质、电子设备 |
CN109815916A (zh) * | 2019-01-28 | 2019-05-28 | 成都蝉远科技有限公司 | 一种基于卷积神经网络算法的植被种植区域识别方法及*** |
Also Published As
Publication number | Publication date |
---|---|
US11455794B2 (en) | 2022-09-27 |
TW202109434A (zh) | 2021-03-01 |
US20210012109A1 (en) | 2021-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI760782B (zh) | 用於地理區域上果園辨識之系統及方法 | |
Neupane et al. | Deep learning based banana plant detection and counting using high-resolution red-green-blue (RGB) images collected from unmanned aerial vehicle (UAV) | |
RU2735151C2 (ru) | Распознавание сорняков в естественной среде | |
RU2764872C2 (ru) | Распознавание сорняка в естественной среде | |
Sun et al. | Three-dimensional photogrammetric mapping of cotton bolls in situ based on point cloud segmentation and clustering | |
JP6921095B2 (ja) | 航空画像を収集及び分析するための方法 | |
Onishi et al. | Automatic classification of trees using a UAV onboard camera and deep learning | |
Baron et al. | Combining image processing and machine learning to identify invasive plants in high-resolution images | |
Hameed et al. | Detection of weed and wheat using image processing | |
CN110889394A (zh) | 基于深度学习UNet网络的水稻倒伏识别方法 | |
Keller et al. | Soybean leaf coverage estimation with machine learning and thresholding algorithms for field phenotyping | |
CN110827273A (zh) | 一种基于区域卷积神经网络的茶叶病害检测方法 | |
CN113313692B (zh) | 一种基于航拍可见光图像的香蕉幼株自动识别与计数方法 | |
WO2020000043A1 (en) | Plant growth feature monitoring | |
Lyu et al. | Development of phenotyping system using low altitude UAV imagery and deep learning | |
Tubau Comas et al. | Automatic apple tree blossom estimation from UAV RGB imagery | |
Verma et al. | Vision based detection and classification of disease on rice crops using convolutional neural network | |
Xu et al. | Detecting white cotton bolls using high-resolution aerial imagery acquired through unmanned aerial system | |
CN108090910A (zh) | 一种基于信息熵梯度简化pcnn模型的夜间室外番茄植株图像分割算法 | |
Bravo-Reyna et al. | Recognition of the damage caused by the cogollero worm to the corn plant, Using artificial vision | |
TWI785436B (zh) | 自航拍影像偵測物體之系統、偵測航拍影像內物體之方法及其非暫態電腦可讀取媒體 | |
CN114694048A (zh) | 基于无人机遥感技术的稀疏灌木物种识别方法及*** | |
JP2022066907A (ja) | 情報処理装置、情報処理方法、制御プログラム及び記録媒体 | |
Gromova | Weed detection in UAV images of cereal crops with instance segmentation | |
Rahmawati et al. | Tobacco farming mapping to determine the number of plants using contour detection method |