JP2022541977A - 画像のラベリング方法、装置、電子機器及び記憶媒体 - Google Patents
画像のラベリング方法、装置、電子機器及び記憶媒体 Download PDFInfo
- Publication number
- JP2022541977A JP2022541977A JP2021565978A JP2021565978A JP2022541977A JP 2022541977 A JP2022541977 A JP 2022541977A JP 2021565978 A JP2021565978 A JP 2021565978A JP 2021565978 A JP2021565978 A JP 2021565978A JP 2022541977 A JP2022541977 A JP 2022541977A
- Authority
- JP
- Japan
- Prior art keywords
- building
- image
- remote sensing
- labeling
- outline
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 227
- 238000013528 artificial neural network Methods 0.000 claims description 101
- 238000000034 method Methods 0.000 claims description 72
- 238000012549 training Methods 0.000 claims description 57
- 238000003709 image segmentation Methods 0.000 claims description 54
- 238000012937 correction Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 description 17
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本開示は、リモートセンシング画像を取得するステップと、前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップであって、前記方向角情報は、前記輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含むステップと、前記少なくとも1つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップと、を含む画像のラベリング方法、装置、電子機器及び記憶媒体を提供する。
Description
(関連出願の相互参照)
本開示は、出願番号が202010611570.Xであり、出願日が2020年6月29日の中国特許出願に基づいて提出され、この中国特許出願の優先権を主張し、この中国特許出願の全てが参照によって本願に組み込まれる。
本開示は、出願番号が202010611570.Xであり、出願日が2020年6月29日の中国特許出願に基づいて提出され、この中国特許出願の優先権を主張し、この中国特許出願の全てが参照によって本願に組み込まれる。
本開示は、コンピュータビジョンの技術分野に関し、特に、画像のラベリング方法、装置、電子機器及び記憶媒体に関する。
建物輪廓抽出は、都市計画、環境管理、地理情報更新等に重要な基礎情報を提供することができる。現在、建物の形状が多様であり、しかも複雑であるため、全自動での建物輪廓抽出方法は、正確度が低く、実際の応用要求を満たすことが困難であり、伝統的な手動ラベリング方法に取って代わることができない。しかしながら、建物多角形に手動でラベルを付けることは面倒で手間のかかる作業であり、しかも一般に専門知識を有するリモートセンシングの画像処理専門家が行う作業であり、手動ラベリング方法の効率が低い。
従って、ラベリング正確度とラベリング効率を両立する方法を提供することは非常に重要である。
これに鑑みて、本開示は、少なくとも画像のラベリング方法、装置、電子機器及び記憶媒体を提供する。
第1形態では、本開示の実施例は、
リモートセンシング画像を取得するステップと、
前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップであって、前記方向角情報は、前記輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含むステップと、
前記少なくとも1つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップと、を含む画像のラベリング方法を提供する。
リモートセンシング画像を取得するステップと、
前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップであって、前記方向角情報は、前記輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含むステップと、
前記少なくとも1つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップと、を含む画像のラベリング方法を提供する。
上記方法を採用すれば、リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定し、ここで方向角情報には輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含み、少なくとも1つの建物の各々に対応する局所二値画像及び方向角情報に基づいて、リモートセンシング画像における少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成することによって、リモートセンシング画像における少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像の自動生成を可能にし、建物ラベリング効率を高くする同時に、建物の縁部輪廓における頂点位置に位置する画素点と隣接画素点とが異なる輪廓辺上に位置し、異なる輪廓辺が異なる方向に対応するので、建物に対応する局所二値画像及び方向角情報によって、建物の頂点位置を比較的正確に決定でき、更にラベリング画像を比較的正確に生成できる。
可能な一実施形態では、前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップは、
前記リモートセンシング画像及びトレーニング済みの第1画像分割ニューラルネットワークに基づいて、前記リモートセンシング画像の全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び少なくとも1つの建物の境界ボックスの境界ボックス情報を取得するステップと、
前記境界ボックス情報、前記全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、を含む。
前記リモートセンシング画像及びトレーニング済みの第1画像分割ニューラルネットワークに基づいて、前記リモートセンシング画像の全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び少なくとも1つの建物の境界ボックスの境界ボックス情報を取得するステップと、
前記境界ボックス情報、前記全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、を含む。
上記実施形態では、トレーニング済みの第1画像分割ニューラルネットワークによって、リモートセンシング画像の全局二値画像、全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び少なくとも1つの建物の境界ボックスの境界ボックス情報を決定することによって、各建物に対応する局所二値画像及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を得ることができ、後続のラベリング画像の生成にデータのサポートを提供する。
可能な一実施形態では、
前記境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスからサイズが事前設定サイズ閾値より大きい第1境界ボックスを選択するステップと、
前記第1境界ボックスの境界ボックス情報に基づいて、前記全局二値画像から前記第1境界ボックス内の建物の局所二値画像を切り取り、前記全局二値画像に対応する前記方向角情報から、切り取られた局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を抽出するステップと、によって、
前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。
前記境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスからサイズが事前設定サイズ閾値より大きい第1境界ボックスを選択するステップと、
前記第1境界ボックスの境界ボックス情報に基づいて、前記全局二値画像から前記第1境界ボックス内の建物の局所二値画像を切り取り、前記全局二値画像に対応する前記方向角情報から、切り取られた局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を抽出するステップと、によって、
前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。
可能な一実施形態では、
前記境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスからサイズが事前設定サイズ閾値以下の第2境界ボックスを選択するステップと、
前記第2境界ボックスの境界ボックス情報に基づいて、前記リモートセンシング画像から前記第2境界ボックスに対応するローカルリモートセンシング画像を切り取るステップと、
前記ローカルリモートセンシング画像とトレーニング済みの第2画像分割ニューラルネットワークに基づいて、前記ローカルリモートセンシング画像に対応する前記建物の局所二値画像、及び前記ローカルリモートセンシング画像に対応する局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、によって、
前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。
前記境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスからサイズが事前設定サイズ閾値以下の第2境界ボックスを選択するステップと、
前記第2境界ボックスの境界ボックス情報に基づいて、前記リモートセンシング画像から前記第2境界ボックスに対応するローカルリモートセンシング画像を切り取るステップと、
前記ローカルリモートセンシング画像とトレーニング済みの第2画像分割ニューラルネットワークに基づいて、前記ローカルリモートセンシング画像に対応する前記建物の局所二値画像、及び前記ローカルリモートセンシング画像に対応する局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、によって、
前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。
一般的には、ニューラルネットワークの入力データのサイズが予め設置されたものであり、建物の境界ボックスのサイズが大きい場合、縮小、切り抜き等の方式によって境界ボックスのサイズを設置されたサイズ値に調整する必要があるため、境界ボックス内の情報の損失が発生し、更に境界ボックス内の建物の検出正確度を低くすることがある。上記問題を解決するために、上記実施形態では、境界ボックスのサイズに基づいて、建物の境界ボックスを、サイズが事前設定サイズ閾値より大きい第1境界ボックスとサイズが事前設定サイズ閾値より小さい第2境界ボックスとに分け、第1画像分割ニューラルネットワークの検出結果によって、切り取られた局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を決定し、第2画像分割ニューラルネットワークの検出結果によって、第2境界ボックス内の建物に対応する局所二値画像と方向角情報を決定することで、建物の検出結果を比較的正確にする。
可能な一実施形態では、前記少なくとも1つの境界ボックスの境界ボックス情報を取得した後、
前記リモートセンシング画像及び前記少なくとも1つの境界ボックスの境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスをラベリングした第1ラベリングリモートセンシング画像を生成するステップと、
前記第1ラベリングリモートセンシング画像への境界ボックス調整操作に応答して、調整後の境界ボックスの境界ボックス情報を得るステップと、を更に含む。
前記リモートセンシング画像及び前記少なくとも1つの境界ボックスの境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスをラベリングした第1ラベリングリモートセンシング画像を生成するステップと、
前記第1ラベリングリモートセンシング画像への境界ボックス調整操作に応答して、調整後の境界ボックスの境界ボックス情報を得るステップと、を更に含む。
ここで、少なくとも1つの境界ボックスの境界ボックス情報が得られた後、第1ラベリングリモートセンシング画像を生成してよく、これによって、ラベリング作業員は第1ラベリングリモートセンシング画像における境界ボックスに対して調整操作、例えば余分な境界ボックスの削除、欠けている境界ボックスの増加等を行って、境界ボックス情報の正確度を高くすることができ、更に後で得られるラベリング画像の正確度を高くすることができ、また、境界ボックスの調整操作が簡単で、操作が容易で、かかる時間が少なく、境界ボックス調整操作の効率が高い。
可能な一実施形態では、
第1ラベリング結果が含まれる第1リモートセンシング画像サンプルを取得するステップであって、前記第1リモートセンシング画像サンプルは、少なくとも1つの建物の画像を含み、前記第1ラベリング結果に、ラベリングした少なくとも1つの建物の輪廓情報、前記第1リモートセンシング画像サンプルの二値画像、及び前記第1リモートセンシング画像サンプル内の各画素点に対応するラベリング方向角情報が含まれるステップと、
前記第1リモートセンシング画像サンプルをトレーニング待ちの第1ニューラルネットワークに入力して前記第1リモートセンシング画像サンプルに対応する第1予測結果を得、前記第1予測結果及び前記第1ラベリング結果に基づいて前記トレーニング待ちの第1ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第1画像分割ニューラルネットワークを得るステップと、によって、
前記第1画像分割ニューラルネットワークをトレーニングする。
第1ラベリング結果が含まれる第1リモートセンシング画像サンプルを取得するステップであって、前記第1リモートセンシング画像サンプルは、少なくとも1つの建物の画像を含み、前記第1ラベリング結果に、ラベリングした少なくとも1つの建物の輪廓情報、前記第1リモートセンシング画像サンプルの二値画像、及び前記第1リモートセンシング画像サンプル内の各画素点に対応するラベリング方向角情報が含まれるステップと、
前記第1リモートセンシング画像サンプルをトレーニング待ちの第1ニューラルネットワークに入力して前記第1リモートセンシング画像サンプルに対応する第1予測結果を得、前記第1予測結果及び前記第1ラベリング結果に基づいて前記トレーニング待ちの第1ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第1画像分割ニューラルネットワークを得るステップと、によって、
前記第1画像分割ニューラルネットワークをトレーニングする。
上記方式において、第1リモートセンシング画像サンプルを取得して第1ニューラルネットワークをトレーニングし、トレーニングが完了した後に、第1画像分割ニューラルネットワークを得ることによって、第1画像分割ニューラルネットワークによって第1境界ボックス内の建物の局所二値画像と方向角情報を決定することを可能にする。
可能な一実施形態では、
第2ラベリング結果が含まれる第2リモートセンシング画像サンプルを取得するステップであって、各前記第2リモートセンシング画像サンプルは、前記第1リモートセンシング画像サンプルから切り取られた目標建物の領域画像であり、前記第2ラベリング結果に、前記領域画像における前記目標建物の輪廓情報、前記第2リモートセンシング画像サンプルの二値画像、及び前記第2リモートセンシング画像サンプル内の各画素点に対応するラベリング方向角情報が含まれるステップと、
前記第2リモートセンシング画像サンプルをトレーニング待ちの第2ニューラルネットワークに入力して前記第2リモートセンシング画像サンプルに対応する第2予測結果を得、前記第2予測結果及び前記第2ラベリング結果に基づいて前記トレーニング待ちの第2ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第2画像分割ニューラルネットワークを得るステップと、によって、
前記第2画像分割ニューラルネットワークをトレーニングする。
第2ラベリング結果が含まれる第2リモートセンシング画像サンプルを取得するステップであって、各前記第2リモートセンシング画像サンプルは、前記第1リモートセンシング画像サンプルから切り取られた目標建物の領域画像であり、前記第2ラベリング結果に、前記領域画像における前記目標建物の輪廓情報、前記第2リモートセンシング画像サンプルの二値画像、及び前記第2リモートセンシング画像サンプル内の各画素点に対応するラベリング方向角情報が含まれるステップと、
前記第2リモートセンシング画像サンプルをトレーニング待ちの第2ニューラルネットワークに入力して前記第2リモートセンシング画像サンプルに対応する第2予測結果を得、前記第2予測結果及び前記第2ラベリング結果に基づいて前記トレーニング待ちの第2ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第2画像分割ニューラルネットワークを得るステップと、によって、
前記第2画像分割ニューラルネットワークをトレーニングする。
上記方式において、第1リモートセンシング画像サンプルから第2リモートセンシング画像を切り取り、取得された第2リモートセンシング画像サンプルを用いて第2ニューラルネットワークをトレーニングし、トレーニングが完了した後に、第2画像分割ニューラルネットワークを得ることによって、第2画像分割ニューラルネットワークによって第2境界ボックス内の建物の局所二値画像と方向角情報を決定することを可能にする。
可能な一実施形態では、前記少なくとも1つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップは、
各建物に対して、この建物に対応する前記局所二値画像、及び前記局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物に対応する頂点位置集合を決定するステップであって、前記頂点位置集合はこの建物多角形輪廓の複数の頂点の位置を含むステップと、
各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップと、を含む。
各建物に対して、この建物に対応する前記局所二値画像、及び前記局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物に対応する頂点位置集合を決定するステップであって、前記頂点位置集合はこの建物多角形輪廓の複数の頂点の位置を含むステップと、
各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップと、を含む。
上記実施形態では、建物の頂点位置に位置する画素点と隣接画素点とが異なる輪廓辺上に位置し、異なる輪廓辺が異なる方向に対応するので、各建物に対応する局所二値画像及び方向角情報によって建物の頂点位置集合を比較的正確に決定でき、この頂点位置集合には建物の多角形輪廓上の各頂点の位置を含み、更に得られた頂点位置集合に基づいてラベリング画像を比較的正確に生成できる。
可能な一実施形態では、各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成する前に、
トレーニング済みの頂点修正ニューラルネットワークに基づいて、決定された前記頂点位置集合内の各頂点の位置を修正するステップを更に含む。
トレーニング済みの頂点修正ニューラルネットワークに基づいて、決定された前記頂点位置集合内の各頂点の位置を修正するステップを更に含む。
上記実施形態では、更に、トレーニングして得られた頂点修正ニューラルネットワークによって、頂点位置集合内の各頂点の位置を修正することで、修正後の各頂点の位置を真実位置とより一致させるようにしてよく、更に各建物にそれぞれ対応する修正後の頂点位置集合に基づいて、正確度の高いラベリング画像を得られる。
可能な一実施形態では、各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成した後、前記方法は、
前記ラベリング画像への頂点位置調整操作に応答して、いずれかの頂点の位置を調整するステップを更に含む。
前記ラベリング画像への頂点位置調整操作に応答して、いずれかの頂点の位置を調整するステップを更に含む。
ここで、ラベリング画像におけるいずれかの頂点の位置に対して調整操作を行ってもよく、頂点位置調整操作後のラベリング画像の正確度が高くなる。
可能な一実施形態では、この建物に対応する前記局所二値画像、及び前記局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物に対応する頂点位置集合を決定するステップは、
前記局所二値画像内の建物輪廓から複数の画素点を選択するステップと、
前記複数の画素点のうちの各画素点に対して、この画素点に対応する方向角情報及びこの画素点に対応する隣接画素点の方向角情報に基づいて、この画素点が建物の多角形輪廓の頂点であるかを決定するステップと、
頂点である各画素点の位置に基づいて、この建物に対応する頂点位置集合を決定するステップと、を含む。
前記局所二値画像内の建物輪廓から複数の画素点を選択するステップと、
前記複数の画素点のうちの各画素点に対して、この画素点に対応する方向角情報及びこの画素点に対応する隣接画素点の方向角情報に基づいて、この画素点が建物の多角形輪廓の頂点であるかを決定するステップと、
頂点である各画素点の位置に基づいて、この建物に対応する頂点位置集合を決定するステップと、を含む。
上記実施形態では、建物輪廓から複数の画素点を選択し、各画素点が頂点であるかを判断し、更に頂点である各画素点の位置に基づいて建物に対応する頂点位置集合を生成することによって、後続のラベリング画像の生成にデータのサポートを提供する。
可能な一実施形態では、この画素点に対応する方向角情報及びこの画素点に対応する隣接画素点の方向角情報に基づいて、この画素点が建物の多角形輪廓の頂点であるかを決定するステップは、
この画素点の方向角情報と前記隣接画素点の方向角情報との間の差異が設定条件を満たした場合、この画素点が建物の多角形輪廓の頂点であると決定するステップを含む。
この画素点の方向角情報と前記隣接画素点の方向角情報との間の差異が設定条件を満たした場合、この画素点が建物の多角形輪廓の頂点であると決定するステップを含む。
上記実施形態では、画素点の方向角情報と隣接画素点の方向角情報との間の差異が設定条件を満たした場合、この画素点が建物の多角形輪廓の頂点であると決定し、頂点決定プロセスが簡単で、要する時間が少ない。
可能な一実施形態では、前記各画素点に対応するラベリング方向角情報はラベリング方向種類情報を含み、前記方法は、
この画素点が所在する輪廓辺と設置された基準方向との間の目標角度を決定するステップと、
異なる事前設定方向種類情報と角度範囲との間の対応関係及び前記目標角度により、この画素点に対応するラベリング方向種類情報を決定するステップと、を更に含む。
この画素点が所在する輪廓辺と設置された基準方向との間の目標角度を決定するステップと、
異なる事前設定方向種類情報と角度範囲との間の対応関係及び前記目標角度により、この画素点に対応するラベリング方向種類情報を決定するステップと、を更に含む。
ここで、画素点の目標角度及び設置された異なる方向種類と角度範囲との間の対応関係によって、画素点に対応する方向種類情報を決定し、画素点の方向種類情報の決定プロセスが簡単で、迅速である。
以下において、装置、電子機器等の効果の記述については上記方法の説明を参照し、ここで詳細な説明を省略する。
第2形態では、本開示の実施例は、
リモートセンシング画像を取得するように構成される取得モジュールと、
前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成される決定モジュールであって、前記方向角情報は、前記輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含む決定モジュールと、
前記少なくとも1つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するように構成される生成モジュールと、を備える画像ラベリング装置を提供する。
リモートセンシング画像を取得するように構成される取得モジュールと、
前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成される決定モジュールであって、前記方向角情報は、前記輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含む決定モジュールと、
前記少なくとも1つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するように構成される生成モジュールと、を備える画像ラベリング装置を提供する。
可能な一実施形態では、前記決定モジュールは、前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する場合に
前記リモートセンシング画像及びトレーニング済みの第1画像分割ニューラルネットワークに基づいて、前記リモートセンシング画像の全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び少なくとも1つの建物の境界ボックスの境界ボックス情報を取得するステップと、
前記境界ボックス情報、前記全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、を実行するにように構成される。
前記リモートセンシング画像及びトレーニング済みの第1画像分割ニューラルネットワークに基づいて、前記リモートセンシング画像の全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び少なくとも1つの建物の境界ボックスの境界ボックス情報を取得するステップと、
前記境界ボックス情報、前記全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、を実行するにように構成される。
可能な一実施形態では、前記決定モジュールは、
前記境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスからサイズが事前設定サイズ閾値より大きい第1境界ボックスを選択するステップと、
前記第1境界ボックスの境界ボックス情報に基づいて、前記全局二値画像から前記第1境界ボックス内の建物の局所二値画像を切り取り、前記全局二値画像に対応する前記方向角情報から、切り取られた局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を抽出するステップと、によって、
前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成される。
前記境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスからサイズが事前設定サイズ閾値より大きい第1境界ボックスを選択するステップと、
前記第1境界ボックスの境界ボックス情報に基づいて、前記全局二値画像から前記第1境界ボックス内の建物の局所二値画像を切り取り、前記全局二値画像に対応する前記方向角情報から、切り取られた局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を抽出するステップと、によって、
前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成される。
可能な一実施形態では、前記決定モジュールは、更に、
前記境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスからサイズが事前設定サイズ閾値以下の第2境界ボックスを選択するステップと、
前記第2境界ボックスの境界ボックス情報に基づいて、前記リモートセンシング画像から前記第2境界ボックスに対応するローカルリモートセンシング画像を切り取るステップと、
前記ローカルリモートセンシング画像とトレーニング済みの第2画像分割ニューラルネットワークに基づいて、前記ローカルリモートセンシング画像に対応する前記建物の局所二値画像、及び前記ローカルリモートセンシング画像に対応する局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、によって、
前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成される。
前記境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスからサイズが事前設定サイズ閾値以下の第2境界ボックスを選択するステップと、
前記第2境界ボックスの境界ボックス情報に基づいて、前記リモートセンシング画像から前記第2境界ボックスに対応するローカルリモートセンシング画像を切り取るステップと、
前記ローカルリモートセンシング画像とトレーニング済みの第2画像分割ニューラルネットワークに基づいて、前記ローカルリモートセンシング画像に対応する前記建物の局所二値画像、及び前記ローカルリモートセンシング画像に対応する局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、によって、
前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成される。
可能な一実施形態では、前記少なくとも1つの境界ボックスの境界ボックス情報を取得した後、
前記リモートセンシング画像及び前記少なくとも1つの境界ボックスの境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスをラベリングした第1ラベリングリモートセンシング画像を生成するステップと、前記第1ラベリングリモートセンシング画像への境界ボックス調整操作に応答して、調整後の境界ボックスの境界ボックス情報を得るステップと、を実行するように構成される境界ボックス調整モジュールを更に備える。
前記リモートセンシング画像及び前記少なくとも1つの境界ボックスの境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスをラベリングした第1ラベリングリモートセンシング画像を生成するステップと、前記第1ラベリングリモートセンシング画像への境界ボックス調整操作に応答して、調整後の境界ボックスの境界ボックス情報を得るステップと、を実行するように構成される境界ボックス調整モジュールを更に備える。
可能な一実施形態では、前記決定モジュールは、
第1ラベリング結果が含まれる第1リモートセンシング画像サンプルを取得するステップであって、前記第1リモートセンシング画像サンプルは、少なくとも1つの建物の画像を含み、前記第1ラベリング結果にはラベリングした少なくとも1つの建物の輪廓情報、前記第1リモートセンシング画像サンプルの二値画像、及び前記第1リモートセンシング画像サンプル内の各画素点に対応する方向角情報を含むステップと、
前記第1リモートセンシング画像サンプルをトレーニング待ちの第1ニューラルネットワークに入力して前記第1リモートセンシング画像サンプルに対応する第1予測結果を得、前記第1予測結果及び前記第1ラベリング結果に基づいて前記トレーニング待ちの第1ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第1画像分割ニューラルネットワークを得るステップと、によって、
前記第1画像分割ニューラルネットワークをトレーニングするように構成される。
第1ラベリング結果が含まれる第1リモートセンシング画像サンプルを取得するステップであって、前記第1リモートセンシング画像サンプルは、少なくとも1つの建物の画像を含み、前記第1ラベリング結果にはラベリングした少なくとも1つの建物の輪廓情報、前記第1リモートセンシング画像サンプルの二値画像、及び前記第1リモートセンシング画像サンプル内の各画素点に対応する方向角情報を含むステップと、
前記第1リモートセンシング画像サンプルをトレーニング待ちの第1ニューラルネットワークに入力して前記第1リモートセンシング画像サンプルに対応する第1予測結果を得、前記第1予測結果及び前記第1ラベリング結果に基づいて前記トレーニング待ちの第1ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第1画像分割ニューラルネットワークを得るステップと、によって、
前記第1画像分割ニューラルネットワークをトレーニングするように構成される。
可能な一実施形態では、前記決定モジュールは、
第2ラベリング結果が含まれる第2リモートセンシング画像サンプルを取得するステップであって、各前記第2リモートセンシング画像サンプルは、前記第1リモートセンシング画像サンプルから切り取られた目標建物の領域画像であり、前記第2ラベリング結果には前記領域画像における前記目標建物の輪廓情報、前記第2リモートセンシング画像サンプルの二値画像、及び前記第2リモートセンシング画像サンプル内の各画素点に対応する方向角情報を含むステップと、
前記第2リモートセンシング画像サンプルをトレーニング待ちの第2ニューラルネットワークに入力して前記第2リモートセンシング画像サンプルに対応する第2予測結果を得、前記第2予測結果及び前記第2ラベリング結果に基づいて前記トレーニング待ちの第2ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第2画像分割ニューラルネットワークを得るステップと、によって、
前記第2画像分割ニューラルネットワークをトレーニングするように構成される。
第2ラベリング結果が含まれる第2リモートセンシング画像サンプルを取得するステップであって、各前記第2リモートセンシング画像サンプルは、前記第1リモートセンシング画像サンプルから切り取られた目標建物の領域画像であり、前記第2ラベリング結果には前記領域画像における前記目標建物の輪廓情報、前記第2リモートセンシング画像サンプルの二値画像、及び前記第2リモートセンシング画像サンプル内の各画素点に対応する方向角情報を含むステップと、
前記第2リモートセンシング画像サンプルをトレーニング待ちの第2ニューラルネットワークに入力して前記第2リモートセンシング画像サンプルに対応する第2予測結果を得、前記第2予測結果及び前記第2ラベリング結果に基づいて前記トレーニング待ちの第2ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第2画像分割ニューラルネットワークを得るステップと、によって、
前記第2画像分割ニューラルネットワークをトレーニングするように構成される。
可能な一実施形態では、前記生成モジュールは、前記少なくとも1つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するプロセスで、
各建物に対して、この建物に対応する前記局所二値画像、及び前記局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物に対応する頂点位置集合を決定するステップであって、前記頂点位置集合はこの建物多角形輪廓の複数の頂点の位置を含むステップと、
各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップと、を実行するように構成される。
各建物に対して、この建物に対応する前記局所二値画像、及び前記局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物に対応する頂点位置集合を決定するステップであって、前記頂点位置集合はこの建物多角形輪廓の複数の頂点の位置を含むステップと、
各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップと、を実行するように構成される。
可能な一実施形態では、各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成する前に、
トレーニング済みの頂点修正ニューラルネットワークに基づいて、決定された前記頂点位置集合内の各頂点の位置を修正するように構成される頂点位置修正モジュールを更に備える。
トレーニング済みの頂点修正ニューラルネットワークに基づいて、決定された前記頂点位置集合内の各頂点の位置を修正するように構成される頂点位置修正モジュールを更に備える。
可能な一実施形態では、各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成した後、前記装置は、
前記ラベリング画像への頂点位置調整操作に応答して、いずれかの頂点の位置を調整するように構成される頂点位置調整モジュールを更に備える。
前記ラベリング画像への頂点位置調整操作に応答して、いずれかの頂点の位置を調整するように構成される頂点位置調整モジュールを更に備える。
可能な一実施形態では、前記生成モジュールは、この建物に対応する前記局所二値画像、及び前記局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物に対応する頂点位置集合を決定するプロセスで、
前記局所二値画像内の建物輪廓から複数の画素点を選択するステップと、
前記複数の画素点のうちの各画素点に対して、この画素点に対応する方向角情報及びこの画素点に対応する隣接画素点の方向角情報に基づいて、この画素点が建物の多角形輪廓の頂点であるかを決定するステップと、
頂点である各画素点の位置に基づいて、この建物に対応する頂点位置集合を決定するステップと、を実行するように構成される。
前記局所二値画像内の建物輪廓から複数の画素点を選択するステップと、
前記複数の画素点のうちの各画素点に対して、この画素点に対応する方向角情報及びこの画素点に対応する隣接画素点の方向角情報に基づいて、この画素点が建物の多角形輪廓の頂点であるかを決定するステップと、
頂点である各画素点の位置に基づいて、この建物に対応する頂点位置集合を決定するステップと、を実行するように構成される。
可能な一実施形態では、前記生成モジュールは、この画素点に対応する方向角情報及びこの画素点に対応する隣接画素点の方向角情報に基づいて、この画素点が建物の多角形輪廓の頂点であるかを決定するプロセスで、
この画素点の方向角情報と前記隣接画素点の方向角情報との間の差異が設定条件を満たした場合、この画素点が建物の多角形輪廓の頂点であると決定するように構成される。
この画素点の方向角情報と前記隣接画素点の方向角情報との間の差異が設定条件を満たした場合、この画素点が建物の多角形輪廓の頂点であると決定するように構成される。
可能な一実施形態では、ラベリングした各画素点に対応する前記方向角情報が方向種類情報である場合、前記決定モジュールは、
この画素点が所在する輪廓辺と設置された基準方向との間の目標角度を決定するステップと、
異なる方向種類情報と角度範囲との間の対応関係及び前記目標角度により、この画素点に対応する方向種類情報を決定するステップと、によって、
各画素点に対応する前記方向種類情報を取得するように構成される。
この画素点が所在する輪廓辺と設置された基準方向との間の目標角度を決定するステップと、
異なる方向種類情報と角度範囲との間の対応関係及び前記目標角度により、この画素点に対応する方向種類情報を決定するステップと、によって、
各画素点に対応する前記方向種類情報を取得するように構成される。
第3形態では、本開示の実施例は、電子機器であって、プロセッサ、メモリ及びバスを備え、前記メモリに前記プロセッサで実行可能な機器可読命令が記憶されており、電子機器が動作する時に、前記プロセッサと前記メモリがバスによって通信し、前記機器可読命令が前記プロセッサにより実行される時に上記第1形態又はいずれかの実施形態に記載の画像のラベリング方法のステップを実行する電子機器を提供する。
第4形態では、本開示の実施例は、コンピュータプログラムが記憶されており、このコンピュータプログラムがプロセッサによって実行する時に上記第1形態又はいずれかの実施形態に記載の画像のラベリング方法のステップを実行するコンピュータ可読記憶媒体を提供する。
第5形態では、本開示の実施例は、更に、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行する時に、前記電子機器内のプロセッサが上記第1形態又はいずれかの実施形態に記載の画像のラベリング方法のステップを実行するコンピュータプログラムを提供する。
本開示の上記の目的、特徴及びメリットをより明らかで分かりやすくするために、以下において、特に好ましい実施例を挙げ、添付された図面を参照しながら詳細に説明する。
本開示の実施例の技術的解決手段をより明瞭に説明するために、以下において、実施例に用いられる図面について簡単に説明し、ここの図面は明細書に組み込まれて本明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の実施例の技術的解決手段を説明するために用いられる。以下の図面はただ本開示の一部の実施例を示すため、範囲を限定するものと見なしてはならなく、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の関連図面に想到し得ることを理解すべきである。
本開示の実施例の目的、技術的解決手段及び利点をより明確にするために、以下に本開示の実施例における図面を参照し、本開示の実施例における技術的解決手段を明確に、完全に説明し、当然ながら、説明される実施例はただ本開示の実施例の一部に過ぎず、全ての実施例ではない。一般的には、この図面に記載され示された本開示の実施例のアセンブリは様々な配置方式によって配置、設定され得る。従って、以下において図面で提供された本開示の実施例に加えられる詳細な記載は、保護を主張される本開示の範囲を限定する意図がなく、本開示の選択実施例を示すものに過ぎない。本開示における実施例に基づき、当業者が創造的な労力を要することなく、得られた他の全ての実施例は、いずれも本開示の保護範囲に属する。
一般的には、全自動建物抽出方法は、正確度が低く、実際の応用要求を満たすことが困難であるため、伝統的な手動ラベリング方法に取って代わって広く応用されることが不可能である。建物多角形に手動でラベルを付ける伝統的な方法は面倒で手間のかかる作業であり、そして一般に専門知識を有するリモートセンシングの画像処理専門家が行う作業であり、手動ラベリング方法の効率が低い。
上記問題を解決するために、本開示の実施例は、建物ラベリング正確度を確保した上で、建物ラベリング効率を高くする画像のラベリング方法を提供する。
本開示の実施例を理解しやすくするために、まず、本開示の実施例で開示される画像のラベリング方法について詳細に説明する。
本開示の実施例に係る画像のラベリング方法は、端末装置にも、サーバにも利用可能である。ここで、端末装置はコンピュータ、スマートフォン、タブレット等であってよく、本開示の実施例はこれを限定しない。
本開示の実施例に係る画像のラベリング方法を模式的に示すフローチャートである図1に示すように、この方法はS101-S103を含む。
S101で、リモートセンシング画像を取得する。
S102で、リモートセンシング画像に基づいて、リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定し、方向角情報は輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含む。
S103で、少なくとも1つの建物の各々に対応する局所二値画像及び方向角情報に基づいて、リモートセンシング画像における少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成する。
上記方法において、リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定し、ここで方向角情報には輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含み、少なくとも1つの建物の各々に対応する局所二値画像及び方向角情報に基づいて、リモートセンシング画像における少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成することによって、リモートセンシング画像における少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像の自動生成を可能にし、建物ラベリング効率を高くする。
また、建物の縁部輪廓における頂点位置に位置する画素点と隣接画素点とが異なる輪廓辺上に位置し、異なる輪廓辺が異なる方向に対応するので、建物に対応する局所二値画像及び方向角情報によって、建物の頂点位置を比較的正確に決定でき、更にラベリング画像を比較的正確に生成できる。
S101及びS102に関しては、
ここで、リモートセンシング画像は少なくとも1つの建物を記録した画像であってよい。リモートセンシング画像を取得した後、このリモートセンシング画像に含まれる各建物に対応する局所二値画像、及びこの局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。例えば、各建物に対応する局所二値画像において、建物対応領域内の画素点の画素値は1であってよく、局所二値画像における建物対応領域以外の背景領域内の画素点の画素値は0であってよい。ここで、方向角情報は輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含む。
ここで、リモートセンシング画像は少なくとも1つの建物を記録した画像であってよい。リモートセンシング画像を取得した後、このリモートセンシング画像に含まれる各建物に対応する局所二値画像、及びこの局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。例えば、各建物に対応する局所二値画像において、建物対応領域内の画素点の画素値は1であってよく、局所二値画像における建物対応領域以外の背景領域内の画素点の画素値は0であってよい。ここで、方向角情報は輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含む。
選択可能な一実施形態として、本開示の実施例に係る方向角情報決定方法を模式的に示すフローチャートである図2に示すように、リモートセンシング画像に基づいて、リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップは下記のステップを含んでよい。
S201で、リモートセンシング画像及びトレーニング済みの第1画像分割ニューラルネットワークに基づいて、リモートセンシング画像の全局二値画像、全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び少なくとも1つの建物の境界ボックスの境界ボックス情報を取得する。
S202で、境界ボックス情報、全局二値画像、全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報及びリモートセンシング画像に基づいて、リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。
上記実施形態では、トレーニング済みの第1画像分割ニューラルネットワークによって、リモートセンシング画像の全局二値画像、全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び少なくとも1つの建物の境界ボックスの境界ボックス情報を決定することによって、各建物に対応する局所二値画像及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を得ることができ、後続のラベリング画像の生成にデータのサポートを提供する。
ステップS201で、リモートセンシング画像をトレーニング済みの第1画像分割ニューラルネットワークに入力することができ、リモートセンシング画像の全局二値画像、全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び少なくとも1つの建物の境界ボックスの境界ボックス情報を得る。
例示的に、全局二値画像は、リモートセンシング画像のサイズと同じであり、建物領域内の画素点の画素値が255であり、建物領域以外の背景領域内の画素点の画素値が0である二値画像であってよい。建物輪廓上の輪廓画素点の方向角情報はこの輪廓画素点の所在する輪廓辺と設置方向との間の角度であってよく、例えば、輪廓画素点Aの方向角情報は180°であってよく、輪廓画素点Bの方向角情報は250°であってよく、又は、建物輪廓上の輪廓画素点の方向角情報はこの輪廓画素点に対応する方向種類であってもよく、例えば、輪廓画素点Aの方向角情報は第19方向種類であってもよく、輪廓画素点Bの方向角情報は第26方向種類であってもよく、ここで、この方向種類はこの輪廓画素点の所在する輪廓辺と設置方向との間の角度によって決定されてもよい。
例示的に、全局二値画像に含まれる各建物の輪廓情報により、各建物の境界ボックスを決定してもよく、この境界ボックスは建物の輪廓領域を囲んだ正方形ボックスであってよい。実施過程で、建物の長さ方向での第1サイズ最大値、幅方向での第2サイズ最大値を決定し、第1サイズ最大値と第2サイズ最大値のうちの大きい値をこの建物の境界ボックスのサイズ値として決定するようにしてよい。ここで、この境界ボックスの境界ボックス情報には境界ボックスのサイズ情報と境界ボックスの位置情報等を含んでよい。
本開示の実施例に係る第1画像分割ニューラルネットワークのトレーニング方法を模式的に示すフローチャートである図3に示すように、下記のステップによって第1画像分割ニューラルネットワークをトレーニングして、トレーニング済みの第1画像分割ニューラルネットワークを得てよい。
S301で、第1ラベリング結果が含まれる第1リモートセンシング画像サンプルを取得し、第1リモートセンシング画像サンプルは、少なくとも1つの建物の画像を含み、第1ラベリング結果に、ラベリングした少なくとも1つの建物の輪廓情報、第1リモートセンシング画像サンプルの二値画像、及び第1リモートセンシング画像サンプル内の各画素点に対応するラベリング方向角情報が含まれる。
S302で、第1リモートセンシング画像サンプルをトレーニング待ちの第1ニューラルネットワークに入力して第1リモートセンシング画像サンプルに対応する第1予測結果を得、また、第1予測結果及び第1ラベリング結果に基づいてトレーニング待ちの第1ニューラルネットワークをトレーニングし、トレーニングが完了した後に、第1画像分割ニューラルネットワークを得る。
ステップS301に関しては、取得された第1リモートセンシング画像は1つ又は複数の建物の画像を含み、第1ラベリング結果に、第1リモートセンシング画像サンプル内の各建物の輪廓情報、第1リモートセンシング画像サンプルの二値画像、及び第1リモートセンシング画像サンプル内の各画素点に対応するラベリング方向角情報が含まれる。
ここで、第1リモートセンシング画像サンプルにおける建物の縁部輪廓に位置する画素点のラベリング方向角情報は、この画素点の所在する建物の縁部輪廓辺と事前設定方向との間の角度により決定されてよく、建物の縁部輪廓の外に位置する他の画素点のラベリング方向角情報は事前設定値として設置されてよく、例えば、建物の縁部輪廓の外に位置する他の画素点のラベリング方向角情報を0に設置してよい。
ラベリングした各画素点に対応するラベリング方向角情報が角度情報である場合、画素点の所在する建物の縁部輪廓辺と事前設定基準方向との間の目標角度をこの画素点のラベリング方向角情報として決定してよい。
ラベリングした各画素点に対応するラベリング方向角情報が方向種類情報である場合、この画素点が所在する輪廓辺と設定された基準方向との間の目標角度を決定するステップと、異なる事前設定方向種類情報と角度範囲との間の対応関係及び目標角度により、この画素点に対応するラベリング方向種類情報を決定するステップと、により、各画素点に対応する方向種類情報を取得するようにしてよい。
ここで、画素点の目標角度及び設置された異なる事前設定方向種類と角度範囲との間の対応関係によって、画素点に対応する方向種類情報を決定し、画素点の方向種類情報の決定プロセスが簡単で、迅速である。
ここで、設置された異なる事前設定方向種類情報と角度範囲との間の対応関係は、角度範囲が[0°,10°)であり、対応する事前設定方向種類情報が第1方向種類であり、ここで、この範囲に0°を含み、10°を含まなく、角度範囲が[10°,20°)であり、対応する事前設定方向種類情報が第2方向種類であり、……、角度範囲が[350°,360°)であり、対応する事前設定方向種類情報が第36方向種類である。更に、画素点が所在する輪廓辺と設置された基準方向との間の目標角度を決定した後、目標角度及び異なる事前設定方向種類情報と角度範囲との間の対応関係により、この画素点に対応するラベリング方向種類情報を決定してよい。例えば、画素点に対応する目標角度が15°である場合、この画素点に対応するラベリング方向種類情報が第2方向種類である。
ここで、
は画素点iに対応する目標角度であり、Kは方向種類の数量であり、
は画素点iに対応する方向種類のマークであり、ここで、記号[]は整数化演算記号であってよい。例えば、画素点iが所在する輪廓辺と設置された基準方向との間の目標角度が180°であり、設置された方向種類の数量が36であり、即ちKが36である場合、
であり、即ち、この画素点iに対応するラベリング方向種類情報が第19方向種類であり、画素点iが所在する輪廓辺と設置された基準方向との間の目標角度が220°であり、設置された方向種類の数量が36であり、即ち、Kが36である場合、
であり、即ち、この画素点iに対応するラベリング方向種類情報が第23方向種類である。
は画素点iに対応する目標角度であり、Kは方向種類の数量であり、
は画素点iに対応する方向種類のマークであり、ここで、記号[]は整数化演算記号であってよい。例えば、画素点iが所在する輪廓辺と設置された基準方向との間の目標角度が180°であり、設置された方向種類の数量が36であり、即ちKが36である場合、
であり、即ち、この画素点iに対応するラベリング方向種類情報が第19方向種類であり、画素点iが所在する輪廓辺と設置された基準方向との間の目標角度が220°であり、設置された方向種類の数量が36であり、即ち、Kが36である場合、
であり、即ち、この画素点iに対応するラベリング方向種類情報が第23方向種類である。
建物多角形輪廓の模式図である図4を参照し、図には建物の多角形輪廓21と角度例22を含み、ここで、角度例内の0°方向を設置された基準方向としてよく、多角形輪廓21は、第1輪廓辺211と第1輪廓辺の方向(1)、第2輪廓辺212と第2輪廓辺の方向(2)、第3輪廓辺213と第3輪廓辺の方向(3)、第4輪廓辺214と第4輪廓辺の方向(4)、第5輪廓辺215と第5輪廓辺の方向(5)、第6輪廓辺216と第6輪廓辺の方向(6)、第7輪廓辺217と第7輪廓辺の方向(7)、第8輪廓辺218と第8輪廓辺の方向(8)を含む。ここで、各輪廓辺に垂直であり、且つ建物外部に向く方向をこの輪廓辺の方向として決定してよい。
更に、角度例22をも参照にすれば、建物の多角形輪廓21における各輪廓辺と基準方向との間の角度を知ることができる。即ち、第1輪廓辺と基準方向との間の角度が0°であり、第2輪廓辺と基準方向との間の角度が90°であり、第3輪廓辺と基準方向との間の角度が180°であり、第4輪廓辺と基準方向との間の角度が90°であり、第5輪廓辺と基準方向との間の角度が0°であり、第6輪廓辺と基準方向との間の角度が90°であり、第7輪廓辺と基準方向との間の角度が180°であり、第8輪廓辺と基準方向との間の角度が270°である。
ステップS302に関しては、取得された第1ラベリング結果が含まれる第1リモートセンシング画像サンプルをトレーニング待ちの第1ニューラルネットワークに入力して、第1リモートセンシング画像サンプルに対応する第1予測結果を得るようにしてよく、ここで、第1予測結果に、第1リモートセンシング画像サンプルに含まれる各建物の予測輪廓情報、第1リモートセンシング画像サンプルの予測二値画像、及び第1リモートセンシング画像サンプル内の各画素点に対応する予測方向角情報が含まれる。
更に、第1予測結果と第1ラベリング結果に基づいて第1ニューラルネットワークの損失値を決定し、決定された損失値を用いて第1ニューラルネットワークをトレーニングし、トレーニングが完了した後に、第1画像分割ニューラルネットワークを得るようにしてよい。例えば、第1予測結果内の各建物の予測輪廓情報と第1ラベリング結果内のラベリングした対応建物の輪廓情報を用いて第1損失値Lboundを決定し、第1予測結果内の第1リモートセンシング画像サンプルの予測二値画像と第1ラベリング結果内の第1リモートセンシング画像サンプルの二値画像を用いて第2損失値Lsegを決定し、第1予測結果内の第1リモートセンシング画像サンプル内の各画素点に対応する予測方向角情報と第1ラベリング結果内の第1リモートセンシング画像サンプル内の各画素点に対応するラベリング方向角情報を用いて第3損失値Lorientを決定し、第1損失値Lbound、第2損失値Lseg及び第3損失値Lorientの和Ltotal(即ち、Ltotal=Lbound+Lseg+Lorient)を第1ニューラルネットワークの損失値として、第1ニューラルネットワークをトレーニングするようにしてよい。例示的に、交差エントロピー損失関数によって第1損失値、第2損失値及び第3損失値を計算してよい。
上記方式において、第1リモートセンシング画像サンプルを取得して第1ニューラルネットワークをトレーニングし、トレーニングが完了した後に、第1画像分割ニューラルネットワークを得ることによって、第1画像分割ニューラルネットワークによって第1境界ボックス内の建物の局所二値画像と方向角情報を決定することを可能にする。
ステップS202で、選択可能な一実施形態として、下記の方式によって、リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。
方式1として、境界ボックス情報に基づいて、少なくとも1つの境界ボックスからサイズが事前設定サイズ閾値より大きい第1境界ボックスを選択するステップと、第1境界ボックスの境界ボックス情報に基づいて、全局二値画像から第1境界ボックス内の建物の局所二値画像を切り取り、全局二値画像に対応する方向角情報から、切り取られた局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を抽出するステップと、を含む。
方式2として、境界ボックス情報に基づいて、少なくとも1つの境界ボックスからサイズが事前設定サイズ閾値以下の第2境界ボックスを選択するステップと、第2境界ボックスの境界ボックス情報に基づいて、リモートセンシング画像から第2境界ボックスに対応するローカルリモートセンシング画像を切り取るステップと、ローカルリモートセンシング画像とトレーニング済みの第2画像分割ニューラルネットワークに基づいて、ローカルリモートセンシング画像に対応する建物の局所二値画像、及びローカルリモートセンシング画像に対応する局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、を含む。
ここで、建物の境界ボックスのサイズに基づいて方式1を選択するか、其れとも方式2を選択するかを決定してよく、それによってこの建物に対応する局所二値画像、及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。ここで、建物の境界ボックスのサイズが事前設定サイズ閾値より大きい場合、方式1を選択して、この建物に対応する局所二値画像、及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。建物の境界ボックスのサイズが事前設定サイズ閾値以下である場合、方式2を選択し、リモートセンシング画像から第2境界ボックスに対応するローカルリモートセンシング画像を切り取り、ローカルリモートセンシング画像とトレーニング済みの第2画像分割ニューラルネットワークに基づいて、ローカルリモートセンシング画像に対応する建物の局所二値画像、及びローカルリモートセンシング画像に対応する局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。
一般的には、ニューラルネットワークの入力データのサイズが予め設置されたものであり、建物の境界ボックスのサイズが大きい場合、縮小、切り抜き等の方式によって境界ボックスのサイズを設置されたサイズ値に調整する必要があるため、境界ボックス内の情報の損失が発生し、更に境界ボックス内の建物の検出正確度を低くすることがある。上記問題を解決するために、上記実施形態では、境界ボックスのサイズに基づいて、建物の境界ボックスを、サイズが事前設定サイズ閾値より大きい第1境界ボックスとサイズが事前設定サイズ閾値より小さい第2境界ボックスとに分け、第1画像分割ニューラルネットワークの検出結果によって、第1境界ボックス内の建物に対応する局所二値画像と方向角情報を決定し、第2画像分割ニューラルネットワークの検出結果によって、第2境界ボックス内の建物に対応する局所二値画像と方向角情報を決定することで、建物の検出結果を比較的正確にする。
方式1について説明し、境界ボックス情報で示す境界ボックスのサイズに基づいて、少なくとも1つの境界ボックスからサイズが事前設定サイズ閾値より大きい第1境界ボックスを選択し、第1境界ボックスの境界ボックス情報で示す境界ボックスの位置に基づいて、全局二値画像から第1境界ボックス内の建物の局所二値画像を切り取り、この二値画像のサイズが第1境界ボックスのサイズと同じであってよく、全局二値画像に対応する方向角情報から第1境界ボックスに対応する方向角情報を抽出して、局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を得るようにしてよい。
方式2について説明し、境界ボックス情報で示す境界ボックスのサイズに基づいて、少なくとも1つの境界ボックスからサイズが事前設定サイズ閾値以下の第2境界ボックスを選択してよく、この第2境界ボックスは、検出されたリモートセンシング画像の少なくとも1つの境界ボックスのうち、第1境界ボックス以外の他の境界ボックスである。更に、第2境界ボックスの境界ボックス情報で示す境界ボックスの位置に基づいて、リモートセンシング画像から第2境界ボックスに対応するローカルリモートセンシング画像を切り取り、得られたローカルリモートセンシング画像をトレーニング済みの第2画像分割ニューラルネットワークに入力して、ローカルリモートセンシング画像に対応する建物の局所二値画像、及びローカルリモートセンシング画像に対応する局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する。
選択可能な一実施形態では、本開示の実施例に係る第2画像分割ニューラルネットワークのトレーニング方法を模式的に示すフローチャートである図5に示すように、下記のステップによってトレーニングして第2画像分割ニューラルネットワークを得てよい。
S401で、第2ラベリング結果が含まれる第2リモートセンシング画像サンプルを取得し、各第2リモートセンシング画像サンプルは第1リモートセンシング画像サンプルから切り取られた目標建物の領域画像であり、第2ラベリング結果に、領域画像における目標建物の輪廓情報、第2リモートセンシング画像サンプルの二値画像、及び第2リモートセンシング画像サンプル内の各画素点に対応するラベリング方向角情報が含まれる。
S402で、第2リモートセンシング画像サンプルをトレーニング待ちの第2ニューラルネットワークに入力して第2リモートセンシング画像サンプルに対応する第2予測結果を得、第2予測結果及び第2ラベリング結果に基づいてトレーニング待ちの第2ニューラルネットワークをトレーニングし、トレーニングが完了した後に、第2画像分割ニューラルネットワークを得る。
ここで、第2リモートセンシング画像サンプルは第1リモートセンシング画像サンプルから切り取られた目標建物の領域画像であってよく、即ち、第2リモートセンシング画像サンプルは1つの目標建物を含み、第2リモートセンシング画像サンプルに対応するサイズが第1リモートセンシング画像サンプルより小さい。第2リモートセンシング画像サンプルに含まれる第2ラベリング結果は、第1リモートセンシング画像サンプルの第2ラベリング結果から取得してよく、例えば、第2リモートセンシング画像サンプル内の目標建物の輪廓情報は、第1リモートセンシング画像サンプルに含まれる各建物の輪廓情報から抽出して取得してよい。
取得した第2ラベリング結果が含まれる第2リモートセンシング画像サンプルをトレーニング待ちの第2ニューラルネットワークに入力して、第2リモートセンシング画像サンプルに対応する第2予測結果を得るようにしてよく、ここで、第2予測結果に、第2リモートセンシング画像サンプルに含まれる各建物の予測輪廓情報、第2リモートセンシング画像サンプルの予測二値画像、及び第2リモートセンシング画像サンプル内の各画素点に対応する予測方向角情報が含まれる。更に、第2リモートセンシング画像サンプルに対応する第2予測結果と第2ラベリング結果に基づいて第2ニューラルネットワークの損失値を決定し、決定された第2ニューラルネットワークの損失値を用いて第2ニューラルネットワークをトレーニングし、トレーニングが完了した後に、第2画像分割ニューラルネットワークを得るようにしてよい。ここで、第2ニューラルネットワークのトレーニングプロセスについては第1ニューラルネットワークのトレーニングプロセスを参照してもよいため、ここで詳細な説明を省略する。
上記方式において、第1リモートセンシング画像サンプルから第2リモートセンシング画像を切り取り、取得された第2リモートセンシング画像サンプルを用いて第2ニューラルネットワークをトレーニングし、トレーニングが完了した後に、第2画像分割ニューラルネットワークを得ることによって、第2画像分割ニューラルネットワークによって第2境界ボックス内の建物の局所二値画像と方向角情報を決定することを可能にする。
選択可能な一実施形態では、少なくとも1つの境界ボックスの境界ボックス情報を取得した後、リモートセンシング画像及び少なくとも1つの境界ボックスの境界ボックス情報に基づいて、少なくとも1つの境界ボックスをラベリングした第1ラベリングリモートセンシング画像を生成するステップと、第1ラベリングリモートセンシング画像への境界ボックス調整操作に応答して、調整後の境界ボックスの境界ボックス情報を得るステップと、を更に含む。
ここで、少なくとも1つの境界ボックスの境界ボックス情報を取得した後、リモートセンシング画像及び決定された少なくとも1つの境界ボックスの境界ボックス情報に基づいて、少なくとも1つの境界ボックスをラベリングした第1ラベリングリモートセンシング画像を生成するようにしてよく、また、ラベリング作業員が表示画面でこの第1ラベリングリモートセンシング画像を見て、第1ラベリングリモートセンシング画像に対して境界ボックス調整操作を行うことができるように、第1ラベリングリモートセンシング画像を表示画面に表示してもよい。
例えば、第1ラベリングリモートセンシング画像における余分な境界ボックスに削除操作を施してよく、即ち、第1ラベリングリモートセンシング画像において、建物を含まない境界ボックスAが存在する時に(第1ラベリングリモートセンシング画像においてこの境界ボックスAが余分な境界ボックスとなる)、境界ボックスAを第1ラベリングリモートセンシング画像から削除してもよい。また、第1ラベリングリモートセンシング画像に、欠けている境界ボックスを増加してもよく、即ち、第1ラベリングリモートセンシング画像に建物Aを含むが、この建物Aに対して対応する境界ボックスが検出されなかった時に(第1ラベリングリモートセンシング画像においてこの建物Aの境界ボックスが欠けている)、この建物Aに対応する境界ボックスを加えてもよい。更に、第1ラベリングリモートセンシング画像への境界ボックス調整操作に応答して、調整後の境界ボックスの境界ボックス情報を得る。
ここで、少なくとも1つの境界ボックスの境界ボックス情報が得られた後、第1ラベリングリモートセンシング画像を生成してよく、これによって、ラベリング作業員は第1ラベリングリモートセンシング画像における境界ボックスに対して調整操作、例えば余分な境界ボックスの削除、欠けている境界ボックスの増加等を行って、境界ボックス情報の正確度を高くすることができ、更に後で得られるラベリング画像の正確度を高くすることができ、また、境界ボックスの調整操作が簡単で、操作が容易で、かかる時間が少なく、境界ボックス調整操作の効率が高い。
S103に関しては、
ここで、リモートセンシング画像に含まれる各建物にそれぞれ対応する局所二値画像及び方向角情報に基づいて、リモートセンシング画像における少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成してよい。
ここで、リモートセンシング画像に含まれる各建物にそれぞれ対応する局所二値画像及び方向角情報に基づいて、リモートセンシング画像における少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成してよい。
選択可能な一実施形態では、本開示の実施例に係るラベリング画像生成方法を模式的に示すフローチャートである図6に示すように、少なくとも1つの建物の各々に対応する局所二値画像及び方向角情報に基づいて、リモートセンシング画像における少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップは、下記のステップを含んでよい。
S501で、各建物に対して、この建物に対応する局所二値画像、及び局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物に対応する頂点位置集合を決定し、前記頂点位置集合はこの建物多角形輪廓の複数の頂点の位置を含む。
S502で、各建物にそれぞれ対応する頂点位置集合に基づいて、リモートセンシング画像における少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成する。
上記実施形態では、建物の頂点位置に位置する画素点と隣接画素点とが異なる輪廓辺上に位置し、異なる輪廓辺が異なる方向に対応するので、各建物に対応する局所二値画像及び方向角情報によって建物の頂点位置集合を比較的正確に決定でき、この頂点位置集合は建物の多角形輪廓上の各頂点の位置を含み、更に得られた頂点位置集合に基づいてラベリング画像を比較的正確に生成できる。
ステップS501に関しては、リモートセンシング画像に含まれる各建物に対して、この建物に対応する局所二値画像、及び局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物に対応する頂点位置集合を決定してよく、即ち、この建物に対応する頂点位置集合はこの建物に対応する建物多角形輪廓上の各頂点の位置情報を含む。
選択可能な一実施形態として、本開示の実施例に係る頂点位置集合決定方法を模式的に示すフローチャートである図7に示すように、この建物に対応する局所二値画像、及び局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物多角形輪廓の複数の頂点位置で構成される頂点位置集合を決定する上記ステップS501は、下記のステップを含んでよい。
S601で、局所二値画像内の建物輪廓から複数の画素点を選択する。
S602で、複数の画素点のうちの各画素点に対して、この画素点に対応する方向角情報及びこの画素点に対応する隣接画素点の方向角情報に基づいて、この画素点が建物の多角形輪廓の頂点であるかを決定する。
S603で、頂点であると決定された各画素点の位置に基づいて、この建物に対応する頂点位置集合を決定する。
上記実施形態では、建物輪廓から複数の画素点を選択し、各画素点が頂点であるかを判断し、更に頂点である各画素点の位置に基づいて建物に対応する頂点位置集合を生成することによって、後続のラベリング画像の生成にデータのサポートを提供する。
ステップS601について説明し、局所二値画像内の建物輪廓から複数の画素点を選択してよく、例えば、高密集度で点を抽出する方式によって建物輪廓から複数の画素点を選択してよい。
ここで、選択された複数の画素点に順に番号を付けてもよく、例えば、1つの始点を特定し、始点位置の画素点の番号を0に設置し、時計方向に従って、番号が0の画素点と隣接する画素点の番号を1に設置し、これによって類推するように、選択された複数の画素点のうちの各画素点に対応番号を付けるようにしてよい。また、複数の画素点の画素座標を用いて、密集画素点座標集合P={p0、p1、…、pn}を生成し、nは正の整数であり、ここで、p0は番号が0の画素点の画素座標であり、pnは番号がnの画素点の画素座標である。
ステップS602について説明し、選択された複数の画素点のうちの各画素点に対して判断を行い、この画素点が建物の多角形輪廓の頂点であるかを判断する。
選択可能な一実施形態として、この画素点に対応する方向角情報及びこの画素点に対応する隣接画素点の方向角情報に基づいて、この画素点が建物の多角形輪廓の頂点であるかを決定するステップS602は、この画素点の方向角情報と隣接画素点の方向角情報との間の差異が設定条件を満たした場合、この画素点が建物の多角形輪廓の頂点であると決定するステップを含んでよい。
上記実施形態では、画素点の方向角情報と隣接画素点の方向角情報との間の差異が設定条件を満たした場合、この画素点が建物の多角形輪廓の頂点であると決定し、頂点決定プロセスが簡単で、要する時間が少ない。
方向角情報が目標角度である場合、この画素点の目標角度と隣接画素点の目標角度との間の差異が設定された角度閾値以上であるかを判断し、差異が設定された角度閾値以上である場合、この画素点が建物の多角形輪廓の頂点であると決定し、差異が設定された角度閾値より小さい場合、この画素点が建物の多角形輪廓の頂点ではないと決定するようにしてよい。例えば、画素点p2に対して、この画素点p2の目標角度と隣接画素点p1の目標角度との間の差異が設定された角度閾値以上であるかを判断してよい。ここで、この角度閾値は実際の状況に応じて設置可能である。
方向角情報が方向種類である場合、この画素点の方向種類と隣接画素点の方向種類との間の差異が設定された方向種類閾値以上であるかを判断し、差異が設定された方向種類閾値以上である場合、この画素点が建物の多角形輪廓の頂点であると決定し、差異が設定された方向種類閾値より小さい場合、この画素点が建物の多角形輪廓の頂点ではないと決定するようにしてよい。即ち、次式(2)によりこの複数の画素点のうちの各画素点が建物の多角形輪廓の頂点であるかを決定してよく、
式(2)
式(2)
ここで、
は画素点
が建物の多角形輪廓の頂点であることを表し、
は画素点
が建物の多角形輪廓の頂点ではないことを表し、
は画素点
の方向種類であり、
は画素点
の方向種類であり、
は設置された方向種類閾値であり、
の値は実際の状況に応じて設置可能である。
は画素点
が建物の多角形輪廓の頂点であることを表し、
は画素点
が建物の多角形輪廓の頂点ではないことを表し、
は画素点
の方向種類であり、
は画素点
の方向種類であり、
は設置された方向種類閾値であり、
の値は実際の状況に応じて設置可能である。
ステップS603について説明し、更に、頂点であると決定された各画素点の位置に基づいてこの建物に対応する頂点位置集合を決定してよい。例示的に、頂点選択モジュールによって各建物に対応する頂点位置集合を決定してよい。例えば、建物に対応する局所二値画像、及び局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報を頂点選択モジュールに入力して、この建物に対応する頂点位置集合を決定するようにしてよい。
ステップS502に関しては、各建物に対応する頂点位置集合が得られた後、各建物にそれぞれ対応する頂点位置集合に基づいて、リモートセンシング画像における少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成してよい。例えば、各建物に含まれる頂点の連結順序を決定し、各建物に対応する頂点を決定された連結順序に従って交差しないように連結して、各建物の多角形輪廓を得、各建物の多角形輪廓とリモートセンシング画像に基づいて、このリモートセンシング画像に対応するラベリング画像を生成するようにしてよい。
選択可能な一実施形態では、各建物にそれぞれ対応する頂点位置集合に基づいて、リモートセンシング画像における少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成する前に、トレーニング済みの頂点修正ニューラルネットワークに基づいて、決定された頂点位置集合内の各頂点の位置を修正するステップを更に含んでよい。
ここで、頂点位置集合をトレーニング済みの頂点修正ニューラルネットワークに入力して、決定された頂点位置集合内の各頂点の位置を修正して、修正後の頂点位置集合を得るようにしてよく、更に、各建物にそれぞれ対応する修正後の頂点位置集合に基づいて、リモートセンシング画像における少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成してよい。
上記実施形態では、更に、トレーニングして得られた頂点修正ニューラルネットワークによって、頂点位置集合内の各頂点の位置を修正することで、修正後の各頂点の位置を真実位置とより一致させるようにしてよく、更に各建物にそれぞれ対応する修正後の頂点位置集合に基づいて、正確度の高いラベリング画像を得られる。
選択可能な一実施形態では、各建物にそれぞれ対応する頂点位置集合に基づいて、リモートセンシング画像における少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成した後、この方法は、ラベリング画像への頂点位置調整操作に応答して、いずれかの頂点の位置を調整するステップを更に含んでもよい。
ここで、ラベリング画像が得られた後、ラベリング画像を表示画面に表示してもよく、例えば、実行主体が表示画面を備えた端末装置である場合、ラベリング画像を端末装置の表示画面に表示してもよく、又は、実行主体がサーバである場合、表示装置の表示画面に表示可能なようにラベリング画像を表示装置に送信してもよく、これによって、ラベリング作業員が表示画面に表示されているラベリング画像を見て、ラベリング画像におけるいずれかの建物のいずれかの頂点の位置が実際状況と一致しない時にこの頂点の位置を調整することが可能になり、更にラベリング画像への頂点位置調整操作に応答して、いずれかの頂点の位置を調整して、頂点位置調整後のラベリング画像を得る。ここで、ラベリング画像への頂点位置調整操作は、ラベリング画像生成後にリアルタイムで行ってもよいし、ラベリング画像生成後に非リアルタイムで行ってもよい。
ここで、ラベリング画像におけるいずれかの頂点の位置に対して調整操作を行ってもよく、頂点位置調整操作後のラベリング画像の正確度が高くなる。
例示的に、リモートセンシング画像を取得した後、リモートセンシング画像をラベリングネットワークに入力して、このリモートセンシング画像に対応するラベリング画像を生成するようにしてよく、このラベリング画像はリモートセンシング画像内の少なくとも1つの建物の多角形輪廓をラベリングしたものである。ここで、ラベリングネットワークには第1画像分割ニューラルネットワーク、第2画像分割ニューラルネットワーク、頂点選択モジュール、頂点修正ニューラルネットワークを含んでよい。ラベリングネットワークの動作プロセスについては上記の記述を参照してもよく、ここで詳細な説明を省略する。
具体的な実施形態の上記方法において、各ステップの記述順序は厳しい実行順序であるというわけではなく、実施プロセスの何の制限にもならず、各ステップの実行順序はその機能と可能な内在的論理に依存することが当業者に理解される。
同様な構想に基づいて、本開示の実施例は、本開示の実施例に係る画像ラベリング装置の構成の模式図を示す図8に示すように、取得モジュール301、決定モジュール302、生成モジュール303、境界ボックス調整モジュール304、頂点位置修正モジュール305、頂点位置調整モジュール306を備える画像ラベリング装置を更に提供する。
取得モジュール301は、リモートセンシング画像を取得するように構成され、
決定モジュール302は、前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成され、前記方向角情報は、前記輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含み、
生成モジュール303は、前記少なくとも1つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するように構成される。
決定モジュール302は、前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成され、前記方向角情報は、前記輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含み、
生成モジュール303は、前記少なくとも1つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するように構成される。
可能な一実施形態では、前記決定モジュール302は、前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定する場合、
前記リモートセンシング画像及びトレーニング済みの第1画像分割ニューラルネットワークに基づいて、前記リモートセンシング画像の全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び少なくとも1つの建物の境界ボックスの境界ボックス情報を取得するステップと、
前記境界ボックス情報、前記全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、を実行するように構成される。
前記リモートセンシング画像及びトレーニング済みの第1画像分割ニューラルネットワークに基づいて、前記リモートセンシング画像の全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び少なくとも1つの建物の境界ボックスの境界ボックス情報を取得するステップと、
前記境界ボックス情報、前記全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、を実行するように構成される。
可能な一実施形態では、前記決定モジュール302は、
前記境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスからサイズが事前設定サイズ閾値より大きい第1境界ボックスを選択するステップと、
前記第1境界ボックスの境界ボックス情報に基づいて、前記全局二値画像から前記第1境界ボックス内の建物の局所二値画像を切り取り、前記全局二値画像に対応する前記方向角情報から、切り取られた局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を抽出するステップと、によって、
前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成される。
前記境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスからサイズが事前設定サイズ閾値より大きい第1境界ボックスを選択するステップと、
前記第1境界ボックスの境界ボックス情報に基づいて、前記全局二値画像から前記第1境界ボックス内の建物の局所二値画像を切り取り、前記全局二値画像に対応する前記方向角情報から、切り取られた局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を抽出するステップと、によって、
前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成される。
可能な一実施形態では、前記決定モジュール302は、更に、
前記境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスからサイズが事前設定サイズ閾値以下の第2境界ボックスを選択するステップと、
前記第2境界ボックスの境界ボックス情報に基づいて、前記リモートセンシング画像から前記第2境界ボックスに対応するローカルリモートセンシング画像を切り取るステップと、
前記ローカルリモートセンシング画像とトレーニング済みの第2画像分割ニューラルネットワークに基づいて、前記ローカルリモートセンシング画像に対応する前記建物の局所二値画像、及び前記ローカルリモートセンシング画像に対応する局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、によって、
前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成される。
前記境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスからサイズが事前設定サイズ閾値以下の第2境界ボックスを選択するステップと、
前記第2境界ボックスの境界ボックス情報に基づいて、前記リモートセンシング画像から前記第2境界ボックスに対応するローカルリモートセンシング画像を切り取るステップと、
前記ローカルリモートセンシング画像とトレーニング済みの第2画像分割ニューラルネットワークに基づいて、前記ローカルリモートセンシング画像に対応する前記建物の局所二値画像、及び前記ローカルリモートセンシング画像に対応する局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、によって、
前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成される。
可能な一実施形態では、前記少なくとも1つの境界ボックスの境界ボックス情報を取得した後、
前記リモートセンシング画像及び前記少なくとも1つの境界ボックスの境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスをラベリングした第1ラベリングリモートセンシング画像を生成するステップと、前記第1ラベリングリモートセンシング画像への境界ボックス調整操作に応答して、調整後の境界ボックスの境界ボックス情報を得るステップと、を実行するように構成される境界ボックス調整モジュール304を更に備える。
前記リモートセンシング画像及び前記少なくとも1つの境界ボックスの境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスをラベリングした第1ラベリングリモートセンシング画像を生成するステップと、前記第1ラベリングリモートセンシング画像への境界ボックス調整操作に応答して、調整後の境界ボックスの境界ボックス情報を得るステップと、を実行するように構成される境界ボックス調整モジュール304を更に備える。
可能な一実施形態では、前記決定モジュール302は、
第1ラベリング結果が含まれる第1リモートセンシング画像サンプルを取得するステップであって、前記第1リモートセンシング画像サンプルは、少なくとも1つの建物の画像を含み、前記第1ラベリング結果にはラベリングした少なくとも1つの建物の輪廓情報、前記第1リモートセンシング画像サンプルの二値画像、及び前記第1リモートセンシング画像サンプル内の各画素点に対応する方向角情報を含むステップと、
前記第1リモートセンシング画像サンプルをトレーニング待ちの第1ニューラルネットワークに入力して前記第1リモートセンシング画像サンプルに対応する第1予測結果を得、前記第1予測結果及び前記第1ラベリング結果に基づいて前記トレーニング待ちの第1ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第1画像分割ニューラルネットワークを得るステップと、によって、
前記第1画像分割ニューラルネットワークをトレーニングするように構成される。
第1ラベリング結果が含まれる第1リモートセンシング画像サンプルを取得するステップであって、前記第1リモートセンシング画像サンプルは、少なくとも1つの建物の画像を含み、前記第1ラベリング結果にはラベリングした少なくとも1つの建物の輪廓情報、前記第1リモートセンシング画像サンプルの二値画像、及び前記第1リモートセンシング画像サンプル内の各画素点に対応する方向角情報を含むステップと、
前記第1リモートセンシング画像サンプルをトレーニング待ちの第1ニューラルネットワークに入力して前記第1リモートセンシング画像サンプルに対応する第1予測結果を得、前記第1予測結果及び前記第1ラベリング結果に基づいて前記トレーニング待ちの第1ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第1画像分割ニューラルネットワークを得るステップと、によって、
前記第1画像分割ニューラルネットワークをトレーニングするように構成される。
可能な一実施形態では、前記決定モジュール302は、
第2ラベリング結果が含まれる第2リモートセンシング画像サンプルを取得するステップであって、各前記第2リモートセンシング画像サンプルは、前記第1リモートセンシング画像サンプルから切り取られた目標建物の領域画像であり、前記第2ラベリング結果には前記領域画像における前記目標建物の輪廓情報、前記第2リモートセンシング画像サンプルの二値画像、及び前記第2リモートセンシング画像サンプル内の各画素点に対応する方向角情報を含むステップと、
前記第2リモートセンシング画像サンプルをトレーニング待ちの第2ニューラルネットワークに入力して前記第2リモートセンシング画像サンプルに対応する第2予測結果を得、前記第2予測結果及び前記第2ラベリング結果に基づいて前記トレーニング待ちの第2ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第2画像分割ニューラルネットワークを得るステップと、によって、
前記第2画像分割ニューラルネットワークをトレーニングするように構成される。
第2ラベリング結果が含まれる第2リモートセンシング画像サンプルを取得するステップであって、各前記第2リモートセンシング画像サンプルは、前記第1リモートセンシング画像サンプルから切り取られた目標建物の領域画像であり、前記第2ラベリング結果には前記領域画像における前記目標建物の輪廓情報、前記第2リモートセンシング画像サンプルの二値画像、及び前記第2リモートセンシング画像サンプル内の各画素点に対応する方向角情報を含むステップと、
前記第2リモートセンシング画像サンプルをトレーニング待ちの第2ニューラルネットワークに入力して前記第2リモートセンシング画像サンプルに対応する第2予測結果を得、前記第2予測結果及び前記第2ラベリング結果に基づいて前記トレーニング待ちの第2ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第2画像分割ニューラルネットワークを得るステップと、によって、
前記第2画像分割ニューラルネットワークをトレーニングするように構成される。
可能な一実施形態では、前記生成モジュール303は、前記少なくとも1つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するプロセスで、
各建物に対して、この建物に対応する前記局所二値画像、及び前記局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物に対応する頂点位置集合を決定するステップであって、前記頂点位置集合はこの建物多角形輪廓の複数の頂点の位置を含むステップと、
各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップと、を実行するように構成される。
各建物に対して、この建物に対応する前記局所二値画像、及び前記局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物に対応する頂点位置集合を決定するステップであって、前記頂点位置集合はこの建物多角形輪廓の複数の頂点の位置を含むステップと、
各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップと、を実行するように構成される。
可能な一実施形態では、各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成する前に、
トレーニング済みの頂点修正ニューラルネットワークに基づいて、決定された前記頂点位置集合内の各頂点の位置を修正するように構成される頂点位置修正モジュール305を更に備える。
トレーニング済みの頂点修正ニューラルネットワークに基づいて、決定された前記頂点位置集合内の各頂点の位置を修正するように構成される頂点位置修正モジュール305を更に備える。
可能な一実施形態では、各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成した後、前記装置は、
前記ラベリング画像への頂点位置調整操作に応答して、いずれかの頂点の位置を調整するように構成される頂点位置調整モジュール306を更に備える。
前記ラベリング画像への頂点位置調整操作に応答して、いずれかの頂点の位置を調整するように構成される頂点位置調整モジュール306を更に備える。
可能な一実施形態では、前記生成モジュール303は、この建物に対応する前記局所二値画像、及び前記局所二値画像におけるこの建物輪廓に位置する輪廓画素点の方向角情報に基づいて、この建物に対応する頂点位置集合を決定するプロセスで、
前記局所二値画像内の建物輪廓から複数の画素点を選択するステップと、
前記複数の画素点のうちの各画素点に対して、この画素点に対応する方向角情報及びこの画素点に対応する隣接画素点の方向角情報に基づいて、この画素点が建物の多角形輪廓の頂点であるかを決定するステップと、
頂点である各画素点の位置に基づいて、この建物に対応する頂点位置集合を決定するステップと、を実行するように構成される。
前記局所二値画像内の建物輪廓から複数の画素点を選択するステップと、
前記複数の画素点のうちの各画素点に対して、この画素点に対応する方向角情報及びこの画素点に対応する隣接画素点の方向角情報に基づいて、この画素点が建物の多角形輪廓の頂点であるかを決定するステップと、
頂点である各画素点の位置に基づいて、この建物に対応する頂点位置集合を決定するステップと、を実行するように構成される。
可能な一実施形態では、前記生成モジュール303は、この画素点に対応する方向角情報及びこの画素点に対応する隣接画素点の方向角情報に基づいて、この画素点が建物の多角形輪廓の頂点であるかを決定するプロセスで、
この画素点の方向角情報と前記隣接画素点の方向角情報との間の差異が設定条件を満たした場合、この画素点が建物の多角形輪廓の頂点であると決定するように構成される。
この画素点の方向角情報と前記隣接画素点の方向角情報との間の差異が設定条件を満たした場合、この画素点が建物の多角形輪廓の頂点であると決定するように構成される。
可能な一実施形態では、ラベリングした各画素点に対応する前記方向角情報が方向種類情報である場合、前記決定モジュール302は、
この画素点が所在する輪廓辺と設置された基準方向との間の目標角度を決定するステップと、
異なる方向種類情報と角度範囲との間の対応関係及び前記目標角度により、この画素点に対応する方向種類情報を決定するステップと、によって、
各画素点に対応する前記方向種類情報を取得するように構成される。
この画素点が所在する輪廓辺と設置された基準方向との間の目標角度を決定するステップと、
異なる方向種類情報と角度範囲との間の対応関係及び前記目標角度により、この画素点に対応する方向種類情報を決定するステップと、によって、
各画素点に対応する前記方向種類情報を取得するように構成される。
いくつかの実施例では、本開示の実施例に係る装置に備える機能又はそれに含まれるモジュールは上述した方法実施例に記載の方法を実行するように配置されてもよく、その実現については上述した方法実施例の記載を参照してもよく、簡潔化するために、ここで詳細な説明を省略する。
同様な技術構想に基づいて、本開示の実施例は電子機器を更に提供する。本開示の実施例に係る電子機器の構成の模式図である図9に示すように、プロセッサ401、メモリ402及びバス403を含む。ここで、メモリ402は実行命令を記憶するように構成され、内部メモリ4021と外部メモリ4022を含み、上述した内部メモリ4021は内部記憶装置とも呼ばれ、プロセッサ401内の演算データ及びハードディスク等の外部メモリ4022と交換するデータを一時保存するように構成され、プロセッサ401は内部メモリ4021を経由して外部メモリ4022とデータ交換を行い、電子機器400の動作中で、プロセッサ401はバス403によってメモリ402と通信して、
リモートセンシング画像を取得するステップと、
前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップであって、前記方向角情報は、前記輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含むステップと、
前記少なくとも1つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップといった命令を実行する。
リモートセンシング画像を取得するステップと、
前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップであって、前記方向角情報は、前記輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含むステップと、
前記少なくとも1つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップといった命令を実行する。
なお、本開示の実施例は、コンピュータプログラムが記憶されており、このコンピュータプログラムがプロセッサによって実行する時に上記の方法実施例に記載の画像のラベリング方法のステップを実行するコンピュータ可読記憶媒体を更に提供する。
本開示の実施例に係る画像のラベリング方法によるコンピュータプログラム製品は、プログラムコードを記憶したコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれる命令は上記の方法実施例に記載の画像のラベリング方法のステップを実行することに利用可能であり、上記の方法実施例を参照してもよく、ここで詳細な説明を省略する。
本開示の実施例は、プロセッサにより実行される時に上記実施例のいずれか1種の方法を実現するコンピュータプログラムを更に提供する。該コンピュータプログラム製品はハードウェア、ソフトウェア又はそれらの組み合わせにより実現可能である。選択可能な一実施例において、前記コンピュータプログラム製品はコンピュータ記憶媒体として実現され、別の選択可能な一実施例において、コンピュータプログラム製品は、例えばソフトウェア開発キット(Software Development Kit:SDKと略称)等のソフトウェア製品として実現される。
説明の便宜上、上述したシステムと装置の動作プロセスについては上記の方法実施例に対応するプロセスを参照してもよいことが当業者に明らかであるため、ここで詳細な説明を省略する。本開示により提供されるいくつかの実施例では、開示するシステム、装置及び方法は、他の形態で実現できることを理解すべきである。上述した装置実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現時に別の形態で分割してもよく、更に例えば、複数のユニット又はコンポーネントは組み合わせてもよく、又は別のシステムに統合してもよく、又はいくつかの特徴を省略もしくは実行しなくてもよい。一方、図示又は説明した相互の結合又は直接結合又は通信接続はいくつかの通信インタフェース、機器又はユニットを介した間接結合又は通信接続であり得、電気的、機械的又は他の形態であり得る。
分離部材として説明した前記ユニットは物理的に分離されたものであってもなくてもよく、ユニットとして示した部材は物理ユニットであってもなくてもよく、一箇所に位置してもよく、又は複数のネットワークユニットに分布してもよい。実際の必要に応じてその一部又は全てのユニットを選択して本実施例の解決手段の目的を実現できる。
また、本開示の各実施例における各機能ユニットは一つの処理ユニットに統合されてもよく、それぞれ独立して物理的に存在してもよく、二つ又は二つ以上で一つのユニットに統合されてもよい。
前記機能がソフトウェア機能ユニットの形式で実現され且つ独立した製品として販売又は使用される場合、プロセッサに実行可能な非揮発性コンピュータ可読記憶媒体に記憶されてもよい。このような見解をもとに、本開示の技術的解決手段は実質的に従来技術に寄与する部分またはこの技術的解決手段の一部がソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器(パーソナルコンピュータ、サーバ、又はネットワーク機器等であってもよい)に本開示の各実施例に記載の方法のステップの全部又は一部を実行させる複数の命令を含む。前記記憶媒体は、USBメモリ、モバイルハードディスク、読出し専用メモリ(Read-Only Memory:ROM)、ランダムアクセスメモリ(Random Access Memory:RAM)、磁気ディスク又は光ディスク等のプログラムコードを記憶可能である様々な媒体を含む。
以上は本開示の具体的な実施形態に過ぎず、本開示の保護範囲がそれに限定されるものでなく、本開示に記載された技術範囲内に当業者に容易に想到される変化又は取り替えは、全て本開示の保護範囲に含まれる。従って、本開示の保護範囲は請求項の保護範囲に準ずるものとする。
本開示の実施例は、リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定し、ここで方向角情報には輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含み、少なくとも1つの建物の各々に対応する局所二値画像及び方向角情報に基づいて、リモートセンシング画像における少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成することによって、リモートセンシング画像における少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像の自動生成を可能にし、建物ラベリング効率を高くする同時に、建物の縁部輪廓における頂点位置に位置する画素点と隣接画素点とが異なる輪廓辺上に位置し、異なる輪廓辺が異なる方向に対応するので、建物に対応する局所二値画像及び方向角情報によって、建物の頂点位置を比較的正確に決定でき、更にラベリング画像を比較的正確に生成できる。
Claims (17)
- リモートセンシング画像を取得するステップと、
前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップであって、前記方向角情報は、前記輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含むステップと、
前記少なくとも1つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップと、を含む、
画像のラベリング方法。 - 前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップは、
前記リモートセンシング画像及びトレーニング済みの第1画像分割ニューラルネットワークに基づいて、前記リモートセンシング画像の全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び少なくとも1つの建物の境界ボックスの境界ボックス情報を取得するステップと、
前記境界ボックス情報、前記全局二値画像、前記全局二値画像における建物輪廓に位置する輪廓画素点の方向角情報、及び前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する前記局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、を含む、
請求項1に記載の方法。 - 前記リモートセンシング画像における少なくとも1つの建物の各々に対応する前記局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップは、
前記境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスからサイズが事前設定サイズ閾値より大きい第1境界ボックスを選択するステップと、
前記第1境界ボックスの境界ボックス情報に基づいて、前記全局二値画像から前記第1境界ボックス内の建物の局所二値画像を切り取り、前記全局二値画像に対応する前記方向角情報から、切り取られた局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を抽出するステップと、を含む、
請求項2に記載の方法。 - 前記リモートセンシング画像における少なくとも1つの建物の各々に対応する前記局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するステップは、
前記境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスからサイズが事前設定サイズ閾値以下の第2境界ボックスを選択するステップと、
前記第2境界ボックスの境界ボックス情報に基づいて、前記リモートセンシング画像から前記第2境界ボックスに対応するローカルリモートセンシング画像を切り取るステップと、
前記ローカルリモートセンシング画像とトレーニング済みの第2画像分割ニューラルネットワークに基づいて、前記ローカルリモートセンシング画像に対応する前記建物の局所二値画像、及び前記ローカルリモートセンシング画像に対応する局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報を決定するステップと、を含む、
請求項2に記載の方法。 - 前記少なくとも1つの境界ボックスの境界ボックス情報を取得した後、
前記リモートセンシング画像及び前記少なくとも1つの境界ボックスの境界ボックス情報に基づいて、前記少なくとも1つの境界ボックスをラベリングした第1ラベリングリモートセンシング画像を生成するステップと、
前記第1ラベリングリモートセンシング画像への境界ボックス調整操作に応答して、調整後の境界ボックスの境界ボックス情報を得るステップと、を更に含む、
請求項2~4のいずれか一項に記載の方法。 - 第1ラベリング結果が含まれる第1リモートセンシング画像サンプルを取得するステップであって、前記第1リモートセンシング画像サンプルは、少なくとも1つの建物の画像を含み、前記第1ラベリング結果に、ラベリングした少なくとも1つの建物の輪廓情報、前記第1リモートセンシング画像サンプルの二値画像、及び前記第1リモートセンシング画像サンプル内の各画素点に対応するラベリング方向角情報が含まれるステップと、
前記第1リモートセンシング画像サンプルをトレーニング待ちの第1ニューラルネットワークに入力して前記第1リモートセンシング画像サンプルに対応する第1予測結果を得、前記第1予測結果及び前記第1ラベリング結果に基づいて前記トレーニング待ちの第1ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第1画像分割ニューラルネットワークを得るステップと、を更に含む、
請求項2~5のいずれか一項に記載の方法。 - 第2ラベリング結果が含まれる第2リモートセンシング画像サンプルを取得するステップであって、各前記第2リモートセンシング画像サンプルは、前記第1リモートセンシング画像サンプルから切り取られた目標建物の領域画像であり、前記第2ラベリング結果に、前記領域画像における前記目標建物の輪廓情報、前記第2リモートセンシング画像サンプルの二値画像、及び前記第2リモートセンシング画像サンプル内の各画素点に対応するラベリング方向角情報が含まれるステップと、
前記第2リモートセンシング画像サンプルをトレーニング待ちの第2ニューラルネットワークに入力して前記第2リモートセンシング画像サンプルに対応する第2予測結果を得、前記第2予測結果及び前記第2ラベリング結果に基づいて前記トレーニング待ちの第2ニューラルネットワークをトレーニングし、トレーニングが完了した後に、前記第2画像分割ニューラルネットワークを得るステップと、を更に含む、
請求項4に記載の方法。 - 前記少なくとも1つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップは、
各建物に対して、前記建物に対応する前記局所二値画像、及び前記局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報に基づいて、前記建物に対応する頂点位置集合を決定するステップであって、前記頂点位置集合は前記建物の多角形輪廓の複数の頂点の位置を含むステップと、
各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するステップと、を含む、
請求項1~7のいずれか一項に記載の方法。 - 各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成する前に、
トレーニング済みの頂点修正ニューラルネットワークに基づいて、決定された前記頂点位置集合内の各頂点の位置を修正するステップを更に含む、
請求項8に記載の方法。 - 各建物にそれぞれ対応する頂点位置集合に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成した後、
前記ラベリング画像への頂点位置調整操作に応答して、いずれかの頂点の位置を調整するステップを更に含む、
請求項8又は9に記載の方法。 - 前記建物に対応する前記局所二値画像、及び前記局所二値画像における前記建物輪廓に位置する輪廓画素点の方向角情報に基づいて、前記建物に対応する頂点位置集合を決定するステップは、
前記局所二値画像内の建物輪廓から複数の画素点を選択するステップと、
前記複数の画素点のうちの各画素点に対して、前記画素点に対応する方向角情報及び前記画素点に対応する隣接画素点の方向角情報に基づいて、前記画素点が建物の多角形輪廓の頂点であるかを決定するステップと、
頂点である各画素点の位置に基づいて、前記建物に対応する頂点位置集合を決定するステップと、を含む、
請求項8に記載の方法。 - 前記画素点に対応する方向角情報及び前記画素点に対応する隣接画素点の方向角情報に基づいて、前記画素点が建物の多角形輪廓の頂点であるかを決定するステップは、
前記画素点の方向角情報と前記隣接画素点の方向角情報との間の差異が設定条件を満たした場合、前記画素点が建物の多角形輪廓の頂点であると決定するステップを含む、
請求項11に記載の方法。 - 各画素点に対応するラベリング方向角情報はラベリング方向種類情報を含み、
前記画素点が所在する輪廓辺と設置された基準方向との間の目標角度を決定するステップと、
異なる事前設定方向種類情報と角度範囲との間の対応関係及び前記目標角度により、前記画素点に対応するラベリング方向種類情報を決定するステップと、を更に含む、
請求項6又は7に記載の方法。 - リモートセンシング画像を取得するように構成される取得モジュールと、
前記リモートセンシング画像に基づいて、前記リモートセンシング画像における少なくとも1つの建物の各々に対応する局所二値画像、及び前記局所二値画像における建物輪廓に位置する輪廓画素点の方向角情報を決定するように構成される決定モジュールであって、前記方向角情報は、前記輪廓画素点が所在する輪廓辺と事前設定基準方向との間の角度情報を含む決定モジュールと、
前記少なくとも1つの建物の各々に対応する前記局所二値画像及び前記方向角情報に基づいて、前記リモートセンシング画像における前記少なくとも1つの建物の多角形輪廓をラベリングしたラベリング画像を生成するように構成される生成モジュールと、を備える、
画像ラベリング装置。 - 電子機器であって、
プロセッサ、メモリ及びバスを備え、前記メモリに前記プロセッサで実行可能な機器可読命令が記憶されており、電子機器が動作する時に、前記プロセッサと前記メモリがバスによって通信し、前記機器可読命令が前記プロセッサにより実行される時に、請求項1~13のいずれか一項に記載の画像のラベリング方法のステップを実行する、
電子機器。 - コンピュータプログラムが記憶されており、前記コンピュータプログラムが、プロセッサに、請求項1~13のいずれか一項に記載の画像のラベリング方法を実行させる、
コンピュータ可読記憶媒体。 - コンピュータ可読コードを含み、前記コンピュータ可読コードが、電子機器で実行される時に、前記電子機器内のプロセッサに、請求項1~13のいずれか一項に記載の画像のラベリング方法を実行させる、
コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010611570.X | 2020-06-29 | ||
CN202010611570.XA CN111754536B (zh) | 2020-06-29 | 2020-06-29 | 图像标注方法、装置、电子设备及存储介质 |
PCT/CN2021/084175 WO2022001256A1 (zh) | 2020-06-29 | 2021-03-30 | 图像标注方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022541977A true JP2022541977A (ja) | 2022-09-29 |
Family
ID=72678212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021565978A Withdrawn JP2022541977A (ja) | 2020-06-29 | 2021-03-30 | 画像のラベリング方法、装置、電子機器及び記憶媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220392239A1 (ja) |
JP (1) | JP2022541977A (ja) |
KR (1) | KR20220004074A (ja) |
CN (1) | CN111754536B (ja) |
WO (1) | WO2022001256A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111754536B (zh) * | 2020-06-29 | 2024-04-16 | 上海商汤智能科技有限公司 | 图像标注方法、装置、电子设备及存储介质 |
CN113806573A (zh) * | 2021-09-15 | 2021-12-17 | 上海商汤科技开发有限公司 | 标注方法、装置、电子设备、服务器及存储介质 |
CN113989675B (zh) * | 2021-11-02 | 2022-06-14 | 四川睿迈威科技有限责任公司 | 基于遥感影像的地理信息提取深度学习训练样本交互制作方法 |
TWI793865B (zh) * | 2021-11-18 | 2023-02-21 | 倍利科技股份有限公司 | Ai自動輔助標記之系統及方法 |
TWI826316B (zh) * | 2023-05-11 | 2023-12-11 | 宏碁股份有限公司 | 影像分割模型訓練方法及電子裝置 |
CN117575960B (zh) * | 2023-11-30 | 2024-07-05 | 中国科学院空天信息创新研究院 | 一种遥感影像空缺填补方法及*** |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105719306B (zh) * | 2016-01-26 | 2018-09-11 | 郑州恒正电子科技有限公司 | 一种高分辨率遥感影像中的建筑物快速提取方法 |
TWI590197B (zh) * | 2016-07-19 | 2017-07-01 | 私立淡江大學 | 影像物體特徵描述方法及影像處理裝置 |
CN107092877B (zh) * | 2017-04-12 | 2020-01-24 | 武汉大学 | 基于建筑物基底矢量的遥感影像屋顶轮廓提取方法 |
CN109635715B (zh) * | 2018-12-07 | 2022-09-30 | 福建师范大学 | 一种遥感图像建筑物提取方法 |
CN110197147B (zh) * | 2019-05-23 | 2022-12-02 | 星际空间(天津)科技发展有限公司 | 遥感影像的建筑物实例提取方法、装置、存储介质及设备 |
CN111754536B (zh) * | 2020-06-29 | 2024-04-16 | 上海商汤智能科技有限公司 | 图像标注方法、装置、电子设备及存储介质 |
-
2020
- 2020-06-29 CN CN202010611570.XA patent/CN111754536B/zh active Active
-
2021
- 2021-03-30 WO PCT/CN2021/084175 patent/WO2022001256A1/zh active Application Filing
- 2021-03-30 KR KR1020217035938A patent/KR20220004074A/ko unknown
- 2021-03-30 JP JP2021565978A patent/JP2022541977A/ja not_active Withdrawn
-
2022
- 2022-08-12 US US17/886,565 patent/US20220392239A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
CN111754536B (zh) | 2024-04-16 |
CN111754536A (zh) | 2020-10-09 |
KR20220004074A (ko) | 2022-01-11 |
WO2022001256A1 (zh) | 2022-01-06 |
US20220392239A1 (en) | 2022-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022541977A (ja) | 画像のラベリング方法、装置、電子機器及び記憶媒体 | |
US20180276241A1 (en) | System and method for telecom inventory management | |
CN110458112B (zh) | 车辆检测方法、装置、计算机设备和可读存储介质 | |
US10726580B2 (en) | Method and device for calibration | |
CN105046213A (zh) | 一种增强现实的方法 | |
JP6464938B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6334927B2 (ja) | 付加情報表示装置および付加情報表示プログラム | |
US10733777B2 (en) | Annotation generation for an image network | |
CN111583381B (zh) | 游戏资源图的渲染方法、装置及电子设备 | |
JP6937782B2 (ja) | 画像処理方法及びデバイス | |
CN109242941B (zh) | 三维对象合成通过使用视觉引导作为二维数字图像的一部分 | |
US20200334890A1 (en) | Systems and Methods for Fast Texture Mapping of 3D Models | |
JP2009146150A (ja) | 特徴位置検出方法及び特徴位置検出装置 | |
CN111079059A (zh) | 页面检查方法、装置、设备及计算机可读存储介质 | |
CN112465692A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN113167568B (zh) | 坐标计算装置、坐标计算方法和计算机可读记录介质 | |
CN111832558A (zh) | 文字图像矫正方法、装置、存储介质及电子设备 | |
CN113920525A (zh) | 文本矫正方法、装置、设备及存储介质 | |
CN112446895B (zh) | 棋盘格角点自动提取方法、***、设备及介质 | |
KR102526113B1 (ko) | 혼잡도 시각화 장치 및 방법 | |
CN112580638A (zh) | 文本检测方法、装置、存储介质及电子设备 | |
CN113269728B (zh) | 视觉巡边方法、设备、可读存储介质及程序产品 | |
JP2020165114A (ja) | 石材位置特定プログラム、石材位置特定システム、及び石材位置特定装置 | |
CN113362387B (zh) | 一种动态环境移动机器人的环境地图构建方法 | |
US20240078720A1 (en) | Image processing apparatus, image processing method, and non-transitory computer readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211105 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211105 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20221221 |