JP2022514917A - 画像処理方法、画像処理装置、コンピュータプログラム、及び画像処理機器 - Google Patents
画像処理方法、画像処理装置、コンピュータプログラム、及び画像処理機器 Download PDFInfo
- Publication number
- JP2022514917A JP2022514917A JP2021536061A JP2021536061A JP2022514917A JP 2022514917 A JP2022514917 A JP 2022514917A JP 2021536061 A JP2021536061 A JP 2021536061A JP 2021536061 A JP2021536061 A JP 2021536061A JP 2022514917 A JP2022514917 A JP 2022514917A
- Authority
- JP
- Japan
- Prior art keywords
- feature map
- instance
- processing
- image
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 title claims description 120
- 238000004590 computer program Methods 0.000 title claims 2
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 66
- 238000012549 training Methods 0.000 claims description 45
- 230000004927 fusion Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 13
- 238000007499 fusion processing Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 description 55
- 238000010586 diagram Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 18
- 238000003860 storage Methods 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 241000282326 Felis catus Species 0.000 description 5
- 241001494479 Pecora Species 0.000 description 4
- 238000011217 control strategy Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000002594 fluoroscopy Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
Description
予測対象画像を取得し、予測対象画像に対して特徴抽出を行うことにより、予測対象画像の特徴マップを取得するステップと、
予測対象画像の少なくとも1つの候補領域を生成し、少なくとも1つの候補領域を予測対象画像の特徴マップにマッピングするステップであって、それぞれの候補領域には、1つのインスタンスが含まれる、ステップと、
ターゲットネットワークに基づいて、マッピング後の特徴マップを処理し、予測対象画像における遮蔽されたインスタンスの全体的な構造を透視マスクで指示し、遮蔽されたインスタンスの不可視部分を非透視マスクで指示するステップであって、透視マスク及び非透視マスクは、遮蔽されたインスタンスの相対的な遮蔽関係を示す、ステップと、を含む。
予測対象画像を取得する取得モジュールと、
予測対象画像に対して特徴抽出を行うことにより、予測対象画像の特徴マップを取得する特徴抽出モジュールと、
予測対象画像の少なくとも1つの候補領域を生成する生成モジュールと、
少なくとも1つの候補領域を予測対象画像の特徴マップにマッピングするマッピングモジュールであって、それぞれの候補領域には、1つのインスタンスが含まれる、マッピングモジュールと、
ターゲットネットワークに基づいて、マッピング後の特徴マップを処理し、予測対象画像における遮蔽されたインスタンスの全体的な構造を透視マスクで指示し、遮蔽されたインスタンスの不可視部分を非透視マスクで指示する処理モジュールであって、透視マスク及び非透視マスクは、遮蔽されたインスタンスの相対的な遮蔽関係を示す、処理モジュールと、を含む。
セマンティクスセグメンテーション方法では、同じカテゴリに属する異なるインスタンスが区分されない。例えば、画像に2匹の猫がある場合、セマンティクスセグメンテーション方法では、2匹の猫の全ての画素が、猫というカテゴリとして予測される。一方、インスタンスセグメンテーションでは、画像においてどの画素が1番目の猫に属するか、どの画素が2番目の猫に属するかを区分する必要がある。
図1には、分類+位置決定、物体検出、及びインスタンスセグメンテーションの区別がそれぞれ示されている。
本願の実施例において、インスタンスは、特定のカテゴリに属する。一実施例において、KINSデータセットの場合、セマンティックラベルは、一般カテゴリとサブカテゴリとの包含関係が定義された組織的な2層の階層構造である。即ち、セマンティックラベルは、インスタンスのカテゴリを指示するために用いられる。
一実施例では、画像ごとに、シニアアノテータが、境界ボックスを用いてこの画像における各インスタンスを注釈し、各インスタンスをソートして相対的な遮蔽順番を取得してもよい。
本願の実施例では、N人のアノテータが、1枚の画像における各インスタンスに対して、透視マスクアノテーションを行う。一実施例では、3人のアノテータが、各インスタンスの、対応する境界ボックス内の透視マスクをマークしてもよい。ここで、このステップの重点は、N人のアノテータがそれぞれ独立してインスタンスの遮蔽された部分を推断し、その後、N人のアノテータによる同一のインスタンスへの独立したマスク予測に基づいて、このインスタンスの透視マスクを決定することである。一実施例において、1つのインスタンスに対する透視マスクアノテーションは、N人のアノテータの多数決によって決定される。
候補領域ごとに、この候補領域の第1特徴マップを第2ブランチ構造に入力して処理することにより、この候補領域に含まれるインスタンスの遮蔽分類情報を取得するステップ1703-1と、
この候補領域の第1特徴マップ、第2特徴マップ、及び第3特徴マップに対して特徴融合処理を行い、取得された融合特徴マップを第1ブランチ構造に入力して処理するステップ1703-2と、を含む。
他の実施例では、図19を参照すると、ターゲットネットワークに基づいて、マッピング後の特徴マップを処理するステップは、
この候補領域の第2特徴マップを第3ブランチ構造に入力して処理することにより、この候補領域に含まれるインスタンスのセマンティックラベル及び位置情報を取得するステップ1703-3をさらに含む。
通常、領域生成ネットワークにおいて512個の候補領域をサンプリングすると、そのうち、128個のみの候補領域が画像の前景を含む。さらに、訓練過程の統計によれば、画像の前景を含むこの128個の候補領域のうち、遮蔽が存在するのは一般に多くとも40個のみの候補領域である。大部分の遮蔽された領域には、通常、1~10個程度の画素のみが含まれる。遮蔽サンプルと非遮蔽サンプルの極端な不均衡は、ネットワークの訓練品質に極めて大きな影響を与える。また、候補領域の特徴を抽出した後、小領域の特徴は非常に目立たない。上記の考慮に基づき、本願の実施例では、遮蔽領域の面積が境界ボックスの面積の所定のパーセンテージよりも大きい候補領域を遮蔽サンプルとして選択する。一実施例において、所定のパーセンテージの値は、5%であってもよい。本願の実施例は、これに対して特に限定しない。
遮蔽分類ブランチによって、ターゲットネットワークは、効果的な遮蔽特徴を抽出することができる。本願の実施例では、ターゲットネットワークの透視マスク又は非透視マスクの予測能力をさらに強化するために、マルチブランチ符号化モジュールが特徴融合を行うことにより、マスク予測におけるグローバル情報を拡大することが提案されている。ここで、Maskブランチは、精細な画素レベルのマスク予測を行うことを目的としている。検出ボックスブランチ及び遮蔽分類ブランチの特徴情報は、グローバルな指導情報としてMaskブランチを指導することができる。
第1特徴マップと第2特徴マップとの連結処理を行うことにより、第1中間特徴マップを取得するステップと、第1中間特徴マップを1つの逆畳み込み層及び2つの畳み込み層で順次処理することにより、第2中間特徴マップを取得するステップと、第2中間特徴マップと第3特徴マップとの連結処理を行うことにより、第3中間特徴マップを取得し、第3中間特徴マップを3つの畳み込み層で順次処理することにより、融合特徴マップを取得するステップと、を含むが、これらに限定されない。
予測対象画像を取得する取得モジュール2101と、
予測対象画像に対して特徴抽出を行うことにより、予測対象画像の特徴マップを取得する特徴抽出モジュール2102と、
予測対象画像の少なくとも1つの候補領域を生成する生成モジュール2103と、
少なくとも1つの候補領域を予測対象画像の特徴マップにマッピングするマッピングモジュール2104であって、それぞれの候補領域には、1つのインスタンスが含まれるマッピングモジュール2104と、
ターゲットネットワークに基づいて、マッピング後の特徴マップを処理し、予測対象画像における遮蔽されたインスタンスの全体的な構造を透視マスクで指示し、遮蔽されたインスタンスの不可視部分を非透視マスクで指示する処理モジュール2105であって、透視マスク及び非透視マスクは、遮蔽されたインスタンスの相対的な遮蔽関係を示す、処理モジュール2105と、を含む。
ここで、候補領域の特徴マップは、第1特徴マップ、第2特徴マップ、及び第3特徴マップを含み、第1特徴マップのサイズと第2特徴マップのサイズとは、一致しており、且つ第3特徴マップのサイズより小さい。
訓練サンプル画像を取得し(訓練サンプル画像におけるそれぞれのインスタンスのアノテーション情報には、少なくとも、カテゴリを指示するためのセマンティックラベルと、相対的な遮蔽順番と、透視マスクとが含まれる)、訓練サンプル画像における遮蔽されたインスタンスの相対的な遮蔽順番及び透視マスクに基づいて、訓練サンプル画像における遮蔽されたインスタンスの非透視マスクを決定し、透視マスク、非透視マスク、及びセマンティックラベルがアノテーションされた訓練サンプル画像に基づいてモデル訓練を行うことにより、ターゲットネットワークを取得する訓練モジュールをさらに含む。
Claims (15)
- 画像処理機器が実行する画像処理方法であって、
予測対象画像を取得し、前記予測対象画像に対して特徴抽出を行うことにより、前記予測対象画像の特徴マップを取得するステップと、
前記予測対象画像の少なくとも1つの候補領域を生成し、前記少なくとも1つの候補領域を前記予測対象画像の特徴マップにマッピングするステップであって、それぞれの前記候補領域には、1つのインスタンスが含まれる、ステップと、
ターゲットネットワークに基づいて、マッピング後の前記特徴マップを処理し、前記予測対象画像における遮蔽されたインスタンスの全体的な構造を透視マスクで指示し、前記遮蔽されたインスタンスの不可視部分を非透視マスクで指示するステップであって、前記透視マスク及び前記非透視マスクは、前記遮蔽されたインスタンスの相対的な遮蔽関係を示す、ステップと、
を含むことを特徴とする方法。 - 前記少なくとも1つの候補領域を前記予測対象画像の特徴マップにマッピングした後、
前記候補領域ごとに、前記候補領域に対して画素補正処理を行うことにより、前記候補領域の特徴マップを取得するステップをさらに含み、
前記候補領域の特徴マップは、第1特徴マップ、第2特徴マップ、及び第3特徴マップを含み、前記第1特徴マップのサイズと前記第2特徴マップのサイズとは、一致しており、且つ前記第3特徴マップのサイズより小さい、
ことを特徴とする請求項1に記載の方法。 - ターゲットネットワークに基づいて、マッピング後の前記特徴マップを処理することは、
前記候補領域ごとに、前記第1特徴マップ、前記第2特徴マップ、及び前記第3特徴マップに対して特徴融合処理を行うステップと、
取得された融合特徴マップを前記ターゲットネットワークの第1ブランチ構造に入力して処理するステップと、
を含むことを特徴とする請求項2に記載の方法。 - 前記ターゲットネットワークは、第2ブランチ構造を含み、
前記方法は、前記候補領域ごとに、前記第1特徴マップを前記第2ブランチ構造に入力して処理することにより、前記候補領域に含まれるインスタンスの遮蔽分類情報を取得するステップをさらに含む、
ことを特徴とする請求項2又は3に記載の方法。 - 前記ターゲットネットワークは、第3ブランチ構造を含み、
前記方法は、前記候補領域ごとに、前記第2特徴マップを前記第3ブランチ構造に入力して処理することにより、前記候補領域に含まれるインスタンスのセマンティックラベル及び位置情報を取得するステップをさらに含む、
ことを特徴とする請求項2乃至4のいずれか1項に記載の方法。 - 前記第1特徴マップ、前記第2特徴マップ、及び前記第3特徴マップに対して特徴融合処理を行うことは、
前記第1特徴マップと前記第2特徴マップとの連結処理を行うことにより、第1中間特徴マップを取得するステップと、
前記第1中間特徴マップを1つの逆畳み込み層及び2つの畳み込み層で順次処理することにより、第2中間特徴マップを取得するステップと、
前記第2中間特徴マップと前記第3特徴マップとの連結処理を行うことにより、第3中間特徴マップを取得し、前記第3中間特徴マップを3つの畳み込み層で順次処理することにより、前記融合特徴マップを取得するステップと、
を含むことを特徴とする請求項3乃至5のいずれか1項に記載の方法。 - 取得された融合特徴マップを前記ターゲットネットワークの第1ブランチ構造に入力して処理する前記ステップは、
前記融合特徴マップを第1逆畳み込み層に入力して処理することにより、第1処理特徴マップを取得するステップと、
前記第1処理特徴マップを、前記第1ブランチ構造に含まれる第1マスクブランチに入力することにより、前記候補領域に含まれるインスタンスが、遮蔽されたインスタンスである場合、前記候補領域に含まれるインスタンスの非透視マスクを取得するステップと、
を含むことを特徴とする請求項3乃至6のいずれか1項に記載の方法。 - 取得された融合特徴マップを前記ターゲットネットワークの第1ブランチ構造に入力して処理する前記ステップは、
前記融合特徴マップを第2逆畳み込み層に入力して処理することにより、第2処理特徴マップを取得するステップと、
前記第2処理特徴マップを、前記第1ブランチ構造に含まれる第2マスクブランチに入力することにより、前記候補領域に含まれるインスタンスの透視マスクを取得するステップと、
をさらに含むことを特徴とする請求項7に記載の方法。 - 前記第1特徴マップを前記第2ブランチ構造に入力して処理することにより、前記候補領域に含まれるインスタンスの遮蔽分類情報を取得することは、
前記第2ブランチ構造と前記第1特徴マップとに基づいて、前記候補領域に含まれるインスタンスの遮蔽された面積がターゲット閾値に達したか否かを決定するステップと、
前記候補領域に含まれるインスタンスの遮蔽された面積が前記ターゲット閾値に達した場合、前記候補領域に含まれるインスタンスの遮蔽分類情報を「遮蔽されている」と決定するステップと、
を含むことを特徴とする請求項4に記載の方法。 - 前記第1特徴マップを前記第2ブランチ構造に入力して処理することは、
前記第1特徴マップを第1全結合層に入力して処理するステップと、
前記第1全結合層で処理された前記第1特徴マップを前記第2ブランチ構造に入力して処理するステップと、
を含むことを特徴とする請求項4に記載の方法。 - 前記第2特徴マップを前記第3ブランチ構造に入力して処理することは、
前記第2特徴マップを第2全結合層に入力して処理するステップと、
前記第2全結合層で処理された前記第2特徴マップを、前記第3ブランチ構造に含まれる分類ブランチに入力して処理することにより、前記候補領域に含まれるインスタンスのセマンティックラベルを取得するステップと、
前記第2特徴マップを第3全結合層に入力して処理するステップと、
前記第3全結合層で処理された前記第2特徴マップを、前記第3ブランチ構造に含まれる回帰ブランチに入力して処理することにより、前記位置情報を取得するステップと、
を含むことを特徴とする請求項5に記載の方法。 - 訓練サンプル画像を取得するステップであって、前記訓練サンプル画像におけるそれぞれのインスタンスのアノテーション情報には、少なくとも、カテゴリを指示するためのセマンティックラベルと、相対的な遮蔽順番と、透視マスクとが含まれる、ステップと、
前記訓練サンプル画像における遮蔽されたインスタンスの相対的な遮蔽順番及び透視マスクに基づいて、前記訓練サンプル画像における遮蔽されたインスタンスの非透視マスクを決定するステップと、
前記透視マスクと、前記非透視マスクと、前記セマンティックラベルとがアノテーションされた訓練サンプル画像に基づいてモデル訓練を行うことにより、前記ターゲットネットワークを取得するステップと、
をさらに含むことを特徴とする請求項1乃至11のいずれか1項に記載の方法。 - 画像処理機器に設置された画像処理装置であって、
予測対象画像を取得する取得モジュールと、
前記予測対象画像に対して特徴抽出を行うことにより、前記予測対象画像の特徴マップを取得する特徴抽出モジュールと、
前記予測対象画像の少なくとも1つの候補領域を生成する生成モジュールと、
前記少なくとも1つの候補領域を前記予測対象画像の特徴マップにマッピングするマッピングモジュールであって、それぞれの前記候補領域には、1つのインスタンスが含まれる、マッピングモジュールと、
ターゲットネットワークに基づいて、マッピング後の前記特徴マップを処理し、前記予測対象画像における遮蔽されたインスタンスの全体的な構造を透視マスクで指示し、前記遮蔽されたインスタンスの不可視部分を非透視マスクで指示する処理モジュールであって、前記透視マスク及び前記非透視マスクは、前記遮蔽されたインスタンスの相対的な遮蔽関係を示す、処理モジュールと、
を含むことを特徴とする画像処理装置。 - 請求項1乃至12のいずれか1項に記載の画像処理方法をコンピュータに実現させる、ことを特徴とするコンピュータプログラム。
- 1つ又は複数のプロセッサとメモリとを含み、前記メモリには、少なくとも1つのコンピュータ読み取り可能な命令が記憶されており、前記少なくとも1つのコンピュータ読み取り可能な命令は、前記1つ又は複数のプロセッサによってロードされて実行されると、請求項1乃至12のいずれか1項に記載の画像処理方法を実現させる、ことを特徴とする画像処理機器。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910338835.0 | 2019-04-25 | ||
CN201910338835.0A CN110070056B (zh) | 2019-04-25 | 2019-04-25 | 图像处理方法、装置、存储介质及设备 |
PCT/CN2020/082109 WO2020216008A1 (zh) | 2019-04-25 | 2020-03-30 | 图像处理方法、装置、存储介质及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022514917A true JP2022514917A (ja) | 2022-02-16 |
JP7248799B2 JP7248799B2 (ja) | 2023-03-29 |
Family
ID=67368922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021536061A Active JP7248799B2 (ja) | 2019-04-25 | 2020-03-30 | 画像処理方法、画像処理装置、コンピュータプログラム、及び画像処理機器 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20210279503A1 (ja) |
EP (1) | EP3961485A4 (ja) |
JP (1) | JP7248799B2 (ja) |
KR (1) | KR102677044B1 (ja) |
CN (1) | CN110070056B (ja) |
WO (1) | WO2020216008A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023131087A (ja) * | 2022-03-08 | 2023-09-21 | クヮンジュ・インスティテュート・オブ・サイエンス・アンド・テクノロジー | 階層的オクルージョン推論モジュール並びにこれを用いた不可視物体インスタンスセグメンテーションのシステム及び方法 |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110070056B (zh) * | 2019-04-25 | 2023-01-10 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、存储介质及设备 |
CN110766007B (zh) * | 2019-10-28 | 2023-09-22 | 深圳前海微众银行股份有限公司 | 证件遮挡检测方法、装置、设备及可读存储介质 |
CN110866897B (zh) * | 2019-10-30 | 2022-10-14 | 上海联影智能医疗科技有限公司 | 一种图像检测方法及计算机可读存储介质 |
CN110929651B (zh) * | 2019-11-25 | 2022-12-06 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
EP3832491A1 (en) * | 2019-12-06 | 2021-06-09 | Idemia Identity & Security France | Methods for processing a plurality of candidate annotations of a given instance of an image, and for learning parameters of a computational model |
CN113469173A (zh) * | 2020-03-31 | 2021-10-01 | 珠海格力电器股份有限公司 | 一种信号灯遮挡检测方法、装置、终端及计算机可读介质 |
CN113468931B (zh) * | 2020-03-31 | 2022-04-29 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN111598133B (zh) * | 2020-04-22 | 2022-10-14 | 腾讯医疗健康(深圳)有限公司 | 基于人工智能的图像显示方法、装置、***、设备及介质 |
US11494933B2 (en) * | 2020-06-30 | 2022-11-08 | Ncr Corporation | Occluded item detection for vision-based self-checkouts |
CN111899204B (zh) * | 2020-07-30 | 2024-04-09 | 平安科技(深圳)有限公司 | 车损检测数据合成方法、装置及存储介质 |
CN112417967B (zh) * | 2020-10-22 | 2021-12-14 | 腾讯科技(深圳)有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
TWI786463B (zh) * | 2020-11-10 | 2022-12-11 | 中華電信股份有限公司 | 適用於全景影像的物件偵測裝置和物件偵測方法 |
CN112489060B (zh) * | 2020-12-07 | 2022-05-10 | 北京医准智能科技有限公司 | 一种用于肺炎病灶分割的***及方法 |
CN112843730A (zh) * | 2020-12-31 | 2021-05-28 | 上海米哈游天命科技有限公司 | 一种拍摄方法、装置、设备及存储介质 |
CN113033334B (zh) * | 2021-03-05 | 2024-07-02 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备、介质 |
CN113222830A (zh) * | 2021-03-05 | 2021-08-06 | 北京字跳网络技术有限公司 | 图像处理方法和装置 |
CN112967197A (zh) * | 2021-03-05 | 2021-06-15 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备、介质和计算机程序产品 |
CN112967200A (zh) * | 2021-03-05 | 2021-06-15 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备、介质和计算机程序产品 |
CN112967198A (zh) * | 2021-03-05 | 2021-06-15 | 北京字跳网络技术有限公司 | 图像处理方法和装置 |
KR102496769B1 (ko) * | 2021-04-08 | 2023-02-06 | 고려대학교 산학협력단 | 분류 결과 설명이 가능한 반 사실적 맵 생성 방법 및 그 장치 |
CN113205546A (zh) * | 2021-04-30 | 2021-08-03 | 四川云从天府人工智能科技有限公司 | 获得目标车辆运动轨迹的方法、***、介质及设备 |
CN113256656A (zh) * | 2021-05-28 | 2021-08-13 | 北京达佳互联信息技术有限公司 | 图像分割方法和装置 |
US20220414887A1 (en) * | 2021-06-25 | 2022-12-29 | Honda Motor Co., Ltd. | Systems and methods for birds eye view segmentation |
CN113695256B (zh) * | 2021-08-18 | 2023-05-23 | 国网江苏省电力有限公司电力科学研究院 | 一种电网异物检测识别方法及装置 |
CN113537173B (zh) * | 2021-09-16 | 2022-03-18 | 中国人民解放军国防科技大学 | 一种基于面部补丁映射的人脸图像真伪识别方法 |
GB202204204D0 (en) * | 2022-03-24 | 2022-05-11 | Supponor Tech Limited | Image processing method and apparatus |
GB202204205D0 (en) * | 2022-03-24 | 2022-05-11 | Supponor Tech Limited | Image processing method and apparatus |
CN115331245B (zh) * | 2022-10-12 | 2023-02-03 | 中南民族大学 | 一种基于图像实例分割的表格结构识别方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180259970A1 (en) * | 2017-03-10 | 2018-09-13 | TuSimple | System and method for occluding contour detection |
US20190057507A1 (en) * | 2017-08-18 | 2019-02-21 | Samsung Electronics Co., Ltd. | System and method for semantic segmentation of images |
CN109389078A (zh) * | 2018-09-30 | 2019-02-26 | 京东方科技集团股份有限公司 | 图像分割方法、相应的装置及电子设备 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8269769B1 (en) * | 2003-12-22 | 2012-09-18 | Nvidia Corporation | Occlusion prediction compression system and method |
US7995056B1 (en) * | 2003-12-22 | 2011-08-09 | Nvidia Corporation | Culling data selection system and method |
US10839510B2 (en) * | 2015-08-19 | 2020-11-17 | Colorado Seminary, Which Owns And Operates The University Of Denver | Methods and systems for human tissue analysis using shearlet transforms |
US9881234B2 (en) * | 2015-11-25 | 2018-01-30 | Baidu Usa Llc. | Systems and methods for end-to-end object detection |
CA3017697C (en) * | 2016-03-17 | 2021-01-26 | Imagia Cybernetics Inc. | Method and system for processing a task with robustness to missing input information |
CN106097353B (zh) * | 2016-06-15 | 2018-06-22 | 北京市商汤科技开发有限公司 | 基于多层次局部区域融合的物体分割方法及装置、计算设备 |
WO2018128741A1 (en) * | 2017-01-06 | 2018-07-12 | Board Of Regents, The University Of Texas System | Segmenting generic foreground objects in images and videos |
CN106780536A (zh) * | 2017-01-13 | 2017-05-31 | 深圳市唯特视科技有限公司 | 一种基于对象掩码网络的形状感知实例分割方法 |
US10445928B2 (en) * | 2017-02-11 | 2019-10-15 | Vayavision Ltd. | Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types |
CN107704862A (zh) * | 2017-11-06 | 2018-02-16 | 深圳市唯特视科技有限公司 | 一种基于语义实例分割算法的视频对象分割方法 |
CN108875732B (zh) * | 2018-01-11 | 2022-07-12 | 北京旷视科技有限公司 | 模型训练与实例分割方法、装置和***及存储介质 |
CN108805889B (zh) * | 2018-05-07 | 2021-01-08 | 中国科学院自动化研究所 | 边缘引导的精细化显著性物体分割方法与***、设备 |
CN108734211B (zh) * | 2018-05-17 | 2019-12-24 | 腾讯科技(深圳)有限公司 | 图像处理的方法和装置 |
CN108710919A (zh) * | 2018-05-25 | 2018-10-26 | 东南大学 | 一种基于多尺度特征融合深度学习的裂缝自动化勾画方法 |
CN108830220B (zh) * | 2018-06-15 | 2021-01-05 | 山东大学 | 基于深度学习的视觉语义库构建及全局定位方法 |
GB2576322B (en) * | 2018-08-13 | 2022-11-09 | Imperial College Innovations Ltd | Mapping object instances using video data |
CN109325412B (zh) * | 2018-08-17 | 2023-11-24 | 平安科技(深圳)有限公司 | 行人识别方法、装置、计算机设备及存储介质 |
CN109087346B (zh) * | 2018-09-21 | 2020-08-11 | 北京地平线机器人技术研发有限公司 | 单目深度模型的训练方法、训练装置和电子设备 |
CN109242869B (zh) * | 2018-09-21 | 2021-02-02 | 安徽科大讯飞医疗信息技术有限公司 | 一种图像实例分割方法、装置、设备及存储介质 |
JP7052663B2 (ja) * | 2018-09-26 | 2022-04-12 | トヨタ自動車株式会社 | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム |
CN109508720B (zh) * | 2018-10-23 | 2021-04-23 | 高新兴科技集团股份有限公司 | 一种车辆颜色识别方法及装置 |
CN109447169B (zh) * | 2018-11-02 | 2020-10-27 | 北京旷视科技有限公司 | 图像处理方法及其模型的训练方法、装置和电子*** |
CN109543682A (zh) * | 2018-11-23 | 2019-03-29 | 电子科技大学 | 一种基于深度学习的指针式仪表读数方法 |
CN109635740B (zh) * | 2018-12-13 | 2020-07-03 | 深圳美图创新科技有限公司 | 视频目标检测方法、装置及图像处理设备 |
CN109583517A (zh) * | 2018-12-26 | 2019-04-05 | 华东交通大学 | 一种适用于小目标检测的增强的全卷积实例语义分割算法 |
CN110070056B (zh) * | 2019-04-25 | 2023-01-10 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、存储介质及设备 |
-
2019
- 2019-04-25 CN CN201910338835.0A patent/CN110070056B/zh active Active
-
2020
- 2020-03-30 KR KR1020217020461A patent/KR102677044B1/ko active IP Right Grant
- 2020-03-30 JP JP2021536061A patent/JP7248799B2/ja active Active
- 2020-03-30 WO PCT/CN2020/082109 patent/WO2020216008A1/zh unknown
- 2020-03-30 EP EP20795422.3A patent/EP3961485A4/en active Pending
-
2021
- 2021-05-25 US US17/330,380 patent/US20210279503A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180259970A1 (en) * | 2017-03-10 | 2018-09-13 | TuSimple | System and method for occluding contour detection |
US20190057507A1 (en) * | 2017-08-18 | 2019-02-21 | Samsung Electronics Co., Ltd. | System and method for semantic segmentation of images |
CN109389078A (zh) * | 2018-09-30 | 2019-02-26 | 京东方科技集团股份有限公司 | 图像分割方法、相应的装置及电子设备 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023131087A (ja) * | 2022-03-08 | 2023-09-21 | クヮンジュ・インスティテュート・オブ・サイエンス・アンド・テクノロジー | 階層的オクルージョン推論モジュール並びにこれを用いた不可視物体インスタンスセグメンテーションのシステム及び方法 |
JP7479070B2 (ja) | 2022-03-08 | 2024-05-08 | クヮンジュ・インスティテュート・オブ・サイエンス・アンド・テクノロジー | 階層的オクルージョン推論モジュール並びにこれを用いた不可視物体インスタンスセグメンテーションのシステム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110070056B (zh) | 2023-01-10 |
KR102677044B1 (ko) | 2024-06-24 |
US20210279503A1 (en) | 2021-09-09 |
WO2020216008A1 (zh) | 2020-10-29 |
KR20210097762A (ko) | 2021-08-09 |
CN110070056A (zh) | 2019-07-30 |
EP3961485A4 (en) | 2022-07-13 |
EP3961485A1 (en) | 2022-03-02 |
JP7248799B2 (ja) | 2023-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022514917A (ja) | 画像処理方法、画像処理装置、コンピュータプログラム、及び画像処理機器 | |
JP5887775B2 (ja) | ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法 | |
JP2022515620A (ja) | 人工知能による画像領域の認識方法、モデルのトレーニング方法、画像処理機器、端末機器、サーバー、コンピュータ機器及びコンピュータプログラム | |
CN108388882B (zh) | 基于全局-局部rgb-d多模态的手势识别方法 | |
CN105333883B (zh) | 一种用于抬头显示器的导航路径轨迹显示方法和装置 | |
CN109492507A (zh) | 红绿灯状态的识别方法及装置、计算机设备及可读介质 | |
KR102285915B1 (ko) | 모바일 디바이스를 위한 실시간 3d 제스처 인식 및 트랙킹 시스템 | |
US10339629B2 (en) | Method for providing indication in multi-dimensional media in electronic device | |
CN110119148A (zh) | 一种六自由度姿态估计方法、装置及计算机可读存储介质 | |
CN104838337A (zh) | 用于用户界面的无触摸输入 | |
CN109800676A (zh) | 基于深度信息的手势识别方法及*** | |
WO2017169273A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN113221726A (zh) | 一种基于视觉与惯性信息融合的手部姿态估计方法及*** | |
CN110188766A (zh) | 基于卷积神经网络的图像主目标检测方法及装置 | |
CN109558854A (zh) | 障碍物感知方法、装置、电子设备及存储介质 | |
US11386287B2 (en) | Method and apparatus for computer vision | |
CN113076814A (zh) | 文本区域的确定方法、装置、设备及可读存储介质 | |
CN113378605B (zh) | 多源信息融合方法及装置、电子设备和存储介质 | |
CN109815854A (zh) | 一种用于在用户设备上呈现图标的关联信息的方法与设备 | |
Pillai | Traffic Surveillance Systems through Advanced Detection, Tracking, and Classification Technique | |
CN109857244A (zh) | 一种手势识别方法、装置、终端设备、存储介质及vr眼镜 | |
CN110609616B (zh) | 一种具有智能交互功能的立体投影沙盘*** | |
CN114155504A (zh) | 用于自动驾驶的视觉识别车辆方法、装置、出行装置及介质 | |
CN112507954A (zh) | 一种人体关键点识别方法、装置、终端设备及存储介质 | |
Jain et al. | [POSTER] AirGestAR: Leveraging Deep Learning for Complex Hand Gestural Interaction with Frugal AR Devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221031 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7248799 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |