JP2022522071A - 画像処理方法及び装置、電子機器並びに記憶媒体 - Google Patents
画像処理方法及び装置、電子機器並びに記憶媒体 Download PDFInfo
- Publication number
- JP2022522071A JP2022522071A JP2020536741A JP2020536741A JP2022522071A JP 2022522071 A JP2022522071 A JP 2022522071A JP 2020536741 A JP2020536741 A JP 2020536741A JP 2020536741 A JP2020536741 A JP 2020536741A JP 2022522071 A JP2022522071 A JP 2022522071A
- Authority
- JP
- Japan
- Prior art keywords
- target
- image
- target image
- images
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000013507 mapping Methods 0.000 claims description 53
- 238000000034 method Methods 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 40
- 238000000605 extraction Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 abstract description 19
- 238000013528 artificial neural network Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 208000033748 Device issues Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
Description
少なくとも2つの目標画像を取得することと、
前記少なくとも2つの目標画像のうちの各目標画像の目標検出結果に基づいて、各目標画像における少なくとも1つの目標の、1つの目標の目標画像での位置を示すための注意画像を決定することと、
各目標画像及び各目標画像における少なくとも1つの目標の注意画像に基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定することと、を含む画像処理方法を提供する。
各目標画像における1つの目標について、各目標画像の目標検出結果に基づいて、この目標の存在する第1画像領域を決定することと、
目標画像における第1画像領域及びこの目標画像における第1画像領域以外の第2画像領域によって、この目標の注意画像を決定することと、を含む。
画像サイズが前記目標画像に合う初期画像を取得することと、
前記初期画像における、前記第1画像領域に対応する第1目標画像領域中の画素点の画素値を第1画素値とすることと、
前記初期画像における、前記第2画像領域に対応する第2目標画像領域中の画素点の画素値を前記第1画素値に等しくない第2画素値として、この目標の注意画像を得ることと、を含む。
各目標画像とこの目標画像における1つの目標の注意画像を融合して、各被処理画像を得ることと、
各被処理画像に対して、それぞれ特徴抽出を行って各被処理画像の特徴マップを得ることと、
各被処理画像の特徴マップに基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定することと、を含む。
各目標画像とこの目標画像における1つの目標の注意画像を所定次元で繋ぎ合わせて各被処理画像を得ること、又は、
各目標画像とこの目標画像における1つの目標の注意画像を所定次元で加算して各被処理画像を得ることを含む。
ニューラルネットワークの、被処理画像に対して一対一に特徴抽出を行い且つ同じネットワーク構造とネットワークパラメータを有する各分岐ネットワークを用いて、各被処理画像に対して、それぞれ特徴抽出を行って各被処理画像の特徴マップを得ることを含む。
前記被処理画像のうちの任意2つの被処理画像の特徴マップに対して、特徴対応付けを行って対応付け特徴マップを得ることと、
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間に対応関係が存在するか否かについての対応付け結果を決定することと、を含む。
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間の対応スコアを得ることと、
前記対応スコアがスコア閾値より大きい場合に、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間に潜在的な対応性があると決定することと、を含む。
前記対応スコアが前記スコア閾値以下である場合に、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間に対応性がないと決定することを更に含む。
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間の対応スコアを得ることと、
特徴マップが対応付けられた2つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、別々の目標画像における目標のマッチングを実行して、別々の目標画像における各目標間に対応関係が存在するか否かについての対応付け結果を得ることであって、マッチングが実行される目標は、別々の目標画像に属することと、を含む。
特徴マップが対応付けられた2つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、前記別々の目標画像のうちの第1目標画像における各目標と前記別々の目標画像のうちの第2目標画像における各目標との対応スコアの総和を決定することと、
前記対応スコアの総和が最も大きく且つ予め設定された総和スコア閾値より大きい場合に、前記第1目標画像における目標と前記第2目標画像における目標が一対一にマッチングすると決定することと、を含む。
前記対応スコアの総和のうちの最大の対応スコアの総和が前記総和スコア閾値以下である場合に、前記第1目標画像における目標と前記第2目標画像における目標がマッチングしないと決定することを更に含む。
少なくとも2つの目標画像を取得するための取得モジュールと、
前記少なくとも2つの目標画像のうちの各目標画像の目標検出結果に基づいて、各目標画像における少なくとも1つの目標の、1つの目標の目標画像での位置を示すための注意画像を決定するための第1決定モジュールと、
各目標画像及び各目標画像における少なくとも1つの目標の注意画像に基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定するための第2決定モジュールと、を含む画像処理装置を提供する。
各目標画像における1つの目標について、各目標画像の目標検出結果に基づいて、この目標の存在する第1画像領域を決定するための第1決定サブモジュールと、
目標画像における第1画像領域及びこの目標画像における第1画像領域以外の第2画像領域によって、この目標の注意画像を決定するための第2決定サブモジュールと、を含む。
画像サイズが前記目標画像に合う初期画像を取得するための取得ユニットと、
前記初期画像における、前記第1画像領域に対応する第1目標画像領域中の画素点の画素値を第1画素値とするための第1設置ユニットと、
前記初期画像における、前記第2画像領域に対応する第2目標画像領域中の画素点の画素値を前記第1画素値に等しくない第2画素値として、この目標の注意画像を得るための第2設置ユニットと、を含む。
各目標画像とこの目標画像における1つの目標の注意画像を融合して、各被処理画像を得るための融合サブモジュールと、
各被処理画像に対して、それぞれ特徴抽出を行って各被処理画像の特徴マップを得るための特徴抽出サブモジュールと、
各被処理画像の特徴マップに基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定するための判断サブモジュールと、を含む。
各目標画像とこの目標画像における1つの目標の注意画像を所定次元で繋ぎ合わせて各被処理画像を得るための繋ぎ合わせユニット、又は、
各目標画像とこの目標画像における1つの目標の注意画像を所定次元で加算して各被処理画像を得るための加算ユニットを含む。
ニューラルネットワークの、被処理画像に対して一対一に特徴抽出を行い且つ同じネットワーク構造とネットワークパラメータを有する各分岐ネットワークを用いて、各被処理画像に対して、それぞれ特徴抽出を行って各被処理画像の特徴マップを得るための分岐ユニットを含む。
前記被処理画像のうちの任意2つの被処理画像の特徴マップに対して、特徴対応付けを行って対応付け特徴マップを得るための対応付けユニットと、
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間に対応関係が存在するか否かについての対応付け結果を決定するための決定ユニットと、を含む。
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間の対応スコアを得るための第1対応付けサブユニットと、
前記対応スコアがスコア閾値より大きい場合に、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間に潜在的な対応性があると決定するための第1決定サブユニットと、を含む。
前記対応スコアが前記スコア閾値以下である場合に、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間に対応性がないと決定するための第2決定サブユニットを更に含む。
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間の対応スコアを得るための第2対応付けサブユニットと、
特徴マップが対応付けられた2つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、別々の目標画像における目標のマッチングを実行して、別々の目標画像における各目標間に対応関係が存在するか否かについての対応付け結果を得るためのものであって、マッチングが実行される目標は、別々の目標画像に属するマッチングサブユニットと、を含む。
特徴マップが対応付けられた2つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、前記別々の目標画像のうちの第1目標画像における各目標と前記別々の目標画像のうちの第2目標画像における各目標との対応スコアの総和を決定することと、
前記対応スコアの総和が最も大きく且つ予め設定された総和スコア閾値より大きい場合に、前記第1目標画像における目標と前記第2目標画像における目標が一対一にマッチングすると決定することとに用いられる。
前記対応スコアの総和のうちの最大の対応スコアの総和が前記総和スコア閾値以下である場合に、前記第1目標画像における目標と前記第2目標画像における目標がマッチングしないと決定するために用いられる。
プロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
前記プロセッサは、上記画像処理方法を実行するように構成される電子機器を提供する。
ステップS21、複数の画像取得装置によって異なる視角で同一シーンを同期撮影して得られた少なくとも2つの目標画像を取得し、ここで、別々の目標画像が別々の画像取得装置に対応する。
ステップS22、前記少なくとも2つの目標画像のうちの各目標画像の目標検出結果に基づいて、各目標画像における少なくとも1つの目標の注意画像を決定する。
ステップS23、各目標画像及びこの目標画像における少なくとも1つの目標の注意画像に基づいて、別々の目標画像における少なくとも一部の目標間に対応関係が存在するか否かについての対応付け結果を得る。
少なくとも2つの目標画像を取得するための取得モジュール41と、
前記少なくとも2つの目標画像のうちの各目標画像の目標検出結果に基づいて、各目標画像における少なくとも1つの目標の、1つの目標の目標画像での位置を示すための注意画像を決定するための第1決定モジュール42と、
各目標画像及び各目標画像における少なくとも1つの目標の注意画像に基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定するための第2決定モジュール43と、を含む。
各目標画像における1つの目標について、各目標画像の目標検出結果に基づいて、この目標の存在する第1画像領域を決定するための第1決定サブモジュールと、
目標画像における第1画像領域及びこの目標画像における第1画像領域以外の第2画像領域によって、この目標の注意画像を決定するための第2決定サブモジュールと、を含む。
画像サイズが前記目標画像に合う初期画像を取得するための取得ユニットと、
前記初期画像における、前記第1画像領域に対応する第1目標画像領域中の画素点の画素値を第1画素値とするための第1設置ユニットと、
前記初期画像における、前記第2画像領域に対応する第2目標画像領域中の画素点の画素値を前記第1画素値に等しくない第2画素値として、この目標の注意画像を得るための第2設置ユニットと、を含む。
各目標画像とこの目標画像における1つの目標の注意画像を融合して、各被処理画像を得るための融合サブモジュールと、
各被処理画像に対して、それぞれ特徴抽出を行って、各被処理画像の特徴マップを得るための特徴抽出サブモジュールと、
各被処理画像の特徴マップに基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定するための判断サブモジュールと、を含む。
各目標画像とこの目標画像における1つの目標の注意画像を所定次元で繋ぎ合わせて、各被処理画像を得るための繋ぎ合わせユニット、又は、
各目標画像とこの目標画像における1つの目標の注意画像を所定次元で加算して、各被処理画像を得るための加算ユニットと、を含む。
ニューラルネットワークの、被処理画像に対して一対一に特徴抽出を行い且つ同じネットワーク構造とネットワークパラメータを有する各分岐ネットワークを用いて、各被処理画像に対して、それぞれ特徴抽出を行って各被処理画像の特徴マップを得るための分岐ユニットを含む。
前記被処理画像のうちの任意2つの被処理画像の特徴マップに対して、特徴対応付けを行って対応付け特徴マップを得るための対応付けユニットと、
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間に対応関係が存在するか否かについての対応付け結果を決定するための決定ユニットと、を含む。
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間の対応スコアを得るための第1対応付けサブユニットと、
前記対応スコアがスコア閾値より大きい場合に、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間に潜在的な対応性があると決定するための第1決定サブユニットと、を含む。
前記対応スコアが前記スコア閾値以下である場合に、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間に対応性がないと決定するための第2決定サブユニットを更に含む。
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間の対応スコアを得るための第2対応付けサブユニットと、
特徴マップが対応付けられた2つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、別々の目標画像における目標のマッチングを実行して、別々の目標画像における各目標間に対応関係が存在するか否かについての対応付け結果を得るためのものであって、マッチングが実行される目標は、別々の目標画像に属するマッチングサブユニットと、を含む。
特徴マップが対応付けられた2つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、前記別々の目標画像のうちの第1目標画像における各目標と前記別々の目標画像のうちの第2目標画像における各目標との対応スコアの総和を決定することと、
前記対応スコアの総和が最も大きく且つ予め設定された総和スコア閾値より大きい場合に、前記第1目標画像における目標と前記第2目標画像における目標が一対一にマッチングすると決定することとに用いられる。
前記対応スコアの総和のうちの最大の対応スコアの総和が前記総和スコア閾値以下である場合に、前記第1目標画像における目標と前記第2目標画像における目標がマッチングしないと決定するために用いられる。
Claims (20)
- 少なくとも2つの目標画像を取得することと、
前記少なくとも2つの目標画像のうちの各目標画像の目標検出結果に基づいて、各目標画像における少なくとも1つの目標の、1つの目標の目標画像での位置を示すための注意画像を決定することと、
各目標画像及び各目標画像における少なくとも1つの目標の注意画像に基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定することと、を含むことを特徴とする画像処理方法。 - 前記少なくとも2つの目標画像のうちの各目標画像の目標検出結果に基づいて、各目標画像における少なくとも1つの目標の注意画像を決定することは、
各目標画像における1つの目標について、各目標画像の目標検出結果に基づいて、この目標の存在する第1画像領域を決定することと、
目標画像における第1画像領域及びこの目標画像における第1画像領域以外の第2画像領域によって、この目標の注意画像を決定することと、を含むことを特徴とする請求項1に記載の方法。 - 目標画像における第1画像領域及びこの目標画像における第1画像領域以外の画像領域によって、この目標の注意画像を決定することは、
画像サイズが前記目標画像に合う初期画像を取得することと、
前記初期画像における、前記第1画像領域に対応する第1目標画像領域中の画素点の画素値を第1画素値とすることと、
前記初期画像における、前記第2画像領域に対応する第2目標画像領域中の画素点の画素値を前記第1画素値に等しくない第2画素値として、この目標の注意画像を得ることと、を含むことを特徴とする請求項2に記載の方法。 - 各目標画像及び各目標画像における少なくとも1つの目標の注意画像に基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定することは、
各目標画像とこの目標画像における1つの目標の注意画像を融合して、各被処理画像を得ることと、
各被処理画像に対して、それぞれ特徴抽出を行って各被処理画像の特徴マップを得ることと、
各被処理画像の特徴マップに基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定することと、を含むことを特徴とする請求項1~3のいずれか一項に記載の方法。 - 各目標画像とこの目標画像における1つの目標の注意画像を融合して、各被処理画像を得ることは、
各目標画像とこの目標画像における1つの目標の注意画像を所定次元で繋ぎ合わせて各被処理画像を得ること、又は、
各目標画像とこの目標画像における1つの目標の注意画像を所定次元で加算して各被処理画像を得ることを含むことを特徴とする請求項4に記載の方法。 - 各被処理画像の特徴マップに基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定することは、
前記被処理画像のうちの任意2つの被処理画像の特徴マップに対して、特徴対応付けを行って対応付け特徴マップを得ることと、
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間に対応関係が存在するか否かについての対応付け結果を決定することと、を含むことを特徴とする請求項4に記載の方法。 - 前記対応付け特徴マップに基づいて、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間に対応関係が存在するか否かについての対応付け結果を決定することは、
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間の対応スコアを得ることと、
前記対応スコアがスコア閾値より大きい場合に、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間に潜在的な対応性があると決定することと、
前記対応スコアが前記スコア閾値以下である場合に、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間に対応性がないと決定することと、を含むことを特徴とする請求項6に記載の方法。 - 前記対応付け特徴マップに基づいて、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間に対応関係が存在するか否かについての対応付け結果を決定することは、
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間の対応スコアを得ることと、
特徴マップが対応付けられた2つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、別々の目標画像における目標のマッチングを実行して、別々の目標画像における各目標間に対応関係が存在するか否かについての対応付け結果を得ることであって、マッチングが実行される目標は別々の目標画像に属することと、を含むことを特徴とする請求項6に記載の方法。 - 特徴マップが対応付けられた2つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、別々の目標画像における目標のマッチングを実行して、別々の目標画像における各目標間に対応関係が存在するか否かについての対応付け結果を得ることは、
特徴マップが対応付けられた2つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、前記別々の目標画像のうちの第1目標画像における各目標と前記別々の目標画像のうちの第2目標画像における各目標との対応スコアの総和を決定することと、
前記対応スコアの総和が最も大きく且つ予め設定された総和スコア閾値より大きい場合に、前記第1目標画像における目標と前記第2目標画像における目標が一対一にマッチングすると決定することと、
前記対応スコアの総和のうちの最大の対応スコアの総和が前記総和スコア閾値以下である場合に、前記第1目標画像における目標と前記第2目標画像における目標がマッチングしないと決定することと、を含むことを特徴とする請求項8に記載の方法。 - 少なくとも2つの目標画像を取得するための取得モジュールと、
前記少なくとも2つの目標画像のうちの各目標画像の目標検出結果に基づいて、各目標画像における少なくとも1つの目標の、1つの目標の目標画像での位置を示すための注意画像を決定するための第1決定モジュールと、
各目標画像及び各目標画像における少なくとも1つの目標の注意画像に基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定するための第2決定モジュールと、を含むことを特徴とする画像処理装置。 - 前記第1決定モジュールは、
各目標画像における1つの目標について、各目標画像の目標検出結果に基づいて、この目標の存在する第1画像領域を決定するための第1決定サブモジュールと、
目標画像における第1画像領域及びこの目標画像における第1画像領域以外の第2画像領域によって、この目標の注意画像を決定するための第2決定サブモジュールと、を含むことを特徴とする請求項10に記載の装置。 - 前記第2決定サブモジュールは、
画像サイズが前記目標画像に合う初期画像を取得するための取得ユニットと、
前記初期画像における、前記第1画像領域に対応する第1目標画像領域中の画素点の画素値を第1画素値とするための第1設置ユニットと、
前記初期画像における、前記第2画像領域に対応する第2目標画像領域中の画素点の画素値を前記第1画素値に等しくない第2画素値として、この目標の注意画像を得るための第2設置ユニットと、を含むことを特徴とする請求項11に記載の装置。 - 前記第2決定モジュールは、
各目標画像とこの目標画像における1つの目標の注意画像を融合して、各被処理画像を得るための融合サブモジュールと、
各被処理画像に対して、それぞれ特徴抽出を行って各被処理画像の特徴マップを得るための特徴抽出サブモジュールと、
各被処理画像の特徴マップに基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定するための判断サブモジュールと、を含むことを特徴とする請求項10~12のいずれか一項に記載の装置。 - 前記融合サブモジュールは、
各目標画像とこの目標画像における1つの目標の注意画像を所定次元で繋ぎ合わせて各被処理画像を得るための繋ぎ合わせユニット、又は、
各目標画像とこの目標画像における1つの目標の注意画像を所定次元で加算して各被処理画像を得るための加算ユニットと、を含むことを特徴とする請求項13に記載の装置。 - 前記特徴抽出サブモジュールは、
前記被処理画像のうちの任意2つの被処理画像の特徴マップに対して特徴対応付けを行って対応付け特徴マップを得るための対応付けユニットと、
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間に対応関係が存在するか否かについての対応付け結果を決定するための決定ユニットと、を含むことを特徴とする請求項13に記載の装置。 - 前記決定ユニットは、
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間の対応スコアを得るための第1対応付けサブユニットと、
前記対応スコアがスコア閾値より大きい場合に、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間に潜在的な対応性があると決定するための第1決定サブユニットと、
前記対応スコアが前記スコア閾値以下である場合に、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間に対応性がないと決定するための第2決定サブユニットと、を含むことを特徴とする請求項15に記載の装置。 - 前記決定ユニットは、
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた2つの被処理画像に対応する目標画像における目標間の対応スコアを得るための第2対応付けサブユニットと、
特徴マップが対応付けられた2つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、別々の目標画像における目標のマッチングを実行して、別々の目標画像における各目標間に対応関係が存在するか否かについての対応付け結果を得るためのものであって、マッチングが実行される目標は別々の目標画像に属するマッチングサブユニットと、を含むことを特徴とする請求項15に記載の装置。 - 前記マッチングサブユニットは、
特徴マップが対応付けられた2つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、前記別々の目標画像のうちの第1目標画像における各目標と前記別々の目標画像のうちの第2目標画像における各目標との対応スコアの総和を決定することと、
前記対応スコアの総和が最も大きく且つ予め設定された総和スコア閾値より大きい場合に、前記第1目標画像における目標と前記第2目標画像における目標が一対一にマッチングすると決定することと、
前記対応スコアの総和のうちの最大の対応スコアの総和が前記総和スコア閾値以下である場合に、前記第1目標画像における目標と前記第2目標画像における目標がマッチングしないと決定することとに用いられることを特徴とする請求項17に記載の装置。 - プロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリに記憶されているコマンドを呼び出して請求項1~9のいずれか一項に記載の方法を実行するように構成されることを特徴とする電子機器。 - コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体において、前記コンピュータプログラムコマンドがプロセッサによって実行されると、請求項1~9のいずれか一項に記載の方法を実現することを特徴とするコンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SG10201913754X | 2019-12-30 | ||
SG10201913754XA SG10201913754XA (en) | 2019-12-30 | 2019-12-30 | Image processing method and apparatus, electronic device, and storage medium |
PCT/IB2020/052210 WO2021136978A1 (en) | 2019-12-30 | 2020-03-12 | Image processing method and apparatus, electronic device, and storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022522071A true JP2022522071A (ja) | 2022-04-14 |
Family
ID=74101454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020536741A Pending JP2022522071A (ja) | 2019-12-30 | 2020-03-12 | 画像処理方法及び装置、電子機器並びに記憶媒体 |
Country Status (6)
Country | Link |
---|---|
JP (1) | JP2022522071A (ja) |
KR (1) | KR20210088438A (ja) |
CN (1) | CN113261011A (ja) |
AU (1) | AU2020323956B2 (ja) |
SG (1) | SG10201913754XA (ja) |
WO (1) | WO2021136978A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112967264A (zh) * | 2021-03-19 | 2021-06-15 | 深圳市商汤科技有限公司 | 缺陷检测方法及装置、电子设备和存储介质 |
US20230131977A1 (en) * | 2021-10-22 | 2023-04-27 | The Boeing Company | Method For Large Area Inspection |
CN113986057A (zh) * | 2021-10-22 | 2022-01-28 | 北京三快在线科技有限公司 | 图像处理方法、装置、可读存储介质及无人设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018026108A (ja) * | 2016-08-08 | 2018-02-15 | パナソニックIpマネジメント株式会社 | 物体追跡方法、物体追跡装置およびプログラム |
JP2018534712A (ja) * | 2015-11-04 | 2018-11-22 | エヌイーシー ラボラトリーズ アメリカ インクNEC Laboratories America, Inc. | 単一ビューオブジェクト再構成のためのファイングレインデータセットにおける教師なしマッチング |
WO2019111550A1 (ja) * | 2017-12-08 | 2019-06-13 | 日本電気株式会社 | 人物照合装置、方法、及び非一時的なコンピュータ可読媒体 |
JP2019125368A (ja) * | 2018-01-13 | 2019-07-25 | トヨタ自動車株式会社 | 複数のコネクティッド車両による観測値を関連付ける方法 |
US20190304102A1 (en) * | 2018-03-30 | 2019-10-03 | Qualcomm Incorporated | Memory efficient blob based object classification in video analytics |
WO2019221551A1 (ko) * | 2018-05-18 | 2019-11-21 | 오드컨셉 주식회사 | 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램 |
JP2019200716A (ja) * | 2018-05-18 | 2019-11-21 | 株式会社リクルートコミュニケーションズ | 設定装置、設定方法及び設定プログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180087994A (ko) * | 2017-01-26 | 2018-08-03 | 삼성전자주식회사 | 스테레오 매칭 방법 및 영상 처리 장치 |
CN106934397B (zh) * | 2017-03-13 | 2020-09-01 | 北京市商汤科技开发有限公司 | 图像处理方法、装置及电子设备 |
CN108229493A (zh) * | 2017-04-10 | 2018-06-29 | 商汤集团有限公司 | 对象验证方法、装置和电子设备 |
CN108965687B (zh) * | 2017-05-22 | 2021-01-29 | 阿里巴巴集团控股有限公司 | 拍摄方向识别方法、服务器及监控方法、***及摄像设备 |
CN107330920B (zh) * | 2017-06-28 | 2020-01-03 | 华中科技大学 | 一种基于深度学习的监控视频多目标追踪方法 |
CN108229531B (zh) * | 2017-09-29 | 2021-02-26 | 北京市商汤科技开发有限公司 | 对象特征提取方法、装置、存储介质和电子设备 |
CN109241835A (zh) * | 2018-07-27 | 2019-01-18 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN108960209B (zh) * | 2018-08-09 | 2023-07-21 | 腾讯科技(深圳)有限公司 | 身份识别方法、装置及计算机可读存储介质 |
CN109635721B (zh) * | 2018-12-10 | 2020-06-30 | 山东大学 | 基于轨迹加权深度卷积次序池化描述子的视频人体跌倒检测方法及*** |
CN109829501B (zh) * | 2019-02-01 | 2021-02-19 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110298298B (zh) * | 2019-06-26 | 2022-03-08 | 北京市商汤科技开发有限公司 | 目标检测及目标检测网络的训练方法、装置及设备 |
CN110298413B (zh) * | 2019-07-08 | 2021-07-16 | 北京字节跳动网络技术有限公司 | 图像特征提取方法、装置、存储介质及电子设备 |
-
2019
- 2019-12-30 SG SG10201913754XA patent/SG10201913754XA/en unknown
-
2020
- 2020-03-12 KR KR1020207020290A patent/KR20210088438A/ko not_active Application Discontinuation
- 2020-03-12 WO PCT/IB2020/052210 patent/WO2021136978A1/en active Application Filing
- 2020-03-12 CN CN202080000643.XA patent/CN113261011A/zh active Pending
- 2020-03-12 AU AU2020323956A patent/AU2020323956B2/en active Active
- 2020-03-12 JP JP2020536741A patent/JP2022522071A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018534712A (ja) * | 2015-11-04 | 2018-11-22 | エヌイーシー ラボラトリーズ アメリカ インクNEC Laboratories America, Inc. | 単一ビューオブジェクト再構成のためのファイングレインデータセットにおける教師なしマッチング |
JP2018026108A (ja) * | 2016-08-08 | 2018-02-15 | パナソニックIpマネジメント株式会社 | 物体追跡方法、物体追跡装置およびプログラム |
WO2019111550A1 (ja) * | 2017-12-08 | 2019-06-13 | 日本電気株式会社 | 人物照合装置、方法、及び非一時的なコンピュータ可読媒体 |
JP2019125368A (ja) * | 2018-01-13 | 2019-07-25 | トヨタ自動車株式会社 | 複数のコネクティッド車両による観測値を関連付ける方法 |
US20190304102A1 (en) * | 2018-03-30 | 2019-10-03 | Qualcomm Incorporated | Memory efficient blob based object classification in video analytics |
WO2019221551A1 (ko) * | 2018-05-18 | 2019-11-21 | 오드컨셉 주식회사 | 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램 |
JP2019200716A (ja) * | 2018-05-18 | 2019-11-21 | 株式会社リクルートコミュニケーションズ | 設定装置、設定方法及び設定プログラム |
Non-Patent Citations (2)
Title |
---|
HIROSHI FUKUI ET AL.: ""Attention Branch Network: Learning of Attention Mechanism for Visual Explanation"", 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), JPN6022014775, 15 June 2019 (2019-06-15), US, pages 10697 - 10706, XP033687020, ISSN: 0004754073, DOI: 10.1109/CVPR.2019.01096 * |
HYEONWOO NOH ET AL.: ""Large-Scale Image Retrieval with Attentive Deep Local Features"", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), JPN6022014773, 22 October 2017 (2017-10-22), US, pages 3476 - 3485, XP033283217, ISSN: 0004838522, DOI: 10.1109/ICCV.2017.374 * |
Also Published As
Publication number | Publication date |
---|---|
AU2020323956A1 (en) | 2021-07-22 |
KR20210088438A (ko) | 2021-07-14 |
SG10201913754XA (en) | 2020-12-30 |
CN113261011A (zh) | 2021-08-13 |
AU2020323956B2 (en) | 2022-07-14 |
WO2021136978A1 (en) | 2021-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109670397B (zh) | 人体骨骼关键点的检测方法、装置、电子设备及存储介质 | |
CN106651955B (zh) | 图片中目标物的定位方法及装置 | |
JP7262659B2 (ja) | 目標対象物マッチング方法及び装置、電子機器並びに記憶媒体 | |
JP2022522596A (ja) | 画像識別方法及び装置、電子機器並びに記憶媒体 | |
US9674395B2 (en) | Methods and apparatuses for generating photograph | |
JP7061191B2 (ja) | 画像処理方法及び装置、電子機器並びに記憶媒体 | |
TW202029055A (zh) | 一種行人識別方法、裝置、電子設備及非臨時性電腦可讀儲存介質 | |
CN112219224B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN104918107B (zh) | 视频文件的标识处理方法及装置 | |
JP2022522071A (ja) | 画像処理方法及び装置、電子機器並びに記憶媒体 | |
US11450021B2 (en) | Image processing method and apparatus, electronic device, and storage medium | |
CN110928627B (zh) | 界面展示方法及装置、电子设备和存储介质 | |
CN111553864A (zh) | 图像修复方法及装置、电子设备和存储介质 | |
JP2021536069A (ja) | 信号表示灯の状態検出方法及び装置、運転制御方法及び装置 | |
US20180144546A1 (en) | Method, device and terminal for processing live shows | |
CN111325786B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
JP7084485B2 (ja) | 画像処理方法及び装置、電子機器、並びに記憶媒体 | |
CN109040837B (zh) | 视频处理方法及装置、电子设备和存储介质 | |
CN112330717B (zh) | 目标跟踪方法及装置、电子设备和存储介质 | |
US11265529B2 (en) | Method and apparatus for controlling image display | |
CN109919126B (zh) | 一种移动物体探测方法、装置及存储介质 | |
CN114390189A (zh) | 图像处理方法、装置、存储介质及移动终端 | |
CN109034068B (zh) | 视频处理方法及装置、电子设备和存储介质 | |
CN115706848A (zh) | 对焦控制方法、装置、电子设备及存储介质 | |
CN116012661A (zh) | 动作识别方法、装置、存储介质及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220715 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220719 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220801 |