JP7393374B2 - 画像を処理するための方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム - Google Patents
画像を処理するための方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム Download PDFInfo
- Publication number
- JP7393374B2 JP7393374B2 JP2021037660A JP2021037660A JP7393374B2 JP 7393374 B2 JP7393374 B2 JP 7393374B2 JP 2021037660 A JP2021037660 A JP 2021037660A JP 2021037660 A JP2021037660 A JP 2021037660A JP 7393374 B2 JP7393374 B2 JP 7393374B2
- Authority
- JP
- Japan
- Prior art keywords
- target object
- feature
- image frame
- area
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 59
- 238000012545 processing Methods 0.000 title claims description 43
- 238000004590 computer program Methods 0.000 title claims description 10
- 230000015654 memory Effects 0.000 claims description 21
- 239000000284 extract Substances 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Description
本実施形態では、画像を処理するための実行主体(例えば、図1に示す端末装置104)は、有線接続又は無線接続により対象ビデオを取得することができる。対象ビデオはカメラによってリアルタイムに撮影されてもよく、他の電子機器から取得されてもよい。対象ビデオは対象画像フレームと対象オブジェクトがマーキングされた少なくとも1つの画像フレームとを含むことができる。前記画像フレームには対象オブジェクトの輪郭、形態などの情報が含まれている。対象オブジェクトに対するマーキングは、対象オブジェクトの輪郭に対するマーキングであってもよい。マーキングされた対象オブジェクトは、人、車両などであってもよい。
実行主体は、対象画像フレームにおける対象オブジェクトに対する検索領域を取得した後、検索領域に基づいて対象オブジェクトの中心位置情報を確定することができる。具体的には、実行主体は、対象画像フレームの1つ前のフレームにおける対象オブジェクトの中心位置情報と、直前の2つのフレームにおける対象オブジェクトの移動軌跡に反映される移動方向とに基づいて、1つ前のフレームから対象画像フレームに至る対象オブジェクトの移動方向を予測することができる。具体的には、例えば、この確定された移動方向において、n-2番目の画像フレームからn-1番目の画像フレームに至る対象オブジェクトの移動距離Lと対象画像フレームの1つ前のフレーム(すなわち、n-1番目の画像フレーム)における対象オブジェクトの中心位置とに基づいて、検索領域における対象オブジェクトの中心位置情報は、確定された移動方向において、n-1番目の画像フレームにおける対象オブジェクトの中心位置を起点とし、距離Lを移動した後の位置を終点とすると、該終点が検索領域における対象オブジェクトの中心位置である。
実行主体は対象オブジェクト領域を取得した後、対象オブジェクト領域に基づいて対象画像フレームを分割することができる。具体的には、実行主体は、ターゲット認識又は意味分割方法により対象画像フレームにおける対象オブジェクト領域が示す対象オブジェクトを抽出することで、対象画像フレームを分割することができる。分割とは、対象オブジェクトの外形輪郭を対象画像フレームから分離することである。
ステップ401の原理はステップ201の原理と同様であり、ここでは説明を省略する。
本実施形態では、実行主体は対象ビデオを取得した後、マーキング領域に基づいて、検索領域を確定することができる。具体的には、実行主体は、対象画像フレームの前の3つのフレームにおける対象オブジェクトの移動距離の和の平均値を検索半径とし、対象画像フレームの1つ前のフレームにおける対象オブジェクトの中心位置を起点とし、該起点と検索半径とを連結し、進行方向に構成される扇形検索領域を対象画像フレームにおける検索領域とすることで、検索領域を高精度に確定することができ、対象オブジェクトの分割をより正確に実現することができる。うち、前記進行方向は前のいくつかの画像フレームに基づいて確定された対象オブジェクトの移動方向及び該移動方向間のなす角からなる方向であってもよい。
実行主体は、対象ビデオにおける対象画像フレームと対象オブジェクトがマーキングされた少なくとも1つの画像フレームとを取得した後、対象オブジェクトの平均移動速度を確定することができる。例示的に、実行主体は、n番目の画像フレームを対象画像フレームとし、前のmフレームの画像において隣接する2フレーム毎における対象オブジェクト位置の変化距離と、フレーム毎の所定時間とに基づいて、隣接する2フレーム毎の対象移動速度を算出し、得られた前のmフレームの画像における、隣接する2フレーム毎の対象移動速度を加算し平均値を取って、前のmフレームの画像における対象オブジェクトの移動速度を得、n番目フレーム画像(すなわち、対象画像フレーム)における対象オブジェクトの平均移動速度とする。
ステップ403の原理はステップ203の原理と同様であり、ここではその説明を省略する。
実行主体は、検索領域を得た後、検索領域の上位の特徴を抽出することができる。具体的には、上位の特徴は、いくつかの格子状模様のような模様特徴であってもよく、例えば、犬の頭、ヒトの頭、牛の頭など比較的に区別性のある特徴であってもよく、例えば、ヒト、動物など識別性を有する肝心な特徴であってもよい。
実行主体は、検索領域の上位の特徴を抽出した後、抽出された上位の特徴をフィルタリングすることができる。具体的には、抽出された上位の特徴をフィルタリングすることで抽出された特徴を変更又は強化することができ、フィルタリングによって、上位の特徴の模様、タイプなどのいくつかの特に重要な特徴を抽出することができ、或いは、下位の特徴における色、輪郭などの重要でない特徴を除去することができる。本実施形態におけるフィルタリングは、少なくとも1つの画像フレームのマーキング領域における中心位置の上位の特徴に基づいて、対象画像フレームの検索領域のうち該上位の特徴と同様又は特に近い上位の特徴を抽出することであってもよい。
第2の特徴には対象オブジェクトのすべての特徴が含まれている。実行主体は、融合された第1の特徴及び第2の特徴を得た後、初期領域の第1の特徴と、少なくとも1つの画像フレームのマーキング領域における第2の特徴とを比較して、第2の特徴に存在し第1の特徴に存在しない特徴を得る。例えば、第2の特徴には色、輪郭、模様が存在し、第1の特徴には輪郭及び色のみが存在し模様がない場合に、模様が第1の特徴と第2の特徴との差異である。
実行主体は対象オブジェクト領域を取得した後、対象オブジェクト領域に基づいて、対象画像フレームを分割することができる。具体的には、対象オブジェクト領域を長方形領域とし、該長方形領域を取得した後、長方形領域の長さ及び幅に基づいて、該長方形領域を囲む正方形画像領域を確定する。例示的に、長方形領域の長さと幅をそれぞれx、yとする。その場合、正方形の辺の長さは
第5の特徴は対象オブジェクトの輪郭、色、模様、長さ、及びカテゴリを表すために使用され、実行主体は示された輪郭、色、模様、長さ、及びカテゴリに基づいて、対象画像フレームにおける対象オブジェクトを正確に分割することができる。
図6に示すように、本出願の実施形態による画像を処理するための方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークベンチ、パーソナル・デジタル・アシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及びその他適切なコンピュータなどさまざまな形態のデジタルコンピュータを表すことを目的としている。また、電子機器は、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器およびその他の類似するコンピューティングデバイス等の様々な形態のモバイルデバイスを表すことができる。なお、ここで示したコンポーネント、それらの接続関係、およびそれらの機能はあくまでも例示であり、ここで記述および/または要求した本出願の実施形態を限定することを意図するものではない。
Claims (19)
- 対象画像フレームと対象オブジェクトがマーキングされた少なくとも1つの画像フレームとが含まれる対象ビデオを取得する対象ビデオ取得ステップと、
前記少なくとも1つの画像フレームにおけるマーキングされた対象オブジェクトに基づいて、前記対象画像フレームにおいて前記対象オブジェクトに対する検索領域を確定する検索領域確定ステップと、
前記検索領域に基づいて、前記対象オブジェクトの中心位置の情報を確定する中心位置情報確定ステップと、
前記対象画像フレームにおいて、前記対象オブジェクトの前記中心位置を中心とし、前記対象オブジェクトの1つ前のフレームにおけるマーキング領域と同じの領域を分割の対象となる対象オブジェクト領域として作成する対象オブジェクト領域確定ステップと、
前記分割の対象となる対象オブジェクト領域に基づいて、前記対象画像フレームを分割する分割ステップとを含み、
前記検索領域確定ステップは、前記対象画像フレームの1つ前のフレームにおける前記対象オブジェクトの位置を円心とし、前記対象画像フレームの2つ前のフレームから前記1つ前のフレームまでの前記対象オブジェクトの移動距離を半径とした円形領域を取得し、前記円形領域に基づいて前記対象画像フレームにおける前記対象オブジェクトの検索領域を特定するステップを含み、
前記中心位置情報確定ステップは、前記検索領域における上位の特徴を抽出してフィルタリングし、前記検索領域におけるフィルタリングにより得られた前記少なくとも1つの画像フレームのマーキング領域における中心位置の上位の特徴と同様である上位の特徴の位置を、前記対象オブジェクトの前記中心位置の情報とするステップを含む、画像を処理するための方法。 - 前記検索領域確定ステップは、
前記対象画像フレームの1つ前のフレームにおける前記対象オブジェクトの中心位置を起点とし、前記対象画像フレームの前の3つのフレームにおける前記対象オブジェクトの移動距離の和の平均値を半径とし、進行方向に構成される扇形領域を前記対象画像フレームにおける検索領域とするステップをさらに含み、
前記進行方向は前記対象画像フレームの前の3つのフレームに基づいて確定された前記対象オブジェクトの移動方向及び該移動方向間のなす角からなる方向である
請求項1に記載の方法。 - 前記検索領域確定ステップは、
前記対象オブジェクトの平均移動速度を確定するステップであって、前記対象画像フレームの前の所定数のフレームの画像において、隣接する2フレーム毎における前記対象オブジェクトの位置の変化距離と、フレーム毎の所定時間とに基づいて、隣接する2フレーム毎の対象移動速度を算出し、隣接する2フレーム毎の対象移動速度を加算し平均値を取って、前記対象画像フレームにおける前記対象オブジェクトの平均移動速度とするステップと、
前記マーキング領域の位置情報と前記平均移動速度とに基づいて、前記検索領域を確定するステップとをさらに含む、請求項2に記載の方法。 - 前記上位の特徴は、特徴の細部を表すものであり、模様特徴を含む、請求項1に記載の方法。
- 前記対象オブジェクト領域確定ステップは、
前記中心位置の情報と前記マーキング領域とに基づいて、初期領域を確定するステップと、
前記初期領域の第1の特徴及び前記少なくとも1つの画像フレームのマーキング領域の第2の特徴を確定するステップと、
前記第1の特徴と前記第2の特徴とに基づいて、対象オブジェクト領域を確定するステップとを含み、
前記第2の特徴は前記第1の特徴のタイプに対応する特徴であり、前記タイプは上位の特徴および下位の特徴を含み、
前記下位の特徴は特徴の意味部分を表すものであり、色、輪郭を含む、請求項1に記載の方法。 - 前記初期領域の第1の特徴及び前記少なくとも1つの画像フレームのマーキング領域の第2の特徴を確定するステップは、
前記初期領域と、前記少なくとも1つの画像フレームのマーキング領域との下位の特徴及び上位の特徴をそれぞれ抽出するステップと、
前記初期領域における下位の特徴と上位の特徴とを融合して、前記第1の特徴を取得するステップと、
前記少なくとも1つの画像フレームのマーキング領域における下位の特徴と上位の特徴とを融合して、前記第2の特徴を取得するステップとを含む、請求項5に記載の方法。 - 前記第1の特徴と前記第2の特徴とに基づいて、対象オブジェクト領域を確定するステップは、
前記第1の特徴と前記第2の特徴との差異を確定するステップと、
前記第1の特徴と前記第2の特徴との差異が所定条件を満たさない場合、オーバーラップ率予測ネットワークによって前記初期領域の位置および輪郭を更新し、更新後の初期領域を前記対象オブジェクト領域とするステップとを含む、請求項5に記載の方法。 - 前記分割ステップは、
前記少なくとも1つの画像フレームにおける前記対象オブジェクトの第3の特徴を抽出するステップと、
前記対象オブジェクト領域における前記対象オブジェクトの第4の特徴を抽出するステップと、
前記第4の特徴から前記第3の特徴にマッチングする第5の特徴を確定するステップと、
前記第5の特徴に基づいて、前記対象画像フレームを分割するステップとを含む、請求項1に記載の方法。 - 対象画像フレームと対象オブジェクトがマーキングされた少なくとも1つの画像フレームとが含まれる対象ビデオを取得するように構成されるビデオ取得ユニットと、
前記少なくとも1つの画像フレームにおけるマーキングされた対象オブジェクトに基づいて、前記対象画像フレームにおいて前記対象オブジェクトに対する検索領域を確定するように構成される検索領域確定ユニットと、
前記検索領域に基づいて、前記対象オブジェクトの中心位置の情報を確定するように構成される中心位置情報確定ユニットと、
前記対象画像フレームにおいて、前記対象オブジェクトの前記中心位置を中心とし、前記対象オブジェクトの1つ前のフレームにおけるマーキング領域と同じの領域を分割の対象となる対象オブジェクト領域として作成するように構成される対象オブジェクト領域確定ユニットと、
前記分割の対象となる対象オブジェクト領域に基づいて、前記対象画像フレームを分割するように構成される分割ユニットとを備え、
前記検索領域確定ユニットは、前記対象画像フレームの1つ前のフレームにおける前記対象オブジェクトの位置を円心とし、前記対象画像フレームの2つ前のフレームから前記1つ前のフレームまでの前記対象オブジェクトの移動距離を半径とした円形領域を取得し、前記円形領域に基づいて前記対象画像フレームにおける前記対象オブジェクトの検索領域を特定するように構成され、
前記中心位置情報確定ユニットは、前記検索領域における上位の特徴を抽出してフィルタリングし、前記検索領域におけるフィルタリングにより得られた前記少なくとも1つの画像フレームのマーキング領域における中心位置の上位の特徴と同様である上位の特徴の位置を、前記対象オブジェクトの前記中心位置の情報とするように構成される、画像を処理するための装置。 - 前記検索領域確定ユニットはさらに、
前記対象画像フレームの1つ前のフレームにおける前記対象オブジェクトの中心位置を起点とし、前記対象画像フレームの前の3つのフレームにおける前記対象オブジェクトの移動距離の和の平均値を半径とし、進行方向に構成される扇形領域を前記対象画像フレームにおける検索領域とするように構成され、
前記進行方向は前記対象画像フレームの前の3つのフレームに基づいて確定された前記対象オブジェクトの移動方向及び該移動方向間のなす角からなる方向である、請求項9に記載の装置。 - 前記検索領域確定ユニットはさらに、
前記対象オブジェクトの平均移動速度を確定するステップであって、前記対象画像フレームの前の所定数のフレームの画像において、隣接する2フレーム毎における前記対象オブジェクトの位置の変化距離と、フレーム毎の所定時間とに基づいて、隣接する2フレーム毎の対象移動速度を算出し、隣接する2フレーム毎の対象移動速度を加算し平均値を取って、前記対象画像フレームにおける前記対象オブジェクトの平均移動速度とするステップと、
前記マーキング領域の位置情報と前記平均移動速度とに基づいて、前記検索領域を確定するステップと、を行うように構成される、請求項10に記載の装置。 - 前記上位の特徴は、特徴の細部を表すものであり、模様特徴を含む、請求項9に記載の装置。
- 前記対象オブジェクト領域確定ユニットはさらに、
前記中心位置の情報と前記マーキング領域とに基づいて、初期領域を確定し、
前記初期領域の第1の特徴及び前記少なくとも1つの画像フレームのマーキング領域の第2の特徴を確定し、
前記第1の特徴と前記第2の特徴とに基づいて、対象オブジェクト領域を確定するように構成され、
前記第2の特徴は前記第1の特徴のタイプに対応する特徴であり、前記タイプは上位の特徴および下位の特徴を含み、
前記下位の特徴は特徴の意味部分を表すものであり、色、輪郭を含む、請求項9に記載の装置。 - 前記対象オブジェクト領域確定ユニットはさらに、
前記初期領域と、前記少なくとも1つの画像フレームのマーキング領域との下位の特徴及び上位の特徴をそれぞれ抽出し、
前記初期領域の下位の特徴と上位の特徴とを融合して、前記第1の特徴を取得し、
前記少なくとも1つの画像フレームのマーキング領域における下位の特徴と上位の特徴とを融合して、前記第2の特徴を取得するように構成される、請求項13に記載の装置。 - 前記対象オブジェクト領域確定ユニットはさらに、
前記第1の特徴と前記第2の特徴との差異を確定し、
前記第1の特徴と前記第2の特徴との差異が所定条件を満たさない場合、オーバーラップ率予測ネットワークによって前記初期領域の位置および輪郭を更新し、更新後の初期領域を前記対象オブジェクト領域とするように構成される、請求項13に記載の装置。 - 前記分割ユニットはさらに、
前記少なくとも1つの画像フレームにおける前記対象オブジェクトの第3の特徴を抽出し、
前記対象オブジェクト領域における前記対象オブジェクトの第4の特徴を抽出し、
前記第4の特徴から前記第3の特徴にマッチングする第5の特徴を確定し、
前記第5の特徴に基づいて、前記対象画像フレームを分割する、請求項9に記載の装置。 - 少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに通信可能に接続されるメモリとを備え、
前記メモリには、前記少なくとも1つのプロセッサにより実行可能な指令が格納されており、前記指令は前記少なくとも1つのプロセッサにより実行されると、前記少なくとも1つのプロセッサに請求項1~8のいずれか1項に記載の方法を実行させる、ことを特徴とする画像を処理するための電子機器。 - コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、
前記コンピュータ指令は請求項1~8のいずれか1項に記載の方法をコンピュータに実行させるために使用される、ことを特徴とする非一時的コンピュータ可読記憶媒体。 - プロセッサにより実行されると、請求項1~8のいずれか一項に記載の方法を実現する、コンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010613379.9 | 2020-06-30 | ||
CN202010613379.9A CN111723769B (zh) | 2020-06-30 | 2020-06-30 | 用于处理图像的方法、装置、设备以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022013648A JP2022013648A (ja) | 2022-01-18 |
JP7393374B2 true JP7393374B2 (ja) | 2023-12-06 |
Family
ID=72570445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021037660A Active JP7393374B2 (ja) | 2020-06-30 | 2021-03-09 | 画像を処理するための方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210406548A1 (ja) |
EP (1) | EP3933674A1 (ja) |
JP (1) | JP7393374B2 (ja) |
KR (1) | KR20220002063A (ja) |
CN (1) | CN111723769B (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113129341B (zh) * | 2021-04-20 | 2021-12-14 | 广东工业大学 | 基于轻量型孪生网络的降落跟踪控制方法和***及无人机 |
CN113361519B (zh) * | 2021-05-21 | 2023-07-28 | 北京百度网讯科技有限公司 | 目标处理方法、目标处理模型的训练方法及其装置 |
CN113378015B (zh) * | 2021-06-28 | 2023-06-20 | 北京百度网讯科技有限公司 | 搜索方法、装置、电子设备、存储介质和程序产品 |
CN113723286B (zh) * | 2021-08-30 | 2023-08-11 | 上海大学 | 基于视频的扇形搜索车速检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011059898A (ja) | 2009-09-08 | 2011-03-24 | Fujifilm Corp | 画像解析装置、画像解析方法およびプログラム |
US20200074185A1 (en) | 2019-11-08 | 2020-03-05 | Intel Corporation | Fine-grain object segmentation in video with deep features and multi-level graphical models |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6400831B2 (en) * | 1998-04-02 | 2002-06-04 | Microsoft Corporation | Semantic video object segmentation and tracking |
JP4366023B2 (ja) * | 2001-03-16 | 2009-11-18 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法 |
US8111923B2 (en) * | 2008-08-14 | 2012-02-07 | Xerox Corporation | System and method for object class localization and semantic class based image segmentation |
TWI405145B (zh) * | 2008-11-20 | 2013-08-11 | Ind Tech Res Inst | 以圖素之區域特徵為基礎的影像分割標記方法與系統,及其電腦可記錄媒體 |
CN102129691B (zh) * | 2011-03-22 | 2014-06-18 | 北京航空航天大学 | 一种采用Snake轮廓模型的视频对象跟踪分割方法 |
CN110621231B (zh) * | 2017-03-30 | 2024-02-23 | 豪洛捷公司 | 用于分层次多级特征图像合成和表示的***以及方法 |
US10229347B2 (en) * | 2017-05-14 | 2019-03-12 | International Business Machines Corporation | Systems and methods for identifying a target object in an image |
CN108256479B (zh) * | 2018-01-17 | 2023-08-01 | 百度在线网络技术(北京)有限公司 | 人脸跟踪方法和装置 |
US11507800B2 (en) * | 2018-03-06 | 2022-11-22 | Adobe Inc. | Semantic class localization digital environment |
CN108447091B (zh) * | 2018-03-27 | 2022-09-06 | 北京颂泽科技有限公司 | 目标定位方法、装置、电子设备及存储介质 |
US11061132B2 (en) * | 2018-05-21 | 2021-07-13 | Johnson Controls Technology Company | Building radar-camera surveillance system |
CN110751674A (zh) * | 2018-07-24 | 2020-02-04 | 北京深鉴智能科技有限公司 | 多目标跟踪方法及相应视频分析*** |
US11244459B2 (en) * | 2018-12-16 | 2022-02-08 | Masahiko Sato | Method for segmentation of grayscale images and segmented area tracking |
CN110675429A (zh) * | 2019-09-24 | 2020-01-10 | 湖南人文科技学院 | 基于孪生网络和相关滤波器的长短程互补型目标跟踪方法 |
CN110728270A (zh) * | 2019-12-17 | 2020-01-24 | 北京影谱科技股份有限公司 | 视频人物的去除方法、装置及设备及计算机可读存储介质 |
US10861213B1 (en) * | 2019-12-23 | 2020-12-08 | Fyusion, Inc. | System and method for automatic generation of artificial motion blur |
CN111179314B (zh) * | 2019-12-30 | 2023-05-02 | 北京工业大学 | 一种基于残差密集孪生网络的目标跟踪方法 |
CN111091582A (zh) * | 2019-12-31 | 2020-05-01 | 北京理工大学重庆创新中心 | 一种基于深度神经网络的单视觉目标跟踪算法及*** |
CN111340845B (zh) * | 2020-02-25 | 2020-12-29 | 上海黑眸智能科技有限责任公司 | 基于深度视觉传感器的自动跟踪方法、***、终端以及介质 |
-
2020
- 2020-06-30 CN CN202010613379.9A patent/CN111723769B/zh active Active
-
2021
- 2021-02-24 KR KR1020210024996A patent/KR20220002063A/ko active IP Right Grant
- 2021-03-09 JP JP2021037660A patent/JP7393374B2/ja active Active
- 2021-03-10 EP EP21161716.2A patent/EP3933674A1/en active Pending
- 2021-03-10 US US17/197,857 patent/US20210406548A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011059898A (ja) | 2009-09-08 | 2011-03-24 | Fujifilm Corp | 画像解析装置、画像解析方法およびプログラム |
US20200074185A1 (en) | 2019-11-08 | 2020-03-05 | Intel Corporation | Fine-grain object segmentation in video with deep features and multi-level graphical models |
Non-Patent Citations (2)
Title |
---|
Luca Bertinetto, et al.,Fully-Convolutional Siamese Networks for Object Tracking,arXiv,米国,2016年06月30日,https://arxiv.org/pdf/1606.09549v1.pdf |
Xin Li, et al.,Target-Aware Deep Tracking,2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR),米国,IEEE,2019年06月20日,1369-1378,https://ieeexplore.ieee.org/document/8953816 |
Also Published As
Publication number | Publication date |
---|---|
CN111723769B (zh) | 2023-10-27 |
KR20220002063A (ko) | 2022-01-06 |
EP3933674A1 (en) | 2022-01-05 |
JP2022013648A (ja) | 2022-01-18 |
US20210406548A1 (en) | 2021-12-30 |
CN111723769A (zh) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7393374B2 (ja) | 画像を処理するための方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム | |
EP3605394B1 (en) | Method and apparatus for recognizing body movement | |
JP6902611B2 (ja) | 物体検出方法、ニューラルネットワークの訓練方法、装置および電子機器 | |
JP7429796B2 (ja) | 車両追跡方法、装置及び電子機器 | |
CN111753961B (zh) | 模型训练方法和装置、预测方法和装置 | |
CN112149636B (zh) | 用于检测目标物体的方法、装置、电子设备及存储介质 | |
CN111739005B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
CN113095346A (zh) | 数据标注的方法以及数据标注的装置 | |
CN114758337B (zh) | 一种语义实例重建方法、装置、设备及介质 | |
WO2020051270A1 (en) | Unsupervised depth prediction neural networks | |
JP2022050311A (ja) | 車両の車線変更を検出するための方法、装置、電子機器、記憶媒体、路側機、クラウド制御プラットフォーム、及びコンピュータプログラム | |
EP4062363A1 (en) | Methods and systems for forecasting crowd dynamics | |
CN110807379A (zh) | 一种语义识别方法、装置、以及计算机存储介质 | |
CN114360239A (zh) | 一种多层时空交通知识图谱重建的交通预测方法及*** | |
CN111597986B (zh) | 用于生成信息的方法、装置、设备和存储介质 | |
CN110827341A (zh) | 一种图片深度估计方法、装置和存储介质 | |
CN112329616B (zh) | 目标检测方法、装置、设备以及存储介质 | |
CN109410121B (zh) | 人像胡须生成方法及装置 | |
Liu et al. | Depth estimation of traffic scenes from image sequence using deep learning | |
CN115690845A (zh) | 一种运动轨迹预测方法及装置 | |
CN113703704A (zh) | 界面显示方法、头戴式显示设备和计算机可读介质 | |
JP2021101370A (ja) | モデリングルートの検証方法、装置、無人車両及び記憶媒体 | |
CN117441195A (zh) | 纹理补全 | |
CN115049895B (zh) | 一种图像属性识别方法、属性识别模型训练方法及装置 | |
CN114581540B (zh) | 场景任务处理方法、装置、设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7393374 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |