JP7149692B2 - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP7149692B2 JP7149692B2 JP2017154728A JP2017154728A JP7149692B2 JP 7149692 B2 JP7149692 B2 JP 7149692B2 JP 2017154728 A JP2017154728 A JP 2017154728A JP 2017154728 A JP2017154728 A JP 2017154728A JP 7149692 B2 JP7149692 B2 JP 7149692B2
- Authority
- JP
- Japan
- Prior art keywords
- attribute
- image processing
- likelihood
- processing apparatus
- attributes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 133
- 238000003672 processing method Methods 0.000 title claims 2
- 238000000034 method Methods 0.000 claims description 84
- 230000010354 integration Effects 0.000 claims description 55
- 238000013528 artificial neural network Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 239000000463 material Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 description 34
- 238000013527 convolutional neural network Methods 0.000 description 27
- 238000001514 detection method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 14
- 238000012706 support-vector machine Methods 0.000 description 13
- 208000029152 Small face Diseases 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Probability & Statistics with Applications (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Description
複数の属性に対応する複数の判別器への前記連結階層特徴の入力に基づき、該複数の属性のそれぞれについて、前記連結階層特徴の座標ごとの領域ブロックの属性の尤度を表す属性スコアマップを生成するマップ生成手段と、
前記マップ生成手段が生成した前記複数の属性に対応し、共通の座標軸を有する属性スコアマップの領域ブロックを座標ごとに統合した統合結果に基づいて、前記入力画像における認識対象に対する認識結果を生成して出力する出力手段と
を備え、
前記複数の判別器は、該判別器に対応する属性の尤度を判定するように学習されており、
前記複数の属性に対応する属性スコアマップのうち少なくとも1つは、前記入力画像の座標ごとの領域ブロックに物体の基準点が存在する尤度を示す
ことを特徴とする。
先ず、入力画像に対する画像認識を行う画像処理装置の機能構成例について、図1のブロック図を用いて説明する。画像入力部101は、認識対象(検出対象)としてのオブジェクトを1つ以上含む入力画像を入力する。ニューラルネットワーク102は、第1層~第n層(nは2以上の自然数)を有する階層型ニューラルネットワークであり、画像入力部101が入力した入力画像を処理する。連結特徴生成部104は、ニューラルネットワーク102における規定の層の出力(特徴マップ)を連結することで連結階層特徴103を生成する特徴生成を行う。属性判定部105は第1属性判定部105a~第n属性判定部105cを有し、第1属性判定部105a~第n属性判定部105cのそれぞれは連結階層特徴103を用いて、対応する属性の尤度マップ(属性スコアマップ108)を生成して出力する。属性統合部106は、属性スコアマップ108を統合して、入力画像に対する物体検出やシーン認識など、規定の認識結果を生成する。結果出力部107は、属性統合部106による認識結果を出力する。
第1の実施形態ではニューラルネットワークとしてCNNを用いたが、使用可能なニューラルネットワークはCNNに限らない。複数の階層からなり、中間結果をマップとして生成するニューラルネットワークおよびそれに類する手法であれば、いずれにも適用可能である。そのような手法として、例えば各層の畳込みフィルタを重み共有(Weight Share)しない非CNNタイプのニューラルネットワークなどが考えられる。
本実施形態を含め、以下の各実施形態や各変形例では、第1の実施形態との差分について重点的に説明し、以下で特に触れない限りは第1の実施形態と同様であるものとする。本実施形態では、人物等の物体の姿勢変動にロバストな認識を行う形態について説明する。
グループ2:サイズ小,傾き+45°,アスペクト比2
グループ3:サイズ小,傾き0°, アスペクト比1
グループ4:サイズ小,傾き-45°,アスペクト比2
グループ5:サイズ大,傾き0°, アスペクト比2
グループ6:サイズ大,傾き+45°,アスペクト比2
グループ7:サイズ大,傾き0°, アスペクト比1
グループ8:サイズ大,傾き-45°,アスペクト比2
本実施形態では、上記の8つのグループそれぞれを人物の8つの属性(人物属性)とする。人物属性判定部905は、各領域ブロックに8種類のいずれの人物が存在するのか、または人物が存在しないのかを判定する。人物属性判定部905a~905hはそれぞれ、担当するグループの人物が入力されたらそれと判定できるようにあらかじめ学習しておく。学習の手順は下記のように行う。
(1) 第一の属性判定として3種類の人物サイズ={大,中,小}の判定を行う。
(2) (1)で3種類いずれかの尤度スコアが高かった領域ブロックに対してのみ、サイズ・傾き・アスペクト比で8種類に分類した第二の属性判定を行う。
本実施形態は、カメラ情報の利用を中心とした形態であって、本実施形態の認識タスクは空の領域を判定することを目的とする。本実施形態に係る画像処理装置の機能構成例について、図14のブロック図を用いて説明する。
本実施形態では、多種の認識タスクを統合的に処理する形態について説明する。本実施形態に係る画像処理装置が行う認識タスクは領域判定、画像シーン分類、審美性判定、の3種類である。
図1,2,11,14,17,18,20に示した各機能部はハードウェアで実装しても良いが、ソフトウェア(コンピュータプログラム)で実装しても良い。後者の場合、このコンピュータプログラムを実行可能なコンピュータ装置は、上記の各実施形態や変形例において説明した画像処理装置に適用可能である。上記の各実施形態や変形例において説明した画像処理装置に適用可能なコンピュータ装置のハードウェア構成例について、図21のブロック図を用いて説明する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (22)
- 複数の層を有する階層型ニューラルネットワークへの入力画像の入力により得られる該複数の層の出力を連結して連結階層特徴を生成する特徴生成手段と、
複数の属性に対応する複数の判別器への前記連結階層特徴の入力に基づき、該複数の属性のそれぞれについて、前記連結階層特徴の座標ごとの領域ブロックの属性の尤度を表す属性スコアマップを生成するマップ生成手段と、
前記マップ生成手段が生成した前記複数の属性に対応し、共通の座標軸を有する属性スコアマップの領域ブロックを座標ごとに統合した統合結果に基づいて、前記入力画像における認識対象に対する認識結果を生成して出力する出力手段と
を備え、
前記複数の判別器は、該判別器に対応する属性の尤度を判定するように学習されており、
前記複数の属性に対応する属性スコアマップのうち少なくとも1つは、前記入力画像の座標ごとの領域ブロックに物体の基準点が存在する尤度を示す
ことを特徴とする画像処理装置。 - 前記属性は、歩行者、顔、空、地面、建物および主被写体のうち少なくとも1つ以上を含むことを特徴とする請求項1に記載の画像処理装置。
- 前記出力手段は、前記入力画像の所定の座標に対応する領域ブロックにおいて、前記複数の属性に含まれる第1の属性の前記属性スコアマップが示す尤度が所定値を超え、前記複数の属性のうち前記第1の属性以外の属性の前記属性スコアマップが示す尤度が所定値未満である場合、前記所定の座標に対応する領域ブロックが前記第1の属性に係る領域ブロックであると出力することを特徴とする請求項1または2に記載の画像処理装置。
- 前記出力手段は、前記物体のサイズについて出力することを特徴とする請求項1ないし3の何れか1項に記載の画像処理装置。
- 前記統合結果を回帰させて、前記物体のサイズを推定する推定手段を更に備えることを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
- 前記複数の属性に対応する属性スコアマップのうち少なくとも1つは、前記入力画像の座標ごとの領域ブロックに所定サイズを有する物体が存在する尤度を示すことを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
- 前記出力手段は、前記入力画像の座標ごとの領域ブロックに対して、カテゴリを出力することを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。
- 前記カテゴリは、歩行者、顔、空、地面または建物を含むことを特徴とする請求項7に記載の画像処理装置。
- 前記出力手段は、前記入力画像に含まれる物体の中心である基準点を出力することを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。
- 前記マップ生成手段は、物体のサブカテゴリごとの尤度の属性スコアマップを生成することを特徴とする請求項1乃至9の何れか1項に記載の画像処理装置。
- 前記サブカテゴリは、物体の奥行き回転、物体の面内回転、物体の姿勢、物体の形状、物体の材質、物体の関心領域の形状、物体の関心領域のサイズ、物体の関心領域のアスペクト比、のうち少なくとも一つに関して区別されたサブカテゴリを含むことを特徴とする請求項10に記載の画像処理装置。
- 前記出力手段は、前記物体の奥行き回転、面内回転、姿勢、形状、材質、関心領域の形状、関心領域のサイズ、関心領域のアスペクト比、のうち少なくとも一つに関する情報を出力することを特徴とする請求項9に記載の画像処理装置。
- 前記出力手段は、前記属性スコアマップの解像度よりも高い解像度の前記認識結果を出力することを特徴とする請求項1ないし12の何れか1項に記載の画像処理装置。
- 前記出力手段は、前記入力画像の審美性を出力することを特徴とする請求項1乃至13の何れか1項に記載の画像処理装置。
- 前記出力手段は、前記入力画像のシーンを出力することを特徴とする請求項1乃至14の何れか1項に記載の画像処理装置。
- 前記出力手段は、前記シーンの認識結果に基づいて、前記入力画像の座標ごとの領域ブロックに対してカテゴリを出力することを特徴とする請求項15に記載の画像処理装置。
- 更に、カメラ情報を入力する手段を備え、
前記マップ生成手段は、前記連結階層特徴に加えて前記カメラ情報を用いることを特徴とする請求項1乃至16の何れか1項に記載の画像処理装置。 - 更に、
前記出力手段の複数の認識結果から最終出力を選択する手段を備えることを特徴とする請求項1乃至17の何れか1項に記載の画像処理装置。 - 更に、
前記階層型ニューラルネットワーク、前記特徴生成手段、前記出力手段のいずれか1つ以上について処理のパラメータを学習する手段を備えることを特徴とする請求項1乃至18の何れか1項に記載の画像処理装置。 - 前記特徴生成手段は、前記階層型ニューラルネットワークの複数の層の出力を連結する際にアップサンプル処理あるいは逆畳み込み処理のいずれかを行うことを特徴とする請求項1乃至19の何れか1項に記載の画像処理装置。
- 複数の層を有する階層型ニューラルネットワークへの入力画像の入力により得られる該複数の層の出力を連結して連結階層特徴を生成し、
複数の属性に対応する複数の判別器への前記連結階層特徴の入力に基づき、該複数の属性のそれぞれについて、前記連結階層特徴の座標ごとの領域ブロックの属性の尤度を表す属性スコアマップを生成し、
生成した前記複数の属性に対応し、共通の座標軸を有する属性スコアマップの領域ブロックを座標ごとに統合した統合結果に基づいて、前記入力画像における認識対象に対する認識結果を生成して出力し、
前記複数の判別器は、該判別器に対応する属性の尤度を判定するように学習されており、
前記複数の属性に対応する属性スコアマップのうち少なくとも1つは、前記入力画像の座標ごとの領域ブロックに物体の基準点が存在する尤度を示す
ことを特徴とする画像処理方法。 - コンピュータを、請求項1乃至20の何れか1項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017154728A JP7149692B2 (ja) | 2017-08-09 | 2017-08-09 | 画像処理装置、画像処理方法 |
US16/053,473 US11256955B2 (en) | 2017-08-09 | 2018-08-02 | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
US17/574,068 US12020474B2 (en) | 2017-08-09 | 2022-01-12 | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
JP2022153997A JP7482181B2 (ja) | 2017-08-09 | 2022-09-27 | 画像処理装置、画像処理方法 |
JP2024072918A JP7523711B2 (ja) | 2024-04-26 | 画像処理装置、画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017154728A JP7149692B2 (ja) | 2017-08-09 | 2017-08-09 | 画像処理装置、画像処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022153997A Division JP7482181B2 (ja) | 2017-08-09 | 2022-09-27 | 画像処理装置、画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019032773A JP2019032773A (ja) | 2019-02-28 |
JP2019032773A5 JP2019032773A5 (ja) | 2020-09-10 |
JP7149692B2 true JP7149692B2 (ja) | 2022-10-07 |
Family
ID=65275463
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017154728A Active JP7149692B2 (ja) | 2017-08-09 | 2017-08-09 | 画像処理装置、画像処理方法 |
JP2022153997A Active JP7482181B2 (ja) | 2017-08-09 | 2022-09-27 | 画像処理装置、画像処理方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022153997A Active JP7482181B2 (ja) | 2017-08-09 | 2022-09-27 | 画像処理装置、画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US11256955B2 (ja) |
JP (2) | JP7149692B2 (ja) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7149692B2 (ja) * | 2017-08-09 | 2022-10-07 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US10628919B2 (en) * | 2017-08-31 | 2020-04-21 | Htc Corporation | Image segmentation method and apparatus |
CN107704857B (zh) * | 2017-09-25 | 2020-07-24 | 北京邮电大学 | 一种端到端的轻量级车牌识别方法及装置 |
CN110163050B (zh) * | 2018-07-23 | 2022-09-27 | 腾讯科技(深圳)有限公司 | 一种视频处理方法及装置、终端设备、服务器及存储介质 |
US11282225B2 (en) | 2018-09-10 | 2022-03-22 | Mapbox, Inc. | Calibration for vision in navigation systems |
JP7038641B2 (ja) * | 2018-11-02 | 2022-03-18 | 富士フイルム株式会社 | 医療診断支援装置、内視鏡システム、及び作動方法 |
EP3877947A1 (en) * | 2018-11-08 | 2021-09-15 | Netflix, Inc. | Identifying image aesthetics using region composition graphs |
US10402692B1 (en) * | 2019-01-22 | 2019-09-03 | StradVision, Inc. | Learning method and learning device for fluctuation-robust object detector based on CNN using target object estimating network adaptable to customers' requirements such as key performance index, and testing device using the same |
US10346693B1 (en) * | 2019-01-22 | 2019-07-09 | StradVision, Inc. | Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same |
US10387753B1 (en) * | 2019-01-23 | 2019-08-20 | StradVision, Inc. | Learning method and learning device for convolutional neural network using 1×1 convolution for image recognition to be used for hardware optimization, and testing method and testing device using the same |
US10325185B1 (en) * | 2019-01-23 | 2019-06-18 | StradVision, Inc. | Method and device for online batch normalization, on-device learning, and continual learning applicable to mobile devices or IOT devices additionally referring to one or more previous batches to be used for military purpose, drone or robot, and testing method and testing device using the same |
US10395140B1 (en) * | 2019-01-23 | 2019-08-27 | StradVision, Inc. | Learning method and learning device for object detector based on CNN using 1×1 convolution to be used for hardware optimization, and testing method and testing device using the same |
US10325352B1 (en) * | 2019-01-23 | 2019-06-18 | StradVision, Inc. | Method and device for transforming CNN layers to optimize CNN parameter quantization to be used for mobile devices or compact networks with high precision via hardware optimization |
US10496899B1 (en) * | 2019-01-25 | 2019-12-03 | StradVision, Inc. | Learning method and learning device for adjusting parameters of CNN in which residual networks are provided for meta learning, and testing method and testing device using the same |
US10373323B1 (en) * | 2019-01-29 | 2019-08-06 | StradVision, Inc. | Method and device for merging object detection information detected by each of object detectors corresponding to each camera nearby for the purpose of collaborative driving by using V2X-enabled applications, sensor fusion via multiple vehicles |
US10373027B1 (en) * | 2019-01-30 | 2019-08-06 | StradVision, Inc. | Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same |
WO2020165848A1 (en) * | 2019-02-14 | 2020-08-20 | Hatef Otroshi Shahreza | Quality assessment of an image |
US11386655B2 (en) * | 2019-02-15 | 2022-07-12 | Rutgers, The State University Of New Jersey | Image processing neural network systems and methods with scene understanding |
US11010641B2 (en) * | 2019-03-14 | 2021-05-18 | Mapbox, Inc. | Low power consumption deep neural network for simultaneous object detection and semantic segmentation in images on a mobile computing device |
CN110176057A (zh) * | 2019-04-12 | 2019-08-27 | 平安城市建设科技(深圳)有限公司 | 三维户型模型生成方法、装置、设备及存储介质 |
CN110210474B (zh) * | 2019-04-30 | 2021-06-01 | 北京市商汤科技开发有限公司 | 目标检测方法及装置、设备及存储介质 |
EP3975111A4 (en) * | 2019-05-23 | 2022-07-20 | Konica Minolta, Inc. | OBJECT DETECTION DEVICE, OBJECT DETECTION SYSTEM, OBJECT DETECTION DEVICE, PROGRAM AND RECORDING MEDIA |
EP3975112A4 (en) * | 2019-05-23 | 2022-07-20 | Konica Minolta, Inc. | OBJECT DETECTION DEVICE, OBJECT DETECTION METHOD, PROGRAM AND RECORDING MEDIUM |
JP7453767B2 (ja) * | 2019-09-25 | 2024-03-21 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP7235134B2 (ja) * | 2019-11-08 | 2023-03-08 | 日本電気株式会社 | 物体検知装置、学習方法、及び、プログラム |
JP7490359B2 (ja) * | 2019-12-24 | 2024-05-27 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2021152801A1 (ja) * | 2020-01-30 | 2021-08-05 | 日本電気株式会社 | 学習装置、学習方法、及び、記録媒体 |
CN111476799A (zh) * | 2020-03-23 | 2020-07-31 | 福建星网物联信息***有限公司 | 一种图像分析方法及存储介质 |
CN113569878B (zh) * | 2020-04-28 | 2024-03-01 | 南京行者易智能交通科技有限公司 | 一种基于分数图的目标检测模型训练方法及目标检测方法 |
CN115720664A (zh) * | 2020-06-23 | 2023-02-28 | 日本电气株式会社 | 物***置估计设备、物***置估计方法和记录介质 |
CN113971822A (zh) * | 2020-07-22 | 2022-01-25 | 武汉Tcl集团工业研究院有限公司 | 一种人脸检测方法、智能终端及存储介质 |
CN117063042A (zh) * | 2021-03-31 | 2023-11-14 | 松下知识产权经营株式会社 | 平面检测装置以及平面检测方法 |
US11303800B1 (en) * | 2021-07-13 | 2022-04-12 | Shenzhen GOODIX Technology Co., Ltd. | Real-time disparity upsampling for phase detection autofocus in digital imaging systems |
EP4184432A4 (en) * | 2021-09-30 | 2023-10-11 | Rakuten Group, Inc. | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING PROGRAM |
KR20230046802A (ko) * | 2021-09-30 | 2023-04-06 | 삼성전자주식회사 | 뉴럴 네트워크(Neural Network)에 기초한 영상 처리 방법 및 영상 처리 장치 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013506198A (ja) | 2009-09-25 | 2013-02-21 | イーストマン コダック カンパニー | デジタル画像の美的品質の推定方法 |
JP2013235578A (ja) | 2012-05-04 | 2013-11-21 | Suzhou Bitstrong Electronics Co Ltd | 画像処理装置 |
JP2017005389A (ja) | 2015-06-05 | 2017-01-05 | キヤノン株式会社 | 画像認識装置、画像認識方法及びプログラム |
JP2017059207A (ja) | 2015-09-18 | 2017-03-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像認識方法 |
US20170124415A1 (en) | 2015-11-04 | 2017-05-04 | Nec Laboratories America, Inc. | Subcategory-aware convolutional neural networks for object detection |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5409237B2 (ja) | 2009-09-28 | 2014-02-05 | キヤノン株式会社 | パターン検出装置、その処理方法及びプログラム |
JP5588165B2 (ja) | 2009-12-24 | 2014-09-10 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
US8768944B2 (en) | 2010-08-18 | 2014-07-01 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
JP5675214B2 (ja) | 2010-08-18 | 2015-02-25 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP6501501B2 (ja) * | 2014-11-12 | 2019-04-17 | キヤノン株式会社 | 情報処理装置、情報処理方法、情報処理システム及びプログラム |
CN106548127B (zh) | 2015-09-18 | 2022-11-04 | 松下电器(美国)知识产权公司 | 图像识别方法 |
US9754351B2 (en) * | 2015-11-05 | 2017-09-05 | Facebook, Inc. | Systems and methods for processing content using convolutional neural networks |
CN108475331B (zh) * | 2016-02-17 | 2022-04-05 | 英特尔公司 | 用于对象检测的方法、装置、***和计算机可读介质 |
US10410108B2 (en) * | 2016-08-08 | 2019-09-10 | EyeEm Mobile GmbH | Systems, methods, and computer program products for searching and sorting images by aesthetic quality personalized to users or segments |
CN106250874B (zh) | 2016-08-16 | 2019-04-30 | 东方网力科技股份有限公司 | 一种服饰及随身物品的识别方法和装置 |
US10192125B2 (en) * | 2016-10-20 | 2019-01-29 | Ford Global Technologies, Llc | Vehicle-window-transmittance-control apparatus and method |
US20180225554A1 (en) * | 2017-02-06 | 2018-08-09 | Honda Motor Co., Ltd. | Systems and methods of a computational framework for a driver's visual attention using a fully convolutional architecture |
US10733482B1 (en) * | 2017-03-08 | 2020-08-04 | Zoox, Inc. | Object height estimation from monocular images |
JP7149692B2 (ja) * | 2017-08-09 | 2022-10-07 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
-
2017
- 2017-08-09 JP JP2017154728A patent/JP7149692B2/ja active Active
-
2018
- 2018-08-02 US US16/053,473 patent/US11256955B2/en active Active
-
2022
- 2022-01-12 US US17/574,068 patent/US12020474B2/en active Active
- 2022-09-27 JP JP2022153997A patent/JP7482181B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013506198A (ja) | 2009-09-25 | 2013-02-21 | イーストマン コダック カンパニー | デジタル画像の美的品質の推定方法 |
JP2013235578A (ja) | 2012-05-04 | 2013-11-21 | Suzhou Bitstrong Electronics Co Ltd | 画像処理装置 |
JP2017005389A (ja) | 2015-06-05 | 2017-01-05 | キヤノン株式会社 | 画像認識装置、画像認識方法及びプログラム |
JP2017059207A (ja) | 2015-09-18 | 2017-03-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像認識方法 |
US20170124415A1 (en) | 2015-11-04 | 2017-05-04 | Nec Laboratories America, Inc. | Subcategory-aware convolutional neural networks for object detection |
Non-Patent Citations (1)
Title |
---|
Tao Kong et al.,HyperNet: Towards Accurate Region Proposal Generation and Joint Object Detection,2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),IEEE,2016年06月27日,pp.845-853,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7780467 |
Also Published As
Publication number | Publication date |
---|---|
JP2022173399A (ja) | 2022-11-18 |
US20190050681A1 (en) | 2019-02-14 |
US12020474B2 (en) | 2024-06-25 |
JP2024091962A (ja) | 2024-07-05 |
US20220138490A1 (en) | 2022-05-05 |
JP7482181B2 (ja) | 2024-05-13 |
JP2019032773A (ja) | 2019-02-28 |
US11256955B2 (en) | 2022-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7149692B2 (ja) | 画像処理装置、画像処理方法 | |
US9569890B2 (en) | Method and device for generating a simplified model of a real pair of spectacles | |
JP4903854B2 (ja) | デジタル画像におけるオブジェクト検出方法 | |
JP5830546B2 (ja) | 対象物のモデル変換に基づくモデルパラメータの決定 | |
JP4234381B2 (ja) | 顔の特徴を位置確認するための方法及びコンピュータープログラム製品 | |
US8577099B2 (en) | Method, apparatus, and program for detecting facial characteristic points | |
JP5227888B2 (ja) | 人物追跡方法、人物追跡装置および人物追跡プログラム | |
US20130251246A1 (en) | Method and a device for training a pose classifier and an object classifier, a method and a device for object detection | |
JP5227629B2 (ja) | オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム | |
US20070189584A1 (en) | Specific expression face detection method, and imaging control method, apparatus and program | |
JP5027030B2 (ja) | オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム | |
JP2009064434A (ja) | 判定方法、判定システムおよびコンピュータ読み取り可能な媒体 | |
JP2019139618A (ja) | 情報処理装置、被写体の判別方法及びコンピュータプログラム | |
JP2009251892A (ja) | オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム | |
JP7523711B2 (ja) | 画像処理装置、画像処理方法 | |
CN113052311B (zh) | 具有跳层结构的特征提取网络及特征和描述子生成的方法 | |
CN112017120A (zh) | 一种图像合成方法及装置 | |
JP4185083B2 (ja) | 形状認識装置及びその方法 | |
CN112070674B (zh) | 一种图像合成方法及装置 | |
CN112070672B (zh) | 一种图像合成方法及装置 | |
Lisha et al. | Highly accurate blood vessel segmentation using texture‐based modified K‐means clustering with deep learning model | |
Tanaka et al. | Focusness Extraction from Images for Automatic Camera Control by Measuring Objectness | |
Kutulakos | Trends and Topics in Computer Vision: ECCV 2010 Workshops, Heraklion, Crete, Greece, September 10-11, 2010, Revised Selected Papers, Part II | |
CN114724211A (zh) | 一种融合无参注意力机制的视线估计方法 | |
Lutsiv et al. | Modeling attention zones on the basis of an analysis of local features of the image texture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200727 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200727 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210910 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220927 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7149692 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |