JP6812387B2 - 画像処理装置及び画像処理方法、プログラム、記憶媒体 - Google Patents
画像処理装置及び画像処理方法、プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP6812387B2 JP6812387B2 JP2018126359A JP2018126359A JP6812387B2 JP 6812387 B2 JP6812387 B2 JP 6812387B2 JP 2018126359 A JP2018126359 A JP 2018126359A JP 2018126359 A JP2018126359 A JP 2018126359A JP 6812387 B2 JP6812387 B2 JP 6812387B2
- Authority
- JP
- Japan
- Prior art keywords
- dictionary data
- subject
- image
- detection
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Devices (AREA)
Description
図1は、本発明の画像処理装置の一実施形態であるデジタル一眼レフカメラ100の側断面図であり、図2は、デジタル一眼レフカメラ100のブロック構成を示す図である。
被写体検出部204では、前述したAE信号から被写体を検出する。被写体検出部204では、記憶部210に記憶された機械学習に基づく辞書データを用いて被写体を検出するための処理パラメ−タが決定される。撮影シーンに応じて、被写体の特性が異なる場合がある。そこで、被写体特性毎に辞書データを用意し、シーンに合わせた辞書データを利用することで被写体の検出精度を高めることができる。すなわち、複数の辞書データを有し、状況に応じて辞書データを選定して利用する。
次に、図4、図5を参照して、上記構成のデジタル一眼レフカメラの撮像動作について説明する。図4は、デジタル一眼レフカメラ100の撮像動作の手順を示したフローチャートである。このフローチャートの動作は、システム制御部201がROMに格納されたプログラムをRAMに展開して実行することにより実現される。
次に、図5を参照して、図4のステップS404における被写体検出の処理の流れについて説明する。
本実施形態では、被写体検出部204をCNN(コンボリューショナル・ニューラル・ネットワーク)で構成する。CNNの基本的な構成について、図7および図8を用いて説明する。図7は、入力された2次元画像データから被写体を検出するCNNの基本的な構成を示す図である。処理の流れは、左端を入力とし、右方向に処理が進んでいく。CNNは、特徴検出層(S層)と特徴統合層(C層)と呼ばれる2つの層を一つのセットとし、それが階層的に構成されている。
式(1)のfは、活性化関数であり、ロジスティック関数や双曲正接関数などのシグモイド関数であれば何でもよい。uLS M(ξ,ζ)は、L階層目S層のM番目細胞面における、位置(ξ,ζ)の特徴検出ニューロンの内部状態である。式(2)は活性化関数を用いず単純な線形和をとっている。式(2)のように活性化関数を用いない場合は、ニューロンの内部状態uLC M(ξ,ζ)と出力値yLC M(ξ,ζ)は等しい。また、式(1)のyL-1C n(ξ+u,ζ+v)、式(2)のyLS M(ξ+u,ζ+v)をそれぞれ特徴検出ニューロン、特徴統合ニューロンの結合先出力値と呼ぶ。
ここでも、(u,v)は有限の範囲としているので、特徴検出ニューロンの説明と同様に、有限の範囲を受容野といい、範囲の大きさを受容野サイズと呼ぶ。この受容野サイズは、ここではL階層目S層のM番目特徴のサイズに応じて適当な値に設定すればよい。式(3)数中の、σは特徴サイズ因子であり、受容野サイズに応じて適当な定数に設定しておけばよい。具体的には、受容野の一番外側の値がほぼ0とみなせるような値になるように設定するのがよい。上述のような演算を各階層で行うことにより、最終階層のS層において、被写体検出を行うのが、本実施形態におけるCNNの構成である。
具体的な結合係数wLS M (n,u,v)の調整方法について説明する。結合係数の調整、すなわち学習の方法に関して説明する。学習では、テストパターンを与えて実際にニューロンの出力値を求め、その出力値と教師信号(そのニューロンが出力すべき望ましい出力値)の関係から結合係数wLS M (n,u,v)の修正を行う。本実施形態の学習においては、最終層の特徴検出層は最小二乗法を用い、中間層の特徴検出層は誤差逆伝搬法を用いて結合係数の修正を行う。最小二乗法、誤差逆伝搬法等の結合係数の修正手法の詳細は非特許文献1に記載されているため、ここでは詳細な説明は省略する。
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
Claims (9)
- 複数の辞書データのうち、いずれかの辞書データを選択し、選択した辞書データを用いて、取得した画像の解析を行う解析手段を備え、
前記複数の辞書データは、少なくとも、第1の辞書データと、第2の辞書データを含み、
前記解析手段は、前記第1の辞書データを用いた被写体の検出スコアが閾値よりも低い、あるいは、前記第1の辞書データを用いた前記被写体の検出ができない場合であっても、前記第1の辞書データと異なる辞書データを用いて、再び画像の解析を行うことはせず、前記第2の辞書データを用いた前記被写体の検出スコアが閾値よりも低い、あるいは、前記第2の辞書データを用いた前記被写体の検出ができない場合には、前記第2の辞書データと異なる辞書データを用いて、再び画像の解析を行うものであって、
前記第2の辞書データは、目的とする被写体が前記第2の辞書データに対応する条件下にある場合には、前記第1の辞書データよりも前記目的とする被写体を検出することができる確率が高い辞書データであり、前記第1の辞書データは、前記第2の辞書データよりも多くの条件下において前記目的とする被写体を検出することができる辞書データであることを特徴とする画像処理装置。 - 前記解析手段は、設定した辞書データを用いて、前記取得した画像に含まれる前記被写体を検出することを特徴とする請求項1に記載の画像処理装置。
- 前記解析手段は、ユーザの指示に基づいて、いずれかの辞書データを選択することを特徴とする請求項1に記載の画像処理装置。
- 前記解析手段は、前記第2の辞書データを用いた前記被写体の検出スコアが閾値よりも低い、あるいは、前記第2の辞書データを用いた前記被写体の検出ができない場合には、前記第2の辞書データと異なる辞書データと、前記第2の辞書データを用いて、再び画像の解析を行うことを特徴とする請求項1または2に記載の画像処理装置。
- 前記第2の辞書データと異なる辞書データは、前記第1の辞書データであることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 前記辞書データは、機械学習によって獲得された辞書データであることを特徴とする請求項1に記載の画像処理装置。
- 複数の辞書データのうち、いずれかの辞書データを選択し、選択した辞書データを用いて、取得した画像の解析を行う解析工程を有し、
前記複数の辞書データは、少なくとも、第1の辞書データと、第2の辞書データを含み、
前記解析工程は、前記第1の辞書データを用いた被写体の検出スコアが閾値よりも低い、あるいは、前記第1の辞書データを用いた前記被写体の検出ができない場合であっても、前記第1の辞書データと異なる辞書データを用いて、再び画像の解析を行うことはせず、前記第2の辞書データを用いた前記被写体の検出スコアが閾値よりも低い、あるいは、前記第2の辞書データを用いた前記被写体の検出ができない場合には、前記第2の辞書データと異なる辞書データを用いて、再び画像の解析を行うものであって、
前記第2の辞書データは、目的とする被写体が前記第2の辞書データに対応する条件下にある場合には、前記第1の辞書データよりも前記目的とする被写体を検出することができる確率が高い辞書データであり、前記第1の辞書データは、前記第2の辞書データよりも多くの条件下において前記目的とする被写体を検出することができる辞書データであることを特徴とする画像処理方法。 - コンピュータを、請求項1乃至6のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
- コンピュータを、請求項1乃至6のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018126359A JP6812387B2 (ja) | 2018-07-02 | 2018-07-02 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
US16/456,890 US11144797B2 (en) | 2018-07-02 | 2019-06-28 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018126359A JP6812387B2 (ja) | 2018-07-02 | 2018-07-02 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020008899A JP2020008899A (ja) | 2020-01-16 |
JP6812387B2 true JP6812387B2 (ja) | 2021-01-13 |
Family
ID=69054686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018126359A Active JP6812387B2 (ja) | 2018-07-02 | 2018-07-02 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11144797B2 (ja) |
JP (1) | JP6812387B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6745465B1 (ja) * | 2019-03-06 | 2020-08-26 | パナソニックIpマネジメント株式会社 | 車両及びカメラモジュール |
WO2021192133A1 (ja) * | 2020-03-26 | 2021-09-30 | 日本電気株式会社 | 物体認識装置、物体認識方法、及び、記録媒体 |
US12015865B2 (en) * | 2022-06-04 | 2024-06-18 | Jeshurun de Rox | System and methods for evoking authentic emotions from live photographic and video subjects |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5901255A (en) * | 1992-02-07 | 1999-05-04 | Canon Kabushiki Kaisha | Pattern recognition method and apparatus capable of selecting another one of plural pattern recognition modes in response to a number of rejects of recognition-processed pattern segments |
JP4154400B2 (ja) | 2004-04-01 | 2008-09-24 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
JP5380789B2 (ja) * | 2007-06-06 | 2014-01-08 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
JP4759638B2 (ja) * | 2009-12-25 | 2011-08-31 | 株式会社スクウェア・エニックス | リアルタイムなカメラ辞書 |
CN102959551B (zh) * | 2011-04-25 | 2017-02-08 | 松下电器(美国)知识产权公司 | 图像处理装置 |
JP2013164834A (ja) * | 2012-01-13 | 2013-08-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP6168876B2 (ja) | 2013-06-24 | 2017-07-26 | オリンパス株式会社 | 検出装置、学習装置、検出方法、学習方法及びプログラム |
JP6482195B2 (ja) * | 2014-07-02 | 2019-03-13 | キヤノン株式会社 | 画像認識装置、画像認識方法及びプログラム |
US10176382B1 (en) * | 2015-10-01 | 2019-01-08 | Hrl Laboratories, Llc | Method and apparatus for sparse associative recognition and recall for visual media reasoning |
-
2018
- 2018-07-02 JP JP2018126359A patent/JP6812387B2/ja active Active
-
2019
- 2019-06-28 US US16/456,890 patent/US11144797B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020008899A (ja) | 2020-01-16 |
US11144797B2 (en) | 2021-10-12 |
US20200005101A1 (en) | 2020-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102457681B (zh) | 图像处理设备和图像处理方法 | |
JP6931369B2 (ja) | 画像処理装置および画像処理方法、ならびに撮像装置 | |
JP5247076B2 (ja) | 画像追尾装置、焦点調節装置および撮像装置 | |
JP4894661B2 (ja) | 撮像装置 | |
JP2006211139A (ja) | 撮像装置 | |
JP6812387B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
JP2007081682A (ja) | 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム | |
JP6742173B2 (ja) | 焦点調節装置及び方法、及び撮像装置 | |
JP2001116985A (ja) | 被写体認識機能を有するカメラおよび被写体認識方法 | |
JP2006093860A (ja) | 2眼撮像系を搭載したカメラ | |
JP5056136B2 (ja) | 画像追尾装置 | |
JP5403111B2 (ja) | 画像追尾装置 | |
JP6463402B2 (ja) | 焦点調節装置および方法、および撮像装置 | |
US10896350B2 (en) | Image processing apparatus, image processing method, and image capture apparatus | |
US9094581B2 (en) | Imaging device and distance information detecting method | |
JP4786734B2 (ja) | カメラ | |
JP5256847B2 (ja) | 撮像装置 | |
JP5359150B2 (ja) | 撮像装置 | |
JP4985155B2 (ja) | 焦点調節装置および撮像装置 | |
JP5018932B2 (ja) | 撮像装置 | |
JP4391637B2 (ja) | カメラ | |
US20240236472A1 (en) | Image capturing apparatus, control method thereof, and storage medium | |
US20230209188A1 (en) | Image processing apparatus, image processing method, and image capture apparatus | |
US20240244321A1 (en) | Focus prediction apparatus, image capturing apparatus, focus prediction method, and storage medium | |
US20240127476A1 (en) | Object determining apparatus, image pickup apparatus, and object determining method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190628 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201216 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6812387 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |