JP5513490B2 - 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法 - Google Patents
物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法 Download PDFInfo
- Publication number
- JP5513490B2 JP5513490B2 JP2011508259A JP2011508259A JP5513490B2 JP 5513490 B2 JP5513490 B2 JP 5513490B2 JP 2011508259 A JP2011508259 A JP 2011508259A JP 2011508259 A JP2011508259 A JP 2011508259A JP 5513490 B2 JP5513490 B2 JP 5513490B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- reduction
- object detection
- original image
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
- G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
特許文献1に記載の画像処理装置の一部を構成する顔検出部1001は、画像RAM(Random Access Memory)1002からバス1003を介して原画像データG0を取得し、解像度変換部1015により原画像データG0から縮小率の異なる複数種類の縮小画像データG1,G2,・・・,G7を生成して、内部の画像メモリ1021に記憶するとともに、バス1003を介して画像RAM1002に格納する。ここで、顔検出コア1007が画像メモリ1021に記憶された縮小画像データG1,G2,・・・,G7に対してテンプレートマッチング処理を行う。
また、本構成は、原画像データ取得手段が取得した原画像データに対して、画像縮小手段が任意の縮小率で縮小処理を行い得られた縮小画像データを第2の記憶手段に記憶した後に、物体検出手段が、第2の記憶手段に記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、画像縮小手段が、第2の記憶手段に記憶された縮小画像データに対して所定の縮小率で縮小処理を行い得られた縮小画像データを第1の記憶手段に記憶した後に、第2の記憶手段が、自らに記憶された縮小画像データを消去することを特徴とするものであってもよい。
この構成によれば、原画像データの画質に応じて相対縮小率閾値を変更する閾値可変手段を備えることにより、原画像の画質に応じて、相対縮小率閾値を適切な値に変更することができるので、物体の検出精度を向上させることができる。
また、本構成は、外部メモリに記憶された原画像データを取得し原画像データの全体の中から動く物体が映っている所定のサイズの領域を検出する動き検出回路と、画像処理回路から入力される制御信号に基づいて動き検出回路を制御するプロセッサと、動き検出回路により検出された動く物体が映っている所定のサイズの領域に対して当該物体が映っている位置を更に細かく検出する課題を解決する手段で説明した物体検出処理装置と、画像処理回路、画像出力回路、動き検出回路、プロセッサおよび物体検出処理装置それぞれと画像メモリとの間で前記画像データを転送するバスとを備えることを特徴とする物体検出処理用集積回路であってもよい。
また、本構成は、カメラと、カメラで撮像した画像を表示する画像表示装置と、カメラから入力される原画像データに対して画像処理を行う画像処理装置と、画像処理装置から出力される画像データを記憶する画像メモリと、画像メモリに記憶された原画像データを画像表示装置に表示させるように画像表示装置を制御する画像表示制御装置と、画像メモリに記憶された原画像データを取得し原画像データの全体の中から動く物体が映っている所定のサイズの領域を検出する動き検出装置と、画像処理装置から入力される制御信号に基づいて前記動き検出装置を制御するプロセッサと、動き検出装置により検出された動く物体が映っている所定のサイズの領域に対して当該物体が映っている位置を更に細かく検出する課題を解決する手段で説明した物体検出処理装置と、画像処理装置、画像表示制御装置、動き検出装置およびプロセッサおよび物体検出処理装置それぞれと画像メモリとの間で画像データを転送するバスとを備えることを特徴とする物体検出機能付カメラであってもよい。
また、本構成は、外部メモリからバスを介して原画像データを取得するデータ取得ステップと、データ取得ステップで取得された原画像データに対して縮小処理を行うことにより互いに縮小率の異なる複数種類の縮小画像データを生成する画像縮小ステップと、複数種類の縮小画像データに対して物体のテンプレートを使用したマッチング処理を行うことにより、複数種類の縮小画像データそれぞれの中に物体が映っている位置を検出する物体検出ステップとにより構成されることを特徴とする物体検出処理方法であってもよい。
以下、本発明に係る物体検出装置1を含む物体検出システムについて説明する。
<1>構成
本実施の形態に係る物体検出装置1は、図1に示すように、カメラ10と、LCD(Liquid Crystal Display)12と、画像処理回路9と、LCD制御回路11と、動き検出回路5と、プロセッサ6とともに、物体検出システムを構成する。そして、物体検出処理装置1は、動き検出回路5により検出された動く物体が映っている所定のサイズの領域に対して当該物体が映っている位置を更に細かく検出する。
また、物体検出システムでは、画像処理回路9、LCD制御回路11、動き検出回路5、プロセッサ6、物体検出装置1および画像メモリ2が互いに原画像データを転送するために使用するメモリバス3と、画像処理回路9、LCD制御回路11、動き検出回路5、物体検出回路1およびプロセッサ6が互いに各種信号の送受信を行うために使用するプロセッサバス4とが設けられている。
また、物体検出システムは、ユーザが物体検出システムを作動させたり、停止させたりする際に操作する操作部(図示せず)を備えた物体検出システム制御装置(図示せず)を備えている。
動き検出回路5は、画像メモリ2に記憶された原画像データを取得し原画像データの全体の中から動く物体が映っている所定のサイズの領域を検出する。
式(1)
横方向のピクセル数
=(QVGA解像度における横方向のピクセル数)×(1/1.22)n
縦方向のピクセル数
=(QVGA解像度における縦方向のピクセル数)×(1/1.22)n
ここで、nは縮小率を反映する値であり、nの値が大きいほど縮小率が高くなる。以下の実施の形態の説明では、nの値をQVGA解像度の画像データに対して、前記縮小処理を行って得られる画像データを示す識別する値として説明し、nの値を縮小IDとして用いる。つまり、縮小IDの値が大きい画像データほど縮小率が高い。例えば、図3の例で言えば、縮小IDが1の画像データの解像度は、QVGA解像度の1.22分の1、即ち、82%の解像度(横262ピクセル×縦196ピクセル)となる。また、縮小IDが2の画像データの解像度は、QVGA解像度の67%の解像度(横214ピクセル×縦160ピクセル)となる。
また、絶対縮小率閾値は、テンプレートサイズにより決定することができる。物体検出手段7が、テンプレートマッチング処理に用いるテンプレートの大きさを横24ピクセル×縦24ピクセルとすると、縮小画像データの縮小IDが11を超えると(縮小画像データの解像度が横33ピクセル×縦25ピクセルよりも小さくなると)、縮小画像データのサイズがテンプレートのサイズよりも小さくなるので、テンプレートマッチング処理ができなくなる。従って、縮小画像データの最小の解像度は、QVGA解像度の原画像データに対する縮小率が(1/1.22)11である横33ピクセル×縦25ピクセルとなる。
物体検出システム制御装置は、適宜操作釦が配置された操作部(図示せず)と、操作部に接続され操作部で行われる操作内容に基づいてプロセッサバス4に操作内容情報を出力する制御回路(図示せず)とから構成される。
<2>動作
<2−1>物体検出システム全体の動作
次に、本実施の形態に係る物体検出システム全体の動作について説明する。
まず、カメラ10から出力される原画像データは、画像処理回路9に入力され画像処理が行われる(ステップS1)。
<2−2>物体検出処理での動作
本実施の形態の物体検出処理で行われる動作を図6に示すフローチャートに従って説明する。以下、原画像データが、QVGA解像度(横320ピクセル×縦240ピクセル)を有するものであり、テンプレートTPのサイズが横24ピクセル×縦24ピクセルであるとし、相対縮小率閾値が、0.55(=(1/1.22)3)、絶対縮小率閾値が、0.11(=(1/1.22)11)に設定されているものとして説明する。
ステップS46において、画像縮小制御手段22が、原画像データの全部に対して縮小処理を完了していないと判断すると(ステップS46:No)、図7に示すように、再び、原画像データ取得手段16が、画像メモリ2に記憶されている原画像データの一部を切り出して(ステップS41)、そのまま第2の記憶手段21の第1の記憶領域18に記憶する(ステップ42)。
ステップS423において、画像縮小制御手段22が、縮小画像データの全部に対して縮小処理を完了していないと判定すると(ステップS423:No)、再び、原画像データ取得手段16が、原画像データの一部を画像メモリ2から取得し(ステップS417)、フィルタ演算回路15が、原画像データの一部に対して、ステップS48またはステップS413からステップS417に移行したときの絶対縮小率に等しい縮小率1×(1/1.22)4で縮小処理を行い、原画像データの一部に対する縮小画像データを生成し(ステップS418)、第2の記憶手段21の第1の記憶領域18に記憶する(ステップS419)。
また、実施の形態において、フィルタ演算回路15による縮小処理における縮小率は、式(1)で表される縮小率に限定されるものではない。
<実施の形態2>
以下、本発明に係る物体検出装置1を用いた物体検出システムについて説明する。
本実施の形態に係る物体検出システムは、図1と同様であり、物体検出装置1の構成のみが相違する。従って、図1と同様の構成については同一の符号を付して説明を省略する。
第2の記憶手段21は、第1の記憶領域18と第2の記憶領域20とを有する。第1の記憶領域18は、水平方向の長さが原画像の水平方向の長さに一致し、垂直方向の長さがテンプレートTPの縦方向の長さと一致する画像の画像データの大きさに等しい記憶容量を有する。また、第2の記憶領域20は、水平方向の長さが原画像データ全体に対して2回だけ縮小処理を繰り返し行った場合に得られる縮小画像データから構成される縮小画像の水平方向の長さに一致し、垂直方向の長さが当該縮小画像の垂直方向の長さからテンプレートTPの縦方向の長さを差し引いた長さに一致する画像の画像データの大きさに等しい記憶容量を有する。
画像縮小制御手段22は、繰り返し縮小回数および累積縮小処理回数に基づいてフィルタ演算回路15に縮小処理を続行させるか否かを判断する。また、画像縮小制御手段22は、繰り返し縮小回数に対する所定の閾値(以下、繰り返し回数閾値と称す。)を保持しており、縮小処理回数計数手段24から入力される繰り返し縮小回数と繰り返し回数閾値とを比較して、繰り返し縮小回数が繰り返し回数閾値(繰り返し閾値)を超えていると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、原画像データ取得手段16に対して、画像メモリ2から原画像データの一部を取得するように指示する。また、画像縮小制御手段22は、トラフィック量に対する所定の閾値(以下、トラフィック量閾値と称す。)を保持しており、トラフィック監視手段25から入力されるトラフィック量とトラフィック量閾値とを比較して、トラフィック量がトラフィック量閾値以下であると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、原画像データ取得手段16に対して、画像メモリ2から原画像データの一部を取得するように指示する。更に、画像縮小制御手段22は、原画像データに対する縮小画像データの絶対的な縮小率(以下、絶対縮小率と称す。)に対する閾値(以下、絶対縮小率閾値と称す。)を保持しており、縮小率算出手段23から入力される絶対縮小率と絶対縮小率閾値とを比較して、絶対縮小率が絶対縮小率閾値を下回っていると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、物体検出処理が完了したことをプロセッサ6に通知する物体検出完了通知信号をプロセッサバス4に出力する。
<2>動作
次に、本実施の形態に係る物体検出システムの動作は、実施の形態1と同様であり、物体検出処理における動作のみが相違するについて説明する。なお、本実施の形態に係る物体検出システム全体の動作は、実施の形態1と同様なので説明を省略する。
以下、繰り返し回数閾値が、3回に設定され、絶対縮小率閾値が、0.11(=(1/1.22)11)に設定されている場合について説明する。
ステップS46において、画像縮小制御手段22が、原画像データの全部に対して縮小処理を完了していないと判定すると(ステップS46:No)、図7に示すように、再び、原画像データ取得手段16が、画像メモリ2に記憶されている原画像データの一部を切り出して取得し(ステップS41)、そのまま第2の記憶手段21の第1の記憶領域18に記憶する(ステップ42)。
ステップS425において、画像縮小制御手段22が、縮小画像データの全部に対して縮小処理を完了していないと判定すると(ステップS425:No)、再び、原画像データ取得手段16が、原画像データの一部を画像メモリ2から取得し(ステップS419)、フィルタ演算回路15が、原画像データの一部に対して、ステップS48またはステップS414からステップS419に移行したときの累積縮小処理回数4に等しい回数だけ縮小処理を行った場合の縮小率1×(1/1.22)4で縮小処理を行い、原画像データの一部に対する縮小画像データを生成し(ステップS420)、第2の記憶手段21の第1の記憶領域18に記憶する(ステップS421)。
<実施の形態3>
以下、本発明に係る物体検出装置1を用いた物体検出システムについて説明する。
本実施の形態に係る物体検出システムは、図1と同様であり、第2の記憶手段21の構成のみが相違する。従って、図1と同様の構成については同一の符号を付して説明を省略する。
ここで、画像縮小制御手段22は、第1の記憶領域19に記憶された縮小画像データに対して1回だけ縮小処理を行って生成され、第2の記憶手段21に記憶されている縮小画像データに対してテンプレートマッチング処理が完了すると、フィルタ演算回路15に縮小処理を中止させるとともに、原画像データ取得手段16に対して、画像メモリ2から原画像データの一部を取得するように指示する。つまり、画像縮小制御手段22は、累積縮小処理回数が2回に達したとき、或いは、累積縮小処理回数が3回以上の場合、繰り返し縮小回数が3回に達したときに、フィルタ演算回路15に縮小処理を中止させるとともに、原画像データ取得手段16に対して、画像メモリ2から原画像データの一部を取得するように指示する。また、画像縮小制御手段22は、原画像データに対する縮小画像データの絶対的な縮小率(以下、絶対縮小率と称す。)に対する閾値(以下、絶対縮小率閾値と称す。)を保持しており、縮小率算出手段26から入力される絶対縮小率と絶対縮小率閾値とを比較して、絶対縮小率が絶対縮小率閾値を下回っていると判断すると、フィルタ演算回路15に縮小処理を中止させる。ここで、原画像データの全てに対して、物体検出処理が完了している場合には、物体検出処理が完了したことをプロセッサ6に通知する物体検出完了通知信号をプロセッサバス4に出力する。
<2>動作
次に、本実施の形態に係る物体検出システムの動作は、実施の形態1と同様であり、物体検出処理における動作のみが相違するについて説明する。なお、本実施の形態に係る物体検出システム全体の動作は、実施の形態1と同様なので説明を省略する。
以下、絶対縮小率閾値が、0.11(=(1/1.22)11)に設定されている場合について説明する。
ステップS46において、画像縮小制御手段22が、絶対縮小率が絶対縮小率閾値0.11を下回っていると判断すると(ステップS46:Yes)、後述のステップS419に移行する。
次に、原画像データ取得手段16が、画像メモリ2から原画像データの一部を取得する(ステップS413)。ここで、原画像データ取得手段16は、図16に示すように、2つの画像データdata0,data1を切り出して取得する。
ステップS419において、画像縮小制御手段22が、原画像データの全てに対して処理を完了したと判断すると(ステップS419:Yes)、描画処理を行う(ステップS5)。
<変形例>
(1)前述の実施の形態1では、第2の記憶手段21の第1の記憶領域18に記憶された縮小画像データに対する相対縮小率を出力する縮小率算出手段23を備えて、画像縮小制御手段22が、相対縮小率閾値を保持しており、縮小率算出手段23から入力される相対縮小率と相対縮小率閾値とを比較して、相対縮小率が相対縮小率閾値を超えていると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、原画像データ取得手段16に、画像メモリ2から原画像データの一部を取得させるようにする例について説明したが、これに限定されるものではなく、例えば、前述の実施の形態2と同様に、縮小率算出手段22の代わりに縮小処理回数計数手段24を備えて、画像縮小制御手段22は、繰り返し回数閾値を保持しており、縮小処理回数計数手段24から入力される繰り返し縮小回数と繰り返し回数閾値とを比較して、繰り返し縮小回数が繰り返し回数閾値を超えていると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、原画像データ取得手段16に画像メモリ2から原画像データの一部を取得させるものであってもよい。
(2)前述の実施の形態2では、第1の記憶手段19に記憶された縮小画像データに対してフィルタ演算回路15により行われた縮小処理の繰り返し回数を計数する縮小処理回数計数手段24を備えて、画像縮小制御手段22は、繰り返し回数閾値を保持しており、縮小処理回数計数手段24から入力される繰り返し縮小回数と繰り返し回数閾値とを比較して、繰り返し縮小回数が繰り返し回数閾値を超えていると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、原画像データ取得手段16に画像メモリ2から原画像データの一部を取得させる例について説明したが、これに限定されるものではなく、例えば、実施の形態1と同様に、縮小処理回数計数手段24の代わりに第2の記憶手段21の第1の記憶領域18に記憶された縮小画像データに対する相対縮小率として出力する縮小率算出手段23を備えて、画像縮小制御手段22が、相対縮小率閾値を保持しており、縮小率算出手段23から入力される相対縮小率と相対縮小率閾値とを比較して、相対縮小率が相対縮小率閾値を超えていると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、原画像データ取得手段16に、画像メモリ2から原画像データの一部を取得させるようにしてもよい。
(3)前述の実施の形態2では、画像縮小制御手段22が、絶対縮小率閾値を保持しており、縮小率算出手段23から入力される絶対縮小率と絶対縮小率閾値とを比較して、絶対縮小率が絶対縮小率閾値を下回っていると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、物体検出処理が完了したことをプロセッサ6に通知する物体検出完了通知信号をプロセッサバス4に出力する例について説明したが、これに限定されるものではなく、例えば、縮小率算出手段26を設けずに、縮小処理回数計数手段23から繰り返し縮小回数の累積加算値(以下、累積回数と称す。)を画像縮小制御手段22に出力するようにし、画像縮小制御手段22が、累積縮小処理回数に対する所定の閾値(以下、累積回数閾値と称す。)を保持しており、縮小処理回数計数手段23から入力される累積回数と累積回数閾値とを比較して、累積回数が累積回数閾値を超えていると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、物体検出処理が完了したことをプロセッサ6に通知する物体検出完了通知信号をプロセッサバス4に出力するようにしてもよい。
(4)前述の実施の形態1乃至3では、例えば、画像縮小制御手段22が、原画像データのコントラストや明るさといった画質に応じて相対縮小率閾値を変更する閾値可変手段(図示せず)を備えるものであってもよい。
(5)前述の実施の形態1乃至3では、図4に示すように、縮小画像生成手段8が、11段階の解像度の異なる縮小画像データを生成する例について説明したが、これに限定されるものではなく、例えば、図17に示すように、縮小画像生成手段8が、横方向のピクセル数および縦方向のピクセル数が、式(2)で表される解像度に縮小するようにしてもよい。
式(2)
横方向のピクセル数
=(QVGA解像度における横方向のピクセル数)×(1/1.11)n
縦方向のピクセル数
=(QVGA解像度における縦方向のピクセル数)×(1/1.11)n
本変形例では、図17に示すように、22段階の解像度の異なる縮小画像データを生成し、各縮小画像データに対してテンプレートマッチング処理を行うことで、原画像に含まれる特定物体をより高い精度で検出することができる。
(6)また、実施の形態1乃至3の物体検出装置1を備え、被写体に合わせて物体検出機能の切り替えが可能な物体検出機能付きカメラであってもよい。
(7)また、実施の形態3では、まず、原画像データ取得手段16が画像メモリ2から原画像データの一部を取得し、当該原画像データの一部をそのまま第2の記憶手段21に格納する例について説明したが、これに限定されるものではなく、原画像データ取得手段16が取得した原画像データをフィルタ演算回路15が所定の縮小率で縮小してなる縮小画像データを第2の記憶手段21に格納するものであってもよい。しかして、原画像データに対してテンプレートマッチング処理を行う必要がない場合における物体検出手段7の処理負担を軽減することができる。
(8)また、実施の形態1乃至3では、外部メモリに記憶された前記画像データを取得し前記画像データの全体の中から動く特定物体が映っている所定のサイズの領域を検出する動き検出回路と、画像処理回路から入力される制御信号に基づいて前記動き検出回路を制御するプロセッサと、動き検出回路により検出された動く特定物体が映っている所定のサイズの領域に対して当該物体が映っている位置を更に細かく検出する物体検出装置1と同様の機能を有する回路と、画像処理回路、画像出力回路、動き検出回路、プロセッサおよび請求項1記載の物体検出装置それぞれと画像メモリとの間で前記画像データを転送するバスとを備えることを特徴とする物体検出処理用集積回路であってもよい。
<補足>
変形例(4)で説明したLSIは、集積度の違いにより、IC(Integrated Circuit)、システムLSI、VLSI(Very Large Scale Integration)、SLSI(Super Large Scale Integration)、ULSI(Ultra Large Scale Integration)などと呼称されることもある。
2 画像メモリ(外部メモリ)
3 メモリバス
4 プロセッサバス
5 動き検出回路
6 プロセッサ
7 物体検出回路
8 縮小画像生成手段
10 カメラ
11 LCD制御回路
13 物体検出情報記憶手段
14 物体枠表示回路
16 原画像データ取得手段
18 第1の記憶領域
19 第1の記憶手段
20 第2の記憶領域
21 第2の記憶手段
22 画像縮小制御手段
Claims (15)
- 外部メモリおよび他の装置とバスを共有する物体検出装置であって、
外部メモリからバスを介して原画像データを取得するデータ取得手段と、
取得した原画像データまたは原画像データから生成した縮小画像を記憶する記憶手段と、
原画像データから互いに縮小率の異なる複数種類の縮小画像データを生成する画像縮小手段と、
複数種類の縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い特定物体の位置を検出する物体検出手段とを備え、
前記記憶手段は、第1の記憶手段および第2の記憶手段から構成され、
前記物体検出手段が、前記第1の記憶手段に記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、
前記画像縮小手段が、第1の記憶手段に記憶された縮小画像データに対して所定の縮小率で縮小処理を行うことにより生成した縮小画像データを第2の記憶手段に記憶すると、
前記第1の記憶手段が、自らに記憶された縮小画像データを消去し、
前記物体検出手段が、前記第2の記憶手段に記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、
前記画像縮小手段が、前記第2の記憶手段に記憶された縮小画像データに対して前記所定の縮小率で縮小処理を行うことにより生成した縮小画像データを前記第1の記憶手段に記憶すると、
前記第2の記憶手段が自らに記憶された縮小画像データを消去する
ことを特徴とする物体検出装置。 - 原画像データまたは前記縮小画像データからなる基準画像データに対して、前記画像縮小手段により所定の縮小率で縮小処理を繰り返すことにより生成される縮小画像データの前記基準画像データに対する相対的な縮小率である相対縮小率を算出する縮小率算出手段と、
前記画像縮小手段により生成された前記縮小画像データの相対縮小率に対する閾値である相対縮小率閾値を保持し、前記縮小率算出手段により算出される前記相対縮小率が前記相対縮小率閾値を下回ったときに、前記データ取得手段に対して、外部メモリから原画像データを取得させる画像縮小制御手段と
を備えることを特徴とする請求項1記載の物体検出装置。 - 前記データ取得手段が取得した原画像データを第2の記憶手段に記憶した後に、
前記物体検出手段が、前記第2の記憶手段に記憶された原画像データに対して物体のテンプレートを使用したマッチング処理を行い、
前記画像縮小手段が、第2の記憶手段に記憶された原画像データに対して所定の縮小率で縮小処理を行い得られた縮小画像データを第1の記憶手段に記憶した後に、
前記第2の記憶手段が、自らに記憶された原画像データを消去する
ことを特徴とする請求項2記載の物体検出装置。 - 前記データ取得手段が取得した原画像データに対して、前記画像縮小手段が任意の縮小率で縮小処理を行い得られた縮小画像データを第2の記憶手段に記憶した後に、
前記物体検出手段が、前記第2の記憶手段に記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、
前記画像縮小手段が、第2の記憶手段に記憶された縮小画像データに対して所定の縮小率で縮小処理を行い得られた縮小画像データを第1の記憶手段に記憶した後に、
前記第2の記憶手段が、自らに記憶された縮小画像データを消去する
ことを特徴とする請求項2記載の物体検出装置。 - 原画像データまたは縮小画像データからなる基準画像データに対して、前記画像縮小手段により行われた縮小処理の繰り返し回数を計数する縮小処理回数計数手段と、
前記縮小処理の繰り返し回数に対する繰り返し閾値を保持し、前記縮小処理の繰り返し回数が当該繰り返し閾値を超えると、前記データ取得手段に、外部メモリから原画像データを取得させる画像縮小制御手段と
を備えることを特徴とする請求項1記載の物体検出装置。 - 原画像データの画質に応じて前記相対縮小率閾値を変更する閾値可変手段
を備えることを特徴とする請求項3記載の物体検出装置。 - 前記バスのバストラフィックを監視するバストラフィック監視手段を備え、
前記画像縮小制御手段は、前記バストラフィック監視手段により検出されたバスのトラフィックが所定の大きさ以下になったときに、前記データ取得手段に、外部メモリから原画像データを取得させる
ことを特徴とする請求項3記載の物体検出装置。 - 前記縮小率算出手段が、原画像データに対する縮小画像データの絶対的な縮小率である絶対縮小率を算出し、
前記画像縮小制御手段が、前記絶対縮小率に対する閾値である絶対縮小率閾値を保持し、前記絶対縮小率が前記絶対縮小率閾値を下回ったときに、前記画像縮小手段の前記縮小処理を停止させる
ことを特徴とする請求項3記載の物体検出装置。 - 前記第1の記憶手段は、原画像データに対して1回だけ縮小処理が行われることにより生成された縮小画像データの大きさに等しい記憶容量を有し、
前記第2の記憶手段は、
水平方向の長さが原画像の水平方向の長さに一致し且つ垂直方向の長さが前記テンプレートの縦方向長さと一致する画像の画像データの大きさに等しい記憶容量を有する第1の記憶領域と、
水平方向の長さが前記第2の記憶手段に記憶された原画像データに対して1回だけ縮小処理が行われることにより生成された縮小画像データに対して更に1回だけ縮小処理が行われることにより生成された縮小画像データから構成される縮小画像の水平方向の長さに一致し且つ垂直方向の長さが当該縮小画像の垂直方向の長さから前記テンプレートの縦方向の長さを差し引いた長さに一致する画像の画像データの大きさに等しい記憶容量を有する第2の記憶領域とからなる
ことを特徴とする請求項8記載の物体検出装置。 - 前記記憶手段は、第1の記憶手段と、第1の記憶領域、第2の記憶領域および第3の記憶領域よりなる第2の記憶手段とから構成され、
前記データ取得手段が取得した原画像の一部を構成する第1の領域および第2の領域を表す2つの画像データのうち前記第1の領域を表す画像データを前記第1の記憶領域に記憶し、前記第2の領域を表す画像データを前記第2の記憶領域に記憶し、当該第2の記憶領域に記憶された前記第2の領域を表す画像データと同一の画像データを前記第3の記憶領域に記憶した後に、前記物体検出手段が、前記第1の記憶領域に記憶された前記第1の領域を表す画像データおよび前記第2の記憶領域に記憶された前記第2の領域を表す画像データに対して物体のテンプレートを使用したマッチング処理を行い、
前記画像縮小手段が、前記第1の記憶領域および前記第2の記憶領域に記憶された画像データに対して所定の縮小率で縮小処理を行い得られた縮小画像データを第1の記憶手段に記憶した後に、
前記第2の記憶手段が、前記第1の記憶領域および前記第2の記憶領域に記憶された画像データのみを消去し、
前記物体検出手段が、前記第1の記憶手段に記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、
前記画像縮小手段が、前記第1の記憶手段に記憶された縮小画像データに対して所定の縮小率で縮小処理を行い得られた縮小画像データを第2の記憶手段の前記第1の記憶領域および前記第2の記憶領域に記憶した後に、前記物体検出手段が、前記第1の記憶領域および前記第2の記憶領域に記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、
前記第2の記憶手段が、前記第1の記憶領域および前記第2の記憶領域に記憶された縮小画像データのみを消去し、
前記データ取得手段により取得された原画像の一部を構成する前記第1の領域および前記第2の領域以外の第3の領域を表す画像データを前記第1の領域に記憶し、当該第1の記憶領域に記憶された前記第3の領域を表す画像データと同一の画像データを前記第2の記憶領域に記憶する
ことを特徴とする請求項2記載の物体検出装置。 - 前記第1の記憶手段は、水平方向の長さが原画像データに対して1回だけ縮小処理が行われることにより生成された縮小画像データから構成される縮小画像の水平方向の長さに一致し且つ垂直方向の長さが前記テンプレートの縦方向長さの2倍の長さと一致する画像の画像データの大きさに等しい記憶容量を有する記憶容量を有し、
前記第2の記憶手段は、水平方向の長さが原画像の水平方向の長さに一致し且つ垂直方向の長さが前記テンプレートの縦方向長さと一致する画像の画像データの大きさに等しい記憶容量を有する第1の記憶領域、第2の記憶領域および第3の記憶領域よりなる
ことを特徴とする請求項10記載の物体検出装置。 - 外部から入力される原画像データに対して所定の画像処理を行う画像処理装置と、
前記画像処理装置から出力される原画像データを記憶する画像メモリと、
前記画像メモリに記憶された原画像データを取得し原画像の中における動く特定物体が映っている領域を検出する動き検出装置と、
前記画像処理装置から入力される制御信号に基づいて前記動き検出回路を制御するプロセッサと、
前記動き検出回路により検出された領域に対して特定物体の位置を更に細かく検出する請求項1記載の物体検出装置と、
前記画像処理装置、前記動き検出装置、前記プロセッサおよび請求項1記載の物体検出装置それぞれと前記画像メモリとの間で前記原画像データを転送するバスと
を備えることを特徴とする物体検出システム。 - 外部から入力される原画像データに対して所定の画像処理を行う画像処理回路と、
前記画像処理回路から出力される原画像データを記憶する画像メモリと、
前記画像メモリに記憶された原画像データを取得し原画像の中における動く特定物体が映っている領域を検出する動き検出回路と、
前記画像処理回路から入力される制御信号に基づいて前記動き検出回路を制御するプロセッサと、
前記動き検出回路により検出された領域に対して特定物体の位置を更に細かく検出する請求項1記載の物体検出装置と、
前記画像処理回路、前記動き検出回路、前記プロセッサおよび請求項1記載の物体検出装置それぞれと前記画像メモリとの間で前記原画像データを転送するバスと
を備えることを特徴とする物体検出処理用集積回路。 - カメラと、
前記カメラで撮像した画像を表示する画像表示装置と、
前記カメラから入力される画像データに対して所定の画像処理を行う画像処理装置と、
前記画像処理装置から出力される画像データを記憶する画像メモリと、
前記画像メモリに記憶された前記画像データを前記画像表示装置に表示させるように画像表示装置を制御する画像表示制御装置と、
前記画像メモリに記憶された前記画像データを取得し前記画像の中における動く特定物体が映っている領域を検出する動き検出装置と、
前記画像処理装置から入力される制御信号に基づいて前記動き検出装置を制御するプロセッサと、
前記動き検出装置により検出された領域に対して特定物体の位置を更に細かく検出する請求項1記載の物体検出装置と、
前記画像処理装置、前記画像表示制御装置、前記動き検出装置および前記プロセッサおよび請求項1記載の物体検出装置それぞれと前記画像メモリとの間で画像データを転送するバスと
を備えることを特徴とする物体検出機能付カメラ。 - 外部メモリおよび他の装置とバスを共有する物体検出装置が行う物体検出方法であって、
前記物体検出装置は、第1のメモリおよび第2のメモリから構成されるメモリを有し、
外部メモリからバスを介して原画像データを取得するデータ取得ステップと、
取得した原画像データまたは原画像データから生成した縮小画像を前記メモリに記憶させる記憶ステップと、
原画像データから互いに縮小率の異なる複数種類の縮小画像データを生成する画像縮小ステップと、
前記複数種類の縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い特定物体の位置を検出する物体検出ステップとを含み、
前記物体検出ステップは、前記第1のメモリに記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、
前記画像縮小ステップにおいて第1のメモリに記憶された縮小画像データに対して所定の縮小率で縮小処理を行うことにより生成された縮小画像データを、前記記憶ステップは第2のメモリに記憶して、前記第1のメモリに記憶された縮小画像データを消去し、
前記物体検出ステップは、前記第2のメモリに記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、
前記画像縮小ステップにおいて前記第2のメモリに記憶された縮小画像データに対して前記所定の縮小率で縮小処理を行うことにより生成された縮小画像データを、前記記憶ステップは前記第1のメモリに記憶して、前記第2のメモリに記憶された縮小画像データを消去する
ことを特徴とする物体検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011508259A JP5513490B2 (ja) | 2009-04-10 | 2010-04-09 | 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009095809 | 2009-04-10 | ||
JP2009095809 | 2009-04-10 | ||
PCT/JP2010/002612 WO2010116763A1 (ja) | 2009-04-10 | 2010-04-09 | 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法 |
JP2011508259A JP5513490B2 (ja) | 2009-04-10 | 2010-04-09 | 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2010116763A1 JPWO2010116763A1 (ja) | 2012-10-18 |
JP5513490B2 true JP5513490B2 (ja) | 2014-06-04 |
Family
ID=42936053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011508259A Expired - Fee Related JP5513490B2 (ja) | 2009-04-10 | 2010-04-09 | 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8508603B2 (ja) |
JP (1) | JP5513490B2 (ja) |
CN (1) | CN102057399A (ja) |
WO (1) | WO2010116763A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5739623B2 (ja) * | 2010-06-25 | 2015-06-24 | キヤノン株式会社 | 編集装置、およびプログラム |
JP5683367B2 (ja) * | 2011-04-20 | 2015-03-11 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、およびプログラム |
JP6000602B2 (ja) * | 2012-03-30 | 2016-09-28 | キヤノン株式会社 | 体検出方法及び物体検出装置 |
JP6548409B2 (ja) * | 2015-03-04 | 2019-07-24 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 |
JP6783732B2 (ja) * | 2017-09-15 | 2020-11-11 | 株式会社東芝 | 画像処理装置および画像処理方法 |
JP7268560B2 (ja) * | 2019-09-27 | 2023-05-08 | 富士通株式会社 | 石垣配置支援プログラム、石垣配置支援方法、及び、石垣配置支援装置 |
CN110866486B (zh) * | 2019-11-12 | 2022-06-10 | Oppo广东移动通信有限公司 | 主体检测方法和装置、电子设备、计算机可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09116828A (ja) * | 1995-10-16 | 1997-05-02 | Sanyo Electric Co Ltd | 縮小画像の書き込み/読み出し方法及び縮小画像処理回 路 |
JP2006031392A (ja) * | 2004-07-15 | 2006-02-02 | Nippon Telegr & Teleph Corp <Ntt> | テンプレート照合装置および方法 |
JP2007020029A (ja) * | 2005-07-11 | 2007-01-25 | Sony Corp | 画像処理装置および方法、プログラム並びに記録媒体 |
JP2008257321A (ja) * | 2007-04-02 | 2008-10-23 | Matsushita Electric Ind Co Ltd | 顔検出装置 |
WO2008129875A1 (ja) * | 2007-04-13 | 2008-10-30 | Panasonic Corporation | 検出装置、検出方法および検出用集積回路 |
JP2009059048A (ja) * | 2007-08-30 | 2009-03-19 | Casio Comput Co Ltd | 画像処理装置、撮像装置、画像処理方法、および、プログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020175997A1 (en) * | 2001-05-22 | 2002-11-28 | Matsushita Electric Industrial Co., Ltd. | Surveillance recording device and method |
CN1170232C (zh) | 2002-10-16 | 2004-10-06 | 西安交通大学 | 基于pci和视觉总线的可重构机器视觉*** |
JP2005173787A (ja) * | 2003-12-09 | 2005-06-30 | Fujitsu Ltd | 移動物体の検出・認識を行う画像処理装置 |
JP4570532B2 (ja) | 2005-08-02 | 2010-10-27 | パナソニック株式会社 | 動き検出装置、動き検出方法、集積回路およびプログラム |
JP4626493B2 (ja) | 2005-11-14 | 2011-02-09 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 |
US8306280B2 (en) * | 2006-04-11 | 2012-11-06 | Nikon Corporation | Electronic camera and image processing apparatus |
-
2010
- 2010-04-09 CN CN2010800017977A patent/CN102057399A/zh active Pending
- 2010-04-09 WO PCT/JP2010/002612 patent/WO2010116763A1/ja active Application Filing
- 2010-04-09 JP JP2011508259A patent/JP5513490B2/ja not_active Expired - Fee Related
- 2010-04-09 US US12/996,845 patent/US8508603B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09116828A (ja) * | 1995-10-16 | 1997-05-02 | Sanyo Electric Co Ltd | 縮小画像の書き込み/読み出し方法及び縮小画像処理回 路 |
JP2006031392A (ja) * | 2004-07-15 | 2006-02-02 | Nippon Telegr & Teleph Corp <Ntt> | テンプレート照合装置および方法 |
JP2007020029A (ja) * | 2005-07-11 | 2007-01-25 | Sony Corp | 画像処理装置および方法、プログラム並びに記録媒体 |
JP2008257321A (ja) * | 2007-04-02 | 2008-10-23 | Matsushita Electric Ind Co Ltd | 顔検出装置 |
WO2008129875A1 (ja) * | 2007-04-13 | 2008-10-30 | Panasonic Corporation | 検出装置、検出方法および検出用集積回路 |
JP2009059048A (ja) * | 2007-08-30 | 2009-03-19 | Casio Comput Co Ltd | 画像処理装置、撮像装置、画像処理方法、および、プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20110164149A1 (en) | 2011-07-07 |
CN102057399A (zh) | 2011-05-11 |
WO2010116763A1 (ja) | 2010-10-14 |
JPWO2010116763A1 (ja) | 2012-10-18 |
US8508603B2 (en) | 2013-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5513490B2 (ja) | 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法 | |
JP4902562B2 (ja) | 撮像装置、画像処理装置、制御方法およびプログラム | |
CN109068058B (zh) | 超级夜景模式下的拍摄控制方法、装置和电子设备 | |
KR101489048B1 (ko) | 촬상 장치, 화상 처리 방법 및 프로그램을 기록하기 위한 기록 매체 | |
US7764880B2 (en) | Pickup apparatus | |
CN109672819B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
JP5764740B2 (ja) | 撮像装置 | |
US20050012833A1 (en) | Image capturing apparatus | |
JP5950678B2 (ja) | 撮像装置、制御方法、及びプログラム | |
EP3044949A1 (en) | Image capturing apparatus and method of controlling the same | |
JP2008118387A (ja) | 撮像装置 | |
JP2016025515A (ja) | 撮像装置、撮像表示装置及びその制御方法 | |
WO2019124289A1 (ja) | 装置、制御方法および記憶媒体 | |
US20100245635A1 (en) | Method of generating hdr image and digital image pickup device using the same | |
US9986163B2 (en) | Digital photographing apparatus and digital photographing method | |
JP2017034726A (ja) | 撮影表示装置、撮影表示装置の制御方法 | |
CN113287295B (zh) | 摄像元件、摄像装置、摄像元件的工作方法及存储介质 | |
JP6565326B2 (ja) | 撮像表示装置及びその制御方法 | |
JP2008005438A (ja) | 撮像装置及び撮像方法 | |
JP2010192957A (ja) | 電子カメラ | |
JP7292961B2 (ja) | 撮像装置およびその制御方法 | |
KR20220075020A (ko) | 촬상 장치 및 그 제어 방법 | |
WO2019093090A1 (ja) | 画像処理装置、画像撮像装置、画像処理方法およびプログラム | |
JP2021019313A (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP6688086B2 (ja) | 撮像装置およびその制御方法ならびにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140327 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |