JP5513490B2 - 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法 - Google Patents

物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法 Download PDF

Info

Publication number
JP5513490B2
JP5513490B2 JP2011508259A JP2011508259A JP5513490B2 JP 5513490 B2 JP5513490 B2 JP 5513490B2 JP 2011508259 A JP2011508259 A JP 2011508259A JP 2011508259 A JP2011508259 A JP 2011508259A JP 5513490 B2 JP5513490 B2 JP 5513490B2
Authority
JP
Japan
Prior art keywords
image data
reduction
object detection
original image
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011508259A
Other languages
English (en)
Other versions
JPWO2010116763A1 (ja
Inventor
裕史 杉澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2011508259A priority Critical patent/JP5513490B2/ja
Publication of JPWO2010116763A1 publication Critical patent/JPWO2010116763A1/ja
Application granted granted Critical
Publication of JP5513490B2 publication Critical patent/JP5513490B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、画像データの中に含まれる特定の物体の検出に関するものである。
従来から、デジタルスチールカメラ、ビデオカメラ等の撮像装置では、撮像した画像の中から特定の被写体が撮影された領域を検出し、検出結果に基づいてカメラのピントを制御することが行われている。
ここで、撮像した画像の中における被写体の位置を検出する被写体検出方法であって、画像の中に大きさが異なる複数種類の被写体があっても、それらの位置を検出することができる被写体検出方法が提案されている。
この類の被写体検出方法を用いた装置として、例えば、図18に示すように、原画像データG0と、原画像データG0から生成した解像度が互いに異なる複数の縮小画像データG1,G2,・・・,G7に対して、被写体の特徴を反映したテンプレートTPを使用してマッチング処理(以下、テンプレートマッチング処理と称す)を行うことで、被写体が映っている領域を検索する画像処理装置(物体検出装置)が提案されている(特許文献1または特許文献2参照)。
図19に、特許文献1に記載の物体検出装置の構成を示すブロック図を示す。
特許文献1に記載の画像処理装置の一部を構成する顔検出部1001は、画像RAM(Random Access Memory)1002からバス1003を介して原画像データG0を取得し、解像度変換部1015により原画像データG0から縮小率の異なる複数種類の縮小画像データG1,G2,・・・,G7を生成して、内部の画像メモリ1021に記憶するとともに、バス1003を介して画像RAM1002に格納する。ここで、顔検出コア1007が画像メモリ1021に記憶された縮小画像データG1,G2,・・・,G7に対してテンプレートマッチング処理を行う。
また、特許文献2には、原画像データの解像度を変換して縮小画像データを生成する解像度変換回路と、縮小画像データに対してテンプレートマッチング処理を行うことにより顔検出を行う顔検出回路とを備え、解像度変換回路により生成される縮小画像データのすべてを解像度変換回路および顔検出回路の外部に設けれられた画像メモリに格納してなる顔検出装置(物体検出装置)の例が示されている。
特開2007−135115号公報 特開2008−257321号公報
ところで、近年の物体検出機能を有するデジタルスチールカメラやビデオカメラは、被写体の位置を検出する機能のみならず、他の機能も有しており、物体検出装置は、原画像データを、他の装置と共有するバスを介して画像メモリから取得するのが一般的となってきている。
従って、特許文献1に記載の物体検出装置では、他の装置が画像メモリからデータを取得するためにバスを占有すると、当該物体検出装置によるバスを介した原画像データの取得が制限され、当該物体検出装置の処理能力が低下してしまうおそれがあった。一方、当該物体検出装置が画像メモリから原画像データを取得するためにバスを占有すると、他の装置のバスを介したデータの取得が制限され、他の装置の処理能力が低下してしまうおそれがあった。
また、特許文献2に記載の物体検出装置においても、当該物体検出装置の一部を構成する解像度変換回路および顔検出回路が、画像メモリから他の装置と共有するバスを介して縮小画像データを取得する構成であれば、特許文献1に記載の物体検出装置と同様に、当該物体検出装置または他の装置の処理能力が低下してしまうおそれがあった。
本発明は上記事由に鑑みてなされたものであり、処理能力の低下を抑制できる物体検出装置を提供することを目的とする。
上記課題を解決するために、本発明に係る物体検出装置は、外部メモリおよび他の装置とバスを共有する物体検出装置であって、外部メモリからバスを介して原画像データを取得するデータ取得手段と、取得した原画像データおよび原画像データから生成した縮小画像を記憶する記憶手段と、原画像データから互いに縮小率の異なる複数種類の縮小画像データを生成する縮小処理手段と、複数種類の縮小画像データに対して物体のテンプレートを使用したマッチング処理を行うことにより、特定物体の位置を検出する物体検出手段とを備えることを特徴とする。
上記構成により、物体検出装置が、外部メモリからバスを介して原画像データを取得する頻度を低減することができるので、他の装置がバスを占有する確率が高くても、当該物体検出装置がバスを介して原画像データを取得することが制限されることによる当該物体検出装置の処理能力の低下を抑制することができる。また、物体検出装置が、外部メモリからバスを介して原画像データを取得するためにバスを占有する確率を低減することができるので、他の装置のバスを介したデータの取得が制限されることによる他の装置の処理能力の低下を抑制することができる。更に、外部メモリからバスを介して原画像データを取得する頻度を低減することができるので、外部メモリへのアクセス回数を低減することができるから、外部メモリでの消費電力を低減することができる。
また、本構成は、記憶手段は、第1の記憶手段および第2の記憶手段から構成され、物体検出手段が、第1の記憶手段に記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、画像縮小手段が、第1の記憶手段に記憶された縮小画像データに対して所定の縮小率で縮小処理を行うことにより生成した縮小画像データを第2の記憶手段に記憶すると、第1の記憶手段が、自らに記憶された縮小画像データを消去し、物体検出手段が、第2の記憶手段に記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、画像縮小手段が、第2の記憶手段に記憶された縮小画像データに対して所定の縮小率で縮小処理を行うことにより生成した縮小画像データを第1の記憶手段に記憶すると、第2の記憶手段が自らに記憶された縮小画像データを消去することを特徴とするものであってもよい。
この構成によれば、一度に第1の記憶手段および第2の記憶手段に記憶すべき原画像データまたは縮小画像データを低減することができるので、第1の記憶手段および第2の記憶手段の記憶容量を小さくすることができるから、第1の記憶手段および第2の記憶手段での消費電力を低減することができる。
また、本構成は、原画像データまたは縮小画像データからなる基準画像データに対して、画像縮小手段により所定の縮小率で縮小処理を繰り返すことにより生成される縮小画像データの基準画像データに対する相対的な縮小率である相対縮小率を算出する縮小率算出手段と、画像縮小手段により生成された縮小画像データの相対縮小率に対する閾値である相対縮小率閾値を保持し、縮小率算出手段により算出される相対縮小率が相対縮小率閾値を下回ったときに、原画像データ取得手段に対して、外部メモリから原画像データを取得させる画像縮小制御手段とを備えることを特徴とするものであってもよい。
この構成によれば、複数の縮小画像データを生成する場合において、外部メモリからバスを介して原画像データを取得する頻度を低減することができるので、他の装置がバスを占有する確率が高くても、当該物体検出装置がバスを介して原画像データを取得することが制限されることによる当該物体検出装置の処理能力の低下を抑制することができる。また、物体検出装置が、外部メモリからバスを介して原画像データを取得するためにバスを占有する確率を低減することができるので、他の装置のバスを介したデータの取得が制限されることによる他の装置の処理能力の低下を抑制することができる。更に、外部メモリからバスを介して原画像データを取得する頻度を低減することができるので、外部メモリへのアクセス回数を低減することができるから、外部メモリでの消費電力を低減することができる。
また、本構成は、原画像データ取得手段が取得した原画像データを第2の記憶手段に記憶した後に、物体検出手段が、第2の記憶手段に記憶された原画像データに対して物体のテンプレートを使用したマッチング処理を行い、画像縮小手段が、第2の記憶手段に記憶された原画像データに対して所定の縮小率で縮小処理を行い得られた縮小画像データを第1の記憶手段に記憶した後に、第2の記憶手段が、自らに記憶された原画像データを消去することを特徴とするものであってもよい。
この構成によれば、原画像データに対しても物体のテンプレートを使用したマッチング処理を行うことが可能となるので、検出対象となる物体の範囲を広げることができる。
また、本構成は、原画像データ取得手段が取得した原画像データに対して、画像縮小手段が任意の縮小率で縮小処理を行い得られた縮小画像データを第2の記憶手段に記憶した後に、物体検出手段が、第2の記憶手段に記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、画像縮小手段が、第2の記憶手段に記憶された縮小画像データに対して所定の縮小率で縮小処理を行い得られた縮小画像データを第1の記憶手段に記憶した後に、第2の記憶手段が、自らに記憶された縮小画像データを消去することを特徴とするものであってもよい。
この構成によれば、テンプレートを使用したマッチング処理を、原画像データから開始せずに、原画像データに対して任意の縮小率で縮小処理を行って得られた縮小画像データから開始することができるので、テンプレートを使用したマッチング処理の回数を低減することができるから、処理負荷を低減することができ、処理能力の向上を図ることができる。
また、本構成は、原画像データまたは縮小画像データからなる基準画像データに対して、画像縮小手段により行われた縮小処理の繰り返し回数を計数する縮小処理回数計数手段と、縮小処理の繰り返し回数に対する繰り返し回数閾値を保持し、縮小処理の繰り返し回数が当該繰り返し閾値を超えると、原画像データ取得手段に、外部メモリから原画像データを取得させる画像縮小制御手段とを備えることを特徴とするものであってもよい。
この構成によれば、複数の縮小画像データを生成する場合において、外部メモリからバスを介して原画像データを取得する頻度を低減することができるので、他の装置がバスを占有する確率が高くても、当該物体検出装置がバスを介して原画像データを取得することが制限されることによる当該物体検出装置の処理能力の低下を抑制することができる。また、物体検出装置が、外部メモリからバスを介して原画像データを取得するためにバスを占有する確率を低減することができるので、他の装置のバスを介したデータの取得が制限されることによる他の装置の処理能力の低下を抑制することができる。更に、外部メモリからバスを介して原画像データを取得する頻度を低減することができるので、外部メモリへのアクセス回数を低減することができるから、外部メモリでの消費電力を低減することができる。
また、本構成は、原画像データの画質に応じて相対縮小率閾値を変更する閾値可変手段を備えることを特徴とするものであってもよい。
この構成によれば、原画像データの画質に応じて相対縮小率閾値を変更する閾値可変手段を備えることにより、原画像の画質に応じて、相対縮小率閾値を適切な値に変更することができるので、物体の検出精度を向上させることができる。
また、本構成は、バスのバストラフィックを監視するバストラフィック監視手段を備え、画像縮小制御手段は、バストラフィック監視手段により検出されたバスのトラフィックが所定の大きさ以下になったときに、データ取得手段に、外部メモリから原画像データを取得させることを特徴とするものであってもよい。
この構成によれば、バストラフィック監視手段により検出されたバスのトラフィックに基づいて、バスのトラフィックが所定の大きさ以下になったときに、原画像データを取得することにより、原画像データから直接的に縮小画像データを生成する頻度を増やすことができるので、物体の検出精度を向上させることができる。
また、本構成は、前記縮小率算出手段が、原画像データに対する縮小画像データの絶対的な縮小率である絶対縮小率を算出し、画像縮小制御手段が、前記絶対縮小率に対する閾値である絶対縮小率閾値を保持し、絶対縮小率が前記絶対縮小率閾値を下回ったときに、前記縮小処理手段の前記縮小処理を停止させることを特徴とするものであってもよい。
この構成によれば、検出対象となる物体の範囲に応じて縮小処理の回数を最低限必要な回数とすることができるので、処理負荷を低減することができるから、処理能力を向上させることができる。
また、本構成は、第1の記憶手段が、原画像データに対して1回だけ縮小処理が行われることにより生成された縮小画像データの大きさに等しい記憶容量を有し、第2の記憶手段が、水平方向の長さが原画像の水平方向の長さに一致し且つ垂直方向の長さがテンプレートの縦方向長さと一致する画像の画像データの大きさに等しい記憶容量を有する第1の記憶領域と、水平方向の長さが第2の記憶手段に記憶された原画像データに対して1回だけ縮小処理が行われることにより生成された縮小画像データに対して更に1回だけ縮小処理が行われることにより生成された縮小画像データから構成される縮小画像の水平方向の長さに一致し且つ垂直方向の長さが当該縮小画像の垂直方向の長さからテンプレートの縦方向の長さを差し引いた長さに一致する画像の画像データの大きさに等しい記憶容量を有する第2の記憶領域とからなることを特徴とするものであってもよい。
この構成によれば、第1の記憶手段および第2の記憶手段の記憶容量を小さくすることができるので、第1の記憶手段および第2の記憶手段での消費電力の低減を図ることができる。
また、本構成は、記憶手段が、第1の記憶手段と、第1の記憶領域、第2の記憶領域および第3の記憶領域よりなる第2の記憶手段とから構成され、原画像データ取得手段が取得した原画像の一部を構成する第1の領域および第2の領域を表す2つの画像データのうち第1の領域を表す画像データを第1の記憶領域に記憶し、第2の領域を表す画像データを第2の記憶領域に記憶し、当該第2の記憶領域に記憶された第2の領域を表す画像データと同一の画像データを第3の記憶領域に記憶した後に、物体検出手段が、第1の記憶領域に記憶された第1の領域を表す画像データおよび第2の記憶領域に記憶された第2の領域を表す画像データに対して物体のテンプレートを使用したマッチング処理を行い、画像縮小手段が、第1の記憶領域および第2の記憶領域に記憶された画像データに対して所定の縮小率で縮小処理を行い得られた縮小画像データを第1の記憶手段に記憶した後に、第2の記憶手段が、第1の記憶領域および第2の記憶領域に記憶された画像データのみを消去し、物体検出手段が、第1の記憶手段に記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、画像縮小手段が、第1の記憶手段に記憶された縮小画像データに対して所定の縮小率で縮小処理を行い得られた縮小画像データを第2の記憶手段の第1の記憶領域および第2の記憶領域に記憶した後に、物体検出手段が、第1の記憶領域および第2の記憶領域に記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、第2の記憶手段が、第1の記憶領域および第2の記憶領域に記憶された縮小画像データのみを消去し、原画像データ取得手段により取得された原画像の一部を構成する第1の領域および第2の領域以外の第3の領域を表す画像データを第1の領域に記憶し、当該第1の記憶領域に記憶された第3の領域を表す画像データと同一の画像データを第2の記憶領域に記憶するものであってもよい。
この構成によれば、原画像データ取得手段が、一度に原画像データの一部だけを取得することを複数回繰り返すことにより、原画像データ全体についてテンプレートマッチング処理を行うものであって、当該原画像データ取得手段が各回で取得する原画像データの一部で表される領域が、互いに重複するので、原画像または縮小画像に対してテンプレートを1ピクセルずつずらしながらテンプレートマッチング処理を行うことが可能となるから、物体検出精度を向上させることができる。
また、本構成は、第1の記憶手段が、水平方向の長さが原画像データに対して1回だけ縮小処理が行われることにより生成された縮小画像データから構成される縮小画像の水平方向の長さに一致し且つ垂直方向の長さがテンプレートの縦方向長さの2倍の長さと一致する画像の画像データの大きさに等しい記憶容量を有する記憶容量を有し、第2の記憶手段が、水平方向の長さが原画像の水平方向の長さに一致し且つ垂直方向の長さが前記テンプレートの縦方向長さと一致する画像の画像データの大きさに等しい記憶容量を有する第1の記憶領域、第2の記憶領域および第3の記憶領域よりなることを特徴とするものであってもよい。
この構成によれば、第1の記憶手段および第2の記憶手段の記憶容量を更に小さくすることができるので、第1の記憶手段および第2の記憶手段での消費電力のより一層の低減を図ることができる。
また、本構成は、外部から入力される原画像データに対して所定の画像処理を行う画像処理装置と、画像処理装置から出力される原画像データを記憶する画像メモリと、画像メモリに記憶された原画像データを取得し原画像データの全体の中から動く物体が映っている所定のサイズの領域を検出する動き検出装置と、画像処理装置から入力される制御信号に基づいて動き検出回路を制御するプロセッサと、動き検出回路により検出された動く物体が映っている所定のサイズの領域に対して当該物体が映っている位置を更に細かく検出する課題を解決する手段で説明した物体検出処理装置と、画像処理装置、動き検出装置、プロセッサおよび物体検出処理装置それぞれと画像メモリとの間で前記原画像データを転送するバスとを備えることを特徴とする物体検出システムであってもよい。
この構成によれば、課題を解決する手段で説明した物体検出処理装置を備えることにより、物体検出処理システム全体の処理能力の向上を図ることができる。
また、本構成は、外部メモリに記憶された原画像データを取得し原画像データの全体の中から動く物体が映っている所定のサイズの領域を検出する動き検出回路と、画像処理回路から入力される制御信号に基づいて動き検出回路を制御するプロセッサと、動き検出回路により検出された動く物体が映っている所定のサイズの領域に対して当該物体が映っている位置を更に細かく検出する課題を解決する手段で説明した物体検出処理装置と、画像処理回路、画像出力回路、動き検出回路、プロセッサおよび物体検出処理装置それぞれと画像メモリとの間で前記画像データを転送するバスとを備えることを特徴とする物体検出処理用集積回路であってもよい。
この構成によれば、課題を解決するための手段で説明した物体検出処理装置を備えることにより、物体検出用処理回路全体の処理能力の向上を図ることができる。
また、本構成は、カメラと、カメラで撮像した画像を表示する画像表示装置と、カメラから入力される原画像データに対して画像処理を行う画像処理装置と、画像処理装置から出力される画像データを記憶する画像メモリと、画像メモリに記憶された原画像データを画像表示装置に表示させるように画像表示装置を制御する画像表示制御装置と、画像メモリに記憶された原画像データを取得し原画像データの全体の中から動く物体が映っている所定のサイズの領域を検出する動き検出装置と、画像処理装置から入力される制御信号に基づいて前記動き検出装置を制御するプロセッサと、動き検出装置により検出された動く物体が映っている所定のサイズの領域に対して当該物体が映っている位置を更に細かく検出する課題を解決する手段で説明した物体検出処理装置と、画像処理装置、画像表示制御装置、動き検出装置およびプロセッサおよび物体検出処理装置それぞれと画像メモリとの間で画像データを転送するバスとを備えることを特徴とする物体検出機能付カメラであってもよい。
この構成によれば、本発明によれば、課題を解決する手段で説明した物体検出処理装置を備えることにより、物体検出機能付カメラ全体の処理能力の向上を図ることができる。
また、本構成は、外部メモリからバスを介して原画像データを取得するデータ取得ステップと、データ取得ステップで取得された原画像データに対して縮小処理を行うことにより互いに縮小率の異なる複数種類の縮小画像データを生成する画像縮小ステップと、複数種類の縮小画像データに対して物体のテンプレートを使用したマッチング処理を行うことにより、複数種類の縮小画像データそれぞれの中に物体が映っている位置を検出する物体検出ステップとにより構成されることを特徴とする物体検出処理方法であってもよい。
この構成によれば、検出精度向上を図るために縮小処理の回数を多くしても、外部メモリからバスを介して原画像データを取得する回数を抑制することができるので、物体検出処理方法を用いた装置全体の処理能力の向上を図ることができる。
実施の形態1の物体検出装置を含む物体検出システムの構成を示すブロック図である。 実施の形態1の物体検出装置の構成を示すブロック図である。 実施の形態1の物体検出装置の一部を構成する物体検出手段で行われるテンプレートマッチング処理を説明した図である。 実施の形態1の物体検出装置で使用する縮小画像データを示す図である。 実施の形態1の物体検出装置を含む物体検出システムの動作を示すフローチャートである。 実施の形態1の物体検出装置の物体検出処理での動作を示すフローチャートである。 実施の形態1の物体検出装置の物体検出処理における原画像データの一部を取得する際の第1の記憶手段および第2の記憶手段の使い方を説明する概念図である。 実施の形態1の物体検出装置の物体検出処理における原画像データの取得を完了する際の第1の記憶手段および第2の記憶手段の使い方を説明する概念図である。 実施の形態1の物体検出装置の物体検出処理における第1の記憶手段と第2の記憶手段との間で縮小画像データをやりとりする際の第1の記憶手段および第2の記憶手段の使い方を説明する概念図である。 実施の形態2の物体検出装置の構成を示すブロック図である。 実施の形態2の物体検出装置の物体検出処理における動作を示すフローチャートである。 実施の形態3の物体検出装置の構成を示すブロック図である。 実施の形態3の物体検出装置の物体検出処理における動作を示すフローチャートである。 実施の形態3の物体検出装置の物体検出処理における第1の記憶手段および第2の記憶手段の使い方を説明する概念図である。 実施の形態3の物体検出装置の物体検出処理における第1の記憶手段および第2の記憶手段の使い方を説明する概念図である。 実施の形態3の物体検出装置の物体検出処理における第1の記憶手段および第2の記憶手段の使い方を説明する概念図である。 変形例の物体検出装置で使用する縮小画像データを示す図である。 従来の物体検出装置で行われるテンプレートマッチング処理を説明する図である。 従来の物体検出装置の構成を示すブロック図である。
<実施の形態1>
以下、本発明に係る物体検出装置1を含む物体検出システムについて説明する。
<1>構成
本実施の形態に係る物体検出装置1は、図1に示すように、カメラ10と、LCD(Liquid Crystal Display)12と、画像処理回路9と、LCD制御回路11と、動き検出回路5と、プロセッサ6とともに、物体検出システムを構成する。そして、物体検出処理装置1は、動き検出回路5により検出された動く物体が映っている所定のサイズの領域に対して当該物体が映っている位置を更に細かく検出する。
また、物体検出システムでは、画像処理回路9、LCD制御回路11、動き検出回路5、プロセッサ6、物体検出装置1および画像メモリ2が互いに原画像データを転送するために使用するメモリバス3と、画像処理回路9、LCD制御回路11、動き検出回路5、物体検出回路1およびプロセッサ6が互いに各種信号の送受信を行うために使用するプロセッサバス4とが設けられている。
また、物体検出システムは、ユーザが物体検出システムを作動させたり、停止させたりする際に操作する操作部(図示せず)を備えた物体検出システム制御装置(図示せず)を備えている。
カメラ10は、例えば、デジタルスチールカメラからなり、撮像して得られた画像データ(以下、原画像データと称す)を出力する。また、カメラ10は、レンズ(図示せず)と、撮像面に複数の受光素子(図示せず)が配置されたイメージセンサ(図示せず)と、前記イメージセンサの撮像面に被写体の光学像が形成されるようにするレンズの絞り、フォーカス、ズームを調節する調節ユニットとを備える。ここに、前記イメージセンサ は、撮像面に配置された複数の受光素子を備え、各受光素子の出力は、当該受光素子が配置された位置の輝度に依存して変化する。従って、カメラ10は、前記イメージセンサの撮像面の輝度分布を反映する原画像データを生成して画像処理回路9に出力することになる。また、カメラ10のシャッタースピードは、ユーザが自由に変更することができる。
画像処理回路9は、カメラ10に接続されカメラ10から入力される原画像データに対して後述の高画質化処理を行う。また、画像処理回路9は、カメラ10が有する前記イメージセンサから出力される原画像データが入力されると、マトリックス演算、ガンマ補正、ホワイトバランス調整等の高画質化処理を行い、当該高画質化処理により得られた原画像データをメモリバス3に出力する。
LCD制御回路11は、画像メモリ2に記憶された原画像データに基づいて、カメラ10により撮像された画像をLCD12に表示させる。
動き検出回路5は、画像メモリ2に記憶された原画像データを取得し原画像データの全体の中から動く物体が映っている所定のサイズの領域を検出する。
画像メモリ2は、画像処理回路9から出力される原画像データ等を記憶する。ここで、画像メモリ2は、画像処理回路9から転送される原画像データの1フレーム分を保持する。
動き検出回路5は、例えば、背景画像のエッジ検出結果と、入力画像のエッジ検出結果の比較をすることにより動く物体が映っている所定のサイズの領域の検出を行う。なお、動き検出回路では、これに限定されるものではなく、画素の差分を算出する等、他の方法により検出するようにしてもよい。
プロセッサ6は、画像処理回路9から入力される後述の転送完了通知信号に基づいて動き検出回路5を制御する。ここで、プロセッサ6は、画像処理回路9から画像メモリ2への原画像データの転送が完了したときに画像処理回路9から転送完了通知信号が入力されると動き検出回路5に動き検出処理を行わせ、動き検出回路5から入力される動き検出処理の結果に基づいて、物体検出回路1に、動く物体が映っている所定のサイズの領域内で物体の検出を行わせる。
物体検出装置1は、図2に示すように、原画像データから複数種類の縮小画像データを生成する縮小画像生成手段8と、縮小画像生成手段8により生成された複数種類の縮小画像データに対して特定物体の特徴を反映したテンプレートTPを使用したマッチング処理(以下、テンプレートマッチング処理と称す。)を行うことにより、複数種類の縮小画像データの中に特定物体が映っているかどうか、映っている場合はその位置を検出する物体検出手段7とを備える。また、物体検出装置1は、物体検出手段7から出力される複数の物体検出情報(特定物体の座標位置、縮小画像の縮小ID、特定物体の向き)を記憶しておくための物体検出情報記憶手段13と、物体検出情報記憶手段13に記憶された複数の物体検出情報の中から特定物体の座標位置の違いが所定の大きさよりも小さい物体検出情報を抽出してそれらの物体検出情報を統合して1つの物体枠表示情報としてプロセッサバス4に出力する物体枠表示表示回路14とを備える。
物体検出手段7は、図3に示すように、QVGA(Quarter Video Graphics Array)解像度(横320ピクセル×縦240ピクセル)の原画像データや、当該原画像データに対して解像度を縮小する縮小処理を行うことで生成されるQVGA解像度よりも低い複数種類の解像度(例えば、横256ピクセル×縦192ピクセル)の縮小画像データに対して、特定物体の特徴を反映したテンプレートTP(縦24ピクセル×横24ピクセル)を使用したテンプレートマッチング処理を行う。
また、物体検出手段7は、原画像データや各縮小画像データに対して、縦24ピクセル×横24ピクセルの大きさを持つテンプレートを用いて、ラスタスキャン順に、各縮小画像データにおける全ポイントにおいてテンプレートマッチング処理を行う。ここで、テンプレートTPの大きさは一定なので、縮小率が大きく解像度の小さい縮小画像データに対してテンプレートマッチング処理を行っている場合は、QVGA解像度の画像におけるテンプレートの大きさよりも大きい特定物体を検出していることと等価になる。しかして、原画像データや解像度が互いに異なる複数種類の縮小画像データに対して、順番にテンプレートTPを使用したテンプレートマッチング処理を行うことにより、原画像データ中に含まれる大きさの異なる複数種類の特定物体を検出できる。
また、物体検出手段7は、テンプレートとして、正面、左向き、右向き、左傾き、右傾き、下向き、上向き等の人の顔の特徴を反映した複数種類のテンプレートを準備しており、例えば、左向きの人の顔の特徴を反映したテンプレートと一致する領域を検出した場合には、左向きの人の顔の特徴を反映したテンプレートの識別情報を物体検出情報記憶手段13に出力する。
また、物体検出手段7は、横方向に1ピクセルずつ縦方向に1ピクセルずつテンプレートTPをずらしながらテンプレートマッチング処理を行うことができ、或いは、横方向には1ピクセルずつ、縦方向にはテンプレートの縦の長さである24ピクセルずつずらしながらテンプレートマッチング処理を行うこともできる。
縮小画像生成手段8は、データ取得手段である原画像データ取得手段16と、フィルタ演算回路15と、記憶手段である第1の記憶手段19および第2の記憶手段21と、縮小率算出手段23と、画像縮小制御手段22とを含んで構成される。
フィルタ演算回路15は、原画像データ取得手段16により取得した原画像データに対して縮小処理を行うことにより縮小画像データを生成する縮小処理手段であり、周知のダウン・サンプリング法や平均操作法等により、入力される原画像データ或いは縮小画像データに対して縮小処理を行う。ここで、フィルタ演算回路15は、まず、原画像データ取得手段16が取得したQVGA解像度(横320ピクセル×縦240ピクセル)の原画像データに対して縮小処理を行い、QVGA解像度よりも低い縮小画像データ(例えば、横256ピクセル×縦192ピクセル)を生成し、その後、当該縮小画像データに対して縮小処理を繰り返し行うことで複数種類の解像度の縮小画像データを生成する。また、フィルタ演算回路15の縮小率は、画像縮小制御手段22により設定変更される。
ここで、フィルタ演算回路15による縮小処理では、QVGA解像度(横320ピクセル×縦240ピクセル)の原画像データに対して、横方向のピクセル数および縦方向のピクセル数が、式(1)で表される解像度に縮小することができる。
式(1)
横方向のピクセル数
=(QVGA解像度における横方向のピクセル数)×(1/1.22)
縦方向のピクセル数
=(QVGA解像度における縦方向のピクセル数)×(1/1.22)
ここで、nは縮小率を反映する値であり、nの値が大きいほど縮小率が高くなる。以下の実施の形態の説明では、nの値をQVGA解像度の画像データに対して、前記縮小処理を行って得られる画像データを示す識別する値として説明し、nの値を縮小IDとして用いる。つまり、縮小IDの値が大きい画像データほど縮小率が高い。例えば、図3の例で言えば、縮小IDが1の画像データの解像度は、QVGA解像度の1.22分の1、即ち、82%の解像度(横262ピクセル×縦196ピクセル)となる。また、縮小IDが2の画像データの解像度は、QVGA解像度の67%の解像度(横214ピクセル×縦160ピクセル)となる。
式(1)で表される解像度に縮小して生成したQVGA解像度よりも低い解像度の複数種類の画像データそれぞれの縮小IDの値と各縮小IDの値で識別される解像度を図4に示す。図4に示した例では、11種類の解像度の異なる縮小画像データを生成している。
第1の記憶手段19は、フィルタ演算回路15から出力される縮小画像データを記憶する。また、第1の記憶手段19は、原画像に対して1回だけ縮小処理が行われることにより生成された縮小画像の画像データの大きさと等しい記憶容量を有する。
第2の記憶手段21は、フィルタ演算回路15から出力される縮小画像データを記憶する。また、第2の記憶手段21は、第1の記憶領域18と第2の記憶領域20とから構成される。第1の記憶領域18は、水平方向の長さが原画像の水平方向の長さに一致し、垂直方向の長さがテンプレートTPの縦方向の長さと一致する画像の画像データの大きさと等しい記憶容量を有する。ここで、第1の記憶領域18の記憶容量は、テンプレートTPを用いたテンプレートマッチング処理を行う上で最低限必要な画像データの大きさを考慮して決まっている。
また、第2の記憶領域20は、水平方向の長さが原画像データに対して1回だけ縮小処理を行われることにより生成された縮小画像データに対して更に1回だけ縮小処理が行われることにより生成された縮小画像、つまり、原画像データに対して2回だけ縮小処理が行われることにより生成された縮小画像データから構成される縮小画像の水平方向の長さに一致し、垂直方向の長さが当該縮小画像の垂直方向の長さからテンプレートTPの縦方向の長さを差し引いた長さに一致する画像の画像データの大きさと等しい記憶容量を有する。なお、第1の記憶手段18および第2の記憶手段21は、メモリにより構成されている。
原画像データ取得手段16は、画像縮小制御手段22により制御され、画像縮小制御手段22から指示されるタイミングで、画像メモリ2に記憶された原画像データのうち画像縮小制御手段22が指定する一部を切り出して取得する。ここで、原画像データ取得手段16は、画像メモリ2に対して転送要求信号Sigを入力することにより、画像メモリ2からメモリバス3を介して原画像データを取得する。
縮小率算出手段23は、原画像データまたは縮小画像データからなる基準画像データに対して、フィルタ演算回路15により所定の縮小率で縮小処理を繰り返すことにより生成される縮小画像データの当該基準画像データに対する相対的な縮小率である相対縮小率を算出する。ここで、縮小率算出手段23は、第2の記憶手段21の第1の記憶領域18に記憶された縮小画像データ(基準画像データ)に対して、フィルタ演算回路15が、所定の縮小率(例えば、1/1.22)で行った縮小処理の繰り返し回数を計数しており、第2の記憶手段21の第1の記憶領域18に記憶された縮小画像データに対して縮小処理を繰り返し行うことにより得られた縮小画像データについて、フィルタ演算回路15の所定の縮小率を底として縮小回数乗した値を当該縮小画像データの相対縮小率として出力する。例えば、フィルタ演算回路15が、縮小処理を繰り返して5回行ったとすれば、縮小率算出手段23から出力される縮小画像データの相対縮小率は、(1/1.22)となる。
また、縮小率算出手段23は、原画像データに対する縮小画像データの縮小率(以下、絶対縮小率と称す。)も算出して出力する。ここで、縮小率算出手段23は、フィルタ演算回路15が行った縮小処理それぞれの縮小率と縮小処理の累積回数とを計数しており、フィルタ演算回路15の各縮小率を底として各縮小回数乗したもの掛け合わせた値を絶対縮小率として出力する。例えば、フィルタ演算回路15が、原画像データに対して、縮小率0.37で縮小処理を行って生成した縮小画像データに対して、更に、縮小率1/1.22の縮小処理を繰り返して5回行ったとすれば、縮小率算出手段23から出力される絶対縮小率は、0.37×(1/1.22)となる。
画像縮小制御手段22は、フィルタ演算回路15により生成された縮小画像データの相対縮小率に対する閾値である相対縮小率を保持し、フィルタ演算回路15により算出される相対縮小率が相対縮小率閾値を下回ったときに、フィルタ演算回路15の縮小処理を停止させるとともに、原画像データ取得手段16に対して、画像メモリ2から原画像データを取得させる。ここで、画像縮小制御手段22は、縮小率算出手段23から入力される相対縮小率と相対縮小率閾値とを比較して、相対縮小率が相対縮小率閾値を超えていると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、原画像データ取得手段16に、画像メモリ2から原画像データの一部を取得させる。また、画像縮小制御手段22は、原画像データに対する縮小画像データの絶対的な縮小率(以下、絶対縮小率と称す。)に対する閾値(以下、絶対縮小率閾値と称す。)を保持しており、縮小率算出手段23から入力される絶対縮小率と絶対縮小率閾値とを比較して、絶対縮小率が絶対縮小率閾値を下回っていると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、物体検出処理が完了したことをプロセッサ6に通知する物体検出完了通知信号をプロセッサバス4に出力する。
ここで、相対縮小率閾値は、任意に設定することができる。本実施の形態では、相対縮小率閾値を0.55(=(1/1.22))に設定している。
また、絶対縮小率閾値は、テンプレートサイズにより決定することができる。物体検出手段7が、テンプレートマッチング処理に用いるテンプレートの大きさを横24ピクセル×縦24ピクセルとすると、縮小画像データの縮小IDが11を超えると(縮小画像データの解像度が横33ピクセル×縦25ピクセルよりも小さくなると)、縮小画像データのサイズがテンプレートのサイズよりも小さくなるので、テンプレートマッチング処理ができなくなる。従って、縮小画像データの最小の解像度は、QVGA解像度の原画像データに対する縮小率が(1/1.22)11である横33ピクセル×縦25ピクセルとなる。
このことから、絶対縮小率閾値を0.11(=(1/1.22)11)と決定することができる。
物体検出システム制御装置は、適宜操作釦が配置された操作部(図示せず)と、操作部に接続され操作部で行われる操作内容に基づいてプロセッサバス4に操作内容情報を出力する制御回路(図示せず)とから構成される。
<2>動作
<2−1>物体検出システム全体の動作
次に、本実施の形態に係る物体検出システム全体の動作について説明する。
本実施の形態に係る物体検出システムの動作についてのフローチャートを図5に示す。
まず、カメラ10から出力される原画像データは、画像処理回路9に入力され画像処理が行われる(ステップS1)。
次に、画像処理回路9から出力された原画像データは、画像メモリ2に転送される(ステップS2)。ここで、画像処理回路9は、1フレーム分の原画像データの画像メモリへの転送が完了すると、プロセッサ6にプロセッサバス4に転送完了通知信号を出力する。プロセッサ6は、プロセッサバス4を通して転送完了通知信号が入力されると、動き検出回路5に動き検出処理を開始させるために、動き検出処理開始信号をプロセッサバス4に出力する。
動き検出回路5は、プロセッサバス4から動き検出処理開始信号が入力されると、動き検出処理を開始する(ステップS3)。ここで、動き検出回路5は、動き検出処理が完了すると、動き検出処理の結果をプロセッサバス4に出力する。プロセッサ6は、プロセッサバス4から動き検出処理の結果が入力されると、動き検出処理の結果に基づいて物体検出装置1により物体検出処理を行う検出範囲を算出し、当該検出範囲に関する情報をプロセッサバス4に出力する。
物体検出装置1は、プロセッサバス4から物体検出処理を行う検出範囲に関する情報が入力されると、画像メモリ2からメモリバス3を介して原画像データを取得し、後述のように、テンプレートマッチング処理により物体検出処理を行う(ステップS4)。ここで、物体検出装置1は、物体検出処理が完了すると、物体枠表示情報をプロセッサバス4に出力する。
プロセッサ6は、プロセッサバス4から物体枠表示情報が入力されると、当該物体表示枠情報に基づいてLCD制御回路11がLCDに特定物体の位置を表示する物体枠を表示させるために必要な情報からなる物体枠表示情報を生成してプロセッサバス4に出力する。
LCD制御回路11は、プロセッサバス4から物体枠表示データが入力されると、当該物体表示枠情報に基づいて、LCD12に表示される撮像画像中において被写体が写っている領域を枠で囲む描画処理を行う(ステップS5)。
次に、プロセッサ6は、ユーザが物体検出システム制御装置の操作部から停止操作がなされたか否かを判定する(ステップS6)。ここで、プロセッサ6は、物体検出システム制御装置からプロセッサバス4を介して停止信号が入力されたか否かにより、停止操作がなされたか否かを判定する。
プロセッサ6が、停止操作がなされたと判定すると(ステップS6:Yes)、処理を終了する。一方、プロセッサ6が、停止操作がなされていないと判定すると(ステップS6:No)、再び、画像処理回路9による画像処理(ステップS1)を行う。
<2−2>物体検出処理での動作
本実施の形態の物体検出処理で行われる動作を図6に示すフローチャートに従って説明する。以下、原画像データが、QVGA解像度(横320ピクセル×縦240ピクセル)を有するものであり、テンプレートTPのサイズが横24ピクセル×縦24ピクセルであるとし、相対縮小率閾値が、0.55(=(1/1.22))、絶対縮小率閾値が、0.11(=(1/1.22)11)に設定されているものとして説明する。
まず、原画像データ取得手段16が、画像メモリ2に記憶されている原画像データの一部を切り出して取得する(ステップS41)。ここで、原画像データは、プロセッサ6により設定された所定のサイズの物体検出範囲の画像データからなり、QVGA解像度を有する。
次に、原画像データ取得手段16が、原画像データをそのまま第2の記憶手段21の第1の記憶領域18に記憶する(ステップS42)。ここで、原画像データ取得手段16は、図7に示すように、原画像データのうち原画像の水平方向長さを幅とし、特定物体のテンプレートのサイズを高さとする原画像データの一部を切り出して第2の記憶手段21の第1の記憶領域18に記憶する。
次に、物体検出手段7が第2の記憶手段21の第1の記憶領域18に記憶された原画像データの一部に対して特定物体のテンプレートTPを用いてテンプレートマッチング処理を行う(ステップS43)。
ここで、フィルタ演算回路15は、物体検出手段7が第2の記憶手段21に記憶された原画像データに対してテンプレートマッチング処理を行うと同時に、第2の記憶手段21の第1の記憶領域18に記憶された原画像データの一部に対して縮小率1/1.22倍で縮小処理を行うことにより縮小画像データを生成し(ステップS44)、第1の記憶手段19に記憶する(ステップS45)。ここで、第2の記憶手段21は、第1の記憶手段19への縮小画像の記憶が完了すると、自らに記憶されている原画像データを消去する。
次に、画像縮小制御手段22が、原画像データの全部に対して縮小処理を行ったか否かを判断する(ステップS46)。
ステップS46において、画像縮小制御手段22が、原画像データの全部に対して縮小処理を完了していないと判断すると(ステップS46:No)、図7に示すように、再び、原画像データ取得手段16が、画像メモリ2に記憶されている原画像データの一部を切り出して(ステップS41)、そのまま第2の記憶手段21の第1の記憶領域18に記憶する(ステップ42)。
一方、ステップS46において、画像縮小制御手段22が、原画像データの全部に対して縮小処理を完了した(図8参照)と判定すると(ステップS46:Yes)、画像縮小制御手段22は、第1の記憶手段19に記憶された縮小画像データの原画像データに対する絶対的な縮小率である絶対縮小率が絶対縮小率閾値0.11を下回っているか否かを判断する(ステップS47)。
ステップS47において、画像縮小制御手段22が、第1の記憶手段19に記憶された縮小画像データの絶対縮小率が絶対縮小率閾値0.11を下回っていると判断すると(ステップS47:Yes)、描画処理(ステップS5)へ移行する。
一方、ステップS47において、画像縮小制御手段22が、第1の記憶手段19に記憶された縮小画像データの絶対縮小率が絶対縮小率閾値0.11を下回っていないと判断すると(ステップS47:No)、画像縮小制御手段22は、第2の記憶手段21の第1の記憶領域18に記憶された原画像データ(基準画像データ)の一部に対する相対的な縮小率である相対縮小率が相対縮小率閾値0.55を下回っているか否かを判断する(ステップS48)。
ステップS48において、画像縮小制御手段22が、第2の記憶手段21の第1の記憶領域18に記憶された原画像データの一部に対する相対縮小率が相対縮小率閾値0.55を下回っていると判断すると(ステップS48:Yes)、後述の画像メモリ2から原画像データの一部を取得する処理(ステップS417)に移行する。
一方、ステップS48において、画像縮小制御手段22が、第2の記憶手段21の第1の記憶領域18に記憶された原画像データに対する相対縮小率が相対縮小率閾値0.55を下回っていないと判断すると(ステップS48:No)、画像縮小制御手段22は、物体検出手段7に対して、テンプレートマッチング処理を行うように指示し、物体検出手段7は、第1の記憶手段19に記憶された縮小画像データに対して特定物体のテンプレートTPを用いてテンプレートマッチング処理を行う(ステップS49)。
ここで、フィルタ演算回路15が、物体検出手段7が第1の記憶手段19に記憶された縮小画像データに対してテンプレートマッチング処理を行うと同時に、第1の記憶手段19に記憶された縮小画像データに対して縮小率0.82(=1/1.22)で縮小処理を行うことにより縮小画像データを生成し(ステップS410)、図9(a)に示すように、第2の記憶手段21に記憶する(ステップS411)。ここで、第1の記憶手段19は、第2の記憶手段21への縮小画像データの格納が完了すると、自らに記憶されている縮小画像データを消去する。
次に、画像縮小制御手段22は、第2の記憶手段21に記憶された縮小画像データの絶対縮小率が絶対縮小率閾値0.11を下回っているか否かを判断する(ステップS412)。
画像縮小制御手段22が、第2の記憶手段21に記憶された縮小画像データの絶対縮小率が絶対縮小率閾値0.11を下回っていると判断すると(ステップS412:Yes)、描画処理(ステップS5)へ移行する。
一方、ステップS412において、画像縮小制御手段22が、第2の記憶手段21に記憶された縮小画像データの絶対縮小率が絶対縮小率閾値0.11を下回っていないと判断すると(ステップS412:No)、画像縮小制御手段22は、第2の記憶手段21に記憶された縮小画像データの相対縮小率が相対縮小率閾値0.55を下回っているか否かを判断する(ステップS413)。
ステップS413において、画像縮小制御手段22が、縮小画像データの相対縮小率が相対縮小率閾値0.55を下回っていると判断すると(ステップS413:Yes)、後述の画像メモリ2から原画像データの一部を取得する処理(ステップS417)に移行する。
一方、画像縮小制御手段22が、第2の記憶手段21に記憶されている縮小画像データの相対縮小率が相対縮小率閾値0.55を下回っていないと判断すると(ステップS413:No)、画像縮小制御手段22は、物体検出手段7に対して、テンプレートマッチング処理を行うように指示し、物体検出手段7は、第2の記憶手段21に記憶された縮小画像データに対して特定物体のテンプレートTPを用いてテンプレートマッチング処理を行う(ステップS414)。
ここで、フィルタ演算回路15が、物体検出手段7が第2の記憶手段21に記憶された縮小画像データに対してテンプレートマッチング処理を行うと同時に、第2の記憶手段21に記憶された縮小画像データに対して縮小率0.82(=1/1.22)で縮小処理を行うことにより縮小画像データを生成し(ステップS415)、図9(b)に示すように、第1の記憶手段19に記憶する(ステップS416)。その後、再びステップS47の処理に移行する。
また、ステップS48またはステップS413において、画像縮小制御手段22が、縮小画像データの相対縮小率が相対縮小率閾値0.55を下回っていると判断すると(ステップS413:Yes)、画像メモリ2から原画像データの一部を取得し(ステップS417)、当該原画像データの一部に対する縮小画像データを生成し(ステップS418)、第2の記憶手段21の第1の記憶領域18に記憶する(ステップS419)。
ここで、画像縮小制御手段22は、ステップS48またはステップS413からステップS417に移行したときの絶対縮小率を保持しており、画像縮小制御手段22は、フィルタ演算回路15に、原画像データの一部に対して当該絶対縮小率に等しい縮小率で縮小処理を行わせる。例えば、フィルタ演算回路15が、第2の記憶手段21に記憶された原画像データに対して縮小率0.82(=1/1.22)の縮小処理を4回だけ行うと、画像縮小制御手段22は、縮小画像データの相対縮小率0.45(=(1/1.22))が相対縮小率閾値0.55を下回ったと判断し、ステップS48またはステップS413からステップS417に移行するが、このとき、画像縮小制御手段22は、縮小画像データの絶対縮小率として1×(1/1.22)を保持している。そして、ステップS418では、画像縮小制御手段22が、フィルタ演算回路15に、原画像データに対して縮小率1×(1/1.22)の縮小処理を行わせる。
次に、物体検出手段7が第2の記憶手段21の第1の記憶領域18に記憶された原画像データの一部に対する縮小画像データに対して特定物体のテンプレートTPを用いてテンプレートマッチング処理を行う(ステップS420)。
ここで、フィルタ演算回路15は、物体検出手段7が第2の記憶手段21に記憶された縮小画像データに対してテンプレートマッチング処理を行うと同時に、第2の記憶手段21の第1の記憶領域18に記憶された縮小画像データに対して縮小率0.82(=1/1.22)で縮小処理を行うことにより新たに縮小画像データを生成し(ステップS421)、第1の記憶手段19に記憶する(ステップS422)。ここで、第2の記憶手段21は、第1の記憶手段19への新たに生成した縮小画像データの記憶が完了すると、自らに記憶されている縮小画像データを消去する。
次に、画像縮小制御手段22が、縮小画像データの全部に対して縮小処理を行ったか否かを判定する(ステップS423)。
ステップS423において、画像縮小制御手段22が、縮小画像データの全部に対して縮小処理を完了していないと判定すると(ステップS423:No)、再び、原画像データ取得手段16が、原画像データの一部を画像メモリ2から取得し(ステップS417)、フィルタ演算回路15が、原画像データの一部に対して、ステップS48またはステップS413からステップS417に移行したときの絶対縮小率に等しい縮小率1×(1/1.22)で縮小処理を行い、原画像データの一部に対する縮小画像データを生成し(ステップS418)、第2の記憶手段21の第1の記憶領域18に記憶する(ステップS419)。
一方、画像縮小制御手段15が、原画像データの全部に対して縮小処理を完了した(図8参照)と判定すると(ステップS423:Yes)、画像縮小制御手段22は、第2の記憶手段21に記憶された縮小画像データの絶対縮小率が絶対縮小率閾値0.11を下回っているか否かを判断する(ステップS47)。
ステップS47において、画像縮小制御手段22が、第1の記憶手段19に記憶された縮小画像データの絶対縮小率が絶対縮小率閾値0.11を下回っていると判断すると(ステップS47:Yes)、描画処理(ステップS5)へ移行する。
一方、ステップS47において、画像縮小制御手段22が、第1の記憶手段19に記憶された縮小画像データの絶対縮小率が絶対縮小率閾値0.11を下回っていないと判断すると(ステップS47:No)、画像縮小制御手段22は、第2の記憶手段21の第1の記憶領域18に記憶された縮小画像データの一部に対する相対的な縮小率である相対縮小率が相対縮小率閾値0.55を下回っているか否かを判断する(ステップS48)。
ステップS48において、画像縮小制御手段22が、第2の記憶手段21の第1の記憶領域18に記憶された縮小画像データの一部に対する相対縮小率が相対縮小率閾値0.55を下回っていると判断すると(ステップS48:Yes)、後述の画像メモリ2から原画像データの一部を取得する処理(ステップS417)に移行する。
一方、ステップS48において、画像縮小制御手段22が、第2の記憶手段21の第1の記憶領域18に記憶された縮小画像データ(基準画像データ)の一部に対する相対縮小率が相対縮小率閾値0.55を下回っていないと判断すると(ステップS48:No)、画像縮小制御手段22は、物体検出手段7に対して、テンプレートマッチング処理を行うように指示し、物体検出手段7は、第1の記憶手段19に記憶された縮小画像データに対して特定物体のテンプレートTPを用いてテンプレートマッチング処理を行う(ステップS49)。
以降、ステップS48およびステップS413において、画像縮小制御手段22が、縮小画像データの相対縮小率が相対縮小率閾値0.55を下回っているか否かを判断しながら、ステップS41からステップS423の処理を繰り返すことにより、物体検出回路7は、縮小IDの値が0、つまり、原画像データから縮小IDの値が、0,1,2,…、11の各縮小画像データに対して順番にテンプレートマッチング処理を行う。
本実施の形態の物体検出装置1の物体検出処理では、第2の記憶手段21に記憶された原画像データまたは縮小画像データに対してテンプレートマッチング処理を行いながら、第1の記憶手段19に縮小画像データを格納することができ、また、第1の記憶手段19に記憶された縮小画像データに対してテンプレートマッチング処理を行いながら、第2の記憶手段21に縮小画像データを格納することができるので、処理能力を向上させることができる。
なお、本実施の形態では、物体検出手段7が、各縮小画像データにおける全ポイントにおいてテンプレートマッチング処理を行う例について説明したが、これに限定されるものではなく、例えば、テンプレートマッチング処理を行うポイントを適宜削減することにより、物体検出手段7の処理負荷を低減してなるものであってもよい。
また、物体検出手段7が、テンプレートマッチング処理に使用するテンプレートの大きさを横24ピクセル×縦24ピクセルとしたが、これに限定されるものではない。
また、実施の形態において、フィルタ演算回路15による縮小処理における縮小率は、式(1)で表される縮小率に限定されるものではない。
また、物体枠表示制御手段14は、複数の物体検出情報の中から縮小IDの違いが所定の大きさ(例えば、2)以内である物体検出情報を抽出してこれらの物体検出情報を統合して物体表示枠情報としてプロセッサバス4に出力するものであってもよい。
<実施の形態2>
以下、本発明に係る物体検出装置1を用いた物体検出システムについて説明する。
・ 構成
本実施の形態に係る物体検出システムは、図1と同様であり、物体検出装置1の構成のみが相違する。従って、図1と同様の構成については同一の符号を付して説明を省略する。
物体検出装置1は、図10に示すように、原画像データから複数種類の縮小画像データを生成する縮小画像生成手段8と、縮小画像生成手段8により生成された複数種類の縮小画像データに対して特定物体のテンプレートTPを使用したマッチング処理を行うことにより、複数種類の縮小画像データそれぞれの中で特定物体の位置を検出する物体検出手段7とを備える。
また、物体検出装置1は、実施の形態1と同様に、物体検出手段7から出力される複数の物体検出情報を記憶しておくための物体検出情報記憶手段13と、物体検出情報記憶手段13に記憶された物体検出情報の中から座標位置が近い情報または縮小IDが近い情報を1つの検出情報として統合し、物体表示枠情報としてプロセッサバス4に出力する物体枠表示制御手段14とを備える。
物体検出手段7は、QVGA解像度(横320ピクセル×縦240ピクセル)の原画像データや、当該原画像データに対して解像度を縮小する縮小処理を行うことで生成されるQVGA解像度よりも低い解像度(例えば、横256ピクセル×縦192ピクセル)の複数種類の縮小画像データに対して、テンプレートマッチングによる物体検出処理を行う。
縮小画像生成手段8は、図10に示すように、データ取得手段である原画像データ取得手段16と、フィルタ演算回路15と、第1の記憶手段19および第2の記憶手段21と、縮小処理回数計数手段24と、バストラフィック監視手段25と、縮小率算出手段26と、画像縮小制御手段22とを含んで構成される。
フィルタ演算回路15は、原画像データ取得手段16により取得した原画像データに対して縮小処理を行うことにより縮小画像データを生成する縮小処理手段であり、周知のダウン・サンプリング法や平均操作法により、入力される原画像データ或いは縮小画像データに対して縮小処理を行う。ここで、フィルタ演算回路15の縮小率は、画像縮小制御手段22により変更される。
第1の記憶手段19は、原画像データに対して1回だけ縮小処理が行われることにより生成された縮小画像データと同じ大きさの記憶容量を有する。
第2の記憶手段21は、第1の記憶領域18と第2の記憶領域20とを有する。第1の記憶領域18は、水平方向の長さが原画像の水平方向の長さに一致し、垂直方向の長さがテンプレートTPの縦方向の長さと一致する画像の画像データの大きさに等しい記憶容量を有する。また、第2の記憶領域20は、水平方向の長さが原画像データ全体に対して2回だけ縮小処理を繰り返し行った場合に得られる縮小画像データから構成される縮小画像の水平方向の長さに一致し、垂直方向の長さが当該縮小画像の垂直方向の長さからテンプレートTPの縦方向の長さを差し引いた長さに一致する画像の画像データの大きさに等しい記憶容量を有する。
原画像データ取得手段16は、画像縮小制御手段22により制御され、画像縮小制御手段22から指示されるタイミングで、画像メモリ2に記憶された原画像データのうち縮小処理手段22が指定する一部を切り出して取得する。ここで、原画像データ取得手段16は、画像メモリ2に対して転送要求信号Sigを入力することにより、画像メモリ2からメモリバス3を介して原画像データを取得する。
縮小処理回数計数手段24は、フィルタ演算回路15が第2の記憶手段21の第1の記憶領域18に記憶された原画像データまたは縮小画像データからなる基準画像データに対して繰り返し行った縮小処理の回数(以下、繰り返し縮小回数と称す。)と、繰り返し縮小回数の累積回数(以下、累積縮小処理回数と称す。)とを計数し、計数値を出力する。
縮小率算出手段26は、縮小処理回数計数手段24から出力される縮小処理の縮小率と縮小処理の総回数から原画像データに対する縮小画像データの絶対的な縮小率である絶対縮小率を算出して画像縮小制御手段22に出力する。
バストラフィック監視手段25は、メモリバスのトラフィック量をモニタリングし、メモリバスのトラフィック量を算出して画像縮小制御手段22に出力する。
画像縮小制御手段22は、繰り返し縮小回数および累積縮小処理回数に基づいてフィルタ演算回路15に縮小処理を続行させるか否かを判断する。また、画像縮小制御手段22は、繰り返し縮小回数に対する所定の閾値(以下、繰り返し回数閾値と称す。)を保持しており、縮小処理回数計数手段24から入力される繰り返し縮小回数と繰り返し回数閾値とを比較して、繰り返し縮小回数が繰り返し回数閾値(繰り返し閾値)を超えていると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、原画像データ取得手段16に対して、画像メモリ2から原画像データの一部を取得するように指示する。また、画像縮小制御手段22は、トラフィック量に対する所定の閾値(以下、トラフィック量閾値と称す。)を保持しており、トラフィック監視手段25から入力されるトラフィック量とトラフィック量閾値とを比較して、トラフィック量がトラフィック量閾値以下であると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、原画像データ取得手段16に対して、画像メモリ2から原画像データの一部を取得するように指示する。更に、画像縮小制御手段22は、原画像データに対する縮小画像データの絶対的な縮小率(以下、絶対縮小率と称す。)に対する閾値(以下、絶対縮小率閾値と称す。)を保持しており、縮小率算出手段23から入力される絶対縮小率と絶対縮小率閾値とを比較して、絶対縮小率が絶対縮小率閾値を下回っていると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、物体検出処理が完了したことをプロセッサ6に通知する物体検出完了通知信号をプロセッサバス4に出力する。
<2>動作
次に、本実施の形態に係る物体検出システムの動作は、実施の形態1と同様であり、物体検出処理における動作のみが相違するについて説明する。なお、本実施の形態に係る物体検出システム全体の動作は、実施の形態1と同様なので説明を省略する。
本実施の形態の物体検出処理で行われる動作を図11に示すフローチャートに従って説明する。
以下、繰り返し回数閾値が、3回に設定され、絶対縮小率閾値が、0.11(=(1/1.22)11)に設定されている場合について説明する。
まず、原画像データ取得手段16が、プロセッサ6により設定された物体検出範囲からQVGA解像度の所定のサイズの原画像データの一部を画像メモリ2から取得する(ステップS41)。
次に、データ取得手段16が、原画像データをそのまま第2の記憶手段21の第1の記憶領域18に記憶する(ステップS42)。ここで、データ取得手段16は、図7に示すように、原画像データのうち原画像の水平方向長さを幅とし、特定物体のテンプレートTPのサイズを高さとする原画像データの一部を切り出して第2の記憶手段21の第1の記憶領域18に記憶する。
次に、物体検出手段7が第2の記憶手段21の第1の記憶領域18に記憶された原画像データの一部に対して特定物体のテンプレートTPを用いてテンプレートマッチング処理を行う(ステップS43)。
ここで、フィルタ演算回路15は、物体検出手段7が第2の記憶手段21に記憶された原画像データに対してテンプレートマッチング処理を行うと同時に、第2の記憶手段21の第1の記憶領域18に記憶された原画像データの一部に対して縮小率0.82(=1/1.22)で縮小処理を行うことにより縮小画像データを生成し(ステップS44)、第1の記憶手段19に記憶する(ステップS45)。また、第2の記憶手段21は、第1の記憶手段19への縮小画像の記憶が完了すると、自らに記憶されている原画像データを消去する。
次に、画像縮小制御手段22が、原画像データの全部に対して縮小処理を行ったか否かを判定する(ステップS46)。
ステップS46において、画像縮小制御手段22が、原画像データの全部に対して縮小処理を完了していないと判定すると(ステップS46:No)、図7に示すように、再び、原画像データ取得手段16が、画像メモリ2に記憶されている原画像データの一部を切り出して取得し(ステップS41)、そのまま第2の記憶手段21の第1の記憶領域18に記憶する(ステップ42)。
一方、画像縮小制御手段22が、原画像データの全部に対して縮小処理を完了した(図8参照)と判定すると(ステップS46:Yes)、画像縮小制御手段22は、第1の記憶手段19に記憶された縮小画像データの原画像データに対する絶対的な縮小率である絶対縮小率が絶対縮小率閾値0.11を下回っているか否かを判断する(ステップS47)。
ステップS47において、画像縮小制御手段22が、第1の記憶手段19に記憶された縮小画像データの絶対縮小率が絶対縮小率閾値0.11を下回っていると判断すると(ステップS47:Yes)、描画処理(ステップS5)へ移行する。
一方、ステップS47において、画像縮小制御手段22が、第1の記憶手段19に記憶された縮小画像データの絶対縮小率が絶対縮小率閾値0.11を下回っていないと判断すると(ステップS47:No)、画像縮小制御手段22は、原画像データ取得手段16が一度原画像データを取得し、第2の記憶手段21に記憶してから、当該原画像データに対して繰り返し行った縮小処理の回数が繰り返し回数閾値3を超えたか否かを判断する(ステップS48)。
ステップS48において、画像縮小制御手段22が、第2の記憶手段21に記憶された原画像データに対して繰り返し行った縮小処理の回数が繰り返し回数閾値3を超えていると判断すると(ステップS48:Yes)、後述の画像メモリ2から原画像データの一部を取得する処理(ステップS417)に移行する。
一方、画像縮小制御手段22が、第2の記憶手段21に記憶された原画像データに対して繰り返し行った縮小処理の回数が繰り返し回数閾値3を超えていないと判断すると(ステップS48:No)、画像縮小制御手段22は、バストラフィック監視手段25から入力されるバストラフィックが所定の大きさのトラフィック閾値以下であるか否かを判断する(ステップS49)。
ステップS49において、画像縮小制御手段22が、バストラフィックがバストラフィック閾値以下であると判断すると(ステップS49:Yes)、後述の画像メモリ2から原画像データの一部を取得する処理(ステップS419)に移行する。
一方、ステップS49において、画像縮小制御手段22が、バストラフィックがバストラフィック閾値を超えていると判断すると(ステップS49:No)、画像縮小制御手段22は、物体検出手段7に対して、テンプレートマッチング処理を行うように指示し、物体検出手段7は、第1の記憶手段19に記憶された縮小画像データに対して特定物体のテンプレートTPを用いてテンプレートマッチング処理を行う(ステップS410)。
ここで、フィルタ演算回路15が、物体検出手段7が第1の記憶手段19に記憶された縮小画像データに対してテンプレートマッチング処理を行うと同時に、第1の記憶手段19に記憶された縮小画像データに対して縮小率1/1.22倍で縮小処理を行うことにより縮小画像データを生成し(ステップS411)、第2の記憶手段21に記憶する(ステップS412)。また、第1の記憶手段19は、第2の記憶手段21への縮小画像データの格納が完了すると、自らに記憶されている縮小画像データを消去する。
次に、画像縮小制御手段22は、第2の記憶手段21に記憶された縮小画像データの絶対縮小率が絶対縮小率閾値0.11を下回っているか否かを判断する(ステップS413)。
画像縮小制御手段22が、第2の記憶手段21に記憶された縮小画像データの絶対縮小率が絶対縮小率閾値0.11を下回っていると判断すると(ステップS413:Yes)、描画処理(ステップS5)へ移行する。
一方、ステップS413において、画像縮小制御手段22が、第2の記憶手段21に記憶された縮小画像データの絶対縮小率が絶対縮小率閾値0.11を下回っていないと判断すると(ステップS413:No)、画像縮小制御手段22は、第2の記憶手段21に記憶された原画像データに対して繰り返し行った縮小処理の回数が繰り返し回数閾値3を超えたか否かを判断する(ステップS414)。
ステップS414において、画像縮小制御手段22が、第2の記憶手段21に記憶された原画像データに対して繰り返し行った縮小処理の回数が繰り返し回数閾値3を超えていると判断すると(ステップS414:Yes)、後述の原画像データ取得手段16が画像メモリ2から原画像データの一部を取得する処理(ステップS419)に移行する。
一方、ステップS414において、画像縮小制御手段22が、第2の記憶手段21に記憶された原画像データに対して繰り返し行った縮小処理の回数が繰り返し回数閾値3を超えていないと判定すると(ステップS414:No)、画像縮小制御手段22は、バストラフィック監視手段25から入力されるバストラフィックが所定の大きさのトラフィック閾値以下であるか否かを判断する(ステップS415)。
ステップS49において、画像縮小制御手段22が、バストラフィックがバストラフィック閾値以下であると判断すると(ステップS415:Yes)、後述の画像メモリ2から原画像データの一部を取得する処理(ステップS419)に移行する。
一方、ステップS49において、画像縮小制御手段22が、バストラフィックがバストラフィック閾値を超えていると判断すると(ステップS415:No)、画像縮小制御手段22は、物体検出手段7に対して、テンプレートマッチング処理を行うように指示し、物体検出手段7は、第2の記憶手段21に記憶された縮小画像データに対して特定物体のテンプレートTPを用いてテンプレートマッチング処理を行う(ステップS416)。
ここで、フィルタ演算回路15が、物体検出手段7が第2の記憶手段21に記憶された縮小画像データに対してテンプレートマッチング処理を行うと同時に、第2の記憶手段21に記憶された縮小画像データに対して縮小率0.82(=1/1.22)で縮小処理を行うことにより縮小画像データを生成し(ステップS417)、第1の記憶手段19に記憶する(ステップS418)その後、再びステップS47の処理に移行する。
また、ステップS48、ステップS49、ステップS414またはステップS415において、画像縮小制御手段22が、第2の記憶手段21に記憶された原画像データに対して繰り返し行った縮小処理の回数が繰り返し回数閾値3を超えていると判断すると(ステップS48,S414:Yes)、画像メモリ2から原画像データの一部を取得する(ステップS419)。
次に、フィルタ演算回路15は、原画像データの一部に対して縮小処理を行い、原画像データの一部に対する縮小画像データを生成し(ステップS420)、第2の記憶手段21の第1の記憶領域18に記憶する(ステップS421)。
ここで、画像縮小制御手段22は、ステップS48、ステップS49、ステップS414またはステップS415からステップS419に移行したときの累積縮小処理回数を保持しており、画像縮小制御手段22は、フィルタ演算回路15に、原画像データの一部に対して当該累積縮小処理回数だけ縮小処理を行った場合の縮小率で縮小処理を行わせる。例えば、フィルタ演算回路15が、第2の記憶手段21に記憶された原画像データに対して縮小率0.82(=1/1.22)の縮小処理を4回だけ行うと、画像縮小制御手段22は、縮小処理の回数が繰り返し回数閾値3を下回ったと判断し、ステップS48またはステップS414からステップS419に移行するが、このとき、画像縮小制御手段22は、累積縮小処理回数として4を保持している。そして、ステップS419では、画像縮小制御手段22が、フィルタ演算回路15に、原画像データに対して縮小率1×(1/1.22)の縮小処理を行わせる。
次に、物体検出手段7が第2の記憶手段21の第1の記憶領域18に記憶された原画像データの一部に対する縮小画像データに対して特定物体のテンプレートTPを用いてテンプレートマッチング処理を行う(ステップS422)。
ここで、フィルタ演算回路15は、物体検出手段7が第2の記憶手段21に記憶された縮小画像データに対してテンプレートマッチング処理を行うと同時に、第2の記憶手段21の第1の記憶領域18に記憶された縮小画像データに対して0.82(=1/1.22)で縮小処理を行うことにより新たに縮小画像データを生成し(ステップS423)、第1の記憶手段19に記憶する(ステップS424)。また、第2の記憶手段21は、第1の記憶手段19への新たに生成した縮小画像データの記憶が完了すると、自らに記憶されている縮小画像データを消去する。
次に、画像縮小制御手段22が、縮小画像データの全部に対して縮小処理を行ったか否かを判断する(ステップS425)。
ステップS425において、画像縮小制御手段22が、縮小画像データの全部に対して縮小処理を完了していないと判定すると(ステップS425:No)、再び、原画像データ取得手段16が、原画像データの一部を画像メモリ2から取得し(ステップS419)、フィルタ演算回路15が、原画像データの一部に対して、ステップS48またはステップS414からステップS419に移行したときの累積縮小処理回数4に等しい回数だけ縮小処理を行った場合の縮小率1×(1/1.22)で縮小処理を行い、原画像データの一部に対する縮小画像データを生成し(ステップS420)、第2の記憶手段21の第1の記憶領域18に記憶する(ステップS421)。
一方、画像縮小制御手段22が、縮小画像データの全部に対して縮小処理を完了したと判定すると(ステップS425:Yes)、画像縮小制御手段22は、原画像データに対して行った累積縮小処理回数が縮小回数閾値を超えたか否かを判断する(ステップS47)。
以後、ステップS47からステップS425の処理を繰り返すことにより、物体検出回路7は、縮小IDの値が0、つまり、原画像データから縮小IDの値が、0,1,2,…、11の各縮小画像データに対して順番にテンプレートマッチング処理を行う。
<実施の形態3>
以下、本発明に係る物体検出装置1を用いた物体検出システムについて説明する。
・ 構成
本実施の形態に係る物体検出システムは、図1と同様であり、第2の記憶手段21の構成のみが相違する。従って、図1と同様の構成については同一の符号を付して説明を省略する。
物体検出装置1は、図12に示すように、原画像データから複数種類の縮小画像データを生成する縮小画像生成手段8と、縮小画像生成手段8により生成された複数種類の縮小画像データに対して特定物体のテンプレートTPを使用したマッチング処理を行うことにより、複数種類の縮小画像データそれぞれの中で特定物体の位置を検出する物体検出手段7とを備える。
また、物体検出装置1は、実施の形態1と同様に、物体検出手段7から出力される複数の物体検出情報を記憶しておくための物体検出情報記憶手段13と、物体検出情報記憶手段13に記憶された物体検出情報の中から座標位置が近い情報または縮小IDが近い情報を1つの検出情報として統合し、物体表示枠情報としてプロセッサバス4に出力する物体枠表示制御手段14とを備える。
物体検出手段7は、QVGA解像度(横320ピクセル×縦240ピクセル)の原画像データや、当該原画像データに対して解像度を縮小する縮小処理を行うことで生成されるQVGA解像度よりも低い解像度(例えば、横256ピクセル×縦192ピクセル)の複数種類の縮小画像データに対して、テンプレートマッチングによる物体検出処理を行う。
縮小画像生成手段8は、図12に示すように、データ取得手段である原画像データ取得手段16と、フィルタ演算回路15と、第1の記憶手段19および第2の記憶手段21と、縮小処理回数計数手段24と、縮小率算出手段26と、画像縮小制御手段22とを含んで構成される。
フィルタ演算回路15は、原画像データ取得手段16により取得した原画像データに対して縮小処理を行うことにより縮小画像データを生成する縮小処理手段であり、周知のダウン・サンプリング法や平均操作法により、入力される原画像データ或いは縮小画像データに対して縮小処理を行う。ここで、フィルタ演算回路15の縮小率は、画像縮小制御手段22により変更される。
第1の記憶手段19は、水平方向の長さが原画像データに対して1回だけ縮小処理が行われることにより生成された縮小画像データから構成される縮小画像の水平方向の長さに一致し且つ垂直方向の長さがテンプレートTPの縦方向長さの2倍の長さと一致する画像の画像データの大きさに等しい記憶容量を有する。
第2の記憶手段21は、水平方向の長さが原画像の水平方向の長さに一致し且つ垂直方向の長さがテンプレートTPの縦方向長さと一致する画像の画像データの大きさに等しい記憶容量を有する第1の記憶領域18a、第2の記憶領域18bおよび第3の記憶領域18cとから構成される。
原画像データ取得手段16は、画像縮小制御手段22により制御され、画像縮小制御手段22から指示されるタイミングで、画像メモリ2に記憶された原画像データのうち画像縮小制御手段22が指定する一部を切り出して取得する。ここで、原画像データ取得手段16は、原画像のうち、水平方向の長さが原画像の水平方向の長さに一致し且つ垂直方向の長さがテンプレートTPの縦方向長さと一致する第1の領域(第2の領域または第3の領域)を表す画像データを切り出して取得する。また、原画像データ取得手段16は、画像メモリ2に対して転送要求信号Sigを入力することにより、画像メモリ2からメモリバス3を介して原画像データを取得する。
縮小処理回数計数手段24は、フィルタ演算回路15が第2の記憶手段21の第1の記憶領域18に記憶された原画像データまたは縮小画像データからなる基準画像データに対して繰り返し行った縮小処理の回数(以下、繰り返し縮小回数と称す。)と、繰り返し縮小回数の累積回数(以下、累積縮小処理回数と称す。)とを計数し、計数値を出力する。
縮小率算出手段26は、縮小処理回数計数手段24から出力される縮小処理の縮小率と縮小処理の総回数から原画像データに対する縮小画像データの絶対的な縮小率である絶対縮小率を算出して画像縮小制御手段22に出力する。
画像縮小制御手段22は、繰り返し縮小回数および累積縮小処理回数に基づいてフィルタ演算回路15に縮小処理を続行させるか否かを判断する。
ここで、画像縮小制御手段22は、第1の記憶領域19に記憶された縮小画像データに対して1回だけ縮小処理を行って生成され、第2の記憶手段21に記憶されている縮小画像データに対してテンプレートマッチング処理が完了すると、フィルタ演算回路15に縮小処理を中止させるとともに、原画像データ取得手段16に対して、画像メモリ2から原画像データの一部を取得するように指示する。つまり、画像縮小制御手段22は、累積縮小処理回数が2回に達したとき、或いは、累積縮小処理回数が3回以上の場合、繰り返し縮小回数が3回に達したときに、フィルタ演算回路15に縮小処理を中止させるとともに、原画像データ取得手段16に対して、画像メモリ2から原画像データの一部を取得するように指示する。また、画像縮小制御手段22は、原画像データに対する縮小画像データの絶対的な縮小率(以下、絶対縮小率と称す。)に対する閾値(以下、絶対縮小率閾値と称す。)を保持しており、縮小率算出手段26から入力される絶対縮小率と絶対縮小率閾値とを比較して、絶対縮小率が絶対縮小率閾値を下回っていると判断すると、フィルタ演算回路15に縮小処理を中止させる。ここで、原画像データの全てに対して、物体検出処理が完了している場合には、物体検出処理が完了したことをプロセッサ6に通知する物体検出完了通知信号をプロセッサバス4に出力する。
<2>動作
次に、本実施の形態に係る物体検出システムの動作は、実施の形態1と同様であり、物体検出処理における動作のみが相違するについて説明する。なお、本実施の形態に係る物体検出システム全体の動作は、実施の形態1と同様なので説明を省略する。
本実施の形態の物体検出処理で行われる動作を図13に示すフローチャートに従って説明する。
以下、絶対縮小率閾値が、0.11(=(1/1.22)11)に設定されている場合について説明する。
まず、原画像データ取得手段16が、プロセッサ6により設定された物体検出範囲からQVGA解像度の所定のサイズの原画像データの一部を画像メモリ2から取得する(ステップS41)。ここで、原画像データ取得手段16は、図14(a)に示すように、原画像のうち、水平方向の長さが原画像の水平方向の長さに一致し且つ垂直方向の長さがテンプレートTPの縦方向長さと一致する第1の領域を表す画像データdata0および第1の領域と同じ大きさの第2の領域を表す画像データdata1を切り出して取得する。また、2つの画像データdata0,data1は、図14(a)に示すように、原画像において縦方向で隣接する第1の領域および第2の領域に対応している。
次に、原画像データ取得手段16が、2つの画像データdata0,data1をそのまま第2の記憶手段21に記憶する(ステップS42)。ここで、原画像データ取得手段16は、図14(a)に示すように、画像データdata0を第1の記憶領域18aに格納し、画像データdata1を第2の記憶領域18bに格納し、第2の記憶領域18bに格納された画像データdata1と同じ画像データdata1を第3の記憶領域18cに格納する。
次に、物体検出手段7が第2の記憶手段21の第1の記憶領域18aに格納された画像データdata0および第2の記憶領域18bに格納された画像データdata1に対して特定物体のテンプレートTPを用いてテンプレートマッチング処理を行う(ステップS43)。ここで、物体検出手段7は、画像データdata0,data1で表される原画像の一部に対してテンプレートTPを1ピクセルずつ縦方向にずらしながらテンプレートマッチング処理を行う。
ここで、フィルタ演算回路15は、物体検出手段7が第2の記憶手段21に記憶された画像データdata0および画像データdata1に対してテンプレートマッチング処理を行うと同時に、第2の記憶手段21の第1の記憶領域18aおよび第2の記憶領域18bに記憶された画像データdata0,data1に対して縮小率0.82(=1/1.22)で縮小処理を行うことにより縮小画像データを生成し(ステップS44)、第1の記憶手段19に格納する(ステップS45)。また、第2の記憶手段21は、第1の記憶手段19への縮小画像の記憶が完了すると、第1の記憶領域18aおよび第2の記憶領域18bに格納されている画像データdata0および画像データdata1を消去する。ただし、第3の記憶領域18cに格納されている画像データdata1は消去しない。
次に、画像縮小制御手段22が、第1の記憶手段19に記憶された縮小画像データの絶対縮小率が絶対縮小率閾値0.11を下回ったか否かを判断する(ステップS46)。
ステップS46において、画像縮小制御手段22が、絶対縮小率が絶対縮小率閾値0.11を下回っていると判断すると(ステップS46:Yes)、後述のステップS419に移行する。
一方、ステップS46において、画像縮小制御手段22が、第1の記憶手段19に記憶された縮小画像データの絶対縮小率が絶対縮小率閾値0.11を下回っていないと判断すると(ステップS46:No)、画像縮小制御手段22は、物体検出手段7に対して、テンプレートマッチング処理を行うように指示し、物体検出手段7は、第1の記憶手段19に記憶された縮小画像データに対して特定物体のテンプレートTPを用いてテンプレートマッチング処理を行う(ステップS47)。
ここで、フィルタ演算回路15が、物体検出手段7が第1の記憶手段19に記憶された縮小画像データに対してテンプレートマッチング処理を行うと同時に、第1の記憶手段19に記憶された縮小画像データに対して縮小率1/1.22倍で縮小処理を行うことにより縮小画像データを生成し(ステップS48)、第2の記憶手段21に記憶する(ステップS49)。このとき、フィルタ演算回路15が生成した縮小画像データは、図14(b)に示すように、第2の記憶手段21における第1の記憶領域18aおよび第2の記憶領域18bのいずれかに格納される。また、第1の記憶手段19は、第2の記憶手段21への縮小画像の記憶が完了すると、第1の記憶手段19に格納されている縮小画像データを消去する。
次に、画像縮小制御手段22は、第2の記憶手段21に記憶された縮小画像データの絶対縮小率が絶対縮小率閾値0.11を下回っているか否かを判断する(ステップS410)。
ステップS410において、画像縮小制御手段22が、第2の記憶手段21に記憶された縮小画像データの絶対縮小率が絶対縮小率閾値0.11を下回っていると判断すると(ステップS410:Yes)、後述のステップS419に移行する。
一方、ステップS410において、画像縮小制御手段22が、第2の記憶手段21に記憶された縮小画像データの絶対縮小率が絶対縮小率閾値0.11を下回っていないと判断すると(ステップS410:No)、物体検出手段7が、第2の記憶手段21に記憶された縮小画像データに対して特定物体のテンプレートTPを用いてテンプレートマッチング処理を行う(ステップS411)。
その後、第1の記憶手段19および第2の記憶手段21は、自らに記憶されている原画像データまたは縮小画像データを消去する(ステップS412)。
次に、原画像データ取得手段16が、画像メモリ2から原画像データの一部を取得する(ステップS413)。ここで、原画像データ取得手段16は、図16に示すように、2つの画像データdata0,data1を切り出して取得する。
次に、フィルタ演算回路15は、画像データdata0,data1に対して縮小処理を行い、縮小画像データを生成し(ステップS414)、第2の記憶手段21の第1の記憶領域18aおよび第2の記憶領域18bに記憶する(ステップS415)。ここで、フィルタ演算回路15は、図16に示すように、画像データdata0に対応する縮小画像データを第1の記憶領域18aに格納し、画像データdata1に対応する縮小画像データを第2の記憶領域18bに格納し、第2の記憶領域18bに格納されている縮小画像データと同一の縮小画像データを第3の記憶領域18cに格納する。
ここで、画像縮小制御手段22は、ステップS411が終了したときの累積縮小処理回数を保持しており、画像縮小制御手段22は、フィルタ演算回路15に、原画像データの一部に対して当該累積縮小処理回数だけ縮小処理を行った場合の縮小率で縮小処理を行わせる。例えば、フィルタ演算回路15が、第2の記憶手段21に記憶された原画像データに対して縮小率0.82(=1/1.22)の縮小処理を2回だけ行っていた場合、画像縮小制御手段22は、累積縮小処理回数として2を保持している。そして、ステップS414では、画像縮小制御手段22が、フィルタ演算回路15に、原画像データに対して縮小率1×(1/1.22)の縮小処理を行わせる。
次に、物体検出手段7が第2の記憶手段21の第1の記憶領域18に記憶された原画像データの一部に対する縮小画像データに対して特定物体のテンプレートTPを用いてテンプレートマッチング処理を行う(ステップS416)。
ここで、フィルタ演算回路15は、物体検出手段7が第2の記憶手段21に記憶された縮小画像データに対してテンプレートマッチング処理を行うと同時に、第2の記憶手段21の第1の記憶領域18aおよび第2の記憶領域18bに格納された縮小画像データに対して0.82(=1/1.22)で縮小処理を行うことにより新たに縮小画像データを生成し(ステップS417)、第1の記憶手段19に記憶する(ステップS418)。また、第2の記憶手段21は、第1の記憶手段19への新たに生成した縮小画像データの格納が完了すると、第1の記憶領域18aおよび第2の記憶領域18bに格納されている縮小画像データを消去する。ただし、第3の記憶領域18cに記憶されている縮小画像データは消去されない。その後、ステップS46に移行する。
また、ステップS419では、画像縮小制御手段22が、原画像データの全てに対して処理を完了したか否かを判断する。
ステップS419において、画像縮小制御手段22が、原画像データの全てに対して処理を完了したと判断すると(ステップS419:Yes)、描画処理を行う(ステップS5)。
一方、ステップS419において、画像縮小制御手段22が、原画像データの全てに対して処理を完了していないと判断すると(ステップS419:No)、再び、原画像データ取得手段16が、画像メモリ2から原画像データの一部を取得する(ステップS41)。ここで、原画像データ取得手段16は、図15(a)に示すように、原画像のうち、水平方向の長さが原画像の水平方向の長さに一致し且つ垂直方向の長さがテンプレートTPの縦方向長さと一致する第3の領域を表す画像データdata2を切り出して取得する。また、画像データdata2は、図15(a)に示すように、先に取得した画像データdata1が表す領域と原画像の縦方向で隣接する領域であって、画像データdata1が表す領域に対して、画像データdata0が表す領域が隣接する側とは反対側で隣接する領域に対応している。
次に、原画像データ取得手段16が、画像データdata2をそのまま第2の記憶手段21に記憶する(ステップS42)。ここで、原画像データ取得手段16は、図15(a)に示すように、画像データdata2を第1の記憶領域18aに格納し、第1の記憶領域18aに格納されている画像データdata2と同一の画像データdata2を第2の記憶領域18bに格納する。
次に、物体検出手段7が第2の記憶手段21の第3の記憶領域18cに格納された画像データdata1および第2の記憶領域18bに格納された画像データdata2に対して特定物体のテンプレートTPを用いてテンプレートマッチング処理を行う(ステップS43)。ここで、物体検出手段7は、画像データdata1,data2で表される原画像の一部に対してテンプレートTPを1ピクセルずつ縦方向にずらしながらテンプレートマッチング処理を行う。また、先述のステップS43では、第1の領域を表す画像データdata0および第2の領域を表す画像データdata1に対してテンプレートマッチング処理を行ったのに対して、今回のステップS43では、第2の領域を表す画像データdata1および第3の領域を表す画像データdata2に対してテンプレートマッチング処理を行っている。つまり、原画像データ取得手段16が1回目に取得した画像データdata0,data1で表される第1の領域および第2の領域と、2回目に取得した画像データdata1,data2で表される第2の領域および第3の領域とが、互いに第2の領域で重複することになる。しかして、原画像に対してテンプレートを1ピクセルずつずらしながらテンプレートマッチング処理を行うことが可能となり、物体検出精度を向上させることができる。
また、フィルタ演算回路15は、物体検出手段7が第2の記憶手段21に記憶された画像データdata1および画像データdata2に対してテンプレートマッチング処理を行うと同時に、第3の記憶領域18cおよび第2の記憶領域18bに記憶された画像データdata1,data2に対して縮小率0.82(=1/1.22)で縮小処理を行うことにより縮小画像データを生成し(ステップS44)、第1の記憶手段19に格納する(ステップS45)。また、第2の記憶手段21は、第1の記憶手段19への縮小画像データの格納が完了すると、第3の記憶領域18cおよび第2の記憶領域18bに格納されている画像データdata1および画像データdata2を消去する。ただし、第1の領域18aに格納されている画像データdata2は消去しない。
以後、ステップS41からステップS419の処理を繰り返すことにより、物体検出回路7は、縮小IDの値が0、つまり、原画像データから縮小IDの値が、0,1,2,…、11の各縮小画像データに対して順番にテンプレートマッチング処理を行う。
<変形例>
(1)前述の実施の形態1では、第2の記憶手段21の第1の記憶領域18に記憶された縮小画像データに対する相対縮小率を出力する縮小率算出手段23を備えて、画像縮小制御手段22が、相対縮小率閾値を保持しており、縮小率算出手段23から入力される相対縮小率と相対縮小率閾値とを比較して、相対縮小率が相対縮小率閾値を超えていると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、原画像データ取得手段16に、画像メモリ2から原画像データの一部を取得させるようにする例について説明したが、これに限定されるものではなく、例えば、前述の実施の形態2と同様に、縮小率算出手段22の代わりに縮小処理回数計数手段24を備えて、画像縮小制御手段22は、繰り返し回数閾値を保持しており、縮小処理回数計数手段24から入力される繰り返し縮小回数と繰り返し回数閾値とを比較して、繰り返し縮小回数が繰り返し回数閾値を超えていると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、原画像データ取得手段16に画像メモリ2から原画像データの一部を取得させるものであってもよい。
(2)前述の実施の形態2では、第1の記憶手段19に記憶された縮小画像データに対してフィルタ演算回路15により行われた縮小処理の繰り返し回数を計数する縮小処理回数計数手段24を備えて、画像縮小制御手段22は、繰り返し回数閾値を保持しており、縮小処理回数計数手段24から入力される繰り返し縮小回数と繰り返し回数閾値とを比較して、繰り返し縮小回数が繰り返し回数閾値を超えていると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、原画像データ取得手段16に画像メモリ2から原画像データの一部を取得させる例について説明したが、これに限定されるものではなく、例えば、実施の形態1と同様に、縮小処理回数計数手段24の代わりに第2の記憶手段21の第1の記憶領域18に記憶された縮小画像データに対する相対縮小率として出力する縮小率算出手段23を備えて、画像縮小制御手段22が、相対縮小率閾値を保持しており、縮小率算出手段23から入力される相対縮小率と相対縮小率閾値とを比較して、相対縮小率が相対縮小率閾値を超えていると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、原画像データ取得手段16に、画像メモリ2から原画像データの一部を取得させるようにしてもよい。
(3)前述の実施の形態2では、画像縮小制御手段22が、絶対縮小率閾値を保持しており、縮小率算出手段23から入力される絶対縮小率と絶対縮小率閾値とを比較して、絶対縮小率が絶対縮小率閾値を下回っていると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、物体検出処理が完了したことをプロセッサ6に通知する物体検出完了通知信号をプロセッサバス4に出力する例について説明したが、これに限定されるものではなく、例えば、縮小率算出手段26を設けずに、縮小処理回数計数手段23から繰り返し縮小回数の累積加算値(以下、累積回数と称す。)を画像縮小制御手段22に出力するようにし、画像縮小制御手段22が、累積縮小処理回数に対する所定の閾値(以下、累積回数閾値と称す。)を保持しており、縮小処理回数計数手段23から入力される累積回数と累積回数閾値とを比較して、累積回数が累積回数閾値を超えていると判断すると、フィルタ演算回路15に縮小処理を中止させるとともに、物体検出処理が完了したことをプロセッサ6に通知する物体検出完了通知信号をプロセッサバス4に出力するようにしてもよい。
(4)前述の実施の形態1乃至3では、例えば、画像縮小制御手段22が、原画像データのコントラストや明るさといった画質に応じて相対縮小率閾値を変更する閾値可変手段(図示せず)を備えるものであってもよい。
例えば、原画像データが、カメラ10で撮影して得られるものとする。この場合、明るい場所においてシャッタースピードを早く(露光時間を短く)して撮影して得られた原画像データは、画質が良く、S/N比が高い。一方、暗い場所でシャッタースピードを遅く(露光時間を長く)して撮影して得られた原画像データは、画質が悪く、S/N比が低い。すると、フィルタ演算回路15が、ダウン・サンプリング法等により原画像データから縮小画像データを生成する場合、原画像データのS/N比が低いほど、相対縮小率閾値を上げて、縮小画像データにひずみが生じるのを防ぐ必要がある。
これに対して、本変形例では、閾値可変手段が、カメラ10のシャッタースピードが早く設定されていると、原画像データのS/N比が高い可能性が高いので、相対縮小率閾値を低く設定する。一方、カメラ10のシャッタースピードが遅く設定されていると、原画像データのS/N比が低い可能性が高いので、閾値可変手段が、相対縮小率閾値を高く設定する。しかして、原画像データの画質に応じて、縮小画像データにひずみが生じないように相対縮小率を変更することができるので、物体検出の精度を高めることができる。
(5)前述の実施の形態1乃至3では、図4に示すように、縮小画像生成手段8が、11段階の解像度の異なる縮小画像データを生成する例について説明したが、これに限定されるものではなく、例えば、図17に示すように、縮小画像生成手段8が、横方向のピクセル数および縦方向のピクセル数が、式(2)で表される解像度に縮小するようにしてもよい。
式(2)
横方向のピクセル数
=(QVGA解像度における横方向のピクセル数)×(1/1.11)
縦方向のピクセル数
=(QVGA解像度における縦方向のピクセル数)×(1/1.11)
本変形例では、図17に示すように、22段階の解像度の異なる縮小画像データを生成し、各縮小画像データに対してテンプレートマッチング処理を行うことで、原画像に含まれる特定物体をより高い精度で検出することができる。
(6)また、実施の形態1乃至3の物体検出装置1を備え、被写体に合わせて物体検出機能の切り替えが可能な物体検出機能付きカメラであってもよい。
本変形例では、例えば人物の証明写真等を撮影する場合に用いる「ポートレートモード」と、風景を撮影する場合に用いる「風景モード」との2種類のモードが用意されており、「ポートレートモード」に設定されている場合は、原画像に写っている人物の占める面積は大きくなるので、絶対縮小率閾値が大きく設定され、一方、「風景モード」に設定されている場合は、原画像に写っている人物の占める面積は小さくなるので、絶対縮小率閾値が小さく設定される。しかして、被写体に最適な物体検出機能を実現することができる。
(7)また、実施の形態3では、まず、原画像データ取得手段16が画像メモリ2から原画像データの一部を取得し、当該原画像データの一部をそのまま第2の記憶手段21に格納する例について説明したが、これに限定されるものではなく、原画像データ取得手段16が取得した原画像データをフィルタ演算回路15が所定の縮小率で縮小してなる縮小画像データを第2の記憶手段21に格納するものであってもよい。しかして、原画像データに対してテンプレートマッチング処理を行う必要がない場合における物体検出手段7の処理負担を軽減することができる。
(8)また、実施の形態1乃至3では、外部メモリに記憶された前記画像データを取得し前記画像データの全体の中から動く特定物体が映っている所定のサイズの領域を検出する動き検出回路と、画像処理回路から入力される制御信号に基づいて前記動き検出回路を制御するプロセッサと、動き検出回路により検出された動く特定物体が映っている所定のサイズの領域に対して当該物体が映っている位置を更に細かく検出する物体検出装置1と同様の機能を有する回路と、画像処理回路、画像出力回路、動き検出回路、プロセッサおよび請求項1記載の物体検出装置それぞれと画像メモリとの間で前記画像データを転送するバスとを備えることを特徴とする物体検出処理用集積回路であってもよい。
<補足>
変形例(4)で説明したLSIは、集積度の違いにより、IC(Integrated Circuit)、システムLSI、VLSI(Very Large Scale Integration)、SLSI(Super Large Scale Integration)、ULSI(Ultra Large Scale Integration)などと呼称されることもある。
また、集積回路化の手法はLSIに限られるものではなく、専用回路または汎用プロセッサにより実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
本発明にかかる物体検出装置は、原画像データから、縮小処理によって複数種類の縮小画像データを生成し、縮小画像データに対して特定物体のテンプレートを用いたマッチング処理を行うことにより物体検出を行う装置に利用することができ、デジタルスチールカメラ、デジタルムービー等での物体検出処理として有用である。また監視カメラの用途にも応用できる。
1 物体検出装置
2 画像メモリ(外部メモリ)
3 メモリバス
4 プロセッサバス
5 動き検出回路
6 プロセッサ
7 物体検出回路
8 縮小画像生成手段
10 カメラ
11 LCD制御回路
13 物体検出情報記憶手段
14 物体枠表示回路
16 原画像データ取得手段
18 第1の記憶領域
19 第1の記憶手段
20 第2の記憶領域
21 第2の記憶手段
22 画像縮小制御手段

Claims (15)

  1. 外部メモリおよび他の装置とバスを共有する物体検出装置であって、
    外部メモリからバスを介して原画像データを取得するデータ取得手段と、
    取得した原画像データまたは原画像データから生成した縮小画像を記憶する記憶手段と、
    原画像データから互いに縮小率の異なる複数種類の縮小画像データを生成する画像縮小手段と、
    複数種類の縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い特定物体の位置を検出する物体検出手段とを備え、
    前記記憶手段は、第1の記憶手段および第2の記憶手段から構成され、
    前記物体検出手段が、前記第1の記憶手段に記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、
    前記画像縮小手段が、第1の記憶手段に記憶された縮小画像データに対して所定の縮小率で縮小処理を行うことにより生成した縮小画像データを第2の記憶手段に記憶すると、
    前記第1の記憶手段が、自らに記憶された縮小画像データを消去し、
    前記物体検出手段が、前記第2の記憶手段に記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、
    前記画像縮小手段が、前記第2の記憶手段に記憶された縮小画像データに対して前記所定の縮小率で縮小処理を行うことにより生成した縮小画像データを前記第1の記憶手段に記憶すると、
    前記第2の記憶手段が自らに記憶された縮小画像データを消去する
    ことを特徴とする物体検出装置。
  2. 原画像データまたは前記縮小画像データからなる基準画像データに対して、前記画像縮小手段により所定の縮小率で縮小処理を繰り返すことにより生成される縮小画像データの前記基準画像データに対する相対的な縮小率である相対縮小率を算出する縮小率算出手段と、
    前記画像縮小手段により生成された前記縮小画像データの相対縮小率に対する閾値である相対縮小率閾値を保持し、前記縮小率算出手段により算出される前記相対縮小率が前記相対縮小率閾値を下回ったときに、前記データ取得手段に対して、外部メモリから原画像データを取得させる画像縮小制御手段と
    を備えることを特徴とする請求項記載の物体検出装置。
  3. 前記データ取得手段が取得した原画像データを第2の記憶手段に記憶した後に、
    前記物体検出手段が、前記第2の記憶手段に記憶された原画像データに対して物体のテンプレートを使用したマッチング処理を行い、
    前記画像縮小手段が、第2の記憶手段に記憶された原画像データに対して所定の縮小率で縮小処理を行い得られた縮小画像データを第1の記憶手段に記憶した後に、
    前記第2の記憶手段が、自らに記憶された原画像データを消去する
    ことを特徴とする請求項記載の物体検出装置。
  4. 前記データ取得手段が取得した原画像データに対して、前記画像縮小手段が任意の縮小率で縮小処理を行い得られた縮小画像データを第2の記憶手段に記憶した後に、
    前記物体検出手段が、前記第2の記憶手段に記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、
    前記画像縮小手段が、第2の記憶手段に記憶された縮小画像データに対して所定の縮小率で縮小処理を行い得られた縮小画像データを第1の記憶手段に記憶した後に、
    前記第2の記憶手段が、自らに記憶された縮小画像データを消去する
    ことを特徴とする請求項記載の物体検出装置。
  5. 原画像データまたは縮小画像データからなる基準画像データに対して、前記画像縮小手段により行われた縮小処理の繰り返し回数を計数する縮小処理回数計数手段と、
    前記縮小処理の繰り返し回数に対する繰り返し閾値を保持し、前記縮小処理の繰り返し回数が当該繰り返し閾値を超えると、前記データ取得手段に、外部メモリから原画像データを取得させる画像縮小制御手段と
    を備えることを特徴とする請求項記載の物体検出装置。
  6. 原画像データの画質に応じて前記相対縮小率閾値を変更する閾値可変手段
    を備えることを特徴とする請求項記載の物体検出装置。
  7. 前記バスのバストラフィックを監視するバストラフィック監視手段を備え、
    前記画像縮小制御手段は、前記バストラフィック監視手段により検出されたバスのトラフィックが所定の大きさ以下になったときに、前記データ取得手段に、外部メモリから原画像データを取得させる
    ことを特徴とする請求項記載の物体検出装置。
  8. 前記縮小率算出手段が、原画像データに対する縮小画像データの絶対的な縮小率である絶対縮小率を算出し、
    前記画像縮小制御手段が、前記絶対縮小率に対する閾値である絶対縮小率閾値を保持し、前記絶対縮小率が前記絶対縮小率閾値を下回ったときに、前記画像縮小手段の前記縮小処理を停止させる
    ことを特徴とする請求項記載の物体検出装置。
  9. 前記第1の記憶手段は、原画像データに対して1回だけ縮小処理が行われることにより生成された縮小画像データの大きさに等しい記憶容量を有し、
    前記第2の記憶手段は、
    水平方向の長さが原画像の水平方向の長さに一致し且つ垂直方向の長さが前記テンプレートの縦方向長さと一致する画像の画像データの大きさに等しい記憶容量を有する第1の記憶領域と、
    水平方向の長さが前記第2の記憶手段に記憶された原画像データに対して1回だけ縮小処理が行われることにより生成された縮小画像データに対して更に1回だけ縮小処理が行われることにより生成された縮小画像データから構成される縮小画像の水平方向の長さに一致し且つ垂直方向の長さが当該縮小画像の垂直方向の長さから前記テンプレートの縦方向の長さを差し引いた長さに一致する画像の画像データの大きさに等しい記憶容量を有する第2の記憶領域とからなる
    ことを特徴とする請求項記載の物体検出装置。
  10. 前記記憶手段は、第1の記憶手段と、第1の記憶領域、第2の記憶領域および第3の記憶領域よりなる第2の記憶手段とから構成され、
    前記データ取得手段が取得した原画像の一部を構成する第1の領域および第2の領域を表す2つの画像データのうち前記第1の領域を表す画像データを前記第1の記憶領域に記憶し、前記第2の領域を表す画像データを前記第2の記憶領域に記憶し、当該第2の記憶領域に記憶された前記第2の領域を表す画像データと同一の画像データを前記第3の記憶領域に記憶した後に、前記物体検出手段が、前記第1の記憶領域に記憶された前記第1の領域を表す画像データおよび前記第2の記憶領域に記憶された前記第2の領域を表す画像データに対して物体のテンプレートを使用したマッチング処理を行い、
    前記画像縮小手段が、前記第1の記憶領域および前記第2の記憶領域に記憶された画像データに対して所定の縮小率で縮小処理を行い得られた縮小画像データを第1の記憶手段に記憶した後に、
    前記第2の記憶手段が、前記第1の記憶領域および前記第2の記憶領域に記憶された画像データのみを消去し、
    前記物体検出手段が、前記第1の記憶手段に記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、
    前記画像縮小手段が、前記第1の記憶手段に記憶された縮小画像データに対して所定の縮小率で縮小処理を行い得られた縮小画像データを第2の記憶手段の前記第1の記憶領域および前記第2の記憶領域に記憶した後に、前記物体検出手段が、前記第1の記憶領域および前記第2の記憶領域に記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、
    前記第2の記憶手段が、前記第1の記憶領域および前記第2の記憶領域に記憶された縮小画像データのみを消去し、
    前記データ取得手段により取得された原画像の一部を構成する前記第1の領域および前記第2の領域以外の第3の領域を表す画像データを前記第1の領域に記憶し、当該第1の記憶領域に記憶された前記第3の領域を表す画像データと同一の画像データを前記第2の記憶領域に記憶する
    ことを特徴とする請求項記載の物体検出装置。
  11. 前記第1の記憶手段は、水平方向の長さが原画像データに対して1回だけ縮小処理が行われることにより生成された縮小画像データから構成される縮小画像の水平方向の長さに一致し且つ垂直方向の長さが前記テンプレートの縦方向長さの2倍の長さと一致する画像の画像データの大きさに等しい記憶容量を有する記憶容量を有し、
    前記第2の記憶手段は、水平方向の長さが原画像の水平方向の長さに一致し且つ垂直方向の長さが前記テンプレートの縦方向長さと一致する画像の画像データの大きさに等しい記憶容量を有する第1の記憶領域、第2の記憶領域および第3の記憶領域よりなる
    ことを特徴とする請求項10記載の物体検出装置。
  12. 外部から入力される原画像データに対して所定の画像処理を行う画像処理装置と、
    前記画像処理装置から出力される原画像データを記憶する画像メモリと、
    前記画像メモリに記憶された原画像データを取得し原画像の中における動く特定物体が映っている領域を検出する動き検出装置と、
    前記画像処理装置から入力される制御信号に基づいて前記動き検出回路を制御するプロセッサと、
    前記動き検出回路により検出された領域に対して特定物体の位置を更に細かく検出する請求項1記載の物体検出装置と、
    前記画像処理装置、前記動き検出装置、前記プロセッサおよび請求項1記載の物体検出装置それぞれと前記画像メモリとの間で前記原画像データを転送するバスと
    を備えることを特徴とする物体検出システム。
  13. 外部から入力される原画像データに対して所定の画像処理を行う画像処理回路と、
    前記画像処理回路から出力される原画像データを記憶する画像メモリと、
    前記画像メモリに記憶された原画像データを取得し原画像の中における動く特定物体が映っている領域を検出する動き検出回路と、
    前記画像処理回路から入力される制御信号に基づいて前記動き検出回路を制御するプロセッサと、
    前記動き検出回路により検出された領域に対して特定物体の位置を更に細かく検出する請求項1記載の物体検出装置と、
    前記画像処理回路、前記動き検出回路、前記プロセッサおよび請求項1記載の物体検出装置それぞれと前記画像メモリとの間で前記画像データを転送するバスと
    を備えることを特徴とする物体検出処理用集積回路。
  14. カメラと、
    前記カメラで撮像した画像を表示する画像表示装置と、
    前記カメラから入力される画像データに対して所定の画像処理を行う画像処理装置と、
    前記画像処理装置から出力される画像データを記憶する画像メモリと、
    前記画像メモリに記憶された前記画像データを前記画像表示装置に表示させるように画像表示装置を制御する画像表示制御装置と、
    前記画像メモリに記憶された前記画像データを取得し前記画像の中における動く特定物体が映っている領域を検出する動き検出装置と、
    前記画像処理装置から入力される制御信号に基づいて前記動き検出装置を制御するプロセッサと、
    前記動き検出装置により検出された領域に対して特定物体の位置を更に細かく検出する請求項1記載の物体検出装置と、
    前記画像処理装置、前記画像表示制御装置、前記動き検出装置および前記プロセッサおよび請求項1記載の物体検出装置それぞれと前記画像メモリとの間で画像データを転送するバスと
    を備えることを特徴とする物体検出機能付カメラ。
  15. 外部メモリおよび他の装置とバスを共有する物体検出装置が行う物体検出方法であって、
    前記物体検出装置は、第1のメモリおよび第2のメモリから構成されるメモリを有し、
    外部メモリからバスを介して原画像データを取得するデータ取得ステップと
    取得した原画像データまたは原画像データから生成した縮小画像を前記メモリに記憶させる記憶ステップと、
    原画像データから互いに縮小率の異なる複数種類の縮小画像データを生成する画像縮小ステップと、
    前記複数種類の縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い特定物体の位置を検出する物体検出ステップとを含み、

    前記物体検出ステップは、前記第1のメモリに記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、
    前記画像縮小ステップにおいて第1のメモリに記憶された縮小画像データに対して所定の縮小率で縮小処理を行うことにより生成された縮小画像データを、前記記憶ステップは第2のメモリに記憶して、前記第1のメモリに記憶された縮小画像データを消去し、
    前記物体検出ステップは、前記第2のメモリに記憶された縮小画像データに対して物体のテンプレートを使用したマッチング処理を行い、
    前記画像縮小ステップにおいて前記第2のメモリに記憶された縮小画像データに対して前記所定の縮小率で縮小処理を行うことにより生成された縮小画像データを、前記記憶ステップは前記第1のメモリに記憶して、前記第2のメモリに記憶された縮小画像データを消去する
    ことを特徴とする物体検出方法。
JP2011508259A 2009-04-10 2010-04-09 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法 Expired - Fee Related JP5513490B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011508259A JP5513490B2 (ja) 2009-04-10 2010-04-09 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009095809 2009-04-10
JP2009095809 2009-04-10
PCT/JP2010/002612 WO2010116763A1 (ja) 2009-04-10 2010-04-09 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法
JP2011508259A JP5513490B2 (ja) 2009-04-10 2010-04-09 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法

Publications (2)

Publication Number Publication Date
JPWO2010116763A1 JPWO2010116763A1 (ja) 2012-10-18
JP5513490B2 true JP5513490B2 (ja) 2014-06-04

Family

ID=42936053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011508259A Expired - Fee Related JP5513490B2 (ja) 2009-04-10 2010-04-09 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法

Country Status (4)

Country Link
US (1) US8508603B2 (ja)
JP (1) JP5513490B2 (ja)
CN (1) CN102057399A (ja)
WO (1) WO2010116763A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5739623B2 (ja) * 2010-06-25 2015-06-24 キヤノン株式会社 編集装置、およびプログラム
JP5683367B2 (ja) * 2011-04-20 2015-03-11 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
JP6000602B2 (ja) * 2012-03-30 2016-09-28 キヤノン株式会社 体検出方法及び物体検出装置
JP6548409B2 (ja) * 2015-03-04 2019-07-24 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP6783732B2 (ja) * 2017-09-15 2020-11-11 株式会社東芝 画像処理装置および画像処理方法
JP7268560B2 (ja) * 2019-09-27 2023-05-08 富士通株式会社 石垣配置支援プログラム、石垣配置支援方法、及び、石垣配置支援装置
CN110866486B (zh) * 2019-11-12 2022-06-10 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09116828A (ja) * 1995-10-16 1997-05-02 Sanyo Electric Co Ltd 縮小画像の書き込み/読み出し方法及び縮小画像処理回 路
JP2006031392A (ja) * 2004-07-15 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> テンプレート照合装置および方法
JP2007020029A (ja) * 2005-07-11 2007-01-25 Sony Corp 画像処理装置および方法、プログラム並びに記録媒体
JP2008257321A (ja) * 2007-04-02 2008-10-23 Matsushita Electric Ind Co Ltd 顔検出装置
WO2008129875A1 (ja) * 2007-04-13 2008-10-30 Panasonic Corporation 検出装置、検出方法および検出用集積回路
JP2009059048A (ja) * 2007-08-30 2009-03-19 Casio Comput Co Ltd 画像処理装置、撮像装置、画像処理方法、および、プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020175997A1 (en) * 2001-05-22 2002-11-28 Matsushita Electric Industrial Co., Ltd. Surveillance recording device and method
CN1170232C (zh) 2002-10-16 2004-10-06 西安交通大学 基于pci和视觉总线的可重构机器视觉***
JP2005173787A (ja) * 2003-12-09 2005-06-30 Fujitsu Ltd 移動物体の検出・認識を行う画像処理装置
JP4570532B2 (ja) 2005-08-02 2010-10-27 パナソニック株式会社 動き検出装置、動き検出方法、集積回路およびプログラム
JP4626493B2 (ja) 2005-11-14 2011-02-09 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US8306280B2 (en) * 2006-04-11 2012-11-06 Nikon Corporation Electronic camera and image processing apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09116828A (ja) * 1995-10-16 1997-05-02 Sanyo Electric Co Ltd 縮小画像の書き込み/読み出し方法及び縮小画像処理回 路
JP2006031392A (ja) * 2004-07-15 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> テンプレート照合装置および方法
JP2007020029A (ja) * 2005-07-11 2007-01-25 Sony Corp 画像処理装置および方法、プログラム並びに記録媒体
JP2008257321A (ja) * 2007-04-02 2008-10-23 Matsushita Electric Ind Co Ltd 顔検出装置
WO2008129875A1 (ja) * 2007-04-13 2008-10-30 Panasonic Corporation 検出装置、検出方法および検出用集積回路
JP2009059048A (ja) * 2007-08-30 2009-03-19 Casio Comput Co Ltd 画像処理装置、撮像装置、画像処理方法、および、プログラム

Also Published As

Publication number Publication date
US20110164149A1 (en) 2011-07-07
CN102057399A (zh) 2011-05-11
WO2010116763A1 (ja) 2010-10-14
JPWO2010116763A1 (ja) 2012-10-18
US8508603B2 (en) 2013-08-13

Similar Documents

Publication Publication Date Title
JP5513490B2 (ja) 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法
JP4902562B2 (ja) 撮像装置、画像処理装置、制御方法およびプログラム
CN109068058B (zh) 超级夜景模式下的拍摄控制方法、装置和电子设备
KR101489048B1 (ko) 촬상 장치, 화상 처리 방법 및 프로그램을 기록하기 위한 기록 매체
US7764880B2 (en) Pickup apparatus
CN109672819B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP5764740B2 (ja) 撮像装置
US20050012833A1 (en) Image capturing apparatus
JP5950678B2 (ja) 撮像装置、制御方法、及びプログラム
EP3044949A1 (en) Image capturing apparatus and method of controlling the same
JP2008118387A (ja) 撮像装置
JP2016025515A (ja) 撮像装置、撮像表示装置及びその制御方法
WO2019124289A1 (ja) 装置、制御方法および記憶媒体
US20100245635A1 (en) Method of generating hdr image and digital image pickup device using the same
US9986163B2 (en) Digital photographing apparatus and digital photographing method
JP2017034726A (ja) 撮影表示装置、撮影表示装置の制御方法
CN113287295B (zh) 摄像元件、摄像装置、摄像元件的工作方法及存储介质
JP6565326B2 (ja) 撮像表示装置及びその制御方法
JP2008005438A (ja) 撮像装置及び撮像方法
JP2010192957A (ja) 電子カメラ
JP7292961B2 (ja) 撮像装置およびその制御方法
KR20220075020A (ko) 촬상 장치 및 그 제어 방법
WO2019093090A1 (ja) 画像処理装置、画像撮像装置、画像処理方法およびプログラム
JP2021019313A (ja) 撮像装置およびその制御方法ならびにプログラム
JP6688086B2 (ja) 撮像装置およびその制御方法ならびにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140327

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees