JP2009225248A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2009225248A
JP2009225248A JP2008069210A JP2008069210A JP2009225248A JP 2009225248 A JP2009225248 A JP 2009225248A JP 2008069210 A JP2008069210 A JP 2008069210A JP 2008069210 A JP2008069210 A JP 2008069210A JP 2009225248 A JP2009225248 A JP 2009225248A
Authority
JP
Japan
Prior art keywords
template
subject
imaging
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008069210A
Other languages
English (en)
Inventor
Soichi Ueda
壮一 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008069210A priority Critical patent/JP2009225248A/ja
Publication of JP2009225248A publication Critical patent/JP2009225248A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Focusing (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 撮像光学系の光軸に対して撮像装置の傾きが変化したときにも、追尾対象の被写体を比較的少ない負荷で精度良く追尾できる手段を提供する。
【解決手段】 撮像装置は、撮像部と、メモリと、姿勢センサと、制御部と、被写体追尾部とを備える。撮像部は、撮像光学系を介して撮影画面内の被写体像を撮像する。メモリは、追尾対象の特徴を示すテンプレートを記憶する。姿勢センサは、撮像光学系の光軸を回転中心として撮影画面の傾きを検出する。制御部は、撮影画面の傾きの変化の大きさに応じて、撮影画面に対するテンプレートの回転量が大きくなるようにテンプレートの向きを調整する。被写体追尾部は、調整後のテンプレートを用いて、追尾対象の被写体を撮影画面から継続的に検出する。
【選択図】 図1

Description

本発明は、被写体の追尾機能を有する撮像装置に関する。
従来から、動きのある主要被写体に追従してフォーカス調整や露光条件の演算などを行うために、テンプレートマッチングによる被写体追尾機能を備えた撮像装置が種々提案されている。また、回転移動を伴う2つの画像間の位置合わせのときに、各画像で注目する特徴部分を抽出するとともに、各画像の特徴部分から求めた移動ベクトル量を用いることも提案されている(一例として特許文献1参照)。
特開11−112869号公報
ところで、従来の撮像装置では、被写体追尾のときに光軸に対する撮像装置の傾きが変化すると、被写体追尾の精度が大きく低下しうる点で改善の余地があった。一方、各々の回転角度が異なる複数のテンプレートを用いて同一箇所でマッチングを複数回行うと、演算負荷の増大によって撮像装置の応答性が大きく損なわれてしまう。
そこで、本発明の目的は、撮像光学系の光軸に対して撮像装置の傾きが変化したときにも、追尾対象の被写体を比較的少ない負荷で精度良く追尾できる手段を提供することにある。
一の態様の撮像装置は、撮像部と、メモリと、姿勢センサと、制御部と、被写体追尾部とを備える。撮像部は、撮像光学系を介して撮影画面内の被写体像を撮像する。メモリは、追尾対象の特徴を示すテンプレートを記憶する。姿勢センサは、撮像光学系の光軸を回転中心として撮影画面の傾きを検出する。制御部は、撮影画面の傾きの変化の大きさに応じて、撮影画面に対するテンプレートの回転量が大きくなるようにテンプレートの向きを調整する。被写体追尾部は、調整後のテンプレートを用いて、追尾対象の被写体を撮影画面から継続的に検出する。
上記の一の態様において、姿勢センサは、重力方向に対する撮像光学系の光軸の傾きを検出可能な加速度センサであってもよい。
上記の一の態様において、制御部は、調整後のテンプレートを用いて追尾対象の被写体を検出できたときに、該検出時の撮像部の出力に基づいてテンプレートを更新するようにしてもよい。
一の態様の撮像装置は、姿勢センサが検出した撮影画面の傾きの変化に応じて、撮影画面に対するテンプレートの回転量が大きくなるようにテンプレートの向きを調整する。よって、撮像光学系の光軸に対して撮像装置の傾きが変化したときにも、追尾対象の被写体を比較的少ない負荷で精度良く追尾できる。
<一の実施形態の説明>
図1は一の実施形態の電子カメラの概略構成を説明するブロック図である。一の実施形態の電子カメラは、時系列に取得される複数の画像から追尾対象の被写体を継続的に検出する被写体追尾機能を有している。一の実施形態では、任意の撮影モード(例えば子供の撮影に適したキッズモードなど)の一機能として、被写体追尾機能が電子カメラに実装される。
電子カメラは、撮像光学系11と、レンズ駆動部12と、撮像素子13と、AFE14と、姿勢センサ15と、CPU16と、第1メモリ17および第2メモリ18と、記録I/F(インターフェース)19と、モニタ20と、レリーズ釦21および操作部材22とを有している。ここで、上記の各構成部品はそれぞれ筐体23に格納されている。また、レンズ駆動部12、AFE14、姿勢センサ15、第1メモリ17および第2メモリ18、記録I/F19、モニタ20、レリーズ釦21および操作部材22は、それぞれCPU16に接続されている。
撮像光学系11は、ズームレンズ、フォーカシングレンズを含む複数のレンズ群で構成されている。また、上記のフォーカシングレンズのレンズ位置は、レンズ駆動部12によって光軸方向に調整される。なお、簡単のため、図1では撮像光学系11を1枚のレンズとして図示する。
撮像素子13は、撮像光学系11を通過した光束に基づく撮影画面内の被写体像を光電変換してアナログの画像信号を生成する。この撮像素子13の出力はAFE14に接続されている。
ここで、電子カメラの撮影モードにおいて、撮像素子13はレリーズ釦21の全押し操作に応答して記録用の静止画像(本画像)を撮像する。また、撮影モードでの撮像素子13は、撮影待機時にも所定間隔毎に観測用の画像(スルー画像)を連続的に撮像する。ここで、時系列に取得されたスルー画像のデータは、モニタ20での動画像表示やCPU16による各種の演算処理に使用される。
AFE14は、撮像素子13の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このAFE14は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のA/D変換を行う。そして、AFE14から出力される画像信号はCPU16に入力される。
姿勢センサ15は、撮像光学系11の光軸を回転中心として撮影画面の傾きの変化を検出するセンサである。例えば、一の実施形態での姿勢センサ15は、重力加速度(静的加速度)の計測に対応した公知の3軸加速度センサで構成される。
ここで、図2を参照しつつ、一の実施形態の姿勢センサ15における3軸の向きの設定例を説明する。図2では、電子カメラが正位置で保持されている状態を前提として、電子カメラの筐体23と姿勢センサ15の3軸(XYZ直交座標系)とが以下の位置関係をなしている。上記の状態において、姿勢センサ15のZ軸方向は重力方向と一致するとともに、姿勢センサ15のX軸方向およびY軸方向はそれぞれ重力方向に対して直交する。また、上記の状態において、姿勢センサ15のY軸方向は、撮像光学系11の光軸に対して平行となるように設定される。
また、姿勢センサ15の各軸の出力は、その軸方向に重力加速度の成分が検出されないときには「0」値を示すようになっている。例えば、電子カメラが正位置で保持されている状態では、姿勢センサ15のX軸、Y軸の出力は「0」値となる一方で、Z軸の出力は「0」以外の値を示す。一方、図2に示す「O−P」方向が重力方向に一致するように電子カメラの姿勢を変化させると、姿勢センサ15の各軸の出力はいずれも「0」以外の値に変化を示す。なお、電子カメラを自由落下させた場合には、姿勢センサ15の各軸の出力はいずれも「0」値を示す。
図3(a)は、Y軸を回転中心として電子カメラを正位置から傾けた状態(ローリングの場合)の姿勢センサ15の出力例を示す図である。図3(b)は、X軸を回転中心として電子カメラを正位置から傾けた状態(ピッチングの場合)の姿勢センサ15の出力例を示す図である。なお、簡単のため、図3では電子カメラの筐体23の図示はいずれも省略する。
図3(a)に示すように、Y軸を回転中心として電子カメラを正位置から傾けると、重力加速度の成分は、その回転量に応じて姿勢センサ15のX軸方向とZ軸方向とに分離されて現れる。したがって、撮像光学系11の光軸が重力方向に対して直交する場合、CPU16は、姿勢センサ15のX軸およびZ軸の各出力に基づいて、撮像光学系11の光軸を回転中心とする撮影画面の傾きを求めることができる。
一方、図3(b)に示すように、X軸を回転中心として電子カメラを正位置から傾けると、重力加速度の成分は、その回転量に応じて姿勢センサ15のY軸方向とZ軸方向とに分離されて現れる。したがって、CPU16は、姿勢センサ15のY軸およびZ軸の各出力に基づいて、重力方向に対する撮像光学系11の光軸の傾きを求めることができる。
ところで、実際の撮影時には、電子カメラの撮影姿勢は三次元空間において複雑な挙動で変化する。そのため、撮影画面の傾きを求める場合には、重力方向に対する撮像光学系11の光軸の傾きを考慮することがより好ましい。
例えば、電子カメラを正位置から上方(または下方)にピッチングさせて、かつ撮像光学系11の光軸を中心として電子カメラを回転させた場合を考える。上記の場合には重力加速度の成分が姿勢センサ15のXYZ各軸に分離されて現れる。このとき、姿勢センサ15のX軸およびZ軸の出力のみに着目して撮影画面の傾きを求めると、ピッチングでY軸方向とZ軸方向とに分離した重力加速度の影響が考慮されないため、撮影画面の傾きの検出精度が低下する。そのため、一の実施形態でのCPU16は、姿勢センサ15のXYZ軸のすべての出力を用いて、撮影画面の傾きを求めている。
一例として、電子カメラに近づくペットなどを高い視点から撮影するシーンでは、ユーザーが被写体の動きに合わせて電子カメラを動かすと、重力方向に対して撮像光学系11の光軸の傾きが徐々に変化してゆく。しかし、上記の状況においても、CPU16は、姿勢センサ15のXYZ軸の出力に基づいて、撮影画面の傾きの変化を精度よく検出できる。
CPU16は、電子カメラの動作を統括的に制御するとともに、各種の画像処理を行うプロセッサである。このCPU16は、第2メモリ18に格納されたプログラムの実行によって、画像処理部24、撮像条件調整部25、テンプレート管理部26、被写体追尾部27として機能する。
画像処理部24は、デジタルの画像信号に対して各種の画像処理(色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など)を施す。また、画像処理部24は、画像の解像度変換(画素数変換)を実行する。一例として、撮影モードでの撮影待機時には、画像処理部24は、スルー画像に解像度変換を施してモニタ表示用のビュー画像を生成する。
撮像条件調整部25は、スルー画像のデータを用いて、公知のコントラスト検出によるオートフォーカス(AF)制御や、公知の自動露出(AE)演算をそれぞれ実行する。
テンプレート管理部26は、入力された画像から追尾対象の物体を識別するためのテンプレートのデータを生成する。一の実施形態の電子カメラでは、人間、動物、建築物、乗物などを含むあらゆる物体を追尾対象としてテンプレートを生成することが可能である。一例として、テンプレート管理部26は、撮影画面内に設定されているテンプレート生成範囲のスルー画像を用いてテンプレートのデータを生成する。なお、上記のテンプレートのデータには、例えば、YCbCrの各チャンネルのデータ(被写体の輝度情報、色差情報)が含まれる。
また、テンプレート管理部26は、姿勢センサ15の出力に基づいて、撮影画面の傾きの変化に応じてテンプレートの向きを調整する。
被写体追尾部27は、上記のテンプレートを用いて、撮影画面内における追尾対象の被写体の位置を継続的に検出する。これにより、撮像条件調整部25では、テンプレートに対応する被写体の動きに追従してAF制御を行うことができる。また、CPU16は、テンプレートに対応する被写体の位置を示すマークをビュー画像上にオーバーレイ表示させることもできる。
第1メモリ17は、CPU16による画像処理の前工程や後工程で画像のデータを一時的に記憶するバッファメモリである。この第1メモリ17は揮発性の記憶媒体であるSDRAMにより構成される。
第2メモリ18は、フラッシュメモリ等の不揮発性の記憶媒体で構成される。この第2メモリ18には、上記のテンプレートのデータや、被写体追尾処理に必要となる各種データ(例えば、追尾対象の検出位置のデータや、撮影画面の傾きのデータなど)が記憶される。なお、第2メモリ18には、CPU16によって実行されるプログラムも記憶される。このプログラムによる被写体追尾処理の動作例については後述する。
記録I/F19には、不揮発性の記憶媒体28を接続するためのコネクタが形成されている。そして、記録I/F19は、コネクタに接続された記憶媒体28に対してデータの書き込み/読み込みを実行する。上記の記憶媒体28は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図1では記憶媒体28の一例としてメモリカードを図示する。
モニタ20は、CPU16の指示に応じて各種画像を表示する。例えば、撮影モードでの撮影待機時において、CPU16の制御によりモニタ20には上記のビュー画像が動画表示される。このとき、CPU16は、撮影に必要となる各種情報をビュー画像にオーバーレイ表示させることもできる。また、CPU16は、各種設定を変更するためのメニュー画面をモニタ20に表示させることもできる。
レリーズ釦21は、半押し操作による撮影前のAF動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。
操作部材22は、例えば、コマンドダイヤル、十字状のカーソルキー、決定釦などで構成される。そして、操作部材22は電子カメラの各種入力をユーザーから受け付ける。例えば、操作部材22は、上記のメニュー画面での入力操作や、電子カメラの動作モードの切替操作、後述する被写体追尾指示の操作などに用いられる。
以下、図4の流れ図を参照しつつ、一の実施形態における被写体追尾処理の動作例を説明する。この被写体追尾処理のときの電子カメラの動作は、CPU16が実行するプログラムによって制御される。
ここで、図4に示す被写体追尾処理の起動手順を説明する。まず、CPU16は、被写体追尾が可能である撮影モードの選択操作を受け付けると、撮像素子13を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。
そして、CPU16は、スルー画像から生成されたビュー画像をモニタ20に動画表示させる。このとき、CPU16は、撮影画面内でのテンプレート生成範囲を示すガイドマーク(矩形の枠表示)をビュー画像に重畳させる(図5参照)。上記の枠表示は、CPU16の制御によって撮影画面の中央部に白色で表示される。上記の枠表示の中に追尾対象の被写体を収めた状態でユーザーが被写体追尾指示の操作(例えば、操作部材22の決定釦の押圧など)を実行すると、CPU16は以下に述べる被写体追尾処理を開始する。
ステップS101:撮像条件調整部25は、撮影画面の中央部(上記の枠表示の位置)を焦点検出エリアとしてAF制御を実行する。
なお、S101のAF制御でフォーカスレンズの合焦位置が検出できない場合、CPU16は、テンプレート生成範囲(枠表示に対応する範囲)の被写体が非合焦状態である旨の表示を行うとともに、被写体追尾処理を中止する。非合焦状態の場合には、テンプレート生成範囲のスルー画像から電子カメラが適正なテンプレートを生成できないからである。
ステップS102:テンプレート管理部26は、AF後に撮像されたスルー画像を用いて追尾対象のテンプレートを生成する。
一例として、テンプレート管理部26は、上記のスルー画像のうちからテンプレート生成範囲の部分画像を切り出す。そして、テンプレート管理部26は、部分画像の輝度成分を参照して追尾対象の輝度情報(Y)のテンプレートを生成するとともに、部分画像の色差成分を参照して追尾対象の色差情報(Cb,Cr)のテンプレートをそれぞれ生成する。なお、上記の各テンプレートのデータは、CPU16によって第2メモリ18に記録される。
ステップS103:CPU16は、テンプレートの生成に用いたスルー画像の撮像時点における姿勢センサ15の出力に基づいて、撮像光学系11の光軸を回転中心とする撮影画面の傾きθ1を求める。その後、CPU16は、撮影画面の傾きθ1のデータを第2メモリ18に記録する。
ここで、S103でのCPU16は、以下の式(1)によって、姿勢センサ15のX軸の出力値(X),Y軸の出力値(Y),Z軸の出力値(Z)を用いて撮影画面の傾きθ1を演算する。
Figure 2009225248
なお、S102およびS103の処理が終了すると、被写体追尾部27は上記のテンプレートを用いて被写体追尾処理を開始する。このとき、CPU16は、被写体追尾の実行状態を示す表示(被写体追尾マーク)をモニタ20に出力する。一例として、CPU16は、図5に示すガイドマークの表示色を白色から黄色に変更する。これにより、ユーザーはテンプレートの生成完了と、被写体追尾が開始されたこととをモニタ20で確認できる。
ステップS104:CPU16は、スルー画像のうちで被写体追尾の判定を行う判定フレームが撮像されたか否かを判定する。判定フレームが撮像された場合(YES側)にはS105に移行する。一方、判定フレームが撮像されていない場合(NO側)には、CPU16は判定フレームの撮像を待機する。
ステップS105:CPU16は、判定フレーム(S104)の撮像時点における姿勢センサ15の出力に基づいて、撮像光学系11の光軸を回転中心とする撮影画面の傾きθ2を求める。なお、S105でのθ2の演算はS103と同様であるので重複説明を省略する。
ステップS106:CPU16は、テンプレート取得時から判定フレームの撮像時までの撮影画面の傾きの変化量Δθを求める。具体的には、CPU16は、S103で求めたθ1とS105で求めたθ2との差分をとって、撮影画面の傾きの変化量Δθを演算する(Δθ=θ1−θ2)。
ステップS107:テンプレート管理部26は、撮影画面の傾きの変化の大きさに応じて、撮影画面に対するテンプレートの回転量が大きくなるようにテンプレートの向きを調整する。なお、S107でのテンプレート管理部26は、Y,Cb,Crの各テンプレートの向きをいずれも同様に調整する。
例えば、テンプレート管理部26は、公知の幾何学的変換処理によって、第2メモリ18から読み出したテンプレートを変化量Δθ(S106)に応じて回転させる。このとき、テンプレート管理部26は、必要に応じてテンプレートの再標本化処理および補間処理も実行する。これにより、撮影画面の傾きの変化量Δθに応じて回転補正されたテンプレートが生成される(図6参照)。
ステップS108:被写体追尾部27は、判定フレーム(S105)に含まれる被写体と、回転補正後のテンプレート(S107)との類似度を求めるマッチング処理を実行する。上記のマッチング処理は、判定フレームのうちの部分領域(探索エリア)に含まれる被写体を対象として行われる。また、上記の探索エリアの位置は、例えば、前回の判定時に撮影画面上で追尾対象を検出できた位置(初回の判定のときは撮影画面の中央部)を中心として設定されるものとする(図5参照)。
そして、S108のマッチング処理では、被写体追尾部27は、以下の(イ)から(ハ)の処理を実行する。なお、以下の各処理は、各テンプレートごとにそれぞれ行われるものとする。
(イ)被写体追尾部27は、判定フレームのうちから、テンプレートとのマッチングを行う対象領域を決定する。この対象領域のサイズは、回転補正後のテンプレートと同じサイズに設定される。
(ロ)次に、被写体追尾部27は、上記(イ)で設定された対象領域の画像と、回転補正後のテンプレートとでそれぞれ対応位置にある注目画素間の階調差を求める。そして、被写体追尾部27は、上記の対象領域での類似度を以下の式(2)で求める。なお、類似度の値は、被写体追尾部27によって第2メモリ18に記録される。
Figure 2009225248
ここで、式(2)において、I1はテンプレートに対応し、I2は対象領域の画像に対応する。そして、I1およびI2の注目画素は、テンプレートおよび対象領域の画像でそれぞれ対応位置にある画素を示す。また、式(2)では、テンプレートおよび判定フレームでの階調がともに8bit(0〜255の階調値)であることを前提とする。なお、上記の類似度の単位は%である。すなわち、上記の式(2)では、対応画素の階調差の絶対値を合計して類似度を求めている。そして、式(2)では、階調差の絶対値の総和が大きくなるほど類似度の値が小さくなる。
(ハ)被写体追尾部27は、対象領域をシフトさせて上記(ロ)の処理を繰り返す。これにより、被写体追尾部27は、判定フレームの各位置でテンプレートとの類似度をそれぞれ求める。
ステップS109:被写体追尾部27は、追尾対象をロストしたか否かを判定する。具体的には、被写体追尾部27は、マッチング処理(S108)で求めた類似度がいずれもロスト状態を示す判定閾値未満であるか否かを判定する。上記要件を満たす場合(YES側)にはS118に移行する。なお、この場合(S109のYES側)には、CPU16は、追尾対象のロストを示すエラー表示をモニタ20に出力するようにしてもよい。一方、上記要件を満たさない場合(NO側)にはS110に移行する。
ステップS110:CPU16は、被写体追尾処理の停止操作を受け付けたか否かを判定する。被写体追尾処理の停止操作があった場合(YES側)にはS118に移行する。一方、被写体追尾処理の停止操作がない場合(NO側)にはS111に移行する。
ステップS111:被写体追尾部27は、S108で求めた類似度の最大値(最大類似度)を抽出する。そして、被写体追尾部27は、判定フレーム内で最大類似度を示す対象領域の位置を追尾対象の位置として決定する。
そして、被写体追尾部27は、この追尾対象の位置に合わせて、ビュー画像に重畳する被写体追尾マークの表示位置を更新する。その結果、モニタ20上での枠表示の位置は追尾対象の被写体の動きに追従してシフトすることとなる。これにより、ユーザーは追尾対象の検出結果をモニタ20で確認できる。
また、被写体追尾部27は、追尾対象の検出位置(S111で決定したもの)を第2メモリ18に記録する。なお、被写体追尾部27は、追尾対象の検出を行うごとに、第2メモリ18に記憶された追尾対象の検出位置のデータを逐次更新してゆく。
ステップS112:焦点調節部41は、追尾対象の被写体の位置(S111)を焦点検出エリアに設定してAF制御を実行する。
ステップS113:CPU16は、レリーズ釦21が半押しされたか否かを判定する。レリーズ釦21が半押しされた場合(YES側)にはS114に移行する。一方、レリーズ釦21が半押しされていない場合(NO側)には、CPU16はS104に戻って上記動作を繰り返す。
ステップS114:CPU16は、被写体追尾部27による被写体の追尾を一時停止させる。そして、撮像条件調整部25は、被写体追尾処理で最後に検出された追尾対象の位置(第2メモリ18に記憶されている追尾対象の検出位置)を焦点検出エリアとしてAF制御を実行する。その後、撮像条件調整部25は、本画像の撮像が行われるか、あるいはレリーズ釦21の半押し操作が解除されるまでAF制御を停止してフォーカスレンズの焦点位置を固定する。
なお、S114での撮像条件調整部25は、追尾対象の位置を基準としてスポット測光によるAE演算を実行してもよい。
ステップS115:CPU16は、レリーズ釦21の半押しが解除されたか否かを判定する。レリーズ釦21の半押しが解除された場合(YES側)には、CPU16はS104に戻って被写体の追尾を再開する。一方、レリーズ釦21の半押しが継続している場合(NO側)にはS116に移行する。
ステップS116:CPU16は、レリーズ釦21が全押しされたか否かを判定する。レリーズ釦21が全押しされた場合(YES側)にはS117に移行する。一方、レリーズ釦21が全押しされていない場合(NO側)には、CPU16はS115に戻って上記動作を繰り返す。
ステップS117:CPU16は、撮像素子13を駆動させて本画像の撮像処理を実行する。本画像のデータは、AFE14および画像処理部24で所定の処理が施された後に、記録I/F19を介して記憶媒体28に記録される。
ステップS118:CPU16は、追尾終了の処理を実行する。例えば、CPU16は、第2メモリ18に記憶されている被写体追尾処理の各種データ(テンプレートのデータ、追尾対象の検出位置のデータおよび撮影画面の傾きのデータ)を初期化する。そして、CPU16は、ビュー画像の被写体追尾マークを消灯して一連の処理を終了する。以上で、図4の流れ図の説明を終了する。
以下、一の実施形態での作用効果を述べる。一の実施形態の電子カメラは、撮影画面の傾きの変化に合わせてテンプレートを回転させるとともに、回転補正後のテンプレートを適用して追尾対象の被写体を検出する(S107、S108)。したがって、図6に示すように、テンプレートの生成時点(図6のT1)と判定フレームの撮像時(図6のT2)とで撮影画面の傾きが異なる場合でも、撮影画面の傾きの変化に応じてテンプレートの向きが調整されるので、追尾対象を高い精度で検出できる。
<他の実施形態の説明>
図7は、他の実施形態における被写体追尾処理の動作例の流れ図である。ここで、図7のS201からS212の処理は、図4のS101からS112の処理にそれぞれ対応する。また、図7のS215からS220の処理は、図4のS113からS118の処理にそれぞれ対応する。そのため、他の実施形態では、上記の処理に関する重複説明は省略する。なお、他の実施形態における電子カメラの構成は、図1と共通するので重複説明は省略する。
ステップS213:テンプレート管理部26は、判定フレーム(S204)から切り出した追尾対象の検出位置の画像を用いて追尾対象のテンプレートを更新する。このとき、テンプレート管理部26は、すべてのテンプレート(Y,Cb,Cr)を生成する。また、更新後の各テンプレートのデータは、CPU16によってそれぞれ第2メモリ18に記録される。
ステップS214:CPU16は、第2メモリ18に記憶されているθ1の値を、判定フレームの撮像時点のθ2の値(S205で求めたもの)に書き換える。これにより、次の判定フレームでは、テンプレート更新時からの撮影画面の傾きの変化量がCPU16によって演算されることとなる。以上で、図7の説明を終了する。
他の実施形態の電子カメラでは、回転補正後のテンプレートを用いて追尾対象の検出に成功したときにテンプレートが順次更新される(S213)。そのため、被写体追尾処理のときに追尾対象の形状や明るさなどが緩やかに変化する場合にも、電子カメラが被写体追尾処理を精度よく行うことが可能となる。
<実施形態の補足事項>
(1)本発明の姿勢センサ15の構成は上記実施形態の例に限定されない。例えば、撮像光学系11の光軸に対して直交する2軸(図2のX軸,Z軸)の出力を検出する2軸加速度センサを適用して、CPU16が撮影画面の傾きを求めるようにしてもよい。
(2)上記の一の実施形態において、電子カメラは、本画像を撮像した後(S117)にS104に戻って被写体追尾処理を継続してもよい。また、上記の一の実施形態において、電子カメラは、レリーズ釦21の半押しを解除したとき(S115のYES側)に被写体追尾処理を終了させてもよい。
(3)上記実施形態では、追尾対象の輝度情報および色差情報のテンプレートをそれぞれ生成する例を説明した。しかし、上記実施形態はあくまで一例にすぎず、本発明の撮像装置では、上記の輝度情報、色差情報のテンプレートのいずれかを選択的に生成するものでもよい。また、被写体追尾部27は、例えば、画像のRGBの階調値、画像の輪郭成分または画像のコントラスト比の情報などを用いて、スルー画像から追尾対象を検出してもよい。
(4)上記実施形態では、画像処理部24、撮像条件調整部25、テンプレート管理部26、被写体追尾部27の各機能をプログラムによってソフトウエア的に実現する例を説明したが、これらの一部または全部の構成をハードウエア的に実現してもよい。
(5)上記実施形態において、テンプレートのデータ、類似度の値のデータ、追尾対象の検出位置のデータ、撮影画面の傾きのデータは、それぞれ第1メモリ17に記憶される構成であってもよい。
(6)上記実施形態では、コンパクト型の電子カメラでの構成例を説明した。しかし、本発明の撮像装置は、レンズ交換可能な一眼レフレックス型の電子カメラにも適用することが可能である。なお、本発明を一眼レフレックス型の電子カメラに適用する場合には、本画像を撮像する撮像素子13でスルー画像を撮像してもよく、また、本画像を撮像する撮像素子13とは別にスルー画像を撮像するための撮像素子を設けてもよい。また、本発明の撮像装置は、例えば、携帯電話などの電子機器に内蔵されるカメラモジュールに適用することも可能である。
(7)上記実施形態および変形例の構成はあくまで一例にすぎない。そのため、本発明の撮像装置を実施するときには、上述の実施形態および補足事項に示す構成やその処理の順序についてあらゆる組み合わせをとることができる。
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
一の実施形態の電子カメラの概略構成を説明するブロック図 姿勢センサにおける3軸の向きの設定例を示す図 (a)Y軸を回転中心として電子カメラを正位置から傾けた状態の姿勢センサの出力例を示す模式図、(b)X軸を回転中心として電子カメラを正位置から傾けた状態の姿勢センサの出力例を示す模式図 一の実施形態における被写体追尾処理の動作例の流れ図 ガイドマークの重畳されたビュー画像の表示例を示す図 撮影画面の傾きの変化とテンプレートの回転との関係を示す模式図 他の実施形態における被写体追尾処理の動作例の流れ図
符号の説明
11…撮像光学系、13…撮像素子、15…姿勢センサ、16…CPU、18…第2メモリ、24…画像処理部、26…テンプレート管理部、27…被写体追尾部

Claims (3)

  1. 撮像光学系を介して撮影画面内の被写体像を撮像する撮像部と、
    追尾対象の特徴を示すテンプレートを記憶するメモリと、
    前記撮像光学系の光軸を回転中心として前記撮影画面の傾きを検出する姿勢センサと、
    前記撮影画面の傾きの変化の大きさに応じて、前記撮影画面に対する前記テンプレートの回転量が大きくなるように前記テンプレートの向きを調整する制御部と、
    前記調整後のテンプレートを用いて、前記追尾対象の被写体を前記撮影画面から継続的に検出する被写体追尾部と、
    を備えることを特徴とする撮像装置。
  2. 請求項1に記載の撮像装置において、
    前記姿勢センサは、重力方向に対する前記撮像光学系の光軸の傾きを検出可能な加速度センサであることを特徴とする撮像装置。
  3. 請求項1または請求項2に記載の撮像装置において、
    前記制御部は、前記調整後のテンプレートを用いて前記追尾対象の被写体を検出できたときに、該検出時の前記撮像部の出力に基づいて前記テンプレートを更新することを特徴とする撮像装置。
JP2008069210A 2008-03-18 2008-03-18 撮像装置 Withdrawn JP2009225248A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008069210A JP2009225248A (ja) 2008-03-18 2008-03-18 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008069210A JP2009225248A (ja) 2008-03-18 2008-03-18 撮像装置

Publications (1)

Publication Number Publication Date
JP2009225248A true JP2009225248A (ja) 2009-10-01

Family

ID=41241536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008069210A Withdrawn JP2009225248A (ja) 2008-03-18 2008-03-18 撮像装置

Country Status (1)

Country Link
JP (1) JP2009225248A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014527655A (ja) * 2011-07-14 2014-10-16 バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフトBayerische Motoren Werke Aktiengesellschaft ポータブル端末用の歩行者の足取り認識方法および装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014527655A (ja) * 2011-07-14 2014-10-16 バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフトBayerische Motoren Werke Aktiengesellschaft ポータブル端末用の歩行者の足取り認識方法および装置

Similar Documents

Publication Publication Date Title
JP4218720B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US9313419B2 (en) Image processing apparatus and image pickup apparatus where image processing is applied using an acquired depth map
US7403710B2 (en) Image processing apparatus and image processing method
KR101370145B1 (ko) 화상 회복 장치, 카메라, 프로그램
JP5054063B2 (ja) 電子カメラ、画像処理装置及び画像処理方法
JP5115210B2 (ja) 撮像装置
JP6418879B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP2020095069A (ja) 撮像装置
JP2019186911A (ja) 画像処理装置および画像処理方法、ならびに撮像装置
JP6212991B2 (ja) 画像処理装置、撮像装置およびプログラム
JP5217451B2 (ja) 撮像装置
JP7158841B2 (ja) 撮像装置、撮像方法、プログラム、記録媒体および画像処理装置
JP2008288797A (ja) 撮像装置
JP4807582B2 (ja) 画像処理装置、撮像装置及びそのプログラム
JP5067047B2 (ja) 撮像装置
JP2018007272A (ja) 画像処理装置、撮像装置およびプログラム
JP6226731B2 (ja) 撮像装置、制御方法、およびプログラム
JP2007259004A (ja) デジタルカメラ、画像処理装置及び画像処理プログラム
JP5062095B2 (ja) 撮像装置
JP2015230515A (ja) 被写体追尾装置およびカメラ
JP2009225248A (ja) 撮像装置
JP5070856B2 (ja) 撮像装置
JP4810440B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP6645690B2 (ja) 自動焦点調節装置、撮像装置、および自動焦点調節方法
JP2013128165A (ja) 撮像装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20110607