JP4572815B2 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
JP4572815B2
JP4572815B2 JP2005334658A JP2005334658A JP4572815B2 JP 4572815 B2 JP4572815 B2 JP 4572815B2 JP 2005334658 A JP2005334658 A JP 2005334658A JP 2005334658 A JP2005334658 A JP 2005334658A JP 4572815 B2 JP4572815 B2 JP 4572815B2
Authority
JP
Japan
Prior art keywords
face
subject
size
instruction
follow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005334658A
Other languages
English (en)
Other versions
JP2007142866A5 (ja
JP2007142866A (ja
Inventor
円美 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2005334658A priority Critical patent/JP4572815B2/ja
Priority to US11/600,173 priority patent/US7868917B2/en
Publication of JP2007142866A publication Critical patent/JP2007142866A/ja
Publication of JP2007142866A5 publication Critical patent/JP2007142866A5/ja
Application granted granted Critical
Publication of JP4572815B2 publication Critical patent/JP4572815B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Description

本発明は撮像装置に係り、特に移動している人物が撮影範囲に入るようにアシストする撮影装置に関する。
特許文献1には、被写体指定手段によって視野内の注目する被写体を指定し、指定された被写体領域を追跡し、被写体領域の位置をポインタで示したり、また、被写体領域が画面から外れるなど、被写体領域の追跡に失敗した場合には、その旨を警告するインジケータを表示する記載がある。
また、特許文献2には、人物の顔を認識し、カメラの位置を左右方向、上下方向または前後方向に移動させるパン/チルト又はズーム制御することによって人物の顔を追跡する記載がある。
特開2004−112550号公報 特開2000−163600号公報
撮影したい人物が移動している場合、目的の人物に合わせてカメラを動かして撮影範囲内に人物がうまく入るようにする必要があり、また、目的の人物の移動方向によってはズームキーを操作して画角を決める必要があり、フレーミングに手間がかかっていた。
これを解決するために、特許文献1では、被写体指定手段により指定された被写体領域を追従する撮像装置を提案しているが、この撮像装置は、指定時の被写体領域を追従するものであり、撮影したい人物を直接追従していないという問題がある。
また、特許文献2では、人物の顔を認識し、その認識した人物の顔を追跡するようにカメラをパン/チルト又はズーム制御する撮影方法を提案しているが、この撮影方法は、カメラをパン/チルト又はズーム駆動手段(電動雲台)に取り付ける必要があり、持ち運びができる通常のカメラには適用できない。
本発明はこのような事情に鑑みてなされたもので、撮影者が特定の人物を追って撮影する際に、フレーミングしやすいようにアシストすることができ、撮影者の使い勝手を向上させることができる撮像装置を提供することを目的とする。
前記目的を達成するために請求項1に係る撮像装置は、被写体を撮像する撮像手段と、前記撮像手段を介して被写体を示す画像信号を連続的に取得する画像取得手段と、前記取得した画像信号に基づいてスルー動画を表示する表示手段と、前記連続的に取得した画像信号から被写体の顔を所定の時間間隔で連続的に認識する顔認識手段と、被写体の顔の追従を指示する追従指示手段と、前記連続的に認識した被写体の顔の複数の位置情報、顔のサイズ及び顔認識の時間間隔に基づいて前記追従指示手段による追従の指示時点から所定の時間経過後の被写体の顔の位置及び顔のサイズを予測する予測手段と、前記予測した被写体の顔の位置及び顔のサイズを前記表示手段に表示する通知手段と、を備えたことを特徴としている。
移動している人物の顔が撮影範囲内の所望の位置に達したときにシャッターを切るような撮影を行う場合に、前記追従指示手段による追従の指示入力があると、その入力時点から所定の時間経過後の被写体の顔の位置を予測し、その予測した被写体の顔の位置を撮影者に通知するようにしている。
これにより、撮影者は所定の時間経過後の被写体の顔の位置及び顔のサイズを知ることができ、その顔の位置及び顔のサイズに基づいて被写体の顔が撮影範囲内の所望の位置になるように撮像装置を移動させてシャッターを切ることができる。
請求項2に示すように請求項1に記載の撮像装置において、前記追従指示手段による追従の指示をキャンセルするキャンセル指示手段と、前記追従指示手段による追従の指示時点から前記所定の時間経過までに前記キャンセル指示手段により追従の指示がキャンセルされない場合に、前記所定の時間経過後に自動的にシャッターを切るシャッター制御手段と、を備えたことを特徴としている。
請求項3に示すように請求項1又は2に記載の撮像装置において、前記通知手段は、前記追従指示手段から追従の指示が入力されてから一定の期間、前記予測した被写体の顔の位置及び顔のサイズを撮影者に通知することを特徴としている。
請求項4に示すように請求項1から3のいずれかに記載の撮像装置において、前記所定の時間は、3秒から10秒の範囲内の時間であることを特徴としている
請求項に示すように請求項1からのいずれかに記載の撮像装置において、前記通知手段は、前記予測手段により予測した被写体の顔の位置及び顔のサイズが撮影範囲外になる場合には、その旨を警告することを特徴としている。
請求項に示すように請求項1からのいずれかに記載の撮像装置において、前記通知手段は、前記予測手段により予測した被写体の顔の位置及び顔のサイズが撮影範囲内にある場合のみ、その顔の位置及び顔のサイズを通知することを特徴としている。
請求項に係る撮像方法は、被写体を示す画像信号を連続的に取得するステップと、前記取得した画像信号から被写体の顔を認識するステップと、被写体の顔の追従を指示するステップと、前記連続的に認識した被写体の顔の複数の位置情報、顔のサイズ及び顔認識の時間間隔に基づいて前記追従の指示時点から所定の時間経過後の被写体の顔の位置及び顔のサイズを予測するステップと、前記取得した画像信号に基づいてスルー動画を表示手段に表示するとともに前記予測した被写体の顔の位置及び顔のサイズを前記表示手段に表示するステップと、を備えたことを特徴としている。
請求項に示すように請求項に記載の撮像方法において、前記追従の指示をキャンセルするステップと、前記追従の指示時点から前記所定の時間経過までに前記追従の指示がキャンセルされない場合に、前記所定の時間経過後に自動的にシャッターを切るステップと、を含むことを特徴としている。
請求項に示すように請求項又はに記載の撮像方法において、前記表示手段に表示するステップでは、前記追従の指示が入力されてから一定の期間、前記予測した被写体の顔の位置及び顔のサイズが撮影者に通知されることを特徴としている。
請求項10に示すように請求項からのいずれかに記載の撮像方法において、前記所定の時間は、3秒から10秒の範囲内の時間であることを特徴としている
請求項11に示すように請求項から10のいずれかに記載の撮像方法において、前記表示手段に表示するステップは、前記予測した被写体の顔の位置及び顔のサイズが撮影範囲外になる場合には、その旨を警告することを特徴としている。
請求項12に示すように請求項から11のいずれかに記載の撮像方法において、前記表示手段に表示するステップは、前記予測した被写体の顔の位置及び顔のサイズが撮影範囲内にある場合のみ、その顔の位置及び顔のサイズを通知することを特徴としている。
本発明によれば、撮影者が特定の人物を追って撮影する際に、その人物の顔を自動認識し、人物の顔が撮影範囲に入るように撮像装置の移動方向を通知したり、所定の時間経過後の人物の顔の位置を予測して通知するようにしたため、被写体の顔を追い続けやすくなり、撮影者にとって使い勝手がよくなる。
以下、添付図面に従って本発明に係る撮像装置の好ましい実施の形態について説明する。
[撮像装置の構成]
図1は本発明に係る撮像装置の実施の形態を示すブロック図である。
図1に示す撮像装置1は、静止画や動画の記録及び再生機能を備えたデジタルカメラである。この撮像装置1は、撮影光学系10、撮像素子等の撮像素子12、A/D変換器14、画像信号処理部16、積算部18、中央処理装置(CPU)20、顔認識部22、ROM(Read Only Memory)24、RAM(Random Access Memory)26、液晶モニタ等の表示部28、操作部30、画像記録処理部32、及びメディア・インターフェース34等によって構成されている。
撮像装置1の全体の動作は、CPU20によって統括制御されており、CPU20は操作部30からの入力に基づき所定のプログラムに従って撮像装置1の各部を制御する。
ROM24には、このCPU20が実行するプログラムの他、プログラム線図等の各種制御に必要なデータが格納されている。CPU20は、このROM24に格納されたプログラムをRAM26に展開し、RAM26を作業メモリとして使用しながら各種処理を実行する。
撮影光学系10は、フォーカスレンズ10f、ズームレンズ10z、絞り・シャッター12iを含み、それぞれCPU20からの指令によりモータ駆動回路36及びモータ38を介して駆動制御される。
撮像素子12は、所定のカラーフィルタ配列(例えば、GストライプR/G完全市松、ベイヤ配列)のカラー撮像素子で構成されている。撮影光学系10を介して撮像素子12の受光面に入射した光は、その受光面に配列された各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積された信号電荷は、図示しないタイミングジェネレータから加えられるタイミング信号に従って読み出され、電圧信号(画像信号)として撮像素子12から順次出力される。
尚、この撮像素子12は、シャッタゲートとシャッタドレインを備えており、シャッタゲートにシャッタゲートパルスを印加することで各フォトダイオードに蓄積された信号電荷をシャッタドレインに掃き出すことができるようにされている。CPU20は、タイミングジェネレータを介してシャッタゲートへのシャッタゲートパルスの印加を制御することにより、各フォトダイオードに蓄積される信号電荷の電荷蓄積時間(シャッタ速度)を制御する(いわゆる電子シャッター機能)。
A/D変換器14は、撮像素子12から読み出されるRGBのアナログの画像信号をデジタルの画像信号に変換する。A/D変換器14によってデジタル信号に変換されたR,G,B信号は、画像信号処理部16及び積算部18に加えられる。
積算部18は、R、G、Bの各色の画像信号から、1画面を複数のエリア(8×8)に分割した分割エリアごとにR、G、Bの各色別の画像信号の色別の平均積算値を求める。これらの分割エリアごとのR、G、Bの各色別の画像信号の平均積算値は、CPU20に与えられる。
CPU20は、積算部18から与えられた分割エリアごとのR、G、B各色別の画像信号の平均積算値に基づいて、画像信号処理部16に与えるR、G、B各色のホワイトバランス補正値(ゲイン値)を算出する。また、CPU20は、前記積算平均値、及び画像信号取得時の絞り値、シャッタ速度に基づいて被写体の明るさを検出してEV値を求め、求めたEV値に基づいて撮影時の露出を設定し、撮影光学系10の絞り・シャッター10i及び撮像素子12の電子シャッターを制御する。
画像信号処理部16は、リニアマトリクス回路、ホワイトバランス補正回路、ガンマ補正回路、同時化回路、輝度・色差信号生成回路、輪郭補正回路、色差マトリクス回路等を含み、CPU20からの指令に従って画像信号を処理し、輝度信号Yと色差信号Cr,Cb
とからなるYC信号を生成する。
顔認識部22は、撮像された画像、又は記録された画像から被写体の顔、目、鼻、口等を検出し、それらの特徴点、パターンを識別することにより被写体の顔を認識する。顔検出・認識の具体的な方法は、エッジ検出又は形状パターン検出による顔検出方法、色相抽出又は肌色抽出による顔検出方法等の公知の方法を利用すればよい。
表示部28に動画(スルー動画)を表示させる場合は、撮像素子12で被写体を連続的に撮像し、得られた画像信号を連続的に処理してYC信号を生成する。生成されたYC信号は、表示用の信号形式に変換されて表示部28に出力される。これにより、表示部28にスルー動画が表示される。
撮影者は、表示部28に表示されるスルー動画を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影した画像を確認したり、撮影条件を設定したりする。また、表示部28には、フレーミングをアシストするための表示等を行うが、その詳細については後述する。
操作部30には、撮影モード(オート撮影モード、マニュアル撮影モード、シーンポジション、動画等)を選択するためのモードレバー、シャッターボタン、マルチファンクションの十字キー、ズームボタン、再生モードに切り替える再生ボタン、メニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択するための、選択項目の確定や処理の実行を指令するOKボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは1つ前の操作状態に戻らせる指令を入力するキャンセルボタン、及び本発明に係る追従ボタン等が含まれる。
操作部30からの出力信号は、CPU20に入力され、CPU20は操作部30からの入力信号に基づいて撮影や再生等の適宜の処理を実施させるとともに、被写体を追跡してフレーミングをアシストするための処理等を実施する。
画像を記録する場合は、操作部30からの撮影指令に応じて撮像素子12で画像を撮像し、得られた画像信号を処理してYC信号を生成する。生成されたYC信号は、画像記録処理部32によって所定の圧縮画像データ(例えば、JPEG形式)に圧縮されたのち、メディア・インターフェース34を介して記録媒体(例えば、xDピクチャーカード等)に記録される。
次に、上記構成の撮像装置1により移動する被写体の顔を追従して被写体を撮影する場合の処理内容について説明する。
[第1の実施の形態]
図2は被写体の顔を追従して被写体を撮影する場合の第1の実施の形態を示すフローチャートである。
図2において、撮影モード時に操作部30の追従ボタンが押されると(ステップS10)、CPU20は、前回追従した顔情報の履歴があるか否かを判別する(ステップS12)。顔情報の履歴がある場合には、スルー動画の画像データから前記顔情報と類似する顔情報を有する顔の認識処理を行う(ステップS14)。
そして、前記顔の認識処理によって類似する顔が認識されたか否かを判別し(ステップS16)、類似する顔が認識された場合には、その顔(前回追従した顔)を追従対象として設定する(ステップS18)。
一方、顔情報の履歴がない場合、又は顔情報の履歴があるが、その顔と類似する顔が認識されない場合には、スルー動画の1画面内で一番大きい顔を抽出する認識処理を行う(ステップS20)。一番大きい顔が複数あるか否かを判別し(ステップS22)、一番大きい顔が1つの場合には、その顔の顔情報を履歴に保存し、顔情報の履歴を更新する(ステップS24)。一番大きい顔が複数ある場合には、一番画角中央に近い顔を抽出し(ステップS26)、一番画角中央に近い顔を複数あるか否かを判別する(ステップS28)。
一番画角中央に近い顔が1つの場合には、その顔の顔情報を履歴に保存し、顔情報の履歴を更新する(ステップS24)。一方、一番画角中央に近い顔が複数ある場合には、一番先に認識した顔と抽出し(ステップS30)、その顔の顔情報を履歴に保存し、顔情報の履歴を更新する(ステップS24)。
上記のようにして追従対象の顔が設定されると、続いて、CPU20は、追従動作を開始する(ステップS32)。追従開始後、CPU20は、キャンセルボタンが押下されたか否かを判別し(ステップS34)、押下されない場合には、所定周期(例えば、0.5秒)で追従対象の顔の認識処理を行う(ステップS36)。
一方、キャンセルボタンが押下されると、顔情報を履歴から削除し(ステップS38)、表示部28に追従の終了を表示させる(ステップS54)。これにより、追従対象の顔を変更することが可能になる。
ステップS36での顔認識処理の結果から追従対象の顔を認識できたか否かを判別し(ステップS40)、顔を認識できた場合には、図3に示すように認識した顔(又は顔の一部)が撮影範囲よりも狭い所定のフレームF(図3の破線で示す範囲)の外側にあるか否かを判別する(ステップS42)。
図3は第1の実施の形態の追従動作時にスルー動画を表示する表示部28のモニタ画面の例を示す図であり、図3(A)は追従対象の顔(女の子の顔)を撮像装置1が適切に追従している状態を示す、図3(B)は顔の一部がフレームFの外側にある状態を示し、図3(C)は顔の一部が撮影範囲の外側にある状態を示している。尚、女の子の顔の周りにある破線の枠は、撮像装置1が認識している顔領域を示している。また、フレームFは表示部28の実際の画面には表示されない。
ステップS42において、顔(又は顔の一部)が所定のフレームFの外側にないと判別された場合には、ステップS34に戻り、追従動作を繰り返す。このときの表示部28の画面には、図3(A)に示すように通常のスルー動画のみが表示される。
一方、顔(又は顔の一部)が所定のフレームFの外側にあると判別されると、更に、顔(又は顔の一部)が撮影範囲の外側にあるか否かを判別する(ステップS44)。
そして、顔(又は顔の一部)が所定のフレームFの外側にあり、かつ撮影範囲の外側にない場合には、図3(B)に示すように表示部28の画面上に、顔がフレームFに入るように撮像装置1を移動させる移動方向を示すマークM1を点灯させ(ステップS46)、顔(又は顔の一部)が撮影範囲の外側にあると判別されると、図3(C)に示すように表示部28の画面上に、顔が撮影範囲に入るように撮像装置1を移動させる方向を示すマークM2(マークM1よりも大きいマーク)を点滅させる(ステップS48)。
図3(B)では、追従している被写体の顔の一部がフレームFの上辺の外側にあるため、撮像装置1を上方向に移動させるべく、表示部28の画面の上縁部にマークM1を表示するようにしている。また、図3(C)では、追従している被写体の顔の一部が撮影範囲の上辺の外側にあるため、撮像装置1を上方向に移動させるべく、表示部28の画面の上縁部にマークM2を点滅表示するようにしている。
撮影者が上記マークM1,M2の指示にしたがって撮像装置1を移動させ、被写体の顔が撮影範囲に入ると、マークM2はマークM1に表示が変わり、被写体の顔がフレームFに入ると、マークM1は表示部28の画面から消える(図3(A)参照)。
ステップS40において、追従対象の顔の認識ができない場合には、所定の時間以上、継続して顔の認識ができないか否かを判別し(ステップS50)、所定の時間以内に認識できた場合にはステップS36に戻り、一方、所定の時間以上認識できない場合には、追従動作を停止したのち(ステップS52)、ステップS54に進む。
これにより、移動する人物の顔を撮影する際に、撮影者は、追従対象を見失っても表示部28のマークM1、M2を見ながら撮像装置1の移動方向(姿勢)を変更することにより、追従対象の顔が常にフレームF内に入るようにフレーミングすることができる。
尚、マークM1,M2は、この実施の形態のものに限らず、例えば、マークM1とM2
とは同じ大きさで、点灯と点滅の表示方法のみが異なるようにしてもよいし、表示色のみが異なるようにしてもよい。
[第2の実施の形態]
図4は被写体の顔を追従して被写体を撮影する場合の第2の実施の形態を示すフローチャートである。
図4において、撮影モードが設定されているときに、追従対象の選択を行うための選択ボタンを押下すると(ステップS100、S102)、CPU20は、表示部28の画面中央に選択用マークを表示させる(ステップS104)。
続いて、追従対象の被写体が選択されたか否かを判別する(ステップS106)。追従対象の被写体の選択は、撮影者が十字キーを操作して表示部28の画面上で前記選択用マークを追従対象の顔の位置に移動させ、追従ボタンを押すことによって行うことができる。
撮影者により被写体選択操作が実行されると、CPU20は顔認識部22を通じて被写体の顔認識を開始させる(ステップS108)。ここでの顔認識は、スルー動画の画像データから選択用マークに一番近い顔画像を抽出し、その抽出した顔画像を追跡対象の顔として認識する。
被写体の顔が認識されると、CPU20は追従動作を開始する(ステップS112)。一方、被写体の顔が認識できない場合には、表示部28に追従の終了を表示させて終了させる(ステップS114)。
被写体の追従開始後、CPU20は、キャンセルボタンが押下されたか否かを判別し(ステップS116)、押下されない場合には、所定周期(例えば、0.5秒)で追従対象の顔の認識処理を行う(ステップS118)。一方、キャンセルボタンが押下されると、追従動作を停止させる(ステップS120)。
図5は第2の実施の形態の追従動作時にスルー動画を表示する表示部28のモニタ画面の例を示す図であり、図5(A)は追従中のモニタ画面を示し、図5(B)は予測結果が表示されているモニタ画面を示し、図5(C)は警告が表示されているモニタ画面を示している。
前記ステップS118での顔認識処理の結果から追従対象の顔を認識できたか否かを判別し(ステップS122)、顔を認識できた場合には、認識した顔の情報(位置、サイズ)を追従履歴として保存する(ステップS124)。この実施の形態では、最大64個の最新の顔情報が履歴として保存される。
また、図5(A)に示すように追従している顔の周りに実線で示すフレームF1を表示して、追従対象を撮影者に知らせる。
ステップS122において、追従対象の顔の認識ができない場合には、更に所定の時間以上、継続して顔の認識ができないか否かを判別し(ステップS126)、所定の時間以内に認識できた場合にはステップS116に戻り、一方、所定の時間以上認識できない場合には、表示部28に追従の終了を表示させた後(ステップS128)、ステップS120に移行する。
被写体の顔の追従中に、撮影者により追従ボタンが押下されたか否かを判別し(ステップS130)、CPU20は、ステップS124で保存した顔情報の履歴に基づいて予め設定されている所定の時間(例えば、5秒)後の被写体の顔の予測位置及び予測サイズを算出する(ステップS132)。この予測位置及び予測サイズは、所定周期で収集した顔情報(位置、サイズ)の履歴を元にして、所定の時間後の顔情報(位置、サイズ)を線形予測することで算出することができる。
上記のようにして予測した顔の位置及びサイズから顔が撮影範囲内に入るか否かを判別し(ステップS134)、顔が撮影範囲内に入る場合には、図5(B)に示すように所定の時間後の顔の位置を示すフレームF2を追従ボタンの押下後、2秒間表示させるステップS136)。
一方、顔が撮影範囲内に入らない場合には、図5(C)に示すように表示部28にその旨の警告を表示させ、ステップS116に戻る(ステップS138)。
これにより、移動する人物の顔を撮影する際に、撮影者は、任意のタイミングで追従ボタンを押し、その時点から所定時間後の被写体の顔の位置及びサイズを、フレームF2より把握し(図5(B)参照)、その位置に被写体の顔が到達する時点に合わせてシャッターを切ればよい。
また、予測した被写体の顔が撮影範囲内に入らない場合や、顔の位置やサイズが撮影者の望んでいる位置やサイズと異なる場合には、フレーミングを調整した後、再度追従ボタンを押し、所望の位置及びサイズが予測されるようにフレーミングを調整することができる。
尚、この実施の形態では、追従ボタンの押下後、所定の時間(5秒)後の被写体の顔の位置を予測するようにしたが、この所定の時間は、5秒に限らず、メニュー画面で3秒、5秒、10秒等から撮影者が適宜選択できるようにしてもよいし、任意に設定できるようにしてもよい。
また、追従ボタンの押下後、キャンセルボタンを押さない場合には、前記所定の時間後に自動的にシャッターが切れるようにしてもよい。
図1は本発明に係る撮像装置の実施の形態を示すブロック図である。 図2は被写体の顔を追従して被写体を撮影する場合の第1の実施の形態を示すフローチャートである。 図3は第1の実施の形態の追従動作時にスルー動画を表示する表示部のモニタ画面の例を示す図である。 図4は被写体の顔を追従して被写体を撮影する場合の第2の実施の形態を示すフローチャートである。 図5は第2の実施の形態の追従動作時にスルー動画を表示する表示部のモニタ画面の例を示す図である。
符号の説明
1…撮像装置(デジタルカメラ)、10…撮影光学系、12…撮像素子、16…画像信号処理部、20…中央処理装置(CPU)22…顔認識部、24…ROM、26…RAM、28…表示部、30…操作部

Claims (12)

  1. 被写体を撮像する撮像手段と、
    前記撮像手段を介して被写体を示す画像信号を連続的に取得する画像取得手段と、
    前記取得した画像信号に基づいてスルー動画を表示する表示手段と、
    前記連続的に取得した画像信号から被写体の顔を所定の時間間隔で連続的に認識する顔認識手段と、
    被写体の顔の追従を指示する追従指示手段と、
    前記連続的に認識した被写体の顔の複数の位置情報、顔のサイズ及び顔認識の時間間隔に基づいて前記追従指示手段による追従の指示時点から所定の時間経過後の被写体の顔の位置及び顔のサイズを予測する予測手段と、
    前記予測した被写体の顔の位置及び顔のサイズを前記表示手段に表示する通知手段と、
    を備えたことを特徴とする撮像装置。
  2. 前記追従指示手段による追従の指示をキャンセルするキャンセル指示手段と、
    前記追従指示手段による追従の指示時点から前記所定の時間経過までに前記キャンセル指示手段により追従の指示がキャンセルされない場合に、前記所定の時間経過後に自動的にシャッターを切るシャッター制御手段と、
    を備えたことを特徴とする請求項1に記載の撮像装置。
  3. 前記通知手段は、前記追従指示手段から追従の指示が入力されてから一定の期間、前記予測した被写体の顔の位置及び顔のサイズを撮影者に通知することを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記所定の時間は、3秒から10秒の範囲内の時間であることを特徴とする請求項1から3のいずれかに記載の撮像装置。
  5. 前記通知手段は、前記予測手段により予測した被写体の顔の位置及び顔のサイズが撮影範囲外になる場合には、その旨を警告することを特徴とする請求項1からのいずれかに記載の撮像装置。
  6. 前記通知手段は、前記予測手段により予測した被写体の顔の位置及び顔のサイズが撮影範囲内にある場合のみ、その顔の位置及び顔のサイズを通知することを特徴とする請求項1からのいずれかに記載の撮像装置。
  7. 被写体を示す画像信号を連続的に取得するステップと、
    前記取得した画像信号から被写体の顔を認識するステップと、
    被写体の顔の追従を指示するステップと、
    前記連続的に認識した被写体の顔の複数の位置情報、顔のサイズ及び顔認識の時間間隔に基づいて前記追従の指示時点から所定の時間経過後の被写体の顔の位置及び顔のサイズを予測するステップと、
    前記取得した画像信号に基づいてスルー動画を表示手段に表示するとともに前記予測した被写体の顔の位置及び顔のサイズを前記表示手段に表示するステップと、
    を備えたことを特徴とする撮像方法。
  8. 前記追従の指示をキャンセルするステップと、
    前記追従の指示時点から前記所定の時間経過までに前記追従の指示がキャンセルされない場合に、前記所定の時間経過後に自動的にシャッターを切るステップと、
    を含むことを特徴とする請求項に記載の撮像方法。
  9. 前記表示手段に表示するステップでは、前記追従の指示が入力されてから一定の期間、前記予測した被写体の顔の位置及び顔のサイズが撮影者に通知されることを特徴とする請求項又はに記載の撮像方法。
  10. 前記所定の時間は、3秒から10秒の範囲内の時間であることを特徴とする請求項からのいずれかに記載の撮像方法。
  11. 前記表示手段に表示するステップは、前記予測した被写体の顔の位置及び顔のサイズが撮影範囲外になる場合には、その旨を警告することを特徴とする請求項から10のいずれかに記載の撮像方法。
  12. 前記表示手段に表示するステップは、前記予測した被写体の顔の位置及び顔のサイズが撮影範囲内にある場合のみ、その顔の位置及び顔のサイズを通知することを特徴とする請求項から11のいずれかに記載の撮像方法。
JP2005334658A 2005-11-18 2005-11-18 撮像装置及び撮像方法 Active JP4572815B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005334658A JP4572815B2 (ja) 2005-11-18 2005-11-18 撮像装置及び撮像方法
US11/600,173 US7868917B2 (en) 2005-11-18 2006-11-16 Imaging device with moving object prediction notification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005334658A JP4572815B2 (ja) 2005-11-18 2005-11-18 撮像装置及び撮像方法

Publications (3)

Publication Number Publication Date
JP2007142866A JP2007142866A (ja) 2007-06-07
JP2007142866A5 JP2007142866A5 (ja) 2009-11-19
JP4572815B2 true JP4572815B2 (ja) 2010-11-04

Family

ID=38053065

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005334658A Active JP4572815B2 (ja) 2005-11-18 2005-11-18 撮像装置及び撮像方法

Country Status (2)

Country Link
US (1) US7868917B2 (ja)
JP (1) JP4572815B2 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4413235B2 (ja) * 2006-02-22 2010-02-10 三洋電機株式会社 電子カメラ
JP4761146B2 (ja) * 2006-06-30 2011-08-31 カシオ計算機株式会社 撮像装置及びそのプログラム
JP4463792B2 (ja) * 2006-09-29 2010-05-19 富士フイルム株式会社 撮影装置
US20090015681A1 (en) * 2007-07-12 2009-01-15 Sony Ericsson Mobile Communications Ab Multipoint autofocus for adjusting depth of field
JP2009077321A (ja) * 2007-09-25 2009-04-09 Casio Comput Co Ltd 画像記録装置及び画像記録処理方法
KR101406799B1 (ko) 2007-10-02 2014-06-12 삼성전자주식회사 얼굴 인식 마크를 디스플레이하는 디지털 영상 처리장치 및그 제어방법
JP4552997B2 (ja) * 2007-11-16 2010-09-29 カシオ計算機株式会社 撮像装置及びプログラム
JP4492697B2 (ja) 2007-12-28 2010-06-30 カシオ計算機株式会社 撮像装置、及び、プログラム
KR101510101B1 (ko) * 2008-01-30 2015-04-10 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
JP5079549B2 (ja) * 2008-03-03 2012-11-21 パナソニック株式会社 撮像装置および撮像装置本体
JP4964807B2 (ja) * 2008-03-07 2012-07-04 パナソニック株式会社 撮像装置及び撮像方法
JP4944055B2 (ja) 2008-03-19 2012-05-30 富士フイルム株式会社 撮像装置及び撮像制御方法
JP2009246545A (ja) * 2008-03-28 2009-10-22 Brother Ind Ltd 画像出力装置
US8300117B2 (en) * 2008-03-28 2012-10-30 Fuji Xerox Co., Ltd. System and method for exposing video-taking heuristics at point of capture
JP2009284075A (ja) * 2008-05-20 2009-12-03 Nec Electronics Corp 撮影装置および撮影方法
JP5166124B2 (ja) 2008-06-04 2013-03-21 株式会社東芝 カメラ付き携帯端末のバックライト調整装置
JP5238365B2 (ja) * 2008-06-05 2013-07-17 富士フイルム株式会社 撮像装置
JP5064313B2 (ja) * 2008-06-20 2012-10-31 オリンパス株式会社 携帯情報端末
JP5409189B2 (ja) * 2008-08-29 2014-02-05 キヤノン株式会社 撮像装置及びその制御方法
JP2010087598A (ja) * 2008-09-29 2010-04-15 Fujifilm Corp 撮影装置及び撮影制御方法ならびにそのプログラム、画像表示装置及び画像表示方法ならびにそのプログラム、撮影システム及びその制御方法ならびにそのプログラム
KR101537596B1 (ko) * 2008-10-15 2015-07-20 엘지전자 주식회사 이동 단말기 및 이것의 터치 인식 방법
JP5210841B2 (ja) * 2008-12-12 2013-06-12 パナソニック株式会社 撮像装置
JP5210843B2 (ja) * 2008-12-12 2013-06-12 パナソニック株式会社 撮像装置
US8364442B2 (en) * 2009-02-17 2013-01-29 Schlumberger Technology Corporation Automated structural interpretation
JP5446546B2 (ja) * 2009-07-28 2014-03-19 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム、撮像システム
KR101794350B1 (ko) * 2011-02-08 2017-12-04 삼성전자주식회사 휴대단말기의 영상 촬영 방법
JP5085759B2 (ja) 2011-03-31 2012-11-28 株式会社東芝 表示制御装置、電子機器及び制御プログラム
JP2013034167A (ja) 2011-06-28 2013-02-14 Sony Corp 情報処理装置、情報処理方法およびプログラム
US9813607B2 (en) 2011-12-16 2017-11-07 Nokia Technologies Oy Method and apparatus for image capture targeting
US9781336B2 (en) 2012-01-30 2017-10-03 Panasonic Intellectual Property Management Co., Ltd. Optimum camera setting device and optimum camera setting method
JP2013247508A (ja) * 2012-05-25 2013-12-09 Canon Inc 自動追尾カメラの制御装置及び該制御装置を有する自動追尾カメラ
CN104243791B (zh) * 2013-06-19 2018-03-23 联想(北京)有限公司 一种信息处理方法及电子设备
US9635311B2 (en) * 2013-09-24 2017-04-25 Sharp Kabushiki Kaisha Image display apparatus and image processing device
JP6080751B2 (ja) * 2013-12-11 2017-02-15 三菱電機株式会社 映像処理装置、映像処理システムおよび映像処理方法
JP6640460B2 (ja) 2015-03-30 2020-02-05 富士フイルム株式会社 画像撮影装置、画像撮影方法、プログラムおよび記録媒体
US10339661B2 (en) * 2015-07-28 2019-07-02 Panasonic Intellectual Property Management Co., Ltd. Movement direction determination method and movement direction determination device
US20180109713A1 (en) * 2016-10-15 2018-04-19 SMPL Inc. System and method for evenly-scattered adaptable subject lighting for mobile device photography
CN108419014B (zh) * 2018-03-20 2020-02-21 北京天睿空间科技股份有限公司 利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法
US11057533B1 (en) * 2020-03-31 2021-07-06 Kyocera Document Solutions Inc. Image forming apparatus and image forming method for inferring and responding to target operator situation

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243274A (ja) * 1997-02-25 1998-09-11 Sanyo Electric Co Ltd 画像撮影装置
JP2000333045A (ja) * 1999-03-15 2000-11-30 Fuji Photo Film Co Ltd 構図アドバイス機能付きディジタル・スチル・カメラおよびその動作制御方法
JP2001285850A (ja) * 2000-03-30 2001-10-12 Nec Corp 自動追尾装置、自動追尾方法及び自動追尾プログラムを記録した記録媒体
JP2003199032A (ja) * 2001-09-28 2003-07-11 Fuji Photo Film Co Ltd 画像識別装置、注文処理装置及び画像識別方法
JP2003296711A (ja) * 2002-03-29 2003-10-17 Nec Corp 顔画像識別方法、装置およびプログラム
JP2004320287A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2005003852A (ja) * 2003-06-11 2005-01-06 Nikon Corp 自動撮影装置
JP2005217768A (ja) * 2004-01-29 2005-08-11 Fuji Photo Film Co Ltd デジタルカメラ
JP2005269562A (ja) * 2004-03-22 2005-09-29 Fuji Photo Film Co Ltd 撮影装置
JP2006060329A (ja) * 2004-08-17 2006-03-02 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
JP2007049229A (ja) * 2005-08-05 2007-02-22 Canon Inc 撮像装置及び撮像方法
JP2007074143A (ja) * 2005-09-05 2007-03-22 Canon Inc 撮像装置及び撮像システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5266985A (en) * 1990-07-16 1993-11-30 Nikon Corporation Camera with optimum composition determinator
JPH08186757A (ja) * 1994-12-28 1996-07-16 Canon Inc 電子カメラ
KR20000003505A (ko) 1998-06-29 2000-01-15 김영환 도핑된 산화막을 이용한 반도체소자의 평탄화 방법
KR100326203B1 (ko) 1999-06-11 2002-02-27 김운용 피부색 및 움직임 자동 추적에 의한 얼굴 촬영/인식방법과 그장치
GB2343945B (en) 1998-11-18 2001-02-28 Sintec Company Ltd Method and apparatus for photographing/recognizing a face
US6785469B1 (en) * 1999-11-16 2004-08-31 Olympus Corporation Distance measuring device installed in camera
US7173650B2 (en) * 2001-03-28 2007-02-06 Koninklijke Philips Electronics N.V. Method for assisting an automated video tracking system in reaquiring a target
JP4802397B2 (ja) * 2001-05-30 2011-10-26 コニカミノルタホールディングス株式会社 画像撮影システム、および操作装置
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
US7301569B2 (en) * 2001-09-28 2007-11-27 Fujifilm Corporation Image identifying apparatus and method, order processing apparatus, and photographing system and method
JP2004112550A (ja) 2002-09-19 2004-04-08 Ricoh Co Ltd 撮像装置、カメラ、プログラム及び記録媒体
JP4841111B2 (ja) 2004-03-18 2011-12-21 カシオ計算機株式会社 デジタルカメラ装置およびプログラム
US7613324B2 (en) * 2005-06-24 2009-11-03 ObjectVideo, Inc Detection of change in posture in video

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243274A (ja) * 1997-02-25 1998-09-11 Sanyo Electric Co Ltd 画像撮影装置
JP2000333045A (ja) * 1999-03-15 2000-11-30 Fuji Photo Film Co Ltd 構図アドバイス機能付きディジタル・スチル・カメラおよびその動作制御方法
JP2001285850A (ja) * 2000-03-30 2001-10-12 Nec Corp 自動追尾装置、自動追尾方法及び自動追尾プログラムを記録した記録媒体
JP2003199032A (ja) * 2001-09-28 2003-07-11 Fuji Photo Film Co Ltd 画像識別装置、注文処理装置及び画像識別方法
JP2003296711A (ja) * 2002-03-29 2003-10-17 Nec Corp 顔画像識別方法、装置およびプログラム
JP2004320287A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2005003852A (ja) * 2003-06-11 2005-01-06 Nikon Corp 自動撮影装置
JP2005217768A (ja) * 2004-01-29 2005-08-11 Fuji Photo Film Co Ltd デジタルカメラ
JP2005269562A (ja) * 2004-03-22 2005-09-29 Fuji Photo Film Co Ltd 撮影装置
JP2006060329A (ja) * 2004-08-17 2006-03-02 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
JP2007049229A (ja) * 2005-08-05 2007-02-22 Canon Inc 撮像装置及び撮像方法
JP2007074143A (ja) * 2005-09-05 2007-03-22 Canon Inc 撮像装置及び撮像システム

Also Published As

Publication number Publication date
US20070115363A1 (en) 2007-05-24
JP2007142866A (ja) 2007-06-07
US7868917B2 (en) 2011-01-11

Similar Documents

Publication Publication Date Title
JP4572815B2 (ja) 撮像装置及び撮像方法
JP4525089B2 (ja) オートフォーカスシステム
JP4492697B2 (ja) 撮像装置、及び、プログラム
US7995852B2 (en) Imaging device and imaging method
US8300112B2 (en) Image processing apparatus and control method therefor
KR101228482B1 (ko) 촬상 장치
JP4613724B2 (ja) 撮像装置および撮像方法
JP7276393B2 (ja) 撮影装置および撮影方法
US20080181460A1 (en) Imaging apparatus and imaging method
JP4657960B2 (ja) 撮像方法および装置
JP2013013050A (ja) 撮像装置及びこの撮像装置を用いた表示方法
US8593545B2 (en) Imaging apparatus, imaging method, and computer-readable recording medium with switched image capturing mode
JP5051812B2 (ja) 撮像装置、その合焦方法および記録媒体
US8243180B2 (en) Imaging apparatus
US20060291846A1 (en) Imaging device
EP2515528B1 (en) Image capturing apparatus and control method
JP2005338352A (ja) オートフォーカスシステム
JP4596246B2 (ja) オートフォーカスシステム
JP2006058431A (ja) オートフォーカスシステム
JP4492273B2 (ja) 撮像装置およびプログラム
JP5409483B2 (ja) 撮像装置
JP4902577B2 (ja) オートフォーカスシステム
JP2008263478A (ja) 撮像装置
JP4750063B2 (ja) 撮像装置および撮像方法
JP2007116372A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091002

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20091002

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20100203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100506

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100720

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100802

R150 Certificate of patent or registration of utility model

Ref document number: 4572815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130827

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250