JP4770929B2 - 撮像装置、撮像方法及び撮像プログラム。 - Google Patents

Description

本発明は、撮像装置、撮像方法及び撮像プログラムに関する。詳しくは、カメラやビデオカメラのような撮像装置に関する。

従来、カメラやビデオカメラのような撮像装置を用いた撮影においては、撮影ボタンのような記録開始指示を与える操作部が備えられ、操作者は撮影したい状況が現れた際に撮影ボタンを押すことでカメラやビデオカメラに記録指示を与えていた。

例えばカメラを用いて子供の笑顔を撮影したいと思った場合、カメラを構えながら子供がカメラの方向を向くように気を引き、子供が笑顔になるのを待って撮影ボタンを押さなければならないため、操作遅れで撮り逃してしまうことが多かった。

また、ビデオカメラを用いて子供の笑顔を撮影したいと思った場合にも、カメラの場合と同様に操作遅れになってしまう可能性があった。また、適度なタイミングで操作した場合でも、子供が笑顔になった原因や表情の変化の様子までは撮影することが出来なかった。

このため、操作遅れをしないように早めに撮影ボタンを押してしまう場合があり、電源や記録媒体などのリソースを無駄にしてしまうという状況もあった。これらの問題を解決するためにいくつかの方法が考えられている。

例えば特許文献１は、被撮影者の顔情報から表情の度合いを示す評価値を計算し、所定の閾値を超えた場合には、自動的に記録開始をするカメラやビデオカメラが開示している。

また例えば特許文献２は、撮影開始操作の遅れによる撮り逃しを防止するために、撮影開始操作の数秒前から記録することが可能なビデオカメラを開示している。

特開２００８−４２３１９号公報 特開２００６−１６６１８４号公報

しかし、特許文献１に記載された撮像装置では、ビデオカメラに適用した場合に特定の状況が表れた後の被写体を記録することは出来るが、その状況が表れる原因となった出来事や、状況の変化の過程を記録することは出来ないという問題があった。

また、特許文献２に記載されたビデオカメラでは、撮影者が適度なタイミングで撮影開始操作を行えば、特定の状況の被写体とその変化の過程を撮影することが出来る。

しかし、撮影者の撮影開始操作が遅れてしまった場合や忘れてしまった場合には所望の場面を記録することが出来ないという問題があり、撮影者が撮影開始操作と被写体の状況の両方に注意を払わなければならないことも、操作遅れや操作忘れの原因となっていた。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、特定の状況の被写体と、その変化の原因と過程とを自動的に記録することが可能な、新規かつ改良された撮像装置を提供することにある。

上記課題を解決するために、本発明のある観点によれば、被写体を撮像する撮像部と、撮像部によって得られた画像から被写体の特定の特徴を有する部分を検出する検出部と、検出部において検出された部分の被写体の特定の特徴を数値化した評価値を算出する評価部と、所定時間分の遅延画像を一時的に記憶しておくバッファ部と、評価値が所定の条件を満たしたことを検知すると、バッファ部内の所定の遅延画像を付加した画像データを記録媒体に記録する記録動作制御部とを有する撮像装置が提供される。

かかる構成によれば、撮像装置は、撮像して得られた画像をバッファ部内に常に一定時間分書き換えながら保持しているため、撮影開始時に過去の画像を記録することが出来るようになる。

また、評価値に基づいて所望の場面を検出し、記録開始動作が自動的にされるため、撮り逃しを防止できるようになる。

また、記録動作制御部は、バッファ部内の画像のうちの記録開始点を、バッファ部に蓄積した評価値に基づいて決定してもよい。

かかる構成によると、バッファ部内の遅延画像のうち、記録したい箇所を評価値に基づいて選択することができるようになり、より所望の場面の画像のみを記録することが可能となる。

また、記録を開始するための所定の条件は、評価値に関連して様々に設定することが可能である。例えば、記録を開始するための所定の条件は、評価値が第１の閾値以上に変化した場合に設定してもよい。

また、記録を開始するための所定の条件は、評価値の増加率が所定の閾値以上に変化した場合に設定してもよい。

また、バッファ部内の画像のうちの記録開始時についても、バッファ部内に記録される評価値に関連して様々に設定をすることが可能である。例えば、バッファ部内の画像のうちの記録開始時は、評価値が第２の閾値以上となる時点に設定してもよい。

また、撮像装置で撮影する被写体や、被写体の属性を評価して数値化した評価値についても様々なものに設定をすることが可能である。例えば、被写体を人物と設定した場合には、評価値は顔の表情を評価した値であってもよい。

評価する顔の表情は、笑顔であってもよいし、怒った顔や泣き顔であってもよい。かかる構成によると、被撮影者の笑顔や怒った顔や泣き顔などの表情を検出して記録することが出来るようになる。

また、記録動作制御部はさらに、記録停止の条件を設定することも可能である。評価値を基に、その値や増加率、減少率を条件としてもよいし、時間を基に条件を設定することも可能である。また、それらの条件を組み合わせて用いても良い。

例えば記録停止の条件は、記録開始した後に評価値が第１の閾値を下回ってから一定時間経過した場合であってもよい。このように記録停止条件を設定することにより、記録停止も自動的に行われるため、より撮像装置を意識せずに撮影をすることが出来るようになる。

また、記録部は記録する画像に対応する評価値を画像と共に記録するようにしてもよい。かかる構成によると、記録後も評価値による制御をすることが可能となる。

また、上記課題を解決するために、本発明の別の観点によれば、撮像装置が被写体を撮像するステップと、被写体の特定の特徴を有する部分を検出するステップと、検出された部分の特定の特徴を数値化した評価値を算出するステップと、評価値が所定の条件を満たしているかどうか判定するステップと、記録開始時を判定するステップと、記録開始時から画像データを記録するステップとを含む、撮像方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、撮像装置が被写体を撮像するステップと、被写体の特定の特徴を有する部分を検出するステップと、検出された部分の特定の特徴を数値化した評価値を算出するステップと、評価値が所定の条件を満たしているかどうか判定するステップと、記録開始時を判定するステップと、記録開始時から画像データを記録するステップとを実行させるためのプログラムが提供される。

以上説明したように本発明によれば、操作遅れや操作忘れによる撮り逃しを防止することが可能になり、特定の状況の被写体とその変化の原因と経過を自動的に記録することが出来るようになる。

本発明を適用可能な撮像装置の全体構成の一例を示すブロック図である。 本発明の一実施形態に係る撮像装置の記録機能構成を示すブロック図である。 同実施形態に係る撮像装置の記録機能の動作を示すフローチャートである。 同実施形態に係る撮像装置の報知機能構成を示すブロック図である。 同実施形態に係る撮像装置を使用した撮影の第１の実施例の動作を示す説明図である。 図５の撮影時の動作を示すフローチャートである。 同実施形態に係る撮像装置のディスプレイ表示の一例を示す説明図である。 同実施形態に係る撮像装置を使用した撮影の第２の実施例の動作を示す説明図である。 図８の撮影時の動作を示すフローチャートである。 図９のサブフローチャートの一例である。 図１０の変形例を示すフローチャートである。 同実施形態に係る撮像装置のディスプレイ表示の一例を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本発明の一実施形態に係る撮像装置の全体構成
２．本発明の一実施形態に係る撮像装置の記録機能構成
３．本発明の一実施形態に係る撮像装置の表示機能構成
４．第１の実施例（記録開始時を時間を基に固定とする場合）
５．第２の実施例（記録開始時を評価値を基に決定する場合）
６．まとめ

＜１．本発明の一実施形態に係る撮像装置の全体構成＞
まず、本発明の一実施形態に係る撮像装置の全体構成について図１を用いて説明をする。本実施形態に係る撮像装置の主な特徴部分は図２以下で説明する内部機能構成であり、ここで説明する全体構成は一般的なものとなるが、全体的な理解の補助のために説明をする。

図１は、本発明の一実施形態に係る撮像装置の全体構成を示したブロック図である。図１に示す撮像装置１００は、静止画像や動画像を撮像する機能を有する撮像装置であり、例えばデジタルスチルカメラあるいはデジタルビデオカメラなどとして実現されるものである。

撮像装置１００は、もちろん携帯電話に搭載されたデジタルカメラやビデオカメラなどとして実現されてもよい。また、撮像装置１００は、ＰＣに備えられたカメラやビデオカメラとして実現されてもよい。

また、撮像装置１００は、デジタル家電に備えて実現されてもよい。或いは、撮像装置１００は、監視カメラであってもよい。

〔撮像装置の全体構成〕
撮像装置１００は、撮像部１０と処理部２０と制御部３０と記録部４０と表示部５０と入出力部６０とを主に有する。

撮像部１０は、撮像素子１３を用いて被写体を撮像する。処理部２０は、撮像部１０が撮像した画像に様々な処理を施す。制御部３０は、撮像装置１００の各種機能を統括的に制御する。記録部４０は、処理部２０や制御部３０から受け取った画像と制御信号とに基づき記録媒体に画像の記録をする。

表示部５０は、撮像部１０によって撮像された画像や各種報知情報を操作者が見るディスプレイ５２に表示する。入出力部６０は、操作者が設定や操作の入力をしたり、操作者や被撮影者などに報知情報の出力をしたりする。以下、各部の詳細について説明していく。

〔撮像部の構成〕
まず、撮像素子１３を用いて被写体を撮像する機能を有する撮像部１０の主要構成について説明する。撮像部１０は、光学ユニット１１とドライバ１２と撮像素子１３とタイミングジェネレータ１４（以下、ＴＧと称する。）を主に有する。

光学ユニット１１は、被写体からの光を撮像素子１３に集光するための光学系であり、レンズと、レンズを移動させてフォーカス合わせやズーミングを行う駆動機構と、シャッタ機構、アイリス機構など（いずれも不図示。）を有する。

ドライバ１２は、マイクロコンピュータ３１からの制御信号に基づいて、光学ユニット１１内の各機構の駆動を制御する。

撮像素子１３は、被写体の撮像をデジタル信号として撮像装置に取り入れる素子であり、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型などの固体撮像素子である。

撮像素子１３は、ＴＧ１４から出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。

ＴＧ１４は、タイミング制御が必要な部位に対してタイミング信号を出力する素子であり、本実施形態においては撮像素子１３に対してタイミング信号を出力している。

〔処理部の構成〕
次に、撮像部１０によって撮像された画像に各種処理を施す処理部２０について説明する。処理部２０は、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）回路２１とカメラ信号処理回路２２とを主に有する。

ＡＦＥ回路２１は、撮像素子１３から出力された画像信号に対して、Ｓ／Ｎ比を良好に保つようにサンプルホールドを行い、さらに利得を制御し、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換を行うなどの処理を施して、デジタル画像データを出力する。

カメラ信号処理回路２２は、画像データに対して各種の処理を施す回路であり、本実施形態においては、ＡＦＥ回路２１から受信した画像データに対してＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）、各種画質補正処理のための検波処理や、検波情報を元に画質補正処理等を施す。

〔制御部の構成〕
次に、撮像装置１００の各種機能を統括的に制御する制御部３０について説明する。制御部３０は、マイクロコンピュータ３１を主に有する。

マイクロコンピュータ３１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリを備え、メモリに格納されたプログラムを実行することで、撮像装置１００を統括的に制御する。

〔記録部の構成〕
次に、撮像した画像を記録媒体に記録する機能を有する記録部４０について説明する。記録部４０は、画像エンコーダ４１と記録装置４２とを主に有する。

画像エンコーダ４１は、カメラ信号処理回路から出力された画像データを圧縮符号化し、符号化データを記録装置４２に出力する。尚、画像データを圧縮符号化する必要のない場合には画像エンコーダ４１は省略することも出来る。

記録装置４２は、各種のデータを記録保持する記録媒体であり、画像エンコーダ４１からの符号化データを画像ファイルとして記録する装置である。画像エンコーダ４１を有していない場合には、符号化データではなくそのままの画像データを記録する。

記録装置４２は、例えばハードディスクなどの磁気記録媒体として内部に保有していてもよいし、磁気テープ、光ディスクなどの可搬型記録媒体、フラッシュメモリなどの不揮発性メモリなどの外部記録装置に記録してもよい。

〔表示部の構成〕
次に、操作者が撮影中の画像を見ることが出来るディスプレイ５２を備えた表示部５０について説明をする。表示部５０は、グラフィック制御回路５１とディスプレイ５２とを主に有する。

グラフィック制御回路５１は、ディスプレイ５２に表示する情報を表示に適した信号に変換する回路であり、本実施形態においては、カメラ信号処理回路２２やマイクロコンピュータからの画像データをディスプレイ５２に表示するための信号に変換する。

また、グラフィック制御回路５１は、マイクロコンピュータ３１からの要求に応じて、後述する表情スコアなどの情報を画像上に表示させる。

ディスプレイ５２は、撮影者などが撮影中の画像や各種報知情報を見ることができるように表示する装置であり、本実施形態においては、グラフィック処理回路５１からの画像データを元に画像などを表示する。

例えば液晶表示装置（ＬＣＤ：Ｌｉｑｕｉｔ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などで実現されてよいが、上記に限られない。

〔入出力部の構成〕
次に、操作者の操作を信号として撮像装置１００に入力したり、操作者に対して出力をしたりする、入出力部６０について説明をする。入出力部６０は、入力部６１とＬＥＤ発光部６２と音声出力部６３とを主に有する。

入力部６１は、各種の入力スイッチに対する撮影者による操作入力に応じた制御信号をマイクロコンピュータ３１に出力する操作部であり、例えばシャッタレリーズボタン、各種メニュー操作や動作モードの設定などを行うための十字キーやタッチパネルなどとして実現されるが上記に限られない。

ＬＥＤ発光部６２は、マイクロコンピュータ３１からの制御信号に基づきＬＥＤを点灯させる。例えばセルフタイマ機能の動作中を示すときに点灯される。

音声出力部６３は、マイクロコンピュータ３１からの制御信号に基づき、例えば動作確認音などの音声を出力する。なお、音声データのエンコーダ／デコーダを備える場合はこの音声データを再生したときの再生音声を出力してもよい。

以上説明したように撮像装置１００においては、光学ユニット１１を通して撮像素子１３によって受光、光電変換された信号が順次ＡＦＥ回路２１に供給され、各種処理を経てデジタル画像データに変換されカメラ信号処理回路に送られる。

＜２．本発明の一実施形態に係る撮像装置の記録機能＞
次に、図２と図３とを参照して、本実施形態に係る撮像装置の記録機能について説明する。まず図２は、本実施形態に係る撮像装置の記録機能構成を示すブロック図である。

〔記録機能構成〕
ここでは、上記図１において説明した中で、本実施形態の記録機能における主要部となるカメラ信号処理部２２とマイクロコンピュータ３１との機能構成の一例について図２を用いて説明をする。

本実施形態に係る撮像装置は、撮像した画像を一定時間バッファ等に蓄積しておき、記録開始の指示があった場合に過去の画像から記録できるようにしたものであり、更に最も撮影したい場面を検出し、記録開始指示を自動で出来るようにしたものである。

撮像部１０で撮像された画像データは、処理部２０と制御部３０における処理を経て記録部４０に記録されるが、上記において説明したような過去の画像を記録したり、最も撮影したい場面を検出して自動で記録開始指示をしたり出来るための機能構成について以下で説明をする。

カメラ信号処理回路２２は、最も撮影したい場面を検出するために、検出部２２１と部分画像生成部２２２とを更に有する。

検出部２２１は、設定された特定の対象を検出するための部位であり、入力された画像データを解析し被写体の特定の特徴を有する部分の位置やサイズなどの情報を検出する。尚、ここで検出する情報として位置やサイズに加え、向きなどを検出するようにしてもよい。

部分画像生成部２２２は、撮像された画像のうち、特定の部分の画像を切り出す部位であり、撮像部１０から画像データを受け取り、検出部２２１からは検出した特定部分の位置やサイズなどの情報を受け取ることで、画像データから特定部分の画像を切り出してマイクロコンピュータ３１に出力する。

マイクロコンピュータ３１は、評価部３１１とバッファ部３１２と記録動作制御部３１３と判別軸情報３１４などを有する。

評価部３１１は、被写体の特定の特徴部分の属性を数値化した評価値を算出する機能部であり、判別軸情報３１４と、部分画像生成部２２２から受け取った部分画像の正規化画像データから入力画像の特定の特徴を評価し、評価値を算出して記録動作制御部３１３に送信する。

評価部３１１で算出された評価値は、そのまま記録動作制御部３１３に送られて、記録動作開始の判定材料として用いられても良い。また、評価部３１１で算出された評価値は、記録動作制御部とバッファ部とに送られて、バッファ部に一定時間分の評価値を蓄積されるようにしてもよい。

バッファ部に評価値を蓄積した場合には、記録動作制御部３１３は評価部３１１から現時点の評価値を受け取り、バッファ部３１２から蓄積された評価値履歴を受け取ることによって、記録開始動作の判定材料として用いてもよい。

バッファ部３１２は、データを一定量記憶可能な一時記憶部であり、撮像した画像や音声などを常に一定時間分保持しておく。

バッファ部３１２を有していることにより、記録動作制御部３１３は記録開始時に現在の画像に、バッファ部に蓄積された過去の画像から記録開始することが出来るため記録開始動作遅れによる撮り逃しを防止するという効果がある。

また上述したように、バッファ部３１２は、評価値も蓄積しておいてもよい。評価値を蓄積することによって、記録開始点を決定する際に評価値を基に決定することが出来るようになる。

記録動作制御部３１３は、記録動作全般を制御する機能部であり、本実施形態においては、評価部３１１から受け取った評価値が所定の条件を満たしたことを検知すると、記録開始指示をする。

記録動作制御部３１３は、現在撮影中の画像に付加して、バッファ部３１２に蓄積された、記録開始時より過去の画像を記録することが出来る。

記録動作制御部３１３は過去の画像ではなく、記録開始時の画像から記録することも当然出来る。また、この構成により、条件を検出すれば自動的に記録が開始するよう設定することができるため、記録操作忘れによる撮り逃しを防止する効果が望める。

判別軸情報３１４は、評価部３１１が被写体のある特定の特徴を数値化した評価値を算出する際の判別のための情報であり、例えばＲＯＭなどの内部メモリに予め保持している。

尚、本実施形態においてはカメラ信号処理回路２２の検出部２２１と部分画像生成部２２２とはハードウェアによって実現され、マイクロコンピュータ３１の各機能部はソフトウェアの機能として実現されている例を示した。

しかし、これらそれぞれの機能は当然ハードウェアとソフトウェアのいずれによって実現されてもよい。

ソフトウェアによって実現される場合には、例えばマイクロコンピュータが有するＣＰＵがＲＯＭやＲＡＭなどのメモリ（いずれも図示せず）に格納されたプログラムを実行することによって実現されてもよい。

ＣＰＵは例えばＲＯＭに記憶されているプログラムに基づいて、ＲＡＭを作業領域として動作してもよい。

〔記録機能動作フロー〕
次に、図２に示した記録機能構成によって実現される記録動作のフローについて説明する。図３は本実施形態に係る撮像装置の記録機能の動作を示すフローチャートである。

まず、撮像部１０が撮像した画像に対し、検出部２２１において特定の特徴を有する部分が検出される（Ｓ１００）。次に検出部が検出した部分に対して、評価部において特定の特徴を数値化した評価値が算出される（Ｓ１０２）。

ここで例えば検出される部分は『人の顔』で、評価値は『人の表情』を数値化した値であってもよい。この際、評価する表情は笑顔であってもよいし、怒った表情や泣き顔などの表情を評価し、評価値で表しても良い。

また、例えば検出される部分は『蛍』で、評価値は『光の強度』を数値化した値であってもよい。例えば光の強度を検出して蛍が光りだす瞬間前後の様子を撮影することが可能となる。

また、検出される部分は『動物や虫など』で、評価値は『動き（状態の変化の大きさ）』を数値化した値であってもよい。例えば動物園で象が長い鼻を動かす瞬間を撮影することが出来るようになる。

またこの他にも部分を特定してある特徴を数値化出来るものであれば上記に限られない。

次に、上記評価値が予め決められた記録開始の条件を満たしているかどうか判定し（Ｓ１０４）、満たしていた場合には記録を開始する（Ｓ１０６）。

ここで、記録開始条件は任意の条件を設定することが出来る。評価値がある閾値以上であることでもよいし、評価値の増加率がある閾値以上としてもよく、上記に限られない。

また、記録開始時に、バッファ部内の遅延画像から記録開始することが出来、その中の記録開始画像は任意に設定することが出来る。

記録開始画像は、時間を基準として、予め決めておいた時間前のものからとしてもよいし、蓄積しておいた評価値の履歴から、評価値を基準として、所定の条件を満たした時の画像から記録するようにしてもよい。

次に停止指示があったかどうか判定され（Ｓ１０８）、停止指示があるまでは記録が続けられる。停止指示があった場合には記録が停止される（Ｓ１１０）。

ここで停止指示とは、撮影者が停止ボタンなどを押すことによってされてもよいし、任意の停止条件を設定することが可能である。予め決めておいた所定時間経過後としてもよいし、評価値を基にある条件を満たした時としてもよく、上記に限られたものではない。

以上、記録動作について説明してきたが、検出される部分を人の顔とし、評価値は笑顔度を数値化した値とする場合の具体例について、後の第１の実施例、第２の実施例において詳述する。

＜３．本発明の一実施形態に係る撮像装置の表示機能構成＞
次に、本実施形態に係るディスプレイ表示に係る機能構成について図４を用いて説明する。図４は、図２に示した記録機能構成に加えて、表示機能構成を示したブロック図である。図２で説明した部分で重複する箇所については説明を省略する。

図４に示すマイクロコンピュータ３１はさらに報知制御部３１５を有する。報知制御部３１５は、評価部３１１から受け取った評価値から予め決められた報知方法により操作者に特定表情の度合いをグラフやアイコンなどを用いて報知するようグラフィック制御回路５１に指示を出す。

また、検出部２２１が検出した被写体の特定部分の位置やサイズの情報を元に、評価対象の部分を特定できるようディスプレイ５２に表示してもよい。

また、図示していないが、例えば評価値がある閾値を超えた場合に音で知らせたり、発光によって知らせたりするようにしてもよい。

グラフィック制御回路５１は、報知制御部３１５からの指示を受け、バッファ部３１２からの遅延画像と処理部２０からの現時点画像とをディスプレイに表示する方法を制御する。表示の具体的な例については第１・２の実施例において詳述する。

＜４．第1の実施例＞
次に、本実施形態に係る撮像装置を用いた動画像撮影の第1の実施例の一連の流れについて図５〜７を用いて説明する。

図５は本発明の一実施形態に係る撮像装置を用いた撮影の第１の実施例の撮像画像と、表情評価値の変化を示した説明図であり、図６はその時の撮像装置の動作を示したフローチャートである。

第１の実施例においては、人物の顔を検出し、その表情が笑顔にどれだけ近いかを評価する表情評価値を算出し、表情評価値が第１の閾値を超えた事を検知すると、予め決められた時間Ｎ前に遡った画像から記録を開始する例について説明をする。

以下、笑顔検出時刻をｔ、バッファ時間をＮ、表情評価値の第１の閾値をＴｈ１とし、図５と図６とを参照しながら説明する。

まず撮影者は撮像装置の電源を入れ、撮影開始操作をする。撮像によって得られた画像を最大時間Ｎまで遅延画像７０として蓄積する。時間Ｎ以上経過後は順次古い画像から上書きしながら、常時Ｎ時間分の画像を保持するようにする。

それと同時に、現在撮像中の画像に対し顔検出が行われ（Ｓ２００）、表情評価値が算出され（Ｓ２０２）、表情評価値が第１閾値Ｔｈ１以上かどうかが判定される（Ｓ２０４）。

評価値の算出方法は、既存のものを適用することが出来る。例えば特開２００８−４２３１９に開示された手法を用いてもよい。

図５の画像７１、７２の時点では、表情評価値がＴｈ１に満たないため、上記Ｓ２００〜Ｓ２０４の動作が繰り返される。画像７３の時点で表情評価値はＴｈ１に達するので、記録開始条件を満たし、ｔ−Ｎの画像７１から記録を開始する（Ｓ２０６）。

記録開始画像７５は予め決めておいた時間遡った画像とし、ここではバッファ部に記憶された画像のうち最も古いもの（ｔ−Ｎ）から記録するようにしたが、バッファ時間以内の値で撮影者が予め設定出来るようにしてもよい。

記録開始後、停止指示があるまで記録が続けられ、停止指示を検出すると（Ｓ２０８）記録を停止する（Ｓ２１０）。

ここで停止指示は、操作者が停止ボタンなどを押すこととしてもよいし、例えば表情評価値がＴｈ１に達した時刻ｔから所定時間経過後としたり、例えば記録開始後表情評価値がＴｈ１を下回ってから所定時間経過後としたりして、自動停止するようにしてもよい。

以上第１の実施形態に係る撮像装置の記録動作について説明したが、本実施形態に係る撮像装置を用いると、一番記録したい表情を検出し、その前後の画像を記録出来、記録開始を自動で判別、動作するため撮り逃しを確実に防止することが出来る。

〔ディスプレイ表示例〕
次にこの時のディスプレイ表示の一例について図７を用いて説明する。図７のスタンバイ時画面７０は顔検出作動中で、スタンバイ状態（例えば図５の７１，７２の時など）の表示の一例を示しており、検出時画面７１は、記録開始時（例えば図５の７３の時）の表示例を示したものである。

スタンバイ状態の時には、顔を検出したら検出された部分を特定するよう枠で囲った表示８１をし、顔検出・評価中であることを示すマーク８２を示してもよいし、現在の評価値の状態をグラフ８３で表してもよい。

記録開始時には、同様に検出された顔の位置を示す枠８１や顔検出評価中であることを示すマーク８２や表情評価値の状態を示すグラフ８３を表示し、さらに記録中の遅延画像を表示するウインドウ８４を表示し、当該画像が記録中であることがわかるような表示８５をしてもよい。

＜５．第２の実施例＞
次に第２の実施例について説明をする。第２の実施例は、表情評価値が第１の閾値に達すると過去の画像から記録開始するという点では第１の実施例と同じだが、記録開始時に評価値を基にして記録開始画像を決定するという点で異なる。

記録開始条件を検出時に、評価値を基にして記録開始画像を決定するために、本実施例においてはバッファ部内に評価値履歴も記憶するという構成を取っている。

以下、笑顔検出時刻をｔ、バッファ時間をＮ、表情評価値の第１の閾値をＴｈ１、第２の閾値をＴｈ２、記録開始時間を（ｔ−Ｍ）とし、図８〜１２を参照しながら説明する。

図８は本発明の一実施形態に係る撮像装置を用いた第２の実施例における撮像の流れを示した説明図であり、図９はその時の撮像の流れを示したフローチャートである。

まず撮影者は撮像装置の電源を入れ、撮影開始操作をする。撮像によって得られた画像は最大時間Ｎまで遅延画像７０として蓄積される。時間Ｎ以上経過後は、順次古い画像から上書きされ、常時Ｎ時間分の画像が保持されるようにする。

それと同時に、現在撮像中の画像に対し顔が検出され（Ｓ３００）、表情評価値が算出され（Ｓ３０２）、算出した表情評価値がバッファ部に蓄積されると同時に、表情評価値が第１閾値Ｔｈ１以上かどうかを判定する（Ｓ３０４）。

図８の画像７１、７２の時点では、表情評価値がＴｈ１に満たないため、上記Ｓ３００〜Ｓ３０４の動作が繰り返される。画像７３の時点で表情評価値はＴｈ１に達するので、記録開始条件を満たし、記録開始時間を検出する（Ｓ３０６）。

ここで記録開始時間検出の具体例は次に図１０と図１１とを用いて詳述する。第１の実施例においては記録開始画像は予め決められた時間前のものとし、時間を基に決定されたが、第２の実施例においてはバッファ部内の評価値を基に記録開始時に決定する。

記録開始時間ｔ−Ｍから記録を開始し（Ｓ３０８）、停止指示があるまで記録が続けられ、停止指示が検出されると（Ｓ３１０）記録停止される（Ｓ３１２）。

〔記録開始時間検出〕
次に図１０用いて、図８、図９を参照しながら、記録開始時間検出の動作フローについて説明する。まず表情評価値と第２の閾値Ｔｈ２を用いた記録開始時間検出について説明する。図１０は図９の記録開始時間検出の部分のサブフローチャートである。

図９のＳ３０４において表情評価値が第１の閾値以上となったことが検知されると、バッファ部内に蓄積された評価値が順にスキャンされる（Ｓ４００）。この時、スキャンする順番は笑顔検出時間ｔから順に過去に遡ってもよいし、ｔ−Ｎから順にスキャンされてもよい。

次にスキャンされ表情評価値が第２閾値Ｔｈ２以上かどうか判定され（Ｓ４０２）、Ｔｈ２以上となった場合にＭにその時間に対応する値がセットされる（Ｓ４０４）。

ここでｔ−Ｍが記録開始時間であり、現在時刻ｔから、Ｍ遡った時間である。Ｍは、バッファ部内に蓄積された画像や評価値に対応した時刻の中から選択されるため、バッファ最大時間Ｎ以下の値となる。

このように、記録開始時に評価値を基に記録開始画像を決定することによって、より細かい制御をすることが可能となり、より所望の画像のみを無駄なく記録することが出来るようになる。

例えば第２の閾値を設けた本実施例によると、子供の笑顔を撮影しようとした場合に子供の表情が変わり始めた時点からの画像を記録することも出来るようになる。

〔記録時間検出の変形例〕
次に、図１０の記録時間検出の変形例を、図１１を用いて説明する。図１１は図９に示した記録時間検出の具体例であり、図１０に示したサブフローチャートの変形例である。

Ｓ４００〜Ｓ４０４までは図１０と同様であるため説明を省略する。Ｓ４０４においてＭに表情評価値が第２の閾値以上となった時刻に対応する値をセットしたあと、Ｍが予め設定しておいた閾値より小さいかどうかを判定する（Ｓ４０６）。

本実施例においては、Ｍが２秒より短い値であった場合には、ＭにＮをセットする（Ｓ４０８）。バッファ時間Ｎはバッファ部に蓄積できる最大時間である。

表情の変化が急激であった場合にあまりに短い時間の撮影が適当ではない場合などにこの方法が好適である。例えば、停止条件に笑顔検出から所定時間経過後などの条件を用いた場合にも有用である場合がある。

ここでは２秒より小さい値であった場合に、バッファ時間に置き換える例について説明をしたが、当然この値は別の値であってもよく、撮像装置に固定の値として設定されていてもよいし、操作者が予め設定できるようにしてもよい。

〔ディスプレイ表示例〕
次にこの時のディスプレイ表示の一例について図１２を用いて説明する。図１２のスタンバイ時画面１２０は、顔検出作動中で、スタンバイ状態（例えば図８の７１，７２の時など）の表示の一例を示しており、検出時画面１２１は、記録開始時（例えば図８の７３の時）の表示例を示したものである。

スタンバイ状態の時の例は、記録開始時の表示と比較するため図示したが、第１の実施形態のときに説明した図７のものと同様であるため説明を省略する。

記録開始時には、スタンバイ時と同様に検出された顔の位置を示す枠８１や顔検出評価中であることを示すマーク８２や表情評価値の状態を示すグラフ８３を表示し、さらに遅延画像の一部８４を複数表示してもよい。

遅延画像８４は評価値を基に変化の大きい点などの特徴のある画像を抜き出して表示してもよいし、一定時間おきの画像を表示するようにしてもよい。

また、記録開始画像８７が判別できるように強調表示してもよい。

＜６．まとめ＞
以上、本発明の一実施形態に係る撮像装置の構成や、機能動作について説明し、同実施形態に係る撮像装置を用いた撮影の流れについて例を挙げて説明してきた。

いくつかの例を挙げたが、いずれの実施例を用いても、被撮影者の特定の特徴が検出され、スルー画状態において常にバッファ部へ遅延画像を蓄積しておくことによって、撮影開始時に現在の撮像画像に付加して過去の画像を記録出来るようになる。

これらの構成によって、撮影者は撮影開始ボタンを操作して、カメラを被撮影者に向けておくだけで自動的に検出状況に応じて記録を開始するため、例えば子供を撮影したい場合には、子供に集中できるため撮影にかかる負担が軽減される。

また例えば、動物や虫を被写体とした場合に、いつ特定の状況が現れるか不明な場合にもカメラを固定してセットしておくことで撮影者の負担が軽減される。

また、不必要な部分は記録しないで、所望の状態のみを記録することが可能となるため、後で記録された画像から所望の部分を探すという手間がなく、編集も容易となる。記録媒体のリソースの無駄も軽減される。

また、従来の撮像装置においては、カメラを向けられていることは記録されていることを意味していたため、被撮影者が緊張して不自然な状態になってしまうこともあった。しかし、本発明に係る撮像装置を用いると、特定の状況が現れるまでは記録開始が行われないため、より自然な被撮影者の映像を残すことが出来る。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、笑顔検出の例をとって説明したが、本発明はかかる例に限定されない。笑顔だけでなく、怒った顔や泣き顔に適用してもよい。

また、被写体は実施形態に挙げた人物に限られず、ある特定の被写体の属性を数値化して評価値として表すことが出来るものであれば本発明に係る撮像装置を適用することが出来る。

例えば、前述したように、検出される部分は『蛍』で、評価値は『光の強度』を数値化した値であってもよい。

また、同じく前述したように、検出される部分は『動物や虫など』で、評価値は『動き（状態の変化の大きさ）』を数値化した値であってもよく、部分を特定してある特徴を数値化出来るものであれば上記に限られない。

また、上記の実施形態においては記録媒体に記録するのは画像や音声としたが、算出した評価値も共に記録するようにしてもよく、この場合記録した後に例えば評価値を基準にして画像を検索出来るようにすることによって、笑顔の瞬間の再生を容易にすることも可能である。

また、上記の実施形態においては、評価値を基に記録開始点を決定する場合において、第２の閾値を用いる方法について説明したが、当然複数の条件を組み合わせて制御することが可能である。

また、上記の実施形態においては動画像を記録する場合について説明したが、例えばバッファ部に記憶した画像の中から、一定時間ごとの連続静止画像を記録するようにしてもよい。

また、同様にバッファ部に記憶した画像の中から評価値によって特徴のあるポイントを検出し、検出された静止画像を１つまたは複数記録するようにしてもよい。

２２ カメラ信号処理回路
３１ マイクロコンピュータ
５１ グラフィック制御回路
２２１ 検出部
２２２ 部分画像生成部
３１１ 評価部
３１２ バッファ部
３１３ 記録動作制御部

Claims (12)

1. 被写体を撮像する撮像部と、
   前記撮像部によって得られた画像から前記被写体の特定の特徴を有する部分を検出する検出部と、
   前記検出部において検出された部分の前記被写体の特定の特徴を数値化した評価値を算出する評価部と、
   所定時間分の遅延画像及び前記遅延画像と対応する前記評価値を一時的に記憶するバッファ部と、
   前記評価値が所定の条件を満たしたことを検知すると、前記バッファ部内に記憶された評価値に基づいて、前記バッファ部内に記憶された遅延画像の中から記録開始時を決定し、決定した前記記録開始時以降の前記遅延画像を付加した画像データを記録媒体に記録する記録動作制御部
   とを備えた撮像装置。
2. 前記所定の条件は、前記評価値が第１の閾値以上であることとする、
   請求項１記載の撮像装置。
3. 前記所定の条件は、前記評価値の増加率が所定の閾値以上であることとする、
   請求項１に記載の撮像装置。
4. 前記記録開始時は、前記バッファ部内の評価値が第２の閾値以上となる時点とする、
   請求項１〜４のいずれか１項に記載の撮像装置。
5. 前記被写体は人物であり、前記評価値は顔の表情を評価した値である、
   請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記記録動作制御部はさらに、記録開始した後に前記評価値が前記第１の閾値を下回ってから一定時間経過後記録を停止する、請求項２〜５のいずれか１項に記載の撮像装置。
7. 前記記録部は記録する画像に対応する前記評価値を前記画像と共に記録する、請求項１〜６のいずれか１項に記載の撮像装置。
8. 撮像装置が被写体を撮像するステップと、
   前記被写体の特定の特徴を有する部分を検出するステップと、
   検出された部分の特定の特徴を数値化した評価値を算出するステップと、
   バッファ部に前記撮像した画像及び当該画像と対応する評価値を記憶させるステップと、
   前記評価値が所定の条件を満たしているかどうか判定するステップと、
   前記バッファ部内に記憶された評価値に基づいて、前記バッファ部内に記憶された遅延画像の中から記録開始時を判定するステップと、
   前記記録開始時から画像データを記録するステップと
   を含む、撮像方法。
9. 撮像装置が被写体を撮像するステップと、
   前記被写体の特定の特徴を有する部分を検出するステップと、
   検出された部分の特定の特徴を数値化した評価値を算出するステップと、
   バッファ部に前記撮像した画像及び当該画像と対応する評価値を記憶させるステップと、
   前記評価値が所定の条件を満たしているかどうか判定するステップと、
   前記バッファ部内に記憶された評価値に基づいて、前記バッファ部内に記憶された遅延画像の中から記録開始時を判定するステップと、
   前記記録開始時から画像データを記録するステップと
   を実行させるための撮像プログラム。
10. 被写体を撮像する撮像部と、
    前記撮像部によって得られた画像から前記被写体の特定の特徴を有する部分を検出する検出部と、
    前記検出部において検出された部分の前記被写体の特定の特徴を数値化した評価値を算出する評価部と、
    所定時間分の遅延画像を一時的に記憶しておくバッファ部と、
    前記評価値が所定の条件を満たしたことを検知すると、前記バッファ部内の所定の遅延画像を付加した画像データを記録媒体に記録し、当該記録開始時に前記遅延画像のうち、前記評価値の変化が大きい遅延画像を表示部に表示させる記録動作制御部
    とを備えた撮像装置。
11. 前記記録動作制御部は、表示させる複数の前記遅延画像のうち、記録開始画像を強調表示させる、請求項１０に記載の撮像装置。
12. 撮像装置が被写体を撮像するステップと、
    前記被斜体の特定の特徴を有する部分を検出するステップと、
    検出された部分の特定の特徴を数値化した評価値を算出するステップと、
    バッファ部に前記撮像した画像を一時的に記憶させるステップと、
    前記評価値が所定の条件を満たしているか否かを判定するステップと、
    前記バッファ部内の所定の遅延画像を付加した画像データを記録媒体に記録するステップと、
    前記遅延画像のうち、前記評価値の変化が大きい遅延画像を表示部に表示させるステップと、
    を含む、撮像方法。

Images