JP5941736B2 - 撮影機器 - Google Patents

Description

本発明は、動画撮影可能な撮影機器に関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）は、画像処理を駆使して、様々な撮影機能を備えている。例えば、特許文献１においては、人物の笑顔を判定し、笑顔のタイミングで自動的に撮影や記録を行う撮像装置が開示されている。

特開２００９−１８２８８０号公報

特許文献１の発明では、笑顔の人物を撮影することができるようになっているが、撮影者が必ずしも笑顔など良い表情の人物を撮影したいとは限らない。また、撮影者が撮影したいと感じる雰囲気が得られるタイミングと人物が笑顔や表情豊かな顔になるタイミングとが一致しないこともある。しかしながら、特許文献１の発明では、撮影者の意向を無視して単に笑顔となったタイミングだけで撮影が行われてしまう。その場の雰囲気に応じた最適な被写体の様子を、撮影者が判断してシャッターチャンスを逃すことなく撮影するには、極めて高度な撮影技術を要すると共に、そのようなシャッターチャンスが訪れない可能性もある。

本発明は、その場の雰囲気に合った状態の被写体を撮影者の意向に沿って簡単に撮影することができる撮影機器を提供することを目的とする。

本発明に係る撮影機器は、被写体を撮像して得た撮像画像を出力する撮像部と、上記撮像画像中の頭部の画像をレベル分けするレベル分け部と、上記レベル分け部に従って、上記撮像画像中の一部の部分画像を仮記録する仮記録部と、上記仮記録された部分画像を上記撮像画像に合成する合成部と、を具備し、上記レベル分け部は、上記撮像画像中の顔の表情レベルを求めて、求めた表情レベルに応じてレベル分けを行うものであって、かつ、同一の頭部の画像について前回の表情レベルとのレベル差が所定の閾値以上となる頭部の画像に対応する部分画像を上記仮記録部に仮記録させる。

本発明によれば、その場の雰囲気に合った状態の被写体を撮影者の意向に沿って簡単に撮影することができるという効果を有する。

本発明の第１の実施の形態に係る撮影機器の回路構成を示すブロック図。 ベストショット合成モードを説明するための説明図。 第１の実施の形態の動作を説明するためのフローチャート。 第１の実施の形態の動作を説明するための説明図。 本発明の第２の実施の形態を説明するための説明図。 第２の実施の形態の動作を説明するためのフローチャート。 表情レベルの算出方法の一例を示すフローチャート。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮影機器の回路構成を示すブロック図である。

図１において、撮影機器１０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子によって構成された撮像部２を有している。撮像部２は、信号処理及び制御部１によって、絞り、ピント、ズーム等が制御可能に構成されており、様々な構図、被写体に対応した撮像が可能である。

撮像部２は、信号処理及び制御部１によって駆動制御されて、被写体を撮像し、撮像画像を出力する。信号処理及び制御部１は、撮像部２に撮像素子の駆動信号を出力すると共に、撮像部２からの撮像画像を読み出す。この撮像画像の取り込みは読取部１ａによって行われる。読取部１ａは撮像部２から読み出した撮像画像を仮記録部３に与える。

仮記録部３は、撮像部２からの撮像画像を所定期間保存する容量を有し、撮像部２から読み出された撮像画像（動画及び静止画）を記憶保持する。

信号処理及び制御部１は、仮記録部３に記録された撮像画像を読み出して画像処理する２系統の画像処理部１ｂ，１ｃを有している。画像処理部１ｂ，１ｃは、入力された画像に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種の信号処理を行う。更に、画像処理部１ｂ，１ｃは、入力画像をリサイズするリサイズ処理、入力画像の一部の領域の画像（以下、部分画像という）を生成する処理等の各種画像処理を行うことも可能に構成されている。

特徴判定部１ｄは、画像処理部１ｂから入力画像の画像情報が与えられて、人物の顔等の対象被写体の特徴量を判定し、判定結果を対象被写体の情報として追尾部１ｅに出力する。追尾部１ｅは、順次入力される入力画像から対象被写体の特徴量が一致する部分を含む領域を追尾し、追尾結果を画像処理部１ｃに出力する。こうして、画像処理部１ｃは、対象被写体を含む画像部分を常に追尾しながら部分画像として生成することができるようになっている。

画像処理部１ｂ，1ｃからの動画像及び静止画像は、画像選択部１ｆに与えられる。画像選択部１ｆは入力された動画像及び静止画像を選択して、表示制御部１ｇに与えると共に、Ｓ圧縮部１ｈ、Ｍ圧縮部１ｉ及びＭ圧縮部１ｊにも与える。

表示制御部１ｇは、入力された動画像及び静止画像を表示部５に与えて表示させるための表示処理を行う。表示部５はＬＣＤ等によって構成されており、表示制御部１ｇから与えられた動画像や静止画像を表示する。

一方、Ｓ圧縮部１ｈは入力された静止画像を圧縮して記録制御部１ｋに与え、Ｍ圧縮部１ｉ，１ｊは入力された動画像を圧縮して記録制御部１ｋに与える。記録制御部１ｋは、圧縮された圧縮動画像及び圧縮静止画像を記録部４に与えて記録させる。記録部４は、記録制御部１ｋに制御されて、入力された圧縮動画像及び圧縮静止画像を記録する。記録部４としては、例えばカードインターフェースを採用することができ、記録部４はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。

また、撮影機器１０には、操作部６も設けられている。操作部６は、撮影モード設定等の各種スイッチやボタンを有しており、ユーザ操作に基づく操作信号を発生して信号処理及び制御部１に供給する。例えば、図１では、操作部６の具体例として、動画撮影操作部６ａ及び静止画撮影操作部６ｂを示している。動画撮影操作部６ａは動画撮影を指示するためのものであり、動画撮影操作部６ａが操作されることで、動画撮影を開始するための操作信号が信号処理及び制御部１に供給されるようになっている。また、静止画撮影操作部６ｂは静止画撮影を指示するためのものであり、静止画撮影操作部６ｂが操作されることで、静止画撮影を開始するための操作信号が信号処理及び制御部１に供給されるようになっている。信号処理及び制御部１は、操作信号に基づいて、各部を制御する。

更に、撮影機器１０の操作のためにタッチ部６ｃも設けられている。タッチ部６ｃは、ユーザの指等によるタッチ操作に基づく操作信号を発生して信号処理及び制御部１に供給する。例えば、タッチ部６ｃを表示部５の表示画面上に設けることで、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。これにより、ユーザは、表示部５の表示画面上に表示された部分画像の選択や削除等の操作を簡単に行うことができる。

信号処理及び制御部１は、各部を制御することで、ユーザ操作に基づく撮影モードを設定して、各撮影モードに応じた撮影機能を実現する。例えば、信号処理及び制御部１は、通常の撮影モードの外に、ベストショット合成モードを設定することができる。

撮影者は、撮影者自身がその場の状況からシャッターチャンスと判断したタイミングで撮像を行う。従って、ベストショット合成モードにおいても、撮影タイミングは、撮影者の操作にゆだね、その撮像結果を全画面に表示すると共に記録する。これにより、撮影者の意志を反映した撮影が可能となる。一方で、再生時に、その場の雰囲気等を追体験するのに、被写体の一部、例えば顔等を見ることは有効である。そこで、撮影画像から一部の部分画像を切出す。このような部分画像はサイズが小さいので、撮影画像に合成しても撮影画像の邪魔にならず、しかも変化に富んだ撮影画像を得ることができる。なお、部分画像としては、例えば、撮像画像に対して変化を有する顔画像等、表情豊かな被写体の顔画像を選択することで、一層楽しめる撮影画像を得ることができる。

図２はこのようなベストショット合成モードを説明するための説明図である。

図２（ａ）はモードの選択画面を示している。図１の撮影機器１０を内蔵する撮影機器本体２０には、上面に静止画撮影操作部６ｂに相当するシャッタボタン２１が配設されている。撮影機器本体２０の背面には、表示部５の表示画面５ｂ及び操作部６が設けられている。表示画面５ａには、ベストショット合成モード、その他のモードとしてＸＸＸＸＸモードやＹＹＹＹＹモード等の選択表示２２が表示されている。ユーザが、操作部６の操作等によって、ベストショット合成モードを指定すると、信号処理及び制御部１は、ベストショット合成モードを設定する。

図２（ｂ）はベストショット合成モードにおけるスルー画表示を示している。撮像部２からの撮像画像は読取部１ａを介して仮記録部３に供給され、更に、仮記録部３から画像処理部１ｂ，１ｃに供給されて、スルー画が生成される。本実施の形態においては、信号処理及び制御部１は、ベストショット合成モード時においては、スルー画表示中においても仮記録３において、撮像画像を仮記録するようになっている。

本実施の形態においては、信号処理及び制御部１は、ベストショット合成モードにおいては、後述するように撮影画像の一部の領域に部分画像であるベストショット画像を合成する。この場合において撮影者が撮影画像中の重要と考える部分にベストショット画像が重なって見えなくなることを防止するために、表示制御部１ｇは、図２（ｂ）に示すように、ベストショット画像を合成する位置を示す合成枠表示２３を表示する。図２（ｂ）の例では、合成枠表示２３である破線部分よりも上の領域においてベストショット画像が合成される。

図２（ｂ）はスルー画２４として２人の人物が撮像されている様子を示している。図２（ｃ）は図２（ｂ）の状態から時間が経過し、スルー画２４に映し出されている２人の人物の状態が変化している様子を示している。

図２（ｃ）の状態で撮影者がシャッタボタン２１を押すと、信号処理及び制御部１は、仮記録部３を制御して動画像の仮記録を停止すると共に、撮影操作時点において表示している画像、即ち、撮影画像をレックビュー表示のために表示部５に表示させる。

図２（ｄ）はレックビュー表示によって示す撮影画像２５を示している。また、信号処理及び制御部１は、動画の仮記録中に得た部分画像のうちベストショット画像を選択し、選択したベストショット画像を撮影画像２５に合成して表示する。

図２（ｅ）はこの合成表示を示している。図２（ｅ）においては、表示画面５ａに表示されている撮影画像２５の上の一部の領域に重ねてベストショット画像３１ａ，３１ｂが合成されている。ベストショット画像３１ａは、撮影画像２５中に撮影されている左側の人物に対応したベストショット画像であり、ベストショット画像３１ｂは、撮影画像２５中に撮影されている右の人物に対応したベストショット画像である。なお、ベストショット画像は、顔のパーツ形状や位置を利用して数値化して、笑顔の度合いを「笑顔度」として判断したり、顔の角度や目線や、ポーズなどで、好ましい瞬間の人物を捉えた画像を想定している。後述するように、ベストショット画像の選択のために、表情の違いやポーズの違い等を数値化してレベル分けできるようにしておく。

本実施の形態においては、信号処理及び制御部１は、レックビュー表示されている撮影画像２５、即ち、撮影者が撮影操作を行ったタイミングにおける撮影画像と、ベストショット画像とを合成して記録するようになっている。この場合において、信号処理及び制御部１は、ベストショット画像として合成する画像をユーザに選択させることができるようになっている。

例えば、図２（ｅ）においては、表示されているベストショット画像３１ａ，３１ｂを合成記録しても良いことを指定するためのＯＫボタン表示３２が表示されている。このＯＫボタン表示３２に対する操作が行われると、表示されている撮影画像２５とベストショット画像との合成画像が記録される。

また、撮影者は、表示されているベストショット画像の合成を解除するための操作を行うこともできる。図２（ｆ）はこの解除操作を示しており、撮影者が指３３をベストショット画像３１ｂの表示上を触れた後、図２（ｆ）の矢印に示す方向にスライドさせる操作を行うことによって、このベストショット画像３１ｂの選択が解除される。なお、表示画面上に「スライドによって削除」等のメッセージ表示を表示させてもよい。図２（ｇ）は選択解除後の状態を示しており、撮影画像２５上には、ベストショット画像３１ａのみが合成表示されている。この状態でＯＫボタン表示３２に対する操作が行われると、撮影画像２５にベストショット画像３１が合成されて記録される。図２（ｈ）は、撮影画像の記録後にスルー画表示２６に復帰した状態を示している。

次に、このように構成された実施の形態の動作について図３のフローチャート及び図４の説明図を参照して説明する。

信号処理及び制御部１は、ステップＳ１において撮影モードが指示されたか否かを判定する。撮影モードが指定されていない場合には、信号処理及び制御部１は再生モードに移行する。撮影モードが指定されている場合には、ステップＳ２においてベストショット合成モードが指定されたか否かを判定する。ベストショット合成モードが指定されていない場合には、信号処理及び制御部１はその他のモードに移行する。

ユーザが、例えば図２の選択表示２２に対する操作によって、ベストショット合成モードを指定するものとする。そうすると、信号処理及び制御部１は、ステップＳ３においてスルー画を表示する。即ち、読取部１ａは撮像部２からの撮像画像を仮記録部３に与え、画像処理部１ｂは、仮記録部３からの撮像画像を画像処理した後、画像選択部１ｆを介して表示制御部１ｇに与える。表示制御部１ｇは、入力された撮像画像を表示部５に表示させる。また、信号処理及び制御部１は、表示制御部１ｇによって、合成枠表示２３を表示させる（ステップＳ４）。

本実施の形態においては、ベストショット合成モード時には、信号処理及び制御部１は、動画記録を行う。即ち、信号処理及び制御部１は、仮記録部３に供給される撮像画像をそのまま記録させる（ステップＳ５）。こうして、図２（ｂ），（ｃ）に示すように、スルー画が表示されると共に、表示されているスルー画が仮記録部３において記録される。

信号処理及び制御部１は、次のステップＳ６において、静止画撮影が行われたか否かを判定する。本実施の形態においては、静止画撮影が行われるまでは、ステップＳ７〜Ｓ１０において、仮記録中の動画像から合成する部分画像であるベストショット画像の検出処理を行う。

ステップＳ７において、信号処理及び制御部１は、顔検出処理を行う。即ち、信号処理及び制御部１は、撮像画像に対する公知の顔検出の手法によって、撮影画像中の人物の顔を検出する。例えば、信号処理及び制御部１は、顔の明るさの特徴をモデル化した複数の濃淡画像と撮影画像とを順次比較することで、人物の顔を検出する手法を採用してもよい。また、信号処理及び制御部１は、検出した対象物の撮像画像中の位置から顔等の対象物が存在する方向（顔方向）を判定する。更に、信号処理及び制御部１は、顔パーツの特徴を記憶したデータベースを利用すると共にフレーム相関を求めることで、話中のように口を開閉しているか否かを判定することもできる。信号処理及び制御部１は、これらの判定結果を検出した各顔に対応させて仮記録部３に記録させる。

次に、信号処理及び制御部１は、ステップＳ８において、検出した各顔毎に後述する表情レベルの算出を行う。例えば、表情レベルは、最も笑顔らしい表情であると判定した画像ほど値が高く、信号処理及び制御部１は、表情レベルが最も高い顔画像をベストショット画像としてもよい。また、例えば、被写体の感情を表わし、その時の状況を表現したものであれば、笑顔でなくとも、「泣いた顔」や「怒った顔」が表情レベルが最も高くなるように設定してもよい。また、顔だけでなく、ポーズによってベストショット画像を選択してもよい。この場合には、表情レベルとして、被写体がポーズに応じた値を取得するようにしてもよい、例えばガッツポーズ等の特定のポーズをした場合に最も表情レベルが高くなるように設定してもよい。更に、表情が大きく変化した場合に、表情レベルが高くなるように設定してもよい。信号処理及び制御部１は、ステップＳ９において、検出した各顔の各顔画像と表情レベルとを対応させて仮記録部３に記録する。信号処理及び制御部１は、ステップ１０において全ての顔に対する表情レベルの処理が終了したか否かを判定し、全ての顔に対する処理が終了するまで、ステップＳ７〜Ｓ９の処理を繰り返す。

ここで、撮影者がシャッタボタン２１の押下によって撮影を行うものとする。信号処理及び制御部１は、ステップＳ１１において静止画撮影を行う。即ち、信号処理及び制御部１は、読取部１ａの読み取り処理を停止させ、表示制御部１ｇに表示中の撮像画像をそのまま静止画表示させる。次に、信号処理及び制御部１は、ステップＳ１２〜Ｓ２４において、ベストショット画像を撮影画像に合成する合成処理を行う。

先ず、信号処理及び制御部１は、ステップＳ７の顔検出処理によって顔が検出されたか否かを判定する（ステップＳ１２）。検出されなかった場合には、合成するベストショット画像が存在しないので、合成処理を行うことなく、ステップ２５において撮影画像を記録する。

顔検出処理によって顔が検出されている場合には、信号処理及び制御部１は、次のステップＳ１３，Ｓ１４において、ステップＳ７，Ｓ８と同様の処理により、レックビュー表示されている撮影画像中の顔を検出すると共にその表情レベルを算出する。また、信号処理及び制御部１は、撮影画像中の顔が表示画面５ａ上のどの位置に表示されるかを検出する（ステップＳ１５）。

ところで、図２（ｅ）に示すように、撮影画像に合成するベストショット画像は、撮影画像中の被写体の人物の並びに対応させて、横１列に表示する。例えば、ベストショット画像のサイズが小さすぎるとベストショット画像中の顔の表情が判別不能となってしまう。また、ベストショット画像が大きすぎると、ベストショット画像が重なっていない撮影画像の有効な領域が狭くなってしまう。また、十分なサイズのベストショット画像を２列に表示した場合にも、撮影画像の有効な領域が狭くなってしまう。また、合成するベストショット画像のアスペクト比は、表示画面のアスペクト比に一致させた方が見やすく感じられる。

以上の観点に沿って、一般的なカメラ等の表示部の表示画面サイズを考慮して、ベストショット画像を表示画面５ａの１／４のサイズ程度の大きさとすることで、ベストショット画像中の顔の表情を十分に視認可能とすると共に、撮影画像の視認性もそれ程悪化しないものと考えられる。以上の理由から、合成する部分画像であるベストショット画像の個数は４個以内とする。つまり、撮影画像中の４人以下の人物について、ベストショット画像の合成を行う。

信号処理及び制御部１は、撮影画像中に検出された顔の数が４よりも多いか否かを判定する（ステップＳ１６）。４よりも多い場合には、信号処理及び制御部１は、ステップＳ１７において４つの顔のみを選択する。例えば、信号処理及び制御部１は、サイズが大きい方から４つ、画面の中央側の４つ、表情レベルが最も低い４つ等を選択する。なお、信号処理及び制御部１は、表示画面５ａ上に選択のためのメッセージ表示を表示し、ユーザに４つの顔を選択させるようにしてもよい。撮影画像中の顔の数が４個以内の場合には、信号処理及び制御部１は、処理をステップＳ１６からステップＳ１８に移行する。

なお、表示画面５ａのサイズ等によって、部分画像の個数が５個以上でも部分画像中の表情を十分に認識可能な場合もあり、必ずしも４個に限定されるものではない。

ステップＳ１８では、信号処理及び制御部１は、ベストショット画像の配置位置を決定する。即ち、信号処理及び制御部１は、撮影画像中から選択された４人以内の人物の顔の水平位置に対応して、選択した人物に対応するベストショット画像の表示位置を決定する。

図４は合成するベストショット画像の表示画面５ａ上における配置の例を示している。図４（ａ）乃至（ｄ）は、夫々配置するベストショット画像が１〜４の例である。図４に示すように、ベストショット画像は、表示画面５ａの上部の破線部の領域に配置される。

次に、信号処理及び制御部１は、撮影画像中の選択された人物毎に、撮影画像中の顔の表情レベルと対応するベストショット画像の表情レベルとを比較する（ステップＳ１９）。信号処理及び制御部１は、撮影画像中の顔の表情レベルが対応するベストショット画像の表情レベルよりも低い場合には、表情レベルが最も高いベストショット画像を選択する（ステップＳ２０）。また、信号処理及び制御部１は、撮影画像中の顔の表情レベルが対応するベストショット画像の表情レベルよりも高い場合には、最大表情レベル以外のベストショット画像、例えば、笑顔の場合に最大表情レベルが得られるものとすると、泣いた顔や、怒った顔等に対応する表情レベルのベストショット画像を選択する（ステップＳ２１）。

信号処理及び制御部１は、ステップＳ２２の判定によって、撮影画像中の選択された人物の全てについての処理が終了するまで、ステップＳ１９〜Ｓ２１の処理を繰り返す。選択された人物についての処理が終了すると、信号処理及び制御部１は、ステップＳ２３において合成表示を行う。

即ち、信号処理及び制御部１は、撮影画像中の選択された人物の水平位置に対応する位置の撮影画像に、ステップＳ２０，Ｓ２１によって各人物毎に選択されたベストショット画像を合成して表示する。画像処理部１ｃは、仮記録部３から選択されたベストショット画像を読み出して、画像選択部１ｆに出力する。画像選択部１ｆは、画像処理部１ｂからの撮影画像とベストショット画像とを合成して表示制御部１ｇに出力する。表示制御部１ｇは、合成画像を表示部５に与えて表示させる。

図２（ｅ）はこの状態を示しており、撮影画像２５中の２人の人物に夫々対応した位置に、各人物毎に選択されたベストショット画像３１ａ，３１ｂが合成されて表示されている。信号処理及び制御部１は、ステップＳ２４において、撮影者によるベストショット画像の選択解除操作を受け付ける（図２（ｆ）参照）。選択解除操作が行われると、画像選択部１ｆは、対応するベストショット画像の選択を解除する。こうして、図２（ｇ）のような合成画像が得られる。撮影者がＯＫボタン表示３２に対する操作を行うことで、合成画像が決定する。これにより、信号処理及び制御部１は、合成画像を記録する（ステップＳ２５）。即ち、画像選択部１ｆは、合成する画像を決定し、合成画像をＳ圧縮部１ｈに与える。合成画像はＳ圧縮部１ｈにおいて圧縮され、記録制御部１ｋによって記録部４により記録される。

なお、ベストショット画像の表示領域に余裕がある場合には、撮影画像中の１人の人物につき複数のベストショット画像を表示するようにしてもよい。例えば、表情レベルが高い順にベストショット画像として選択してもよい。

このように本実施の形態においては、撮影者の撮影操作に応じた撮影画像に、スルー画時の動画像から表情レベルをレベル分けすることで選択したベストショット画像を合成して記録している。撮影者は、その場の雰囲気に応じた最適な被写体を自分の決定したタイミングで撮影することができると共に、撮影タイミング以外の被写体のベストショット画像を合わせて表示及び記録することができる。これにより、その場の雰囲気に合った状態の被写体を撮影者の意向に沿って簡単に撮影することができる。なお、ベストショット画像を選択するために、表情レベルとして顔画像に基づく表情数値だけでなく、ポーズを数値化してレベル分けしてもよく、更にこれらの数値の変化に応じてレベル分けしてもよい。

なお、上記実施の形態においては、撮影画像に１つの静止画を合成する例について説明したが、撮影画像に動画中から取得した複数の静止画を所定のタイミングで、あるいは表情レベルに応じて複数選択することにより、１つの撮影画像に、複数の変化する静止画を順次合成して表示することも可能である。

（第２の実施の形態）
図５は本発明の第２の実施の形態を説明するための説明図である。本実施の形態のハードウェア構成は図１と同様である。本実施の形態はベストショット合成モードの動作が第１の実施の形態と異なるのみである。本実施の形態はベストショット画像の合成を動画時に適用したものである。

図５は第２の実施の形態におけるベストショット合成モードを説明するためのものである。図５において図２と同一の構成要素には同一符号を付して説明を省略する。

図５（ａ）はモードの選択画面を示している。表示画面５ａには、ベストショット合成モード、その他のモードとしてＸＸＸＸＸモード及びＹＹＹＹＹモードの選択表示２２が表示されている。ユーザが、操作部６の操作等によって、ベストショット合成モードを指定すると、信号処理及び制御部１は、ベストショット合成モードを設定する。

図５（ｂ）はベストショット合成モードにおけるスルー画表示を示している。図５（ｂ）はスルー画２４として２人の人物が撮像されている様子を示している。撮像部２からの撮像画像は読取部１ａを介して仮記録部３に供給され、更に、仮記録部３から画像処理部１ｂ，１ｃに供給されて、スルー画が生成される。本実施の形態においては、信号処理及び制御部１は、ベストショット合成モード時になると、撮像画像を圧縮部１ｉ，１ｊに与えて圧縮した後、記録制御部１ｋによって記録部４に記録するようになっている。

本実施の形態においても、信号処理及び制御部１は、ベストショット合成モードにおいては、撮影画像の一部の領域に部分画像であるベストショット画像を合成する。この場合において撮影者が撮影画像中の重要と考える部分にベストショット画像が重なって見えなくなることを防止するために、表示制御部１ｇは、図５（ｂ）に示すように、ベストショット画像を合成する位置を示す合成枠表示２３を表示する。図５（ｂ）の例では、合成枠表示２３である破線部分よりも上の領域においてベストショット画像が合成される。

図５（ｂ）〜（ｄ）は、時間の経過と共に撮像画像が変化する様子を示している。本実施の形態においては、撮像中の動画像から、撮像されている人物の顔を抽出し、抽出した顔画像を静止画のベストショット画像として、撮像画像に合成表示するようになっている。また、本実施の形態においては、撮像されている人物の顔の変化を検出し、所定の変化があった場合に、変化後の顔画像を静止画のベストショット画像として合成する。

図５（ｂ）〜（ｄ）は、時々刻々変化する動画像である撮影画像２５に対して、顔の変化が生じた時点で生成した静止画のベストショット画像３１ａ，３１ｂ，３２ｂが合成表示されていることを示している。図５（ｅ）は、ベストショット合成モードの終了後にスルー画表示２６に復帰した状態を示している。

本実施の形態においては、撮影画像２５を記録すると共に、撮影画像２５の表示時間に対応した時間情報と合わせてベストショット画像３１ａ，３１ｂ，３２ｂを記録するようになっている。なお、本実施の形態においても、撮影画像とベストショット画像との合成画像を記録するようにしてもよい。

次に、このように構成された実施の形態の動作について図６のフローチャートを参照して説明する。図６において図３と同一の手順には同一符号を付して説明を省略する。

ステップＳ１〜Ｓ５までの手順は、第１の実施の形態と同様である。本実施の形態においては、ベストショット合成モードになると、信号処理及び制御部１は、ステップＳ５において、仮記録部３だけでなく記録部４においても動画の撮像画像の記録を開始する。信号処理及び制御部１は、ステップＳ６において動画記録の停止操作が行われものと判定するまで、動画記録を継続する。なお、撮影機器１０における個々の処理、例えば撮像画像に対する画像処理、画像の合成処理、表示処理、記録処理、顔検出処理、表情レベルの算出処理等の各処理は、図１の実施の形態と同様である。

信号処理及び制御部１は、ステップＳ３２において、顔検出処理を行う。信号処理及び制御部１は、撮影画像中に検出された顔の数が４よりも多いか否かを判定する（ステップＳ３３）。４よりも多い場合には、信号処理及び制御部１は、ステップＳ３４において４つの顔のみを選択する。例えば、信号処理及び制御部１は、サイズが大きい方から４つ、画面の中央側の４つ等を選択する。なお、信号処理及び制御部１は、表示画面５ａ上に選択のためのメッセージ表示を表示し、ユーザに４つの顔を選択させるようにしてもよい。撮影画像中の顔の数が４個以内の場合には、信号処理及び制御部１は、処理をステップＳ３３からステップＳ３５に移行する。

次に、信号処理及び制御部１は、撮像画像から検出した顔画像の表示画面５ａ上の位置を検出する（ステップＳ３５）。次に、信号処理及び制御部１は、ベストショット画像の表示画面５ａ上における配置位置を決定する。即ち、信号処理及び制御部１は、撮影画像中から選択された４人以内の人物の顔の水平位置に対応して、選択した人物に対応するベストショット画像の表示位置を決定する（ステップＳ３６）。次に、信号処理及び制御部１は、ステップＳ３７において、検出した顔の表情レベルを算出する。

本実施の形態においては、次のステップＳ３８において、選択された人物の顔毎に、前回算出した表情レベルと今回算出した表情レベルとの比較を行う。そして、ステップＳ３９において、表情レベルのレベル差が所定の閾値以上である否かを判定する。レベル差が所定の閾値以上の場合には、即ち、顔の表情が比較的大きく変化した場合には、信号処理及び制御部１は、ステップＳ４０において、顔画像を検出した時間と共にその顔画像を部分画像（ベストショット画像）として仮記録部３に静止画記録する。

こうして、所定の時間毎に、顔画像の表情レベルが検出され、前回の表情レベルとのレベル差が所定の閾値を超える顔画像が、顔が検出された時間と共に、各顔毎に静止画記録されることになる。

信号処理及び制御部１は、ステップＳ４１において、選択された人物についての全ての顔画像の処理が終了したか否かを判定し、終了していない場合には、ステップＳ３５〜Ｓ４０の処理を繰り返す。選択された人物についての全ての顔画像の処理が終了すると、信号処理及び制御部１は、ステップＳ４２において、選択された人物に対応する顔画像であって最も新しく静止画記録された顔画像を仮記録部３から読み出す。信号処理及び制御部１は、撮像中の動画像に静止画記録したベストショット画像を合成して表示する。信号処理及び制御部１は、ステップＳ４４において、仮記録部３に記録している顔画像を検出時間の情報と共に記録部４に記録する。

このように本実施の形態においては、動画撮影時においても、第１の実施の形態と同様の効果が得られると共に、表情に変化が生じる毎に合成するベストショット画像を切り替えており、変化に富んだ撮影画像を得ることができる。

なお、ベストショット画像は、静止画であるものとして説明したが、Ｍ圧縮部１ｉ，１ｊを用いることで、動画の撮像画像の外に、ベストショット画像についても動画として記録するようにしてもよい。

次に、図３及び図６におけるステップＳ８，Ｓ１４，Ｓ３７における表情レベルの算出方法について図７を参照して説明する。図７は表情レベルの算出法の一例を示すフローチャートである。

図７に示す表情レベルの算出は、顔の向きに関する得点をＲＦとし、目に関する得点をＲＥとし、口に関する得点をＲＬとして、表情レベルＲをＲ＝ＲＦ＋ＲＥ＋ＲＬによって求めるようになっている。信号処理及び制御部１は、ステップＳ５１において、検出した顔から目部及び口部を検出する。信号処理及び制御部１は、ステップＳ５２において、顔から検出した目の数が２つであるか否かを判定する。

信号処理及び制御部１は、顔から２つの目を検出することができた場合には、顔が正面を向いているものとして、得点ＲＦに１．０を代入する（ステップＳ５３）。次に、信号処理及び制御部１は、ステップＳ５４〜Ｓ５６において目に関する得点ＲＥを求め、ステップＳ５７〜Ｓ５９において口に関する得点ＲＬを求める。

ステップＳ５４では、信号処理及び制御部１は、両目の瞳を結ぶ線より上の白目面積を変数ＥＡに代入する。次のステップＳ５５では、信号処理及び制御部１は、両目の瞳を結ぶ線より下の白目面積を変数ＥＢに代入する。例えば、笑顔の場合には、目尻と目頭が垂れ下がることが多い。目尻と目頭が垂れ下がることで、瞳の中心を通る水平線より下の白目面積と上の白目面積との比率が変化する。そこで、信号処理及び制御部１は、瞳の線よりも上の白目面積と下の白目面積とを求め（ステップＳ５４，Ｓ５５）、両者の比によって目に関する得点ＲＥを算出する。即ち、信号処理及び制御部１は、得点ＲＥを（ＥＡ−ＥＢ）／（ＥＡ＋ＥＢ）とする（ステップＳ５６）。

また、信号処理及び制御部１は、ステップＳ５７において、口の両端を結ぶ線より上の唇面積を変数ＬＡに代入する。次のステップＳ５８では、信号処理及び制御部１は、口の両端を結ぶ線より下の唇面積を変数ＬＢに代入する。例えば、笑顔の場合には、口の両端が持ち上がることが多い。口の両端が持ち上がることで、口の両端を結ぶ線分より上の唇面積と下の唇面積との比率が変化する。そこで、信号処理及び制御部１は、口の両端を結ぶ線分より上の唇面積と下の唇面積とを求め（ステップＳ５７，Ｓ５８）、両者の比によって得点ＲＬを算出する。即ち、信号処理及び制御部１は、得点ＲＬを（ＬＢ−ＬＡ）／（ＬＡ＋ＬＢ）とする（ステップＳ５９）。

また、信号処理及び制御部１は、ステップＳ５２において検出した目の数が２つでないものと判定した場合には、ステップＳ６１において検出した目の数が１つであるか否かを判定する。１つの場合には、信号処理及び制御部１はＲＦに０．５を代入する。また、信号処理及び制御部１は、検出した目の数が１つでないものと判定した場合には、ステップＳ６５において追尾中の人物の頭部が後ろ向きであるものとして、ＲＦに０．５を代入する（ステップ６５）。

信号処理及び制御部１は、ステップＳ５９，Ｓ６２，Ｓ６５で求めた得点ＲＦ，ＲＥ，ＲＬを加算して表情レベルの値Ｒとする（ステップＳ６０）。

このように、図７では表情レベルを、顔の向き、目の形及び口形によって求める例について説明したが、表情レベルを他の手法によって求めてもよい。例えば、口の開閉の状態によって表情レベルを判定してもよく、また、顔の向きを、目の数だけでなく、頭部に対する髪の毛の割合や目線の向き等によって判断してもよい。また、上記各実施の形態においては、ベストショット画像を顔の向きを考慮した表情レベルに基づいて選択する例について説明したが、顔の表情レベルに限らず、頭部の輝度レベルや、体全体のポーズ等から得た表情レベルによってベストショット画像を選択するようにしてもよい。

このように、上記各実施の形態においては、ベストショット画像を撮像画像に合成して表示すると共に記録することから、楽しめる撮影画像を得ることができる。しかも、撮影者自身がその場の状況からシャッターチャンスと判断したタイミングで撮像を行い、この撮像結果を全画面に表示すると共に記録している。これにより、撮影者の意志を反映した撮影が可能である。更に、撮影画像の一部の領域に、被写体を抜き出して得た部分画像を表示することで、再生時に、被写体やその場の雰囲気等を容易に追体験することができる。部分画像として、表情豊かな被写体の顔画像等を表示することで、追体験を容易にすることができる。また、変化する顔画像のみを表示することで、変化に富んだ画像を得ることができる。

１…信号処理及び制御部、１ａ…読取部、１ｂ，１ｃ…画像処理部、１ｄ…特徴判定部、１ｆ…画像選択部、１ｇ…表示制御部、１ｈ…Ｓ圧縮部、１ｉ，１ｊ…Ｍ圧縮部、１ｋ…記録制御部、２…撮像部、３…仮記録部、４…記録部、５…表示部、６…操作部、６ｃ…タッチ部。

Claims (4)

1. 被写体を撮像して得た撮像画像を出力する撮像部と、
   上記撮像画像中の頭部の画像をレベル分けするレベル分け部と、
   上記レベル分け部に従って、上記撮像画像中の一部の部分画像を仮記録する仮記録部と、
   上記仮記録された部分画像を上記撮像画像に合成する合成部と、
   を具備し、
   上記レベル分け部は、上記撮像画像中の顔の表情レベルを求めて、求めた表情レベルに応じてレベル分けを行うものであって、かつ、同一の頭部の画像について前回の表情レベルとのレベル差が所定の閾値以上となる頭部の画像に対応する部分画像を上記仮記録部に仮記録させる
   ことを特徴とする撮影機器。
2. 上記レベル分け部は、笑顔の画像を上記仮記録部に仮記録させる
   ことを特徴とする請求項１に記載の撮影機器。
3. 上記合成部が合成した画像を記録する記録制御部をさらに具備したことを特徴とする請求項１または２に記載の撮影機器。
4. 上記撮像画像と上記部分画像とを関連付けて記録する記録制御部をさらに具備したことを特徴とする請求項１または２に記載の撮影機器。

Images