JP2008219450A

JP2008219450A - 撮像装置およびその制御方法

Info

Publication number: JP2008219450A
Application number: JP2007053645A
Authority: JP
Inventors: Makoto Oishi; 誠大石
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2007-03-05
Filing date: 2007-03-05
Publication date: 2008-09-18

Abstract

【課題】音声をトリガとした自動撮影の利便性を確保しつつ、無用な撮影動作が行われてしまう不都合を解消する。
【解決手段】デジタルカメラ１に、人物抽出手段４１と音声解析手段４３と構図判定手段４４を設ける。人物抽出手段４１は、画像データを解析することにより、人物を表す画像領域を抽出する。音声解析手段４３は、入力された音声を解析することにより音声に係る所定の特徴を検出する。構図判定手段は、人物抽出手段の抽出結果および音声解析手段の検出結果に基づいて、前記画像データの構図の良否を判定する。構図の良否に基づいて画像データを記録するタイミングを決定し、決定したタイミングで画像データが記録されるように記録手段を制御する。または決定したタイミングをユーザに報知する。
【選択図】図９

Description

本発明は、音声をトリガとして自動撮影を行う撮像装置と、その撮像装置の制御方法に関する。

デジタルカメラは通常、動画撮影時に音声を録音するためのマイクを備えている。このマイクから入力される特定の音声フレーズを識別し、その音声フレーズが検出されたときに、自動的に撮影動作を行い画像を取得するデジタルカメラが知られている（例えば、特許文献１）。
特開２００６−１８４５８９号公報

音声をトリガとして自動撮影を行うデジタルカメラは、便利な反面、無関係な音声に反応して無用な動作を行うことがある。例えば、観光地など人の多いところでは、カメラが近くにいる無関係な人の声に反応してしまうことがある。また、集合写真の撮影などで、未だ撮影の準備が整っていないのにも拘らず、誰かが「ハイ、チーズ」といった声を発してしまったために、撮影が行われてしまうこともある。

本発明は、音声をトリガとした自動撮影の利便性を確保しつつ、無用な撮影動作が行われてしまう不都合を解消することを目的とする。

本発明は、上記目的を達成するために、２種類の撮像装置を提供する。これらの撮像装置は、いずれも、情景を撮影し、その情景を表す画像データを生成する撮像手段と、撮像手段により生成された画像データを所定の記録媒体に記録する記録手段とを備えており、次に説明する人物抽出手段、音声解析手段、構図判定手段を備える。

人物抽出手段は、撮像手段により生成された画像データを解析することにより、人物を表す画像領域を抽出する。例えば、画像データに含まれる顔を探索し、抽出結果として、その探索により検出された顔の数、各顔の位置および各顔の大きさを示す情報を出力するものとする。この場合、探索により検出された顔の表情を識別し、識別された表情を示す情報を、さらに出力するようにしてもよい。また、画像データに含まれる人物のジェスチャーを識別し、抽出結果として、識別されたジェスチャーを示す情報を出力するものとしてもよい。

音声解析手段は、入力された音声を解析することにより音声に係る所定の特徴を検出する。例えば、音声の特徴として、所定の音量変化、所定の音声フレーズ、所定の人物の声の特徴として予め登録された特徴などを検出する。構図判定手段は、人物抽出手段の抽出結果および音声解析手段の検出結果に基づいて、画像データの構図の良否を判定する。

本発明の第１の撮像装置は、上記撮像手段、記録手段、人物抽出手段および構図判定手段に加え、構図判定手段の判定結果に基づいて画像データを記録するタイミングを決定し、決定したタイミングで画像データが記録されるように記録手段を制御する記録制御手段を備える。本発明の第１の撮像装置によれば、自動撮影のトリガとなり得る音声が発せられたとしても、構図が所定の条件を満たしていなければ自動撮影は行われないので、音声のみに反応して無用な撮影は行われる心配がない。

また、本発明の第２の撮像装置は、第１の撮像装置の記録制御手段に代えて、構図判定手段の判定結果に基づいて画像データを記録するタイミングを決定し、決定したタイミングの到来を報知する報知手段を備える。第２の装置は、自動撮影を行うものではないが、構図が所定の条件を満たし且つ所定の音声が発せられたときに、撮影者にシャッタレリーズボタンを押下すべきタイミングが来たことをユーザに報知するので、ユーザは自動撮影と同等の利便性を享受することができる。また、撮影動作が自動で行われることがないので、ユーザの意図に反して撮像装置が無用な動作を行うこともない。

また、記録手段は、人物抽出手段の抽出結果および音声解析手段の検出結果を、画像データとともに記録媒体に記録することが好ましい。これにより、記録媒体に記録された画像データをパソコンなどで編集するときに、それらの抽出結果を利用した編集を行うことができる。

本発明の第１の制御方法は、撮像装置を次の手順で制御することにより上記第１の撮像装置として動作させる方法である。まず、撮像手段により生成された画像データを解析することにより、人物を表す画像領域を抽出する。これと並行して、入力された音声を解析することにより音声に係る所定の特徴を検出する。続いて、人物の抽出結果および音声の検出結果に基づいて、画像データの構図の良否を判定する。そして、その判定の結果に基づいて画像データを記録するタイミングを決定し、決定したタイミングで画像データが記録されるように、記録手段を制御する。

本発明の第２の制御方法は、撮像装置を次の手順で制御することにより上記第２の撮像装置として動作させる方法である。まず、撮像手段により生成された画像データを解析することにより、人物を表す画像領域を抽出する。これと並行して、入力された音声を解析することにより音声に係る所定の特徴を検出する。続いて、人物の抽出結果および音声の検出結果に基づいて、画像データの構図の良否を判定する。そして、所定の出力手段の動作を制御することにより、決定したタイミングの到来をユーザに報知する。

以下、本発明の方法および装置の一実施形態として、第１の制御方法および第２の制御方法を選択的に用いて制御を行うデジタルカメラを開示する。このデジタルカメラは、通常撮影モード、画像再生モード、自動撮影モードおよび撮影アシストモードの４つの動作モードを有する。自動撮影モードに設定されたときのデジタルカメラが本発明の第１の撮像装置に相当し、撮影アシストモードに設定されたときのデジタルカメラが本発明の第２の撮像装置に相当する。但し、本発明の２つの装置および制御方法は、いずれも独立して実施することが可能であり、以下に示す実施形態に限定されるものではない。

はじめにデジタルカメラの構成について説明する。図１Ａおよび図１Ｂは、デジタルカメラ１の外観を示す図であり、図１Ａはデジタルカメラの正面を、図１Ｂは背面を示している。これらの図に示すように、デジタルカメラ１は、撮像レンズ２、シャッタレリーズボタン３、マイク４、操作ダイヤルあるいはボタン５ａ〜５ｆ、モニタ６、ＬＥＤランプ９を備えている。また、デジタルカメラ１の下部には、スピーカ８と開閉可能なスロットカバーがあり（図示せず）、スロットカバーの中にはメモリカード７を装填するカードスロットが備えられている。

図２は、デジタルカメラ１の内部構成を示す図である。この図に示すように、デジタルカメラ１は、撮像レンズ２、レンズ駆動部１６、絞り１３、絞り駆動部１７、ＣＣＤ１４およびタイミングジェネレータ（ＴＧ）１８からなる撮像部を備える。撮像レンズ２は、被写体にピントを合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズなど複数の機能別レンズにより構成される。レンズ駆動部１６はステッピングモータなど小型のモータで、ＣＣＤ１４から各機能別レンズのまでの距離が目的に適った距離となるように各機能別レンズの位置を調整する。絞り１３は複数の絞り羽根からなる。絞り駆動部１７は、ステッピングモータなど小型のモータで、絞りの開口サイズが目的に適ったサイズになるように絞り羽根の位置を調整する。ＣＣＤ１４は原色カラーフィルタを伴う５００〜１２００万画素のＣＣＤで、タイミングジェネレータ１８からの指示信号に応じて蓄積された電荷を放出する。タイミングジェネレータ１８は、ＣＣＤ１４に所望の時間のみ電荷が蓄積されるようにＣＣＤ１４に対して信号を送り、これによりシャッタ速度を調整する。

また、デジタルカメラ１は、ＣＣＤ１４の出力信号をデジタル信号に変換するＡ／Ｄ変換部１５と、Ａ／Ｄ変換部１５が出力した画像データをシステムバス２４を介して他の処理部に転送する画像入力制御部２３と、画像入力制御部２３から転送された画像データを一時記憶するメモリ２２を備える。

また、デジタルカメラ１は、レンズ駆動部１６にレンズの移動を指示して焦点合わせを行う焦点調節部２０と、絞り値とシャッタ速度を決定し、絞り駆動部１７とタイミングジェネレータ１８に指示信号を送出する露出調整部２１を備える。また、デジタルカメラ１は、メモリ２２に記憶されている画像データに対して画像処理を施す画像処理部２５を備える。画像処理部２５は、画像を自然な色合い、明るさにするための色階調補正や明るさ補正、画像データが赤目を含むものであるときに赤目を黒目に修正する処理、画像の構図が悪いときに構図を修正する処理など、画像の見栄えを良くするための各種仕上げ処理を行う。画像処理部２５により処理された処理済画像データは、再度メモリ２２に格納される。

また、デジタルカメラ１は、メモリ２２に記憶されている画像データのモニタ６への出力を制御する表示制御部２６を備える。表示制御部２６は、メモリ２２に記憶されている画像データの画素数を、表示に適した大きさとなるように間引きしてから液晶モニタ９に出力する。また、表示制御部２６は、動作条件などの設定画面の表示も制御する。

また、デジタルカメラ１は、メモリ２２に記憶されている画像データのメモリカード７への書込み、およびメモリカード７に記録されている画像データのメモリ２２へのロードを制御する記録読出制御部２７を備える。記録読出制御部２７は、ユーザの設定に応じて撮影により取得された画像データをそのまま、もしくは圧縮符号化し、Ｅｘｉｆ（Exchangeable Image File Format）ファイルとして、メモリカード７に記録する。Ｅｘｉｆは、日本電子工業振興協会（ＪＥＩＤＡ）が定めたファイルフォーマット規格である。また、メモリカード７に記録されている画像ファイルの再生を要求する操作が行われたときには、Ｅｘｉｆファイルに含まれる画像データを、メモリ２２にロードする。画像データが圧縮されている場合には伸長した後、メモリ２２にロードする。

また、デジタルカメラ１は、ＬＥＤ９の点灯、消灯を制御するＬＥＤ制御部１９を備える。さらには、マイク４、スピーカ８、Ａ／Ｄ変換部１０、Ｄ／Ａ変換部１１および音声の入出力を制御する音声入出力制御部１２を備える。マイク４から入力され、Ａ／Ｄ変換部１０によりデジタルデータに変換された音声データは、音声入出力制御部１２によりシステムバス２４を介してメモリ２２に転送され、記憶される。また、各処理部または後述する全体制御部から音声入出力制御部１２に供給される音声データは、Ｄ／Ａ変換部１１により変換された後、スピーカ８に出力される。

また、デジタルカメラ１は、画像を取得すべきタイミングを検出するタイミング検出部２８を備える。タイミング検出部２８は、メモリ２２に記憶されている画像データや音声データを解析し、それらのデータが所定の条件を満たすときに、画像を取得すべきタイミングが到来したことを示す信号を出力する。

デジタルカメラ１は、この他、ＣＰＵ（Central Processor Unit）３１、操作／制御プログラムが格納されたＲＡＭ（Random Access Memory）３２、各種設定値が記憶されているＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）３３からなる全体制御部３０を備える。全体制御部３０のＣＰＵ３１は、ＥＥＰＲＯＭ３３に記憶された設定値を参照し、その設定値に基づいてＲＡＭ３２に記憶されているプログラムを選択、実行する。これにより、全体制御部３０は、シャッタレリーズボタン３、操作ダイヤル／ボタン５ａ〜５ｆの操作を検出し、あるいは各処理部の処理結果を受けて、ＬＥＤ制御部１９、焦点調節部２０、露出調整部２１、画像入力制御部２３、画像処理部２５、表示制御部２６、記録読出制御部２７、タイミング検出部２８および音声入出力制御部１２に対し、実行すべき処理を指示する指示信号を送出する。これにより、デジタルカメラ１の動作が制御される。

通常撮影モード、自動撮影モードおよび撮影アシストモードでは、全体制御部３０の制御の下で、各処理部が、それぞれ焦点調節、露出制御、フラッシュ制御、画像処理、記録などを実行することにより画像が取得される。再生モードでは、全体制御部３０の制御の下で、メモリカード７に記録されている画像がモニタ６に出力される。設定モードでは、全体制御部３０の制御の下で、モニタ６に設定画面が表示され、操作ダイヤル／ボタン５ａ〜５ｆからの操作入力が受け付けられる。設定画面において、ユーザが操作ダイヤル／ボタン５ａ〜５ｆを使って選択した情報、あるいはメモリカード７から取り込まれた情報は、ＥＥＰＲＯＭ３３に記憶される。

以下、自動撮影モードと撮影アシストモードについて、さらに説明する。図３は、自動撮影モードに設定されたときのデジタルカメラ１の動作概要を示すフローチャートである。デジタルカメラ１は、自動撮影モードに設定されると、レンズに写る情景を表す画像データの生成を開始する（Ｓ１０１）。そして、生成された画像データが表す画像の構図を判定し（Ｓ１０２）、構図が良い場合にはシャッタレリーズボタン３の操作の有無に拘らず、メモリカード７に画像を記録する（Ｓ１０３）。構図が悪い場合には、より良い構図を提案し（Ｓ１０４）、ステップＳ１０１において生成される画像データがステップＳ１０４において提案した構図となるように、撮像部の動作を制御したり画像処理部２５に所定の処理を行わせたりする（Ｓ１０５）。例えば、主要な被写体が小さすぎるときには、撮像部にズーム動作を行なわせる。また、主要な被写体が偏って配置されているときには、画像処理部２５に指示して、その被写体が写っている領域のみをトリミングして移動または拡大する画像処理を行わせる。あるいは、垂直に立っているはずの被写体が斜めに写っていたら、回転処理を施して被写体が垂直になるようにする。

撮像部や画像処理部２５により再生成（Ｓ１０１）された画像データは、ステップＳ１０２において再び評価される。以上の処理は、モード切替操作が検出されるまで（Ｓ１０６）繰り返される。

図４は、撮影アシストモードに設定されたときのデジタルカメラ１の動作概要を示すフローチャートである。デジタルカメラ１は、撮影アシストモードに設定されると、レンズに写る情景を表す画像データの生成を開始する（Ｓ２０１）。そして、生成された画像データが表す画像の構図を判定（評価）する（Ｓ２０２）。

構図が良い場合には、タイミングの到来を報知する（Ｓ２０３）。図５および図６に、タイミング到来の報知例を示す。図５は、モニタ６にシャッタレリーズボタンの押下を促すマーク３４を表示することで、タイミングの到来を報知する例を示している。マークに代えて「シャッタチャンスです」といったメッセージを表示してもよい。図６は、ＬＥＤランプ９を点滅させることで、タイミングの到来を報知する例を示している。この他、スピーカからの音声出力によりタイミングの到来を報知する方法も考えられる。

構図が悪い場合には、より良い構図を提案する（Ｓ２０４）。そして、提案する構図をモニタ６に表示することにより（以下、アシスト表示と称する）、撮影者に対しカメラの構え方を直すよう、あるいは所定の操作ボタンを操作するよう促す（Ｓ２０５）。図７および図８に、アシスト表示の一例を示す。図７は、撮影されたままの画像データにフレーミング枠３５を重ねて表示することで、好ましいフレーミングのしかたを提示する例を示している。図８は、画像処理により生成した好ましいフレーミングの画像を表示し、画面の端にフレーミングをどのようにすれば表示中の画像のような画像データを取得できるかを示唆するマーク３６を表示した例である。この他、「ズームして下さい。」、「カメラを少し左に向けて下さい。」といったメッセージを表示あるいは音声出力することで、好ましいフレーミングを提示してもよい。撮影アシストモードでは、以上の処理が、モード切替操作が検出されるまで（Ｓ２０６）繰り返される。

続いて、ステップＳ１０２およびＳ２０２の構図を判定する処理と、ステップＳ１０４およびＳ２０４の構図を提案する処理について、さらに詳しく説明する。構図の判定および構図の提案は、図２のタイミング検出部２８が行う。図９はタイミング検出部２８の構成を示す図である。図に示すように、タイミング検出部２８は、人物抽出手段４１、非人物抽出手段４２、音声解析手段４３、構図判定手段４４および構図提案手段４５により構成される。なお、タイミング検出部２８は、手段４１〜４５として機能するＬＳＩにより構成された回路でもよいし、手段４１〜４５の処理を実行するソフトウェアプログラムが組み込まれたマイクロコンピュータでもよい。

人物抽出手段４１は、メモリ２２に記憶されている画像データを読み込み、画像データ内の人物領域を探索する。本実施形態では、顔の探索を行うことにより人物を検出する。人物抽出手段４１は、顔を検出した場合には、通し番号などの識別子を付した後、顔領域の面積と顔を含む身体全体を現す領域（以下、全身領域）の面積および重心座標を算出する。重心座標は、顔の面積が所定値を超えるときは顔領域の重心座標を、所定値以下のときは全身領域の重心座標を求める。例えば図１０Ａおよび図１０Ｂの例示のように顔領域が比較的大きい場合には、個々の顔領域の重心座標が算出される。また、図１０Ｃおよび図１０Ｄのように顔領域が小さい場合には、十字印で示される全身領域の重心座標が算出される。人物抽出手段４１は、全領域の探索を終えると、検出された人物の数、位置、大きさを示す情報として、検出された人物の総数と、各人物の顔領域の範囲および面積と、全身領域の範囲および面積と、重心座標とを、タイミング検出部２８が備えるメモリ（図示せず）に記憶する。

なお、顔を探索し検出する手法としては、特開２００１−５１３３８号公報に紹介されているとおり、肌色領域を顔として検出する方法、髪や目や口など幾何学的特徴を有するパーツの有無により顔か否かを判別して顔を検出する方法、その他種々の方法が知られている。人物抽出手段４１が実行する顔検出処理には、公知のあらゆる手法を利用することができる。

人物抽出手段４１は、続いて、検出された顔の表情を識別する。但し表情の識別は、自動撮影モードの詳細設定において表示識別機能がＯＮに設定されているときのみ実行する。あるいは、検出された顔の大きさが所定値以上であるときのみ表情の識別を行なうこととしてもよい。本実施形態では、人物抽出手段４１は、図１１Ａ、１１Ｂ、１１Ｃ、１１Ｄに例示する笑い顔、怒り顔、泣き顔、驚き顔の４つの表情を識別する。図の例から明らかであるように、これらの表情は、それぞれ、目や口の開き具合、眉や口角の上がり具合に特徴があるので、それらの部位の画像的特徴に基づき表情を識別することができる。表情を識別する手法は、特開２００１−５１３３８号公報に紹介されている手法をはじめ種々の方法が知られており、人物抽出手段４１が実行する表情識別処理には、公知のあらゆる手法を利用することができる。人物抽出手段４１は、識別した表情を、タイミング検出部２８が備えるメモリに記憶する。

人物抽出手段４１は、さらに、検出された顔を持つ人物のジェスチャーを識別する。ジェスチャーの識別は、自動撮影モードの詳細設定においてジェスチャー識別機能がＯＮに設定されているときのみ実行する。あるいは、検出された顔の大きさが所定値以上であるときは表情の識別を行ない、所定値以下であるときはジェスチャーの識別を行なうこととしてもよい。

本実施形態では、タイミング検出部２８が備えるメモリには、よく知られているジェスチャーが、そのジェスチャーの幾何学的特徴を表すデータとして予め登録されている。例えば、図１２Ａに例示する人差し指と中指のみを立てるジェスチャー（ピース）、図１２Ｂに例示する両腕を上げるジェスチャー（万歳、ガッツポーズ）、その他、親指と人差し指で円を作るジェスチャー（ＯＫまたは円）、親指だけを立てて上に向けるジェスチャー（グッド）などが登録されている。人物抽出手段４１は、メモリ２２から読み込んだ画像データの顔周辺から抽出された幾何学的特徴を登録データと照合する。そして、抽出された特徴が登録されているジェスチャーの特徴と一致したときには、そのジェスチャー名もしくは予め決められているジェスチャーの識別子を、タイミング検出部２８が備えるメモリに記憶する。

ジェスチャーを識別する手法もまた、特開２００１−５１３３８号公報に紹介されている手法をはじめ種々の方法が知られている。人物抽出手段４１が実行するジェスチャー識別処理には、公知のあらゆる手法を利用することができる。

人物抽出手段４１は、続いて顔領域の合計面積を算出する。例えば、図１０Ａ〜１０Ｄの例であれば、それぞれ、点線枠として表示した領域の面積の合計を算出する。但し、全身領域の面積の合計を算出することとしてもよい。

人物抽出手段４１は、算出された領域面積の合計が所定の閾値を上回るときは、タイミング検出部２８が備えるメモリに記憶しておいた顔の数、顔領域の面積、全身領域の面積、重心座標、表情およびジェスチャーの情報を構図判定手段４４にのみ供給する。一方、算出された領域面積の合計が所定の閾値以下であるときは、メモリに記憶しておいた情報を、構図判定手段４４と非人物抽出手段４２に供給する。

非人物抽出手段４２は、画像データに含まれる人物以外の主要被写体を抽出する。本実施形態では、非人物抽出手段４２は、メモリ２２に記憶されている画像データを読み込み画像データの、顔もしくは胴体を含む人物に相当する領域の画素値を０に置き換えるなどして、画像データから人物領域のデータを消去する。例えば、読み込んだ画像データが図１３Ａに例示するように人物５０ａ、５０ｂと人物以外の被写体５１を含む画像データであったとする。また、人物抽出手段４１からは、図の点線枠で囲われた領域５２ａ、５２ｂについて、重心などの情報が供給されているものとする。この画像データから人物領域５２ａ、５２ｂ内の画素データを消去すれば、図１３Ｂに例示するように被写体５１のみを含む画像データが得られる。

続いて、非人物抽出手段４２は、人物領域５２ａ、５２ｂの情報が消去された画像データに対し、ハイパスフィルタを用いたフィルタリング処理を施す。これにより、図１３Ｃに例示するように、被写体５１のエッジ部分が抽出されたエッジ画像５３が得られる。エッジ画像５３は、画像データに含まれている人物以外の被写体の輪郭からなる画像であるので、この画像を解析することにより、図１３Ｄに例示するように、被写体５３が配置された大まかな領域５４を識別することができる。非人物抽出手段４２は、識別された領域５４の面積および重心座標を算出し、構図判定手段４４に供給する。

人物以外の被写体領域を識別する方法としては、ハイパスフィルタによるフィルタリング処理に代えて、フーリエ変換を利用して特定の（エッジに相当する）周波数成分のみを取り出す方法も考えられる。また、周波数解析ではなく、色の情報を利用した解析を行なうことにより主要被写体を抽出する方法も考えられる。例えば、画素値が所定の色を表す値であるときはそのままの値とし、所定の色以外の色を表す値であるときは画素値を０または１に置き換える。これにより、画像は２つの領域に分割され、その所定の色の被写体もしくはその所定の色以外の被写体が配置されている領域が抽出される。この他、人物とともに撮影されやすい対象（例えばペットとしてよく飼われる動物など）については、Ａｄａｂｏｏｓｔアルゴリズムなど学習に基づく判別アルゴリズムを利用して識別を行ない、被写体領域を示すデータを生成することもできる。

なお、画像の鮮鋭度は画像データを取得したときのシャッタスピードに依存することがあり、画像の色は測光値や絞りなどに依存することがある。このため、画像解析を行なうときに、画像データが生成されたときの各種調整値、設定値を考慮に入れることで、被写体領域の識別が容易になることもある。

音声解析手段４３は、マイク４から入力される音声を解析し、以下の音声を検出する。第１に音声解析手段４３はマイク４から入力される音声の音量を常時計測し、所定の閾値と比較する。図１４は、横軸を時間、縦軸を音量としたグラフを示している。音声解析手段４３は、図１４の例示における時点Ｔ、すなわち音量が急激に変化して閾値Ｔｈを超えた時点を検出する。スポーツ観戦時の撮影やパーティでの撮影では、例えばサッカーのゴールシーンや結婚式の乾杯シーンなど、歓声が上がった瞬間がシャッタチャンスであることが多い。よって、音量が急激に変化した時点を検出することで、シャッタチャンスを検出することができる。あるいは、音量が変化したことを検出するのではなく、音量が閾値Ｔｈを超えていることを検出するだけでもよい。歓声が上がっている間は常にシャッタチャンスと考えることもできるからである。反対に、例えば赤ん坊の寝顔を撮影したい場合など、静かになったときがシャッタチャンスである場合には、音量が閾値を下回った時点あるいは下回っている状況を検出してもよい。音量を解析した結果、いずれの時点を検出するかは、設定により変更することができる。

また、音声解析手段４３は、音声が表すフレーズを識別し、予め登録されている特定のフレーズと照合を行なう。この登録データはタイミング検出部２８が備えるメモリに記憶されており、例えば、「ハイ、チーズッ」、「カンパーイ」など、シャッタレリーズボタンを押すタイミングと同期して発せられる可能性が高いフレーズが登録されている。また、本実施形態では、登録データの１つとして、声を登録することができ、さらには、声とフレーズとを対応付けて登録することもできる。音声解析手段４３は、これらの登録データとの照合を行なうことにより、（ａ）登録フレーズが音声として発せられた時点、（ｂ）登録者が音声を発した時点、（ｃ）登録者が登録フレーズを音声として発した時点、を検出することができる。（ａ）、（ｂ）、（ｃ）のいずれの時点を検出するかは、原則として設定によって決まる。但し、登録データの登録状況に応じて、設定と異なる処理を実行してもよい。例えば、検出したい時点として（ｃ）が設定されていても、声が登録されていなければ（ａ）の時点を検出するようにする。

なお、音量に基づく検出処理とフレーズの照合に基づく検出処理を、両方とも実行するか、一方のみ実行するか、一方のみ実行するとすればいずれを実行するかは、設定に依存する。

続いて、構図判定手段４４の処理について説明する。図９に示されるように、構図判定手段４４には、メモリ２２から読み込んだ画像データと、人物抽出手段４１、非人物抽出手段４２による抽出結果と、音声解析手段４３による検出結果とが供給される。但し、抽出や検出が行われなかったときには、供給する情報が無いことを示す値（例えば０）が入力される。

図１５は、構図判定手段４４の処理の一例を示すフローチャートである。構図判定手段４４に対しては、人物抽出手段４１から各人物の顔領域の範囲および面積、全身領域の範囲および面積、人物の重心座標、表情、ジェスチャーの情報が、非人物抽出手段４２から、人物以外の被写体の範囲、面積および重心座標の情報が、また音声解析手段４３から音声の検出結果の情報が供給されるものとする。

構図判定手段４４は、まず、人物を含む被写体の配置のバランスを評価する（Ｓ３０１）。人物抽出手段４１がＮ人（Ｎは整数）の人物を検出し、非人物抽出手段４２がＭ個（Ｍは整数）の被写体を検出したとすると、構図判定手段４４は、抽出された個々の人物領域もしくは被写体領域の重心座標から、Ｎ＋Ｍ個の領域全体の重心座標を算出する。例えば、図１３Ａ〜１３Ｄに例示した画像であれば、図１６に示すように、人物領域５２ａ、５２ｂの重心ｇ１、ｇ２と被写体領域５４の重心ｇ３の座標に基づいて、３つの領域の重心Ｇの座標を算出する。そして、重心Ｇが画像中央の所定範囲５５内にあれば配置バランスが良いと判断し、所定範囲５５を外れていれば、配置バランスが悪いと判断する。

なお、Ｎ＋Ｍ個の領域全体の重心座標を算出するときには、各領域の重心に、その対象の面積に応じた重み付けをしてから、重心座標を求めてもよい。面積の大きな対象ほど重み付けを大きくすれば、領域全体の重心は、面積が大きな対象に近い位置となる。例えば、図１７の例示では、各領域に均等な重み付けをして求めた場合の重心は範囲５５を外れた点ＧＡとなり、配置バランスは悪いと判断される。しかし、面積の大きな領域ほど重み付けを大きくする算出方法では、算出される重心は範囲５５内の点ＧＢとなり、配置バランスは良いと判断される。

また、構図判定手段４４は、一部の被写体に関しては、配置バランスのみならず、回転ぶれの評価も行なう。ここで、回転ぶれとは、画像に含まれる被写体の向きや方向が実世界における被写体の向きや方向と異なることをいう。例えば垂直に立つ高層ビルが画像中斜めに配置されている場合には、回転ぶれ有りと判定する。非人物抽出手段４２が、学習に基づく判別アルゴリズムを利用した被写体抽出を行なう形態では、非人物抽出手段４２は被写体の輪郭のみならず、その被写体の種類を判別することができる。そして、そのような被写体に関しては、非人物抽出手段４３から構図判定手段４４に対し、被写体の種類を示す情報が供給される。構図判定手段４４は、抽出された被写体が、高層ビルや水平線のように、実世界において垂直あるいは水平に配置された対象であるときには、抽出された被写体の向きや方向を算出し、回転ぶれの有無を判定する。

構図判定手段４４は、ステップＳ３０２において、配置バランスが悪いと判断したとき、あるいは回転ぶれが有ると判断したときには、構図が悪い（ＮＧ）との判定結果を出力する（Ｓ３０６）。

構図判定手段４４は、配置バランスが良く回転ぶれもないと判断したときには、人物抽出手段４１から供給された表情の情報に基づき、人物の表情が、シャッタレリーズボタンを押すに相応しい特定の表情であるか否かを判定する（Ｓ３０３）。もしくは、直前に供給された表情の情報と照合し、表情に変化があったか否か判定する。但し、表情の判定は、顔領域の面積が所定値以上のときのみ行なうこととしてもよい。特定の表情である（あるいは変化があった）場合には、構図が良い（ＯＫ）との判定結果を出力する（Ｓ３０７）。

表情が特定の表情でない（あるいは変化がない）場合には、構図判定手段４４は、人物抽出手段４１から供給されたジェスチャーの情報に基づき、人物が、シャッタレリーズボタンを押すに相応しいジェスチャーをしているか否かを判定する（Ｓ３０４）。もしくは、直前に供給されたジェスチャーの情報との照合し、人物の動きに変化があったか否か判定する。但し、ジェスチャーの判定は、人物領域の面積が所定値以上のときのみ行なうこととしてもよい。特定のジェスチャーあるいは動きがあった場合には、構図が良いとの判定結果を出力する（Ｓ３０７）。

特定のジェスチャーあるいは動きがなかった場合には、構図判定手段４４は、音声解析手段４３から供給された情報に基づいて、特定の音声が検出されたか否かを判定する（Ｓ３０５）。そして、特定の音声が検出されていなかった場合には、構図が悪いとの判定結果を出力し（Ｓ３０６）、特定の音声が検出されていた場合には、構図が良いとの判定結果を出力する（Ｓ３０７）。

構図判定手段４４が、構図が良いとの判定結果を出力した場合、タイミング検出部２８は、その判定結果を全体制御部３０に送信する。この判定結果を受けた全体制御部３０は、デジタルカメラ１が自動撮影モードに設定されているときであれば、記録読出制御部２７に対し、メモリ２２に記憶されている画像データをメモリカード７に記録するよう指示する。また、撮影アシストモードに設定されているときであれば、表示制御部２６に対し、モニタに、シャッタチャンスの到来を告げるマークあるいはメッセージを表示するよう指示する（図５）。あるいは、ＬＥＤ制御部１９に対し、ＬＥＤ９の点灯を指示する（図６）。

なお、本実施形態では、記録読出制御部２７は、構図の判定に利用した情報を、画像データの付属情報としてメモリカード７に記録する。詳細には、Ｅｘｉｆファイルのタグ部分に記録する。一方、構図判定手段４４は、構図が悪いと判定したときは、構図提案手段４５に対し、構図の判定に利用した情報を供給する。構図提案手段４５は、これらの情報を用いて、以下に説明する処理を実行する。

構図提案手段４５は、構図判定手段４４から供給された情報を解析し、構図が悪いと判定された画像について、より好ましい構図を提案する。ここで構図を提案するとは、画像に含まれる被写体について、構図判定の判定基準を満たすような配置を決定することを意味する。決定された構図は、その構図の画像を取得するために実行すべき処理の情報とともに出力される。例えば、図１８Ａに例示するように、撮影された画像から抽出された領域５２ａ、５２ｂ、５４が左下に偏って配置されている場合、図１８Ｂに例示するように領域５２ａ、５２ｂ、５４の重心Ｇが画像の中央に配置された構図を提案する。あるいは、図１８Ｃに例示するように領域５２ａ、５２ｂ、５４の重心Ｇが画像の中央に配置され、且つ被写体がより大きく写った構図を提案する。そして、その構図の画像を取得するために実行すべき処理の情報として、２種類の情報を出力する。

構図提案手段４５が出力する第１の情報は、撮影により取得された画像データを、画像処理により好ましい構図の画像データに変換するときに必要になる情報である。例えば、図１８Ｂの例ではトリミング範囲（図の太枠）と重心Ｇの移動方向（移動ベクトル）、図１８Ｃの例では、トリミング範囲と重心の移動方向、拡大倍率などの情報が出力される。

構図提案手段４５が出力する第２の情報は、再撮影により、より好ましい構図の画像データを取得するときに必要になる情報である。例えば、図１８Ｂの例では、カメラをより左に向ける操作を示す情報が出力される。また、図１８Ｃの例では、カメラをより左に向ける操作と、設定すべき撮影倍率の情報が出力される。

この他、構図が悪いと判定される原因には回転ぶれがあるが、回転ぶれの場合には、第１の情報として傾きを修正するときの回転方向および角度の情報が、また第２の情報としてカメラを左あるいは右に傾けるべきことを示す情報が出力される。なお、構図が悪いと判定された要因が、表情、ジェスチャーあるいは音声であった場合には、画像処理による修正は行えないため、判定要因が表情、ジェスチャーあるいは音声であることを示す情報が出力される。

構図提案手段４５が出力した上記各情報は、全体制御部３０へと送信される。この判定結果を受けた全体制御部３０は、デジタルカメラ１が自動撮影モード、撮影アシストモードのいずれに設定されているかを判断し、それぞれのモードに応じた処理を行う。

デジタルカメラ１が自動撮影モードに設定されているときには、全体制御部３０は、画像処理部２５に対し、メモリ２２から画像データを読み込んで、構図を改善するために必要な画像処理（トリミング、移動、拡大縮小、回転など）を実行するよう指示する。また、表示制御部２６に対し、画像処理部２５による処理済画像データをモニタ６に表示するよう指示する。さらには、記録読出制御部２７に対し、画像処理部２５による処理済画像データをメモリカード７に記録するよう指示する。

本実施形態では、表示制御部２６は上記指示を受けたときに、図１９に例示するように、撮影されたとおりの構図の画像データ（撮影画像）を記録するか、提案された構図の画像データ（提案画像）を記録するか、撮影画像と提案画像の両方を記録するかをユーザに選択させるための選択画面を表示する。そして、記録読出制御部２７は、この選択画面で選択された画像データをメモリカード７に記録する。但し、このような選択画面を表示せず、無条件に、提案画像のみ、もしくは撮影画像と提案画像の両方を記録することとしてもよい。

なお、本実施形態では、上記指示を受けた記録読出制御部２７は、構図判定手段４４が構図判定に利用した情報、すなわちＮ＋Ｍ個の領域全体の重心座標、回転ぶれを判定した被写体の向き、人物の表情およびジェスチャー、検出された音声などの情報を、画像データの付属情報としてメモリカード７に記録する。さらには、構図提案手段４５が出力する第１の情報、すなわち、撮影により取得された画像データを画像処理により好ましい構図の画像データに変換するときに必要になる情報も、画像データの付属情報としてメモリカード７に記録する。詳細には、これらの情報は、Ｅｘｉｆファイルのタグ部分に記録される。

Ｅｘｉｆファイルのタグ部分に記録された情報は、パソコンを使って画像を編集するときに利用することができる。例えば、撮影画像と、構図提案手段４５が出力した第１の情報とがあれば、提案画像と同等の画像をパソコン上で生成することができるので、提案画像の記録を行わず、画像ファイルのファイルサイズを抑えることができる。また、構図提案手段４５が出力した第１の情報をベースにしつつ、少し手を加えることで、構図提案手段４５が提案した構図と異なる構図の画像を生成することもできる。

一方、デジタルカメラ１が撮影アシストモードに設定されているときには、全体制御部３０は、画像処理部２５に対し、メモリ２２から画像データを読み込んで、構図を改善するために必要な画像処理（トリミング、移動、拡大縮小、回転など）を実行するよう指示する。また、表示制御部２６に対し、画像処理部２５による処理済画像データと、構図提案手段４５が出力した第２の情報に基づいて生成したマークもしくはメッセージを、表示するよう指示する。これにより、図７および図８を参照して説明したアシスト表示が行われる。

本実施形態では、デジタルカメラを自動撮影モードに設定しておけば、撮影された画像の構図が良く且つ所定の音声が検出されたときに、自動的に画像データがメモリカードに記録される。所定の音声が検出されただけでは、デジタルカメラは反応しないので、カメラを被写体に向ける前に撮影動作が行われたり、たまたま近くにいた者の声に反応して無用な撮影動作が行われることもない。すなわち、音声をトリガとした自動撮影の利便性を確保しつつ、無用な撮影が行われる不都合を解消することができる。

また、撮影アシストモードでは、撮影者にシャッタチャンスが報知されるが、この報知も、所定の音声が検出されただけでは行われない。撮影された画像の構図が良く且つ所定の音声が検出されてはじめて、シャッタチャンスであることが報知されるので、誤った報知がなされることはない。撮影アシストモードでは、報知されたタイミングでシャッタレリーズボタンを押下するだけで、簡単に構図の良い画像を取得することができ、自動撮影と同等の利便性を享受することができる。

なお、上記実施形態では、非人物抽出手段４２により人物以外の対象を抽出しているが、非人物抽出手段４２を設けない形態も考えられる。この場合、構図判定手段は、人物のみの配置を評価して構図を判定する。あるいは、配置の評価は行なわず、人物が含まれていれば良い構図、含まれていなければ悪い構図と判定してもよい。構図を判定するときの判定方法、判定に利用する情報、判定基準は、他にも種々考えられ、上記実施形態に限定されるものではない。また、上記実施形態では、構図提案手段４５により構図の提案を行っているが、構図提案手段４５を設けない形態も考えられる。

なお、上記実施形態の説明では、静止画撮影を行う場合を例示しながら説明しているが、本発明は、動画撮影において自動的に記録を開始したい場合などにも有用である。

デジタルカメラの外観を示す図（正面）デジタルカメラの外観を示す図（背面）デジタルカメラの内部構成を示す図デジタルカメラの動作概要を示すフローチャート（自動撮影モード）デジタルカメラの動作概要を示すフローチャート（撮影アシストモード）タイミングの報知例を示す図タイミングの他の報知例を示す図アシスト表示の例を示す図アシスト表示の他の例を示す図タイミング検出部の構成を示す図顔の検出処理について説明するための図顔の検出処理について説明するための図顔の検出処理について説明するための図顔の検出処理について説明するための図表情識別処理について説明するための図表情識別処理について説明するための図表情識別処理について説明するための図表情識別処理について説明するための図ジェスチャー識別処理について説明するための図ジェスチャー識別処理について説明するための図人物以外の被写体の抽出処理について説明するための図人物以外の被写体の抽出処理について説明するための図人物以外の被写体の抽出処理について説明するための図人物以外の被写体の抽出処理について説明するための図音声解析の一例を示す図構図判定処理の一例を示すフローチャート構図判定処理について説明するための図構図判定処理について説明するための図構図提案処理について説明するための図構図提案処理について説明するための図構図提案処理について説明するための図記録画像選択画面の一例を示す図

符号の説明

１デジタルカメラ、２レンズ、３シャッタレリーズボタン、４マイク、
５ａ〜５ｆ操作ダイヤル／ボタン、６モニタ、７メモリカード、
８スピーカ、９ＬＥＤランプ

Claims

情景を撮影し該情景を表す画像データを生成する撮像手段と、該撮像手段により生成された画像データを所定の記録媒体に記録する記録手段とを備えた撮像装置であって、
前記撮像手段により生成された画像データを解析することにより、人物を表す画像領域を抽出する人物抽出手段と、
入力された音声を解析することにより音声に係る所定の特徴を検出する音声解析手段と、
前記人物抽出手段の抽出結果および前記音声解析手段の検出結果に基づいて、前記画像データの構図の良否を判定する構図判定手段と、
前記構図判定手段の判定結果に基づいて画像データを記録するタイミングを決定し、決定したタイミングで画像データが記録されるように、前記記録手段を制御する記録制御手段とを備えた撮像装置。
情景を撮影し該情景を表す画像データを生成する撮像手段と、該撮像手段により生成された画像データを所定の記録媒体に記録する記録手段とを備えた撮像装置であって、
前記撮像手段により生成された画像データを解析することにより、人物を表す画像領域を抽出する人物抽出手段と、
入力された音声を解析することにより音声に係る所定の特徴を検出する音声解析手段と、
前記人物抽出手段の抽出結果および前記音声解析手段の検出結果に基づいて、前記画像データの構図の良否を判定する構図判定手段と、
前記構図判定手段の判定結果に基づいて画像データを記録するタイミングを決定し、決定したタイミングの到来を報知する報知手段とを備えた撮像装置。
前記記録手段が、前記人物抽出手段の抽出結果および前記音声解析手段の検出結果を、前記画像データとともに前記記録媒体に記録することを特徴とする請求項１または２記載の撮像装置。
前記音声解析手段が、前記音声の特徴として、所定の音量変化を検出することを特徴とする請求項１から３のいずれか１項記載の撮像装置。
前記音声解析手段が、前記音声の特徴として、所定の音声フレーズを検出することを特徴とする請求項１から４のいずれか１項記載の撮像装置。
前記音声解析手段が、前記音声の特徴として、所定の人物の声の特徴として予め登録された特徴を検出することを特徴とする請求項１から５のいずれか１項記載の撮像装置。
前記人物抽出手段が、前記画像データに含まれる顔を探索し、前記抽出結果として、前記探索により検出された顔の数、各顔の位置および各顔の大きさを示す情報を出力することを特徴とする請求項１から６のいずれか１項記載の撮像装置。
前記人物抽出手段が、前記探索により検出された顔の表情を識別し、識別された表情を示す情報を、さらに出力することを特徴とする請求項７記載の撮像装置。
前記人物抽出手段が、前記画像データに含まれる人物のジェスチャーを識別し、前記抽出結果として、識別されたジェスチャーを示す情報を出力することを特徴とする請求項１から８のいずれか１項記載の撮像装置。
情景を撮影し該情景を表す画像データを生成する撮像手段と、該撮像手段により生成された画像データを所定の記録媒体に記録する記録手段とを備えた撮像装置の制御方法であって、
前記撮像手段により生成された画像データを解析することにより、人物を表す画像領域を抽出し、
入力された音声を解析することにより音声に係る所定の特徴を検出し、
前記人物の抽出結果および前記音声の検出結果に基づいて、前記画像データの構図の良否を判定し、
前記判定の結果に基づいて画像データを記録するタイミングを決定し、
決定したタイミングで画像データが記録されるように、前記記録手段を制御する、撮像装置の制御方法。
情景を撮影し該情景を表す画像データを生成する撮像手段と、該撮像手段により生成された画像データを所定の記録媒体に記録する記録手段とを備えた撮像装置の制御方法であって、
前記撮像手段により生成された画像データを解析することにより、人物を表す画像領域を抽出し、
入力された音声を解析することにより音声に係る所定の特徴を検出し、
前記人物の抽出結果および前記音声の検出結果に基づいて、前記画像データの構図の良否を判定し、
所定の出力手段の動作を制御することにより、前記決定したタイミングの到来をユーザに報知する、撮像装置の制御方法。