JP2006163496A - 画像記録装置、画像記録方法及び画像記録プログラム - Google Patents

Abstract

【課題】誰も目をつむっていない画像と誰かが目をつむっている画像を区別して記録できるようにする。
【解決手段】Ｓ５では、目領域検出部１１２ｃは、顔検出部１１２ａの検出した顔部分から目の存在する目領域を検出する。Ｓ６では、目開閉検出部１１２ｄは、検出された目領域内の目が開いているか又は閉じているか判断する。目が開いている場合はＳ７に移行する。Ｓ７では、全ての顔部分について目が開いていると判断された場合はＳ８に移行する。Ｓ８では、ＶＲＡＭ１３２の画像データをExifファイルとして記録媒体４０に記録する。この際、ＣＰＵ１１２はExifファイルのヘッダ部分の所定のタグ（Imagedescriptionタグなど）に撮影成功画像である旨を示す情報を記録する。
【選択図】 図３

Description

本発明は画像記録装置、画像記録方法及び画像記録プログラムに係り、特に撮影に成功した画像を記録する装置、方法及びプログラムに関する。

従来、撮影に成功した画像を記録する技術が様々考案されている。例えば特許文献１によると、デジタルカメラは、被写体からの画像光を集光する対物レンズと、該対物レンズにより合焦された被写体画像の輝度レベルに基づいて、電気信号を出力する撮像素子と、デジタル変換された画像信号を複数枚格納可能な画像メモリと、画像メモリに繋がった制御回路とを具えている。画像メモリは、複数のブロックに区分けされて、各ブロックにデジタル画像が格納される。制御回路は、被写体画像の輝度信号に含まれる高域成分を検索して、一定レベル以上の高域成分を有するデジタル画像を探す判別回路に接続されている。制御回路は、判別回路により高域成分が一定レベル未満と判断されたデジタル画像を消去し、一定レベル以上の高域成分を有する画像を画像メモリに保存する。
特開２００１−３５８９７８号公報

特許文献１の技術では、手ぶれの生じた状態で撮影された画像を消去できるが、目をつむっている人物がいる場合も手ぶれが生じていなければ記録されてしまう。本発明はこのような問題点に鑑みてなされたもので、誰も目をつむっていない画像と誰かが目をつむっている画像を区別して記録できるようにすること目的とする。

上述の課題を解決するため、本発明に係る画像記録装置は、画像から顔部分を検出する顔検出部と、顔部分から目の存在する目領域を検出する目領域検出部と、目領域内の目が開いているか又は閉じているかを判断する目開閉検出部と、目領域内の目が開いていると判断された画像を撮影成功画像として記録する画像記録部と、を備える。

この発明によると、画像に目をつむった人物が全くいない場合は成功画像として記録する。このため、ユーザがいちいち画像を確認して目をつむった人物が記録されたか否かを判断する必要もなく、誰も目をつむっていない集合写真を撮影成功画像として記録することができる。

顔部分が合焦しているか否かを判断する合焦判断部をさらに備え、画像記録部は顔部分が合焦しておりかつ目領域内の目が開いていると判断された画像を撮影成功画像として記録してもよい。

こうすれば、目つむりがなくかつピントが合った画像を記録することができる。

目領域内の目が閉じていると判断された顔部分の数である目つむり数を計数する計数部をさらに備えてもよい。

目つむり数を警告表示する表示部をさらに備えてもよい。

画像記録部は目つむり数を記録してもよい。

画像記録部は目領域内の目が閉じていると判断された画像を撮影失敗画像として記録してもよい。

また、上述の課題を解決するため、本発明に係る画像記録方法は、画像から顔部分を検出する顔検出ステップと、顔部分から目の存在する目領域を検出する目領域検出ステップと、目領域内の目が開いているか又は閉じているかを判断する目開閉検出ステップと、目領域内の目が開いていると判断された画像を撮影成功画像として記録する画像記録ステップと、を含む。

また、上述の課題を解決するため、本発明に係る画像記録プログラムは、画像から顔部分を検出する顔検出ステップと、顔部分から目の存在する目領域を検出する目領域検出ステップと、目領域内の目が開いているか又は閉じているかを判断する目開閉検出ステップと、目領域内の目が開いていると判断された画像を撮影成功画像として記録する画像記録ステップと、をコンピュータに実行させる。

この発明によると、画像に目をつむった人物が全くいない場合は成功画像として記録する。このため、ユーザがいちいち画像を確認して目をつむった人物が記録されたか否かを判断する必要もなく、誰も目をつむっていない集合写真を撮影成功画像として記録することができる。

以下、添付した図面を参照し本発明の好ましい実施の形態を説明する。

［概略構成］
図１は本発明の好ましい実施形態に係るデジタルカメラ１０の機能ブロック図である。まず、同図のデジタルカメラ１０において、中央処理装置（ＣＰＵ）１１２は、レリーズスイッチ２２、モードダイヤル１５０等を含む操作部１１３の各種のボタンやキーからの入力に基づいてデジタルカメラ１０内の各回路を統括制御する。ＣＰＵ１１２の実行するプログラムはＥＥＰＥＯＭ１１９に記憶される。

いま、モードダイヤル１５０によって静止画撮影モードが設定されると、ＣＰＵ１１２は、動画（スルー画）を表示部１１０に表示させ、撮影画角を確認可能にする。即ち、撮像レンズ１４を通過した光は、固体撮像素子１０２に入射する。固体撮像素子１０２の受光面には、フォトセンサが平面的に配列されており、該受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。こうして蓄積された信号電荷は、図示せぬドライバ回路から与えられるパルス信号に基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出され、それぞれ撮像回路１０２に加えられる。

撮像回路１０２は、ゲイン調整回路を含み、撮像回路１０２を通してデジタル信号に変換された画像データは、それぞれ画像処理回路１０８及びハイパスフィルタ（ＨＰＦ）１２５へ送られる。画像処理回路１０８は、ホワイトバランス補正回路１０８ｂ、ガンマ補正回路１０８ｃ、ＹＣ処理回路１０８ｄ、輝度・色差信号生成回路、シャープネス補正回路、コントラスト補正回路、撮影画像に対する輪郭補正を含む画像処理を行う輪郭処理部、画像のノイズ低減処理を行うノイズ低減処理部等を含む画像処理手段であり、ＣＰＵ１１２からのコマンドに従って画像信号を処理する。

画像処理回路１０８に入力された画像データは、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｌ信号）に変換されるとともに、ガンマ補正等の所定の処理が施された後、ＶＲＡＭ１３２に格納される。

一方、撮像回路１０８のＡ／Ｄ変換部１０８ａでデジタル信号に変換された画像データは、ハイパスフィルタ（ＨＰＦ）１２５でＧ画素成分のみ抽出される。そして、積算処理部１２６で抽出されたＧ画素成分に積算処理が施されてＣＰＵ１１２に送られる。ＣＰＵ１１２は、積算処理部１２６から送られた１画面分の６４分割の画像データの内、任意に設定された顔中心付近の４エリアの平均値を算出し、これをオートフォーカス（ＡＦ）評価値とする。顔中心は後述の顔検出部１１２ａが設定する。ＡＦ評価値は、所定周期の経過毎に算出され、算出の度にメモリ１２７に更新記憶される。後述するが、ＣＰＵ１１２の実行するプログラムである合焦判断部１１２ｂは、ＡＦ評価値に従って人物の顔領域の合焦を判定する。

撮影画像を表示部１１０にモニタ出力する場合、ＶＲＡＭ１３２からＹＣ信号が読み出され、ビデオエンコーダ１３４に送られる。ビデオエンコーダ１３４は、入力されたＹＣ信号を表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部１１０に出力する。表示部１１０の駆動はドライバ１１１を介して行われる。

所定のフレームレートで処理された各フレームのＹＣ信号は、ＶＲＡＭ１３２のＡ領域とＢ領域とに交互に書き込まれ、ＶＲＡＭ１３２のＡ領域及びＢ領域のうち、ＹＣ信号が書き込まれている方の領域以外の領域から、書き込まれているＹＣ信号が読み出される。このようにしてＶＲＡＭ１３２内のＹＣ信号が定期的に書き換えられ、そのＹＣ信号から生成される映像信号が表示部１１０に供給されることにより、撮像中の映像がリアルタイムに表示部１１０に表示される。ユーザは、表示部１１０に表示される映像（スルー）によって撮影画角を確認できる。

ここで、レリーズスイッチ２２が半押しされると、ＡＥ及びＡＦ処理が開始される。ＡＥ／ＡＦ処理が行われ、レリーズスイッチ２２が全押しされることによって記録用の撮影動作がスタートする。レリーズスイッチ２２全押しに応動して取得された画像データは画像処理回路１０８において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、ＶＲＡＭ１３２に格納される。

ＶＲＡＭ１３２に格納されたＹ／Ｃ信号は、圧縮伸長処理回路１４４によって所定のフォーマットに従って圧縮された後、メディアコントローラ１４６を介して記録媒体４０にExif（Exchangeable Image File Format）ファイルとして記録される。画像はExifファイルのデータ部分に記録される。ＣＰＵ１１２は上記Exifファイルのヘッダ部分の所定のタグ（Imagedescriptionタグなど）に撮影日時情報などを記録する。

ＣＰＵ１１２には、キセノン管からなるストロボ１８の発光を制御するストロボ制御回路１１５も接続されており、静止画撮影において、低照度であることが検出された場合や、ストロボボタンによって発光が指示された場合や、強制発光モードが設定された場合にタイミングジェネレータ１２０によって発生されたタイミング信号に同期したタイミングで短時間（例えば１秒以上の短時間）発光するようにストロボ１８を制御する。

モードダイヤル１５０によって動画撮影モードが設定されたときには、レリーズスイッチ２２の全押し操作に連動して動画記録動作がスタートし、もう一度レリーズスイッチ２２を押下すると動画記録動作が停止する。レリーズスイッチ２２を押下継続している期間、録画動作を行い、押下解除によって録画を停止するようにしてもよい。動画データは、例えばモーションＪＰＥＧ（ＭＰＥＧ）形式によって記録媒体４０に記録される。

モードダイヤル１５０により再生モードが選択されると、記録媒体４０に記録されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。最後の記録に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸長処理回路１４４を介して非圧縮のＹＣ信号に伸長され、ＶＲＡＭ１３２に保存される。ＶＲＡＭ１３２に保存されたＹＣ信号は、ビデオエンコーダ１３４に加えられる。ビデオエンコーダ１３４は、入力するＹＣ信号からＮＴＳＣ方式のＲＧＢカラー複合映像信号を作成し、これを表示部１１０に出力する。これにより、表示部１１０には記録媒体４０に記録されている最終コマのコマ画像が表示される。

その後、十字キー８１の右キーが押されると、順方向にコマ送りされ、十字キー８１の左キーが押されると、逆方向にコマ送りされる。そして、コマ送りされたコマ位置の画像ファイルが記録媒体４０から読み出され、上記と同様にしてコマ画像が表示部１１０に再生される。尚、最終コマのコマ画像が表示されている状態で順方向にコマ送りされると、記録媒体４０に記録されている１コマ目の画像ファイルが読み出され、１コマ目のコマ画像が表示部１１０に再生される。

表示部１１０は、カメラ１０に内蔵されたＬＣＤ１１４、ファインダー又は映像出力端子等に接続された外部の表示装置に相当する。なお、ＣＰＵ１１２は、ＯＳＤ信号発生回路を含み、ＯＳＤ信号発生回路はシャッター速度や絞り値、撮影可能枚数、撮影日時、警告メッセージ等の文字及びアイコン等の記号を表示するための信号を発生させる。このＯＳＤ信号発生回路から出力される信号は、必要に応じて画像信号に混合されて、ＬＣＤ１１４に供給される。これにより、スルー画像や再生画像に文字やアイコン等が合成された合成画像が表示される。

記録媒体４０は、撮影で得た画像データを保持する手段であり、例えばスマートメディアと呼ばれるメモリカードが使用される。記録メディアの形態はこれに限定されず、ＰＣカード、コンパクトフラッシュ（登録商標）、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなどでもよく、電子的、磁気的、もしくは光学的、又はこれらの組み合わせによる方式などに従って読み書き可能な媒体を用いることができる。異種・同種の記録メディアを問わず、複数の媒体を装着可能な構成にしてもよい。また、画像ファイルを保存する手段は、カメラ本体に着脱可能なリムーバブルメディアに限らず、カメラに内蔵された記録媒体（内蔵メモリ）であってもよい。

ＣＰＵ１１２は、カメラ１０の各回路を統括制御する制御回路であり、レリーズスイッチ２２、十字キー８１、電源スイッチ８２、モードダイヤル１５０、情報位置指定キー８３あるいは図示しないストロボボタン、ズームキー、メニュー／実行ボタンその他を含む操作部１１３から受信する信号に基づき、対応する回路の動作を制御するとともに、表示部１１０における表示制御、ストロボ発光制御、オートフォーカス（ＡＦ）制御及び自動露出（ＡＥ）制御等を行う。

カメラ１０の電源が電源スイッチ８２でオンされる度に、カメラボディ内部に装着される電池からなる主要電源１６４から、デジタルカメラ１０の各回路に電源が供給される。

画像処理回路１０８からの画像データは、測光処理部１５７にも送られる。この測光処理部１５７は、外光の光量を測定する手段の一例である。測光処理部１５７は、入力される各画像データと、固体撮像素子１０２の電荷蓄積時間、すなわち電子シャッタのシャッタ秒時とに基づいて被写体輝度の測光値（ＥＶ値）を算出する測光値算出部により構成できる。これにより、固体撮像素子１０２の駆動が調節される。なお、電子シャッタのシャッタ秒時とともに絞り値を変化させてもよい。絞り値を変化させる場合には、絞り値を加味して被写体輝度に応じた測光値を算出する。このように、測光処理部１５７は、固体撮像素子１０２を受光センサとしてＴＴＬ（Through The Lens) 測光方式によって被写体の明るさ（被写体輝度）を検出する。測光処理部１５７は、フォトトランジスタで構成された測光センサであってもよく、測光が可能な手段であれば特に限定されない。

図２はＣＰＵ１１２の実行するプログラムをブロック図で示している。ＣＰＵ１１２は、プログラムである顔検出部１１２ａ、合焦判断部１１２ｂ、目領域検出部１１２ｃ及び目開閉検出部１１２ｄを実行する。顔検出部１１２ａ、合焦判断部１１２ｂ、目領域検出部１１２ｃ及び目開閉検出部１１２ｄはＥＥＰＲＯＭ１１９に記憶されており、ＣＰＵ１１２により適宜メモリ１２７に読み出されて実行される。

顔検出部１１２ａは、公知の顔認識技術により撮影画像から人物の顔部分を検出する。撮影画像に複数の人物が記録されている場合は、複数の顔部分を個別に検出する。合焦判断部１１２ｂは、ＡＦ評価値に基づいて検出された顔部分に合焦しているか否かを判断する。その判断方法は任意であるが、例えばＡＦ評価値が極大点の近傍に略到達しているか否かを判断し、極大点に略達している場合は合焦していると判断し、その他の場合は合焦していないと判断する。あるいは、ＡＦ評価値が所定の閾値を超えていれば合焦していると判断することもできる。

目領域検出部１１２ｃは、顔検出部１１２ａの検出した顔部分から目の存在する目領域を検出する。目領域は顔検出の結果得られる顔概略中心位置の相対的位置関係から検出することができる。目開閉検出部１１２ｄは、目領域内の目が開いているか又は閉じているかを判断する。目の開閉の判断方法は特に限定されない。例えば目開閉検出部１１２ｄは、目領域内の縦方向黒色画素数をそれぞれ検出する。そして、目領域の縦方向黒色画素数に基づき、目を閉じているか否かを判断する。

［処理の流れ］
以下、図３のフローチャートに従い、ＣＰＵ１１２の実行する画像記録処理の流れを説明する。この処理では、ＶＲＡＭ１３２に記憶された画像のうち、いずれの人物も目のつむっていない画像を成功画像として記録媒体４０に記録する処理である。

Ｓ１では、ＶＲＡＭ１３２に格納された画像データを読み出し、Ｓ２では、顔検出部１１２ａがこの画像データから各々の顔部分を検出する。

Ｓ３では、顔検出部１１２ａは検出されたある一つの顔部分の中心を顔中心と定め、合焦判定部１１２ｂは設定された顔中心付近の４エリアの平均値を算出し、これをＡＦ評価値とする。

Ｓ４では、合焦判断部１１２ｂは、算出されたＡＦ評価値に基づき、該顔部分に合焦しているか否かを判断する。合焦している場合はＳ５に移行し、合焦していない場合はＳ９に移行する。なお、合焦の有無に基づいて撮影が成功か失敗かを判断しないのであれば、Ｓ４の判断は省略し、Ｓ３からＳ５に移行するようにしてもよい。

Ｓ５では、目領域検出部１１２ｃは、顔検出部１１２ａの検出した顔部分から目の存在する目領域を検出する。

Ｓ６では、目開閉検出部１１２ｄは、検出された目領域内の目が開いているか又は閉じているか判断する。目が開いている場合はＳ７に移行し、目が閉じている場合はＳ９に移行する。

Ｓ７では、画像データから検出された全ての顔部分について上記Ｓ２〜Ｓ６の処理を実行したか否かを判断する。全ての顔部分について上記の処理を実行し、その結果全ての顔部分について目が開いていると判断された場合はＳ８に移行し、上記の処理が実行されていない顔部分がある場合はＳ２に戻ってその顔部分につき上記Ｓ２〜Ｓ６の処理を実行する。なお、上記Ｓ２〜Ｓ６の処理を繰り返す際、目が閉じている顔部分の総数である目つむり数を計数してもよい。

Ｓ８では、ＶＲＡＭ１３２の画像データをExifファイルとして記録媒体４０に記録する。この際、ＣＰＵ１１２はExifファイルのヘッダ部分の所定のタグ（Imagedescriptionタグなど）に撮影成功画像である旨を示す情報を記録する。なお、Ｓ８においては、撮影成功画像である旨を表示部１１０に表示してもよい。

Ｓ９では、ＶＲＡＭ１３２の画像データをExifファイルとして記録媒体４０に記録する。この際、ＣＰＵ１１２は上記Exifファイルのヘッダ部分の所定のタグ（Imagedescriptionタグなど）に撮影失敗画像である旨を示す情報を記録する。目つむり数を所定のタグに記録してもよい。

なお、Ｓ９においては、撮影失敗画像である旨の警告や目つむり数を表示部１１０に表示してもよい。あるいは、Ｓ９においては、操作部１１３から撮影失敗画像を記録するか否かの指示を受け付け、記録することが指示された場合はＶＲＡＭ１３２の画像データをExifファイルとして記録媒体４０に記録し、記録しないことが指示された場合はＶＲＡＭ１３２の画像データを削除してもよい。また、上記の画像記録処理のＳ２〜Ｓ７を実行するか否かのモード設定を操作部１１３から指定させ、実行しないモードが指定されない場合はＶＲＡＭ１３２の画像データをExifファイルとして無条件に記録媒体４０に記録してもよい。

以上説明した通り、本発明に係るデジタルカメラ１０は、画像に目をつむった人物が全くいない場合は成功画像として記録する。このため、ユーザがいちいち画像を確認して目をつむった人物が記録されたか否かを判断する必要もなく、誰も目をつむっていない集合写真（撮影成功画像）と、誰かが目をつむっている集合写真（撮影失敗画像）とを区別して記録することができる。

デジタルカメラのブロック構成図 ＣＰＵの実行するプログラムを示すブロック図 画像記録処理の流れを示すフローチャート

符号の説明

１１２：ＣＰＵ、１１２ａ：顔検出部、１１２ｂ：合焦判断部、１１２ｃ：目領域検出部、１１２ｄ：目開閉検出部

Claims (8)

1. 画像から顔部分を検出する顔検出部と、
   前記顔部分から目の存在する目領域を検出する目領域検出部と、
   前記目領域内の目が開いているか又は閉じているかを判断する目開閉検出部と、
   前記目領域内の目が開いていると判断された画像を撮影成功画像として記録する画像記録部と、
   を備える画像記録装置。
2. 前記顔部分が合焦しているか否かを判断する合焦判断部をさらに備え、
   前記画像記録部は前記顔部分が合焦しておりかつ前記目領域内の目が開いていると判断された画像を撮影成功画像として記録する請求項１に記載の画像記録装置。
3. 前記目領域内の目が閉じていると判断された顔部分の数である目つむり数を計数する計数部をさらに備える請求項１又は２に記載の画像記録装置。
4. 前記目つむり数を警告表示する表示部をさらに備える請求項３に記載の画像記録装置。
5. 前記画像記録部は前記目つむり数を記録する請求項３又は４に記載の画像記録装置。
6. 前記画像記録部は前記目領域内の目が閉じていると判断された画像を撮影失敗画像として記録する請求項１〜５のいずれかに記載の画像記録装置。
7. 画像から顔部分を検出する顔検出ステップと、
   前記顔部分から目の存在する目領域を検出する目領域検出ステップと、
   前記目領域内の目が開いているか又は閉じているかを判断する目開閉検出ステップと、
   前記目領域内の目が開いていると判断された画像を撮影成功画像として記録する画像記録ステップと、
   を含む画像記録方法。
8. 画像から顔部分を検出する顔検出ステップと、
   前記顔部分から目の存在する目領域を検出する目領域検出ステップと、
   前記目領域内の目が開いているか又は閉じているかを判断する目開閉検出ステップと、
   前記目領域内の目が開いていると判断された画像を撮影成功画像として記録する画像記録ステップと、
   をコンピュータに実行させる画像記録プログラム。

Images