以下、本発明の実施の形態につき図面を参照して説明する。図1は携帯電話機の外観構成を示す図であり、同図(a)は、第2キャビネットが開放された状態の携帯電話機の正面図、同図(b)は同じ状態での側面図である。同図(c)は同図(b)のA−A´断面図である。
携帯電話機は、第1キャビネット1と第2キャビネット2を備えている。第1キャビネット1の正面側には、テンキー部11が配されている。テンキー部11には、複数個の番号・文字入力キーや通話開始キー、通話終了キーなどが備えられている。テンキー部11の背後には、バックライト装置12(以下、「キーバックライト」という)が配されている。キーバックライト12は、光源となるLEDを備え、テンキー部11に光を供給する。これにより、ユーザは、周囲が暗くても各キーに付された表示を見ることができる。
第1キャビネット1の内部には、カメラモジュール13が配されている。カメラモジュール13のレンズ窓(図示せず)は、第1キャビネット1の背面に臨んでおり、このレンズ窓から被写体の像がカメラモジュール13に取り込まれる。
第2キャビネット2の正面側には、縦長の矩形状を有するディスプレイ21が配されており、その表示面が正面に臨んでいる。このディスプレイ21は、たとえば、液晶パネルや有機ELなどを用いて構成することができる。ディスプレイ21の背後には、バックラ
イト装置22(以下、「パネルバックライト」という)が配されている。パネルバックライト22は、光源となるLEDを備え、ディスプレイ21に光を供給する。
第2キャビネット2の正面側には、さらに、メインキー部23が配されている。メインキー部23には、各種の機能モード(カメラモード、メールモード、インターネットモード、電話帳モード)を起動するためのモードキー、画面をスクロールしたりハイライトフォーカスを移動させたりするための移動キー、各種の決定動作を行うための決定キーなどが配されている。
なお、テンキー部11やメインキー部23は、タッチパネルやタッチセンサを用いて実現することもできる。
第2キャビネット2は、スライド機構部3によって、第1キャビネット1に対し図1のX軸方向にスライド可能に連結されている。図1(c)に示すように、スライド機構3は、ガイド板31とガイド溝32によって構成されている。ガイド板31は、第2キャビネット2の背面の左右両端部に設けられており、その下端に突条31aを有する。ガイド溝32は、第1キャビネット1の側面に、スライド方向(図1のX軸方向)に沿って形成されている。ガイド板31の突条31aは、ガイド溝32に係合されている。
携帯電話機を閉じた状態では、図1(b)に一点鎖線で示すように、第2キャビネット2が第1キャビネット1の上に略完全に重なっている。この状態(閉じた状態)では、第2キャビネット2の背後にテンキー部11の全てのキーが隠れた状態となる。第2キャビネット2は、ガイド板31がガイド溝32の終端位置に達するまでスライドする(開いた状態とする)ことができる。第2キャビネット2が完全に開くと、図1(a)に示すように、テンキー部11の全てのキーが外部に露出する。
図2は、携帯電話機の全体構成を示すブロック図である。本実施の形態の携帯電話機は、上述した各構成要素の他、CPU100、映像エンコーダ101、マイク102、音声エンコーダ103、通信モジュール104、メモリ105、バックライト駆動回路106、映像デコーダ107、音声デコーダ108、スピーカ109を備えている。
カメラモジュール13は、撮像レンズ13a、撮像素子13bなどから構成されている。撮像レンズ13aは、被写体の像を撮像素子13b上に結像させる。撮像素子13bは、例えばCCDからなり、取り込んだ画像に応じた画像信号を生成し、映像エンコーダ101へ出力する。映像エンコーダ101は、撮像素子13bからの画像信号を、CPU100が処理できるディジタルの画像信号に変換してCPU100へ出力する。
マイク102は、音声信号を電気信号に変換して音声エンコーダ103へ出力する。音声エンコーダ103は、マイク102からの音声信号を、CPU100が処理できるディジタルの音声信号に変換してCPU100へ出力する。
通信モジュール104は、CPU100からの音声信号や画像信号、テキスト信号などを無線信号に変換し、アンテナ104aを介して基地局へ送信する。また、アンテナ104aを介して受信した無線信号を音声信号や画像信号、テキスト信号などに変換してCPU100へ出力する。
メモリ105は、ROMおよびRAMを含む。メモリ105には、CPU100に制御機能を付与するための制御プログラムが記憶されている。また、メモリ105には、カメラモジュール24で撮影した画像データや通信モジュール104を介して外部から取り込んだ画像データ、テキストデータ(メールデータ)などが所定のファイル形式で保存され
る。
バックライト駆動回路106は、CPU100からの制御信号に応じた電圧信号をパネルバックライト22、キーバックライト12に供給する。
映像デコーダ107は、CPU100からの映像信号をディスプレイ21で表示できるアナログの映像信号に変換し、ディスプレイ21に出力する。
音声デコーダ108は、CPU100からの音声信号をスピーカ109で出力できるアナログの音声信号に変換し、スピーカ109に出力する。スピーカ109は、音声デコーダ108からの音声信号を音声として再生する。
CPU100は、カメラモジュール13、マイク102、メインキー部23、テンキー部11など各部からの入力信号に基づいて、通信モジュール104、映像デコーダ107、音声デコーダ108などの各部に制御信号を出力することにより、種々の機能モードの処理を行う。
たとえば、CPU100は、カメラモードのモードキーが押されると、カメラを起動する。そして、このカメラモードにおいて、カメラモジュール13から送られてき画像をプレビュー画像としてディスプレイ21に表示させる。カメラモジュール13からは毎秒数十コマの画像が送られてくるため、ディスプレイ21には、ほぼ動画状態で画像が表示される。
ユーザによってシャッターキー(たとえば、決定キーが割り当てられている)が押されると、CPU100は、そのタイミングで撮影された画像を、JPEGなど所定のファイル形式によってメモリ105に記憶させる。
さて、本実施の形態の携帯電話機は、カメラモードの中の1つの機能として、リモート撮影モードの機能を備えている。ユーザ自らが撮影写真に加わる場合に、所定のキー操作を行うことでリモート撮影モードを起動させることができる。
図3は、リモート撮影モードを実現するための機能ブロック図である。
CPU100およびメモリ105は、リモート撮影モードを実現するため、顔抽出部501と、顔パラメータ抽出部502と、登録制御部503と、顔登録部504と、マッチング判定部505と、撮影制御部506とを備えている。
顔抽出部501、顔パラメータ抽出部502、登録制御部503、マッチング判定部505および撮影制御部506は、CPU100によって実行されるソフトウェアの機能として実現される。また、顔登録部504には、メモリ105の一部の記憶領域が割り当てられる。
カメラモジュール13から出力された画像データは、映像エンコーダ101を介してCPU100に入力され、この画像データが顔抽出部501や顔パラメータ抽出部502によって取得される。
顔抽出部501は、1コマ毎あるいは数コマ毎に、1画面分(1フレーム分)の画像データを取得し、この画像データを基にその画像の中に含まれる顔画像の領域(顔領域)を抽出する。たとえば、顔抽出部501は、画像中の肌色を検出し、さらに、目、鼻、口などの特徴部分を画像の濃淡等に基づいて検出することにより、顔領域の抽出を行う。そし
て、顔領域を特定するための情報、たとえば顔の輪郭の位置情報(以下、「顔領域情報」という)を顔パラメータ抽出部502に出力する。なお、顔抽出部501は、1画面中に顔画像が複数個あれば、全ての顔領域を抽出する。
顔パラメータ抽出部502は、顔抽出部501と同じタイミングで、1画面分の画像データを取得し、顔抽出部501から送られてきた顔領域情報を基に、顔領域に対応する画像データから、その顔画像を特徴づけるためのパラメータを抽出する。たとえば、パラメータには、目、鼻、口などの各パーツの形状、各パーツ間の間隔の比率、肌の色等が挙げられる。
このように、顔パラメータ抽出部502は、顔抽出部501により抽出された全ての顔領域について、それぞれ顔画像のパラメータを抽出し、マッチング判定部505へ出力する。
マッチング判定部505は、送られてきた顔画像のパラメータと、顔登録部504に登録されている顔画像のパラメータとを照合し、登録され顔画像とのマッチング率(適合率)を算出する。
顔登録部504への顔画像のパラメータの登録は、登録制御部503により行われる。登録制御部503は、ユーザからの登録操作の入力を受けると、顔パラメータ抽出部502に対し、顔登録部504へパラメータを送るよう指示する。顔パラメータ抽出部502は、この指示を受けて、そのときに抽出した顔画像のパラメータを顔登録部504へ送る。このようにして、顔登録部504に顔画像のパラメータが登録される。
マッチング判定部505は、抽出された全ての顔領域の顔画像に対するマッチング率を算出して撮影制御部506へ出力する。
撮影制御部506は、送られてきたマッチング率を、予め設定された閾値と比較することにより、画像中に登録された顔画像が存在するか否かを判定し、この判定結果に基づいて撮影処理を行う。
図4は、リモート撮影モードにおいて実行される撮影処理の処理フローを示す図である。また、図5(a)は、リモート撮影モードが起動してから撮影が完了するまでの操作の流れを、イラスト画を用いて示した図である。さらに、図5(b)は、検出されたマッチング率の推移とそれに伴う制御動作の流れを示す図である。なお、図5(b)に示すマッチング率の棒グラフは、便宜上、同じ人物の顔画像について常に同じ高さになるように描かれているが、同じ人物の顔画像であっても、少し向きが変わるなどすればマッチング率が変動するため、実際は若干グラフの高さが異なってくる。以下、これら図を参照して制御動作について説明する。
まず、リモート撮影モードを利用する前に、予め、ユーザによって自分の顔画像を登録する作業が行われる。カメラモジュール13よりユーザが撮影されている状態で、ユーザもしくは別の人が登録操作行うと、上述したように登録制御部504が動作して、ユーザの顔画像のパラメータが顔登録部504に登録される。こうして、ユーザは、リモート撮影モードの設定を行える状態となる。
なお、上記のように登録する際に撮影を行うのではなく、予め撮影されてメモリ105に記憶されている画像から顔画像のパラメータを抽出し、顔登録部504に登録する構成とすることも可能である。
次に、ユーザによって、リモート撮影モードのためのキー操作が行われると、リモート撮影モードが起動する。
リモート撮影モードが起動すると、モード起動中は常に顔抽出部501、顔パラメータ抽出部502およびマッチング判定部505が動作し、一定時間間隔(1コマまたは数コマ間隔)で1画面分の全ての顔画像のマッチング率がマッチング判定部505から撮影制御部506へ出力される。
撮影制御部506は、まず、初期設定として、リモートフラグ(RFG)およびシャッターフラグ(SFG)をリセットする。
次に、撮影制御部506は、1画面分の顔画像のマッチング率を取得し(S102)、1画面毎に、取得したマッチング率を閾値と比較し、閾値を超えるものがあるか否かを判定する(S103)。
顔画像を登録したユーザ(以下、「登録ユーザ」という)が、カメラモジュール13の撮影領域に入っていない場合(図5(a)の画面(A))には、画像中に他の人物がいてその顔画像が抽出されたとしても、そのマッチング率は低い値となる(図5(b)の時間領域(A))。
この場合、撮影制御部506は、閾値を超えるマッチング率の顔画像がないと判定し(S103:NO)、さらに、RFGはリセットされたままであるため(S105:NO)、ステップS102の処理に戻り、次に送られてくる1画面分の顔画像のマッチング率を取得する。
その後、登録ユーザが撮影領域に入ってくると(図5(a)の画面(B))、登録ユーザの顔画像が抽出される。そして、その顔画像のマッチング率は高い値となる(図5(b)の時間領域(B))。
これにより、撮影制御部506は、閾値を超えるマッチング率の顔画像があると判定すると(S103:YES)、リセット状態にあるRFGをセット状態とする(S104:NO→S107)。これにより、リモート撮影の準備状態となる。その後、撮影制御部506は、ステップS102の処理に戻り、次に送られてくる1画面分の顔画像のマッチング率を取得する。
さて、撮影位置に着いた登録ユーザは、撮影準備が整うと、撮影を行うための動作を行う。即ち、撮影指示の合図として、自分の顔を一旦隠して再び現す動作を行う。たとえば、登録ユーザは顔を一旦下に向けた後にもとに戻す動作を行う(図5(a)の画面(C)→(D))。登録ユーザが顔を隠す動作を行うと、その顔画像が抽出されなくなるため、マッチング率が閾値を超える顔画像がなくなり、そして、再び顔を現す動作を行うと、マッチング率が閾値を超える顔画像が再び現れる(図5(b)の時間領域(C)→(D))。
撮影制御部506は、リモート撮影の準備状態において、マッチング率が閾値を超える顔画像がないと判定すると(S103:NO)、このときは、RFGがセットさており(S105:YES)、かつSFGは未だリセット状態であるため(S108:NO)、SFGをセットする(S109)。
その後、撮影制御部506は、再び、マッチング率が閾値を超える顔画像があると判定すると(S103:YES)、このときは、RFGおよびSFGがともにセット状態であ
るため(S104:YES→S106:YES)、自動撮影を開始する(S110)。
撮影制御部506は、たとえば、一定の遅延時間(3秒後など)が経過した後に、シャッター動作を行い、そのときにカメラモジュール13が撮影した画像の画像データをメモリ105に記憶させる。このとき、登録ユーザ等に撮影することを知らせるため、「ピッ、ピッ、ピッ、カシャ」というような報知音を、スピーカ109から出力させるようにすると良い。また、報知音とともに、あるいは報知音に変えて、LED等の発光部を発光させたり、ディスプレイ21の表示状態を変えるようにしたりすることもできる。
なお、自動撮影の動作としては、上記のものに限られず、上記遅延時間の経過を待たずに、直ちにシャッター動作を行うようにしても良いし、オートフォーカス機能が設けられていれば、フォーカス調整後にシャッター動作を行うにしても良い。
こうして、撮影が完了する(図5(a)の画面(E))。続けて撮影を行いたい場合、登録ユーザは、先と同様に、顔を隠した後に現す動作を行う。こうすると、撮影処理が実行され(ステップS103:YES→S104:YES→S106:YES→S110)、新たに撮影された画像の画像データがメモリ105記憶される。
その後、ユーザによって、リモート撮影モード解除のためのキー操作が行われると、リモート撮影モードが停止される。
以上、本実施の形態によれば、登録ユーザは、顔を一旦下に向けた後にもとに戻すなど、自分の顔を隠して再び現す動作を行うだけで、自分の意図する所望のタイミングで写真撮影(画像記憶)を行うことができる。しかも、リモコンがいらないので、リモコンを携帯するのを忘れるなどしても、リモート撮影が行えなくなる心配がない。
したがって、カメラの操作性に優れた携帯電話機を実現することができる。
<変更例1>
上記実施の形態では、検出タイミング毎の画像中においてマッチング率が閾値を超える顔画像があれば、撮影領域に登録ユーザが存在するとみなしている。このため、画像中に登録ユーザと顔の似た人物がいたときには、登録ユーザの顔画像がなくなっても、似た人物の顔画像が閾値を超えていれば、登録ユーザの顔画像があると判定されてしまう。これにより、登録ユーザが撮影動作を行っても適正に写真撮影がなされない、という問題が起こり得る。
これを解消するための一つの方法としては、閾値を高く設定する方法がある。しかし、登録ユーザとの撮影距離が遠くなり抽出される顔画像が小さくなると、マッチング率が低下するため、このような場合に閾値が高すぎると、登録ユーザを検出できない惧れが生じる。また、登録ユーザが顔の向きを変えるだけでマッチング率は変動するので、閾値が高すぎる場合には、この変動によってマッチング率が閾値を下回ったり上回ったりし、登録ユーザが意図しないのにシャッター動作が行われて写真撮影されてしまう、という事態も起こり得る。
そこで、上記実施の形態に比べて、制御処理は複雑になるものの、登録ユーザの顔画像の有無を精度よく判定できるよう、以下に示す変更例1のような構成を採用することができる。
図6は、変更例1に係るリモート撮影モードを実現するための機能ブロック図である。
本変更例では、マッチング判定部505と撮影制御部506との間に、ターゲット特定部511と、ターゲット追跡部512と、顔有無検出部513とが配されている。その他の構成は、上記実施の形態と同様である。
ターゲット特定部511は、マッチング判定部505から取得したマッチング率と、顔抽出部501から送られてくる顔領域情報とに基づいて、どの顔領域の顔画像が登録ユーザの顔画像であると推定されるかを特定し、その顔画像の顔領域情報をターゲット追跡部512に出力する。
ターゲット追跡部512は、登録ユーザの顔画像の顔領域情報を受け取ると、カメラモジュール13からの画像データを一定間隔(1コマあるいは数コマ間隔)で取得することにより、ターゲットである顔領域の動きを追跡し、その位置の情報(以下、「ターゲット位置情報」という)を顔有無検出部513に出力する。なお、ターゲットの追跡手法としては、たとえば、動きベクトルを用いた周知の手法(たとえば、特開2006−323437号公報を参照)を採用することができる。
顔有無検出部513は、顔抽出部501から送られてくる顔領域情報とターゲット追跡部512から送られてくるターゲット位置情報とに基づいて、画像中の登録ユーザの顔画像の有無を検出する。顔有無検出部513は、ターゲット位置情報に適合するような顔領域情報があれば、すなわち、追跡中のターゲットの位置に顔画像が検出されれば、画像中に登録ユーザの顔画像が存在するとして、顔有り信号を撮影制御部506へ出力する。一方、ターゲット位置情報に適合するような顔領域情報がなければ、すなわち、追跡中のターゲットの位置に顔画像が検出されなければ、画像中に登録ユーザの顔画像が存在しないとして、顔無し信号を撮影制御部506へ出力する。
撮影制御部506は、顔有無検出部513により検出された顔有無の結果に基づいて所定の撮影動作を行う。
図7は、変更例1に係るリモート撮影モードにおいて実行される撮影処理の処理フローを示す図である。同図(a)は、登録ユーザの顔画像を特定するための処理(ターゲット特定処理)を示す図である。このターゲット特定処理は、ターゲット特定部511とターゲット追跡部512によって実行される。また、同図(b)は、登録ユーザの顔有無の検出結果に基づいて撮影を行うための処理(自動撮影処理)の処理フローを示す図である。この自動撮影処理は、ターゲット追跡部512、顔有無検出部513および撮影制御部506によって実行される。以下、図7を参照して、制御動作について説明する。
リモート撮影モードが起動すると、まず、ターゲット特定処理が行われる。ターゲット特定部511は、1画面分の顔画像のマッチング率と顔領域情報を取得し(S201)、1画面毎に、取得したマッチング率を閾値と比較して閾値を超えるものがあるか否かを判定する(S202)。そして、閾値を超えるものがあれば(S202:YES)、その顔画像のマッチング率がターゲット特定処理を開始してから最高のマッチング率であるか否かを判定し(S203)、最高のマッチング率であれば(S203:YES)、その顔画像が登録ユーザの顔画像のであると判定して、その顔画像に関する顔領域情報をターゲット追跡部512に送る。ターゲット追跡部512は、その顔領域情報で特定される顔領域をターゲット候補とし、その動きの追跡を開始する(S204)。
ターゲット特定部511は、リモート撮影モードが起動してからの時間を計測している。本変更例では、登録ユーザがリモート撮影モードの設定操作を行ってから撮影位置に移動するまでの時間を見越して、登録ユーザを最終的に特定するためサーチ時間が設定されている。
ターゲット特定部511は、サーチ時間が経過していなければ(S205:NO)、ステップS201の処理に戻り、次に送られてくる1画面分の顔画像のマッチング率と顔領域情報を取得する。こうして、サーチ時間が経過するまで、ステップS201からS204の処理が繰り返される。この間、マッチング率が最高の顔画像が検出される度に、ターゲット候補が更新され、更新されたターゲット候補の動きが追跡される。なお、この間にターゲット候補が画像中からいなくなれば、ターゲット追跡部512は、追跡を中断して次の顔領域情報を受け取るまで待機する。
こうして、サーチ時間が経過すると(S205:YES)、ターゲット特定部511は、ターゲット候補が存在しているか否かを判定する(S206)。そして、ターゲット候補が存在していれば(S206:YES)、そのときのターゲット候補を正式なターゲットとして確定し(S207)、ターゲット特定処理を終了する。以降、ターゲット追跡部512は、確定したターゲットの追跡を行うこととなる。
このように、本変更例では、サーチ時間を設けて、その時間の中でマッチング率が最も高い顔画像を登録ユーザの顔画像と特定することで、撮影領域に登録ユーザと顔の似た人物がいても、その人物の顔画像を登録ユーザの顔画像とみなしてしまうのを防止することができる。
一方、登録ユーザが、移動するのに手間取るなどしてサーチ時間内に撮影領域内に入ることができず、サーチ時間内にターゲット候補が特定されない場合(S206:NO)には、サーチ時間の計測がリセットされ(S208)、S201に戻って、再度、ターゲット候補のサーチ動作が行われる。
なお、ターゲット特定部511は、ターゲット特定処理が完了すると、ターゲット追跡部512に対してターゲットが確定した旨の信号を送る。ターゲット追跡部512はこの確定信号を受け取ると、顔有無検出部513へのターゲット位置情報の出力を開始する。
ターゲット特定処理が完了すると、続いて、自動撮影処理が開始される。撮影制御部506は、まず、シャッターフラグ(SFG)をリセット状態とする(S301)。
ターゲット追跡部512は、ターゲット、即ち登録ユーザと推定された顔画像の追跡を行い(S302)、ターゲットが撮影領域内から外れなければ(S303:NO)、顔抽出部501から顔領域情報が出力されるタイミングに合わせて、ターゲット位置情報を顔有無検出部513へ出力する。
顔有無検出部513は、上述のように、顔抽出部501から送られてくる顔領域情報とターゲット追跡部512から送られてくるターゲット位置情報とに基づいて、登録ユーザの顔画像の有無を検出し、顔有り信号または顔無し信号を撮影制御部506へ出力する(S304)。
登録ユーザが、上記実施の形態と同様、自分の顔を隠した後に現す動作を行うと、顔有無検出部513からは顔無し信号が出力され、その後、顔有り信号が出力される。
撮影制御部506は、顔無し信号を受け取ると、ターゲットとなる顔画像、即ち登録ユーザの顔画像がないと判定し(S305:NO)、このときはSFGがリセット状態にあるため(S307:NO)、SFGをセットする(S308)。そして、次に、顔有り信号を受け取ると、登録ユーザの顔画像があると判定し(S305:YES)、このときはSFGがセット状態にあるため(S306:YES)、自動撮影を行う(S309)。自動撮影の動作については、上記実施の形態と同様である。
なお、登録ユーザが、何らかの事情で撮影領域から出た場合、ターゲット追跡部512はステップS303でターゲットが撮影領域から外れたと判定する(S303:YES)。この場合、自動撮影処理が終了し、ターゲット追跡部512からは、ターゲット特定部511、顔有無検出部513および撮影制御部506にリセット信号がされる。これに基づいて、図7(a)に示すターゲット特定処理から再び自動撮影のための処理が開始される。
以上、本変更例の構成によれば、登録ユーザであると判定した顔画像の動き追跡するようにしているので、同じ画像中に登録ユーザと似た顔の人物がいた場合でも、登録ユーザの顔画像の有無を精度よく検出でき、適正に自動撮影処理に移ることができる。
<変更例2>
写真撮影を行う際、その時々の状況に応じて、撮影に関する所定の設定や調整が行われ得る。たとえば、自動撮影における上記遅延時間の有無の設定やフラッシュのオン/オフの設定、ズームの調整等が行われ得る。登録ユーザは、これらの設定等を、リモート撮影モードの設定を行う際あるいはそれ以前に行う場合もあるが、撮影位置に着いてから行う場合もある。
そこで、本変更例では、登録ユーザの顔の状態(顔が左右に向いている状態)や他の部分(手など)の状態に基づいて、撮影に関する設定等を行うことができる構成とされている。
図8は、変更例2に係るリモート撮影モードを実現するための機能ブロック図である。本変更例では、図6に示す変更例1の機能ブロックに対し、状態検出部521が付加されている。
状態検出部521には、ターゲット追跡部512から登録ユーザの顔画像に関するターゲット位置情報が入力される。また、状態検出部521には、画像データが入力される。状態検出部521は、これら入力に基づいて、登録ユーザの顔画像の状態を検出し、その状態に応じた設定等の指示信号を撮影制御部506へ出力する。
状態検出部521には、顔画像の状態とそれに対応する指示内容とが予め設定されている。たとえば、遅延時間の有無が顔の左右の向きにより設定される場合、右向きの顔画像に対して遅延時間有りの指示内容が、左向きの顔画像に対して遅延時間無しの指示内容が設定されている。
顔の向きを検出する方法としては、公知の検出方法、たとえば、特開2000−97676号公報に示されている手法を用いることができる。この場合、状態検出部521は、顔領域となる肌色領域の重心位置に対する目、鼻、口等の相対位置に基づいて、顔画像が右向きであるのか左向きであるのかを検出する。即ち、登録ユーザの顔が右を向けば、肌色領域において目、鼻、口等が右に偏るので、状態検出部521は、顔が右を向いていると判定し、遅延時間有りの指示信号を出力する。一方、登録ユーザの顔が左を向けば、肌色領域において目、鼻、口等が左に偏るので、状態検出部521は、顔が左を向いていると判定し、遅延時間無しの指示信号を出力する。なお、顔画像が左右に向く範囲は、勿論、顔抽出部501によって顔画像が検出される範囲となる。
撮影制御部506は、動作検出部521から設定等の指示信号を受けると、これに従って設定等の処理を行う。
図9は、変更例2に係る自動撮影処理の処理フローを示す図である。同図の処理フローでは、撮影に関する設定等を実行するため、図7の処理フローに対し、撮影制御部506によるステップS311およびS312の処理が付加されている。
撮影制御部506は、登録ユーザの顔画像(ターゲット)が特定された後に顔画像があると判定すると(S305:YES→S306:NO)、動作検出部521から機能設定等の指示があったか否かを判定する(S311)。そして、機能設定等の指示があれば、その指示に従った処理を行う(S312)。
たとえば、上記遅延時間の有無が設定される場合、登録ユーザが顔を右に向ければ遅延時間有りの設定が行われ、登録ユーザが顔を左に向ければ遅延時間無しの設定が行われる。
以上、本変更例の構成によれば、登録ユーザが携帯電話機とは離れた場所から撮影に関する設定や調整を行うことが可能となるため、使い勝手が向上する。
なお、本変更例では、顔画像の状態に応じて上記遅延時間以外の設定等がなされる構成とされても良い。たとえば、携帯電話機にフラッシュ機能が具備されている場合には、フラッシュのオン/オフが設定されても良く、また、ズーム機能が具備されている場合には、ズームのイン/アウトの調整が行われても良い。この場合は、ディスプレイ21がカメラのレンズ窓と同じ向きに切り替えられる機構を設けて、被写体(登録ユーザ)方向からズーム状況を確認できるようにすることが望ましい。
また、本変更例では、顔の状態ではなく、顔以外の部分の状態に応じて機能設定等がなされる構成とされても良い。たとえば、指で方向を指す状態が検出され、指の向きに応じて機能設定等がなされても良い。ただし、本変更例の場合は、登録ユーザの顔領域が追跡される構成であるため、顔以外の状態を検出する場合には、登録ユーザの状態であることが判別できるよう、登録ユーザの顔画像の周辺の状態のみが検出される構成とされることが望ましい。
<変更例3>
上記実施の形態および変更例1、2では、リモート撮影モードの設定/解除が所定のキー操作により行われる。よって、登録ユーザは、リモート撮影モードを利用する度に、設定および解除の操作をしなければならない。
そこで、本変更例では、リモート撮影モードの設定/解除(起動/停止)が、キー操作によらずに自動で行われる構成としている。
図10は、変更例3に係るリモート撮影モードを実現するための機能ブロック図である。本変更例では、図6に示す変更例1の機能ブロックに対し、モード制御部531が付加されている。
変更例1では、ターゲット追跡部512からのリセット信号が、顔有無検出部513、撮影制御部506およびターゲット特定部511に出力されていたが、本変更例では、モード制御部531に出力される。
また、本変更例では、リモート撮影モードが起動していないときでも、顔抽出部501、顔パラメータ抽出部502およびマッチング判定部505が動作し、モード制御部531には、マッチング判定部505からマッチング率が入力されるとともに、顔抽出部50
1から顔位置情報が入力される。
モード制御部531は、リモート撮影モードが起動されていない状態において、入力されたマッチング率に基づいてリモート撮影モードを起動させる。また、リモート撮影モードが起動している状態において、入力されたマッチング率、顔領域情報およびリセット信号に基づいてリモート撮影モードを停止させる。
図11は、変更例3に係るリモート撮影モードを自動設定する処理、および自動解除する処理の処理フローを示す図である。同図(a)は自動設定の処理フローを示し、同図(b)は自動解除の処理フローを示す。また、図12は、変更例3に係るリモート撮影モードの自動設定/解除の流れを、イラスト画を用いて示した図である。同図(a)は自動設定の流れを示し、同図(b)、(c)は自動解除の流れを示す。以下、これらの図を参照して制御動作について説明する。
図11(a)を参照して、モード制御部531は、1画面分の顔画像のマッチング率を取得し(S401)、1画面毎に、取得したマッチング率を閾値と比較し、閾値を超えるものがあるか否かを判定する(S402)。
登録ユーザが、写真撮影に加わらず撮影領域に入らなければ、マッチング率が閾値を超えないので(S402:NO)、リモート撮影モードはオフのままとなる(図12(a)の画面(A))。
一方、登録ユーザが、撮影に加わるために撮影領域に入ると、マッチング率が閾値を超えるので(S402:YES)、モード制御部531は、画像中に登録ユーザの顔画像があると判定して、リモート撮影モードを起動する(S403;図12(a)の画面(B))。
本変更例では、リモート撮影モードが起動すると同時に撮影準備状態に移行する。即ち、本変更例では、変更例1の場合と違って、図7(a)のターゲット特定処理が行われず、ステップS402で閾値を超えたと判定した顔画像(複数あれば、マッチング率が最高のもの)を登録ユーザの顔画像とみなして、その顔領域情報をターゲット追跡部512へ出力する。これにより、以降は図7(b)の自動撮影処理が行われる。
次に、図11(b)を参照して、モード制御部531は、リモート撮影モードの起動中、1画面分の顔画像のマッチング率と顔領域情報を取得し(S501)、マッチング率を超える顔画像、即ち登録ユーザの顔画像の顔領域のサイズが閾値を超えたか(拡大したか)否かを判定する(S502)。また、顔領域のサイズが閾値を超えなければ(S502:NO)、顔領域(ターゲット)が撮影領域から外れたか否か、即ちターゲット追跡部512からリセット信号が出力されたか否かを判定する(S503)。
撮影が継続されている間、登録ユーザは遠近方向にあまり大きく動くことがなく、また、撮影領域から離れることもないので、その顔領域のサイズは閾値を超えず(S502:NO)、また、リセット信号が入力されることもない(S503:NO)。よって、この場合は、リモート撮影モードが起動したままとなる(図12(b)の画面(C)、図12(c)の画面(E))。
一方、撮影が終了すると、登録ユーザは、携帯電話機(カメラモジュール13)の方に向かう。このとき、登録ユーザの顔画像は、撮影領域内で携帯電話機に近づくか、撮影領域から外れるかする。
モード制御部531は、顔画像が撮影領域内で携帯電話機に近づくことによって、その顔領域のサイズが閾値を超えたと判定すると(S502:YES)、リモート撮影モードを停止する(S504;図12(b)の画面(D))。あるいは、顔領域が撮影領域から外れることにより、リセット信号が入力されると(S503:YES)、リモート撮影モードを停止する(S504;図12(b)の画面(F))。
以上、本変更例の構成によれば、登録ユーザが逐一キー操作を行うことなく、リモート撮影モードの起動、停止を行うことができるので、操作性をより一層向上させることができる。
なお、本変更例では、リモート撮影モードの起動および停止の双方が自動で行われる構成とされているが、どちらか一方のみが自動で行われる構成とされても良い。
また、本変更例では、登録ユーザの顔領域のサイズが閾値を超えたときと顔領域が画像中から外れたときの双方が判定され、リモート撮影モードが停止される構成とされているが、どちらか一方のみが判定される構成とされても良い。
さらに、本変更例は、図3ないし図5に示す上記実施の形態にも適用され得る。ただし、上記実施の形態においては、ターゲット追跡部512が具備されていないため、登録ユーザの顔領域のサイズが閾値を超えたときのみに、リモート撮影モードが停止される構成とされる。
図13は、変更例3に係る構成を、上記実施の形態に適用する場合の機能ブロック図である。同図に示すように、モード制御部531には、マッチング判定部505からマッチング率が入力されるとともに、顔抽出部501から顔領域情報が入力される。
この構成においては、リモート撮影モードを起動させる処理として、図11(a)と同様の処理が行われる。一方、リモート撮影モードを停止させる処理として、図11(b)と同様な処理がなされるが、ステップS503の処理は除かれる。この場合は、ステップS502で顔領域のサイズが閾値を超えていないと判定されると、ステップS511の処理に戻るような処理フローとなる。
<その他>
本発明の実施形態は、上記以外にさらに種々の変更が可能である。
たとえば、上記実施の形態では、シャッター動作が行われると、直ちに撮影された画像の画像データがメモリ105に正式に記憶される構成とされている。しかしながら、このような構成に限らず、メモリ105やCPU100などに一時的な記憶領域が設けられ、シャッター動作が行われると、この一時記憶領域に撮影画像が一旦保存され、その後、登録ユーザ等により所定の保存操作がなされると、メモリ105に正式に記憶される構成とされても良い。
このように、特許請求の範囲に記載された本発明の記憶部は、上記実施の形態のメモリ105のように撮影画像を正式に記憶するための手段のみに限られるものでなく、上記一時記憶領域のように撮影画像を一時的に記憶するための手段をも含む概念である。
また、上記実施の形態では、カメラ付き携帯電話機を例示したが、本発明のカメラ付き機器は、携帯電話機に限られず、カメラ付きPDA(Personal Digital Assistant)やデジタルカメラ等とすることができる。
この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。