JP4431547B2 - 画像表示制御装置ならびにそれらの制御方法およびそれらの制御プログラム - Google Patents

Description

この発明は，画像表示制御装置ならびにそれらの制御方法およびそれらの制御プログラムに関する。

ディジタル・スチル・カメラでは，背面に液晶表示画面が形成されており，撮像された画像がその液晶表示画面に表示される。ディジタル・スチル・カメラは小型であることが好ましいことから，液晶表示画面の大きさも比較的小さい。小さい表示画面からでは被写体像全体の中から所望の画像部分を確認することが難しいことから，被写体像の一部分を表示するものがある。たとえば，画像部分の大きさ等を利用して，被写体像の中から所望の画像部分を表示するもの（特許文献１），撮影者が所望の画像部分をマニアルで選択し，選択された画像部分を表示するもの（特許文献２）などがある。また，顔の大きさが一定となるように撮影するものや（特許文献３），自動検索システムでは，顔のサイズ，顔の表情などが検索情報として利用されるものもある（特許文献４）。
特開2003-209683号公報 特開2005-102175号公報 特開平11−84481号公報 特開2001-167110号公報

複数の人物が撮像された被写体像などがあった場合，ユーザが見たい画像部分は，必ずしも最も大きな人物像の部分とは限らない。ユーザは，小さくとも特定の人物像を確認したい場合もある。

この発明は，所望の表情をもつ顔の画像部分や特定の対象物の画像部分を表示することを目的とする。

第１の発明による画像表示制御装置は，注目したい顔の表情を指定する表情指定手段，被写体の中から，上記表情指定手段によって指定された表情をもつ顔の画像部分を検出する注目表情検出手段，および上記注目表情検出手段によって検出された顔の画像部分を，一駒の画像として表示画面に表示するように表示装置を制御する表示制御手段を備えていることを特徴とする。

第１の発明は，上記画像表示制御装置に適した制御方法も提供している。すなわち，この方法は，表情指定手段が，注目したい顔の表情を指定し，注目表情検出手段が，被写体の中から，上記表情指定手段によって指定された表情をもつ顔の画像部分を検出し，表示制御手段が，上記注目表情検出手段によって検出された顔の画像部分を，一駒の画像として表示画面に表示するように表示装置を制御するものである。

第１の発明は，上記画像表示制御装置の制御方法を実現するためのプログラムも提供している。

第１の発明によると，注目したい顔の表情が指定される。被写体像の中から，指定された顔の表情をもつ顔の画像部分が検出される。検出された顔の画像部分が一駒の画像として表示装置の表示画面上に表示される。注目したい顔の画像部分が表示画面上に表示されるから，ユーザはその顔の画像部分を確認しやすくなる。

上記被写体像の中から顔の画像部分を検出する顔画像検出手段をさらに備えてもよい。この場合，上記注目表情検出手段は，上記顔画像検出手段によって複数の顔画像部分が検出されたことに応じて上記表情指定手段によって指定された表情をもつ顔の画像部分を検出するものとなろう。

上記表示制御手段は，たとえば，上記注目表情検出手段によって検出された顔の画像部分が複数あった場合に，もっとも大きな顔の画像部分を表示画面に表示する，一つずつ順に一駒の画像として表示する，あるいは２以上の画像部分のそれぞれを表示画面の異なる領域にそれぞれ表示するものである。

上記指定手段によって指定される顔の表情は，たとえば，良い表情，悪い表情または目つむりの表情の少なくとも一つである。

被写体を撮像し，被写体像を表す画像データを出力する撮像装置をさらに備えてもよい。この場合，上記注目表情検出手段は，上記撮像装置から出力された画像データによって表される被写体像の中から，上記表情指定手段によって指定された表情をもつ顔の画像部分を検出するものとなろう。この場合，上記撮像装置から出力された画像データおよび上記注目表情検出手段によって検出された顔の画像部分を示すデータを互いに関連づけて記録媒体に記録する記録制御手段をさらに備えてもよい。

また，被写体像を表す画像データが記録されている記録媒体から画像データを読み取る読み取り手段をさらに備えてもよい。この場合，上記注目表情検出手段は，上記撮像装置から出力された画像データによって表される被写体像の中から，上記表情指定手段によって指定された表情をもつ顔の画像部分を検出するものとなろう。

第２の発明による画像表示制御装置は，被写体像の中から対象物の画像部分を検出する対象物検出手段，上記対象物検出手段によって検出された対象物の画像部分の中に特定の対象物の画像部分が含まれているかどうかを判定する判定手段，および上記判定手段によって，特定の対象物の画像部分が含まれていると判定されたことに応じて，その特定の対象物の画像部分を一駒の画像として表示画面に表示するように表示装置を制御する表示制御手段を備えていることを特徴とする。

第２の発明は，上記画像表示制御装置に適した制御方法も提供している。すなわち，この方法は，対象物検出手段が，被写体像の中から対象物の画像部分を検出し，判定手段が，上記対象物検出手段によって検出された対象物の画像部分の中に特定の対象物の画像部分が含まれているかどうかを判定し，表示制御手段が，上記判定手段によって，特定の対象物の画像部分が含まれていると判定されたことに応じて，その特定の対象物の画像部分を一駒の画像として表示画面に表示するように表示装置を制御するものである。

第２の発明は，上記画像表示制御装置の制御方法を実現するためのプログラムも提供している。

第２の発明によると，被写体像の中から対象物の画像部分が検出される。検出された対象物の画像部分の中に特定の対象物の画像部分が含まれているかどうかが判定される。特定の対象物の画像部分が含まれていると判定されると，その特定の対象画像部分が一駒の画像として表示画面に表示される。対象物の画像部分の中から特定の対象物の画像部分を表示画面に表示されることができる。たとえば，対象物の画像部分として，顔の画像部分を考えると，特定の対象物の画像部分を所望の人間の顔（自分の子供の顔，自分の顔，知り合いの顔），所望のペット（猫，犬など）の画像部分と考えられる。

上記判定手段は，たとえば，上記対象物検出手段によって検出された対象物の画像部分が複数あった場合に，上記対象物検出手段によって検出された対象物の画像部分の中に特定の対象物の画像部分が含まれているものかどうかを判定するものである。

上記表示制御手段は，たとえば，上記判定手段によって特定の対象物の画像部分が含まれていると判定された特定の対象物の画像部分が複数ある場合に，もっとも大きな特定の対象物の画像部分を表示画面に表示する，一つずつ順に一駒の画像として表示する，あるいは２以上の画像部分のそれぞれを表示画面の異なる領域にそれぞれ表示するものである。

被写体を撮像し，被写体像を表す画像データを出力する撮像装置をさらに備えてもよい。この場合，上記対象物検出手段は，上記撮像装置から出力された画像データによって表される被写体像の中から，上記対象物の画像部分を検出するものとなろう。この場合，上記撮像装置から出力された画像データおよび上記対象物検出手段によって検出された対象物の画像部分を示すデータを互いに関連づけて記録媒体に記録する記録制御手段をさらに備えるようにしてもよい。

また，被写体像を表す画像データが記録されている記録媒体から画像データを読み取る読み取り手段をさらに備えてもよい。この場合，上記対象物検出手段は，上記撮像装置から出力された画像データによって表される被写体像の中から，上記対象物の画像部分を検出するものとなろう。

図１は，この発明の実施例を示すもので，ディジタル・スチル・カメラの電気的構成を示すブロック図である。

ディジタル・スチル・カメラの全体の動作は，ＣＰＵ１によって統括される。

シャッタ・レリーズ・ボタン，モード・スイッチ（撮像モード，再生モードなどがある），メニュー・ボタン，ＯＫボタンなどの操作スイッチからの出力信号は，ＣＰＵ１に入力する。また，ＣＰＵ１には，動作プログラム，所定のデータなどが記憶されているメモリ３が接続されている。メモリ・カード18に動作プログラムが格納されている場合には，メモリ・カード18に記録されている動作プログラムが読み取られてディジタル・スチル・カメラにインストールされることにより後述する動作が行われる。さらに，ＣＰＵ１によって，撮像レンズ７の位置を制御するレンズ制御回路４，絞り８の絞り値を制御する絞り駆動回路５および撮像素子８を制御する撮像素子制御回路６が制御される。

撮像モードが設定されると，撮像レンズ７によって集光された光線束は絞り８を通過して撮像素子９の受光面に入射する。撮像素子９の受光面上に被写体像が結像する。撮像素子９から，被写体像を表す映像信号が出力され，アナログ信号処理回路10に入力する。アナログ信号処理回路においてガンマ補正，白バランス補正などの所定のアナログ信号処理が行われてアナログ／ディジタル変換回路11に入力する。アナログ／ディジタル変換回路11においてアナログ映像信号がディジタル画像データに変換される。変換されたディジタル画像データは，ＣＰＵ１に入力し，撮像レンズ７の位置，絞り８の絞り値，シャッタ速度などが調整される。

アナログ／ディジタル変換回路12から出力されたディジタル画像データは，ディジタル信号処理回路12にも入力する。ディジタル信号処理回路12において，輝度データおよび色差データの生成などの所定のディジタル信号処理が行われる。この実施例においては，被写体像の中から顔の画像部分を検出することができる。このために，ディジタル・スチル・カメラには顔検出回路13が設けられている。ディジタル信号処理回路12から出力された画像データは，顔検出回路13に入力し，撮像によって得られた被写体像の中から顔の画像部分が検出される。この実施例においては，単に顔の画像部分が検出されるのではなく，所望の表情をもつ顔の画像部分，特定の人物についての顔の画像部分等を検出することができる。これらの処理について詳しくは，後述する。

ディジタル信号処理回路12から出力された画像データは，メモリ14を単に通過して表示制御回路15にも入力する。表示制御回路15において表示装置16が制御されることにより，被写体像（または検出された顔画像部分等）が表示装置16の表示画面上に表示される。

シャッタ・レリーズ・ボタンが押されると，上述のようにしてディジタル信号処理回路12から出力された画像データは，メモリ14に与えられ，一時的に記憶される。画像データは，メモリ14から読み出され，記録／読出制御回路17に与えられる。記録／読出制御回路17によってメモリ・カード18に被写体像を表す画像データが記録される。

再生モードが設定されると，メモリ・カード18に記録されている画像データが，記録／読出制御回路17によって読み取られる。読み取られた画像データは，メモリ14を介して表示制御回路15に与えられる。表示制御回路15によって表示装置16が制御させられることにより，メモリ・カード18に記録されている画像データによって表される被写体像が表示装置16の表示画面上に表示される。

この実施例におけるディジタル・スチル・カメラでは，再生時においても顔の画像部分を検出することができる。メモリ・カード18から読み取られた画像データは，記録／読出制御回路17，メモリ14およびディジタル信号処理回路12を介して顔検出回路13に入力する。顔検出回路13において，読み取られた画像データによって表される被写体像の中から顔画像部分が検出される。

図２は，記録処理手順を示すフローチャートである。

この処理は，顔の表情をあらかじめ指定しておき，その指定された表情の顔の画像部分が見つけられて表示されるものである。顔の表情の指定は，たとえば，メニュー・ボタンを押すことにより，表示装置16の表示画面上にメニューを表示させ，表情一覧の中から選択することとなろう。たとえば，表情には良い表情（笑っている顔），悪い表情（怒っている顔），目つむりの表情などがある。これらの表情は，それぞれの表情ごとに目の形，眉の形，口の形などからあらかじめ定められている。

シャッタ・レリーズ・ボタンが押されると，上述のようにして得られた画像データは，メモリ14に一時的に記憶される（ステップ21）。

図３は，メモリ14に記憶されている画像データによって表される被写体像の一例である。

撮像によって得られた被写体像30の中には人物像31，32，33，34が含まれているものとする。

図２に戻って，画像データは，メモリ14から読み取られて顔検出回路13に入力する。顔検出回路13によって撮像によって得られた被写体像の中から顔の画像部分が検出される（ステップ22）。

図４は，顔検出処理が行われた被写体像の一例である。

上述したように，被写体像30には人物像31，32，33，34が含まれている。顔検出処理が行われることにより，人物像31，32，33，34の顔画像部分41，42，43，44が検出されることとなる。

再び，図２に戻って，被写体像の中に顔画像部分が存在すると（ステップ23でＮＯ），その顔画像部分が一つかどうかが確認される（ステップ25）。顔画像部分が一つであれば，その一つの顔画像部分が一駒の画像として扱われて，表示画面上の全体にわたって拡大して表示される（ステップ29）。

顔画像部分が一つでなければ（ステップ25でＮＯ），各顔画像部分について表情解析が行われる（ステップ26）。表情解析の結果，あらかじめ指定されている表情をもつ画像が複数の顔画像部分の中から検出される（ステップ27）。検出された顔画像部分が表示装置16の表示画面全体にわたって拡大して表示される（ステップ28）。

再び，図４を参照して，笑っている表情の顔画像部分が表示されるように，あらかじめ指定されており，かつ検出された顔画像部分41，42，43，44のうち，顔画像部分41が指定された表情をもつものとして検出されると，その顔画像部分41が拡大される。拡大された画像51が表示装置16の表示画面50に表示される。拡大された画像51は，顔画像部分41の外部の周辺の画像部分も含まれているが，顔画像部分41の外部の周辺の部分を含ませて表示しなくともよいのはいうまでもない。指定された表情をもつ画顔画像部分が表示されるようになる。

指定された表情をもつ顔画像部分が複数あった場合には，最も大きな顔画像部分を表示画面50の全体にわたって表示してもよいし，それらの複数の顔画像部分を表示画面50の全体にわたって順に表示するようにしてもよいし，表示画面を複数の領域に分け，それらの領域に検出された顔画像部分（指定された表情をもつもの）が表示されるようにしてもよい。

被写体像の中に顔画像が存在しない場合には，撮像された被写体像の全体が表示装置16の表示画面に表示される（ステップ24）。

顔画像部分等が表示されると，被写体像を表す画像データがメモリ・カード18に記録される（ステップ30）。指定された表情をもつ顔画像部分をユーザは確認することができるので，ＯＫボタンの押下など，ユーザからの記録指令があったことに応じて，被写体像を表す画像データをメモリ・カード18に記録するようにしてもよい。

図６は，メモリ・カード18に記録される画像ファイルのファイル構造（データ構造）の一例である。

画像ファイルは，ＣＰＵ１によって生成される。

画像ファイルには，ヘッダ記録領域と画像データ記録領域とが含まれている。

ヘッダ記録領域には，画像ファイルの管理情報を含むヘッダが記録される。このヘッダ記録領域に，上述のようにして検出された顔画像部分（指定された表情をもつ顔画像部分）の被写体像における位置を表す顔画像位置データおよび指定された表情を表す顔表情データも記録される。また，特定の人の顔画像部分の位置を表わすデータおよびその特定の人を表わすデータも記録されるようにしてもよい。

画像データ記録領域には，被写体像全体を表す被写体像データが記録される。

ヘッダ記録領域には顔画像位置データが記録されるので，画像データ記録領域に記録されている被写体像データが再生される場合に，検出された顔画像部分を特定することができる。また，ヘッダ記録領域には，顔表情データも記録されるので，顔画像部分がどのような表情をもつものとして検出されたものかを確認することもできる。

図７は，他の実施例を示すもので，記録処理手順を示すフローチャートである。

この処理手順は，顔画像のうち，特定人（たとえば，ユーザ自身，ユーザの子供，友人など）の顔画像を検出して表示するものである。特定人の顔画像を表す画像データは，あらかじめメモリ３に格納されているのはいうまでもない。また，特定人についてはユーザによってメニュー・ボタン等を用いてあらかじめ指定されているものとする。また，この処理において図２に示す処理と同じ処理については同じ符号を付して説明を省略する。

検出された顔の画像部分が複数あると（ステップ25でＮＯ），検出された各顔画像部分について，あらかじめ指定されている特定人の顔画像と一致するかどうかの判定処理が行われる（ステップ61）。

特定人の顔画像部分と一致した顔画像部分がなければ（ステップ62でＹＥＳ），一致してはいないが，顔画像部分として検出された顔画像部分が拡大されて表示画面上に表示される（ステップ63）。検出された顔画像部分が複数ある場合には，最も大きい顔画像部分が表示される。もっとも，複数の顔画像部分を順に表示するようにしてもよいし，表示画像を複数の領域に分けてそれぞれの領域に表示するようにしてもよい。

特定人の顔画像部分と一致した顔画像部分があると（ステップ62でＮＯ），一致した顔画像部分が一つかどうかが確認される（ステップ64）。一つの場合には（ステップ64でＮＯ），その顔画像部分が拡大されて表示画面に表示される（ステップ67）。一致した顔画像部分が複数ある場合には（ステップ64でＮＯ），一致した顔画像部分の中からもっとも大きい顔画像部分が選択される（ステップ65）。選択された顔画像部分が拡大された表示画面に表示される（ステップ66）。所望の特定人の顔画像部分が表示されるようになる。もっとも，最も大きな顔画像部分が表示されなくとも，一致した顔画像部分を順に表示するようにしてもよいし，表示画面を複数の領域に分けてそれぞれの領域に一致した顔画像部分が表示されるようにしてもよい。

図８は，さらに他の実施例を示すもので記録処理手順を示すフローチャートである。

この記録処理手順は，図２に示す処理と図７に示す処理とを合わせた処理を行うもので，特定人の顔画像部分と一致する顔画像部分のうち，指定された表情をもつ顔画像部分を表示するものである。これらの処理において図２または図７に示す処理と同じ処理については同じ符号を付して説明を省略する。

顔画像の検出処理により検出された顔画像部分のうち，特定人の顔画像部分と一致するものが無い場合には（ステップ62でＹＥＳ），検出された顔画像部分のすべてが表情解析の対象として設定される（ステップ71）。また，特定人の顔画像部分と一致する顔画像部分がある場合であって（ステップ62でＮＯ），一致する顔画像部分が複数存在する場合には，一致したすべての顔画像部分が表情解析の対象として設定される（ステップ72）。

このようにして設定された顔画像部分について表情解析が行われ（ステップ73），上述のように，指定された表情をもつ顔画像部分が一駒の画像として表示画面に表示される（ステップ27，28）。

図９は，再生処理手順を示すフローチャートである。

この図において図８に示す処理と同一の処理については同一符号を付して説明を省略する。上述した実施例においては，撮像処理において特定人の顔画像部分の検出処理，指定された表情をもつ顔画像部分の検出処理が行われているが，この実施例においては，再生処理において特定人の顔画像部分の検出処理，指定された表情をもつ顔画像部分の検出処理が行われるものである。

特定人の指定および表情の指定はいずれもすでに行われているものとする。

メモリ・カードから画像データが読み取られ（ステップ81），読み取られた画像データによって表される被写体像の中から顔画像部分の検出処理が行われる（ステップ22）。その後，上述したように，指定された特定人の顔画像部分の検出処理，指定された表情をもつ顔画像部分の検出処理が行われ，見つけられた顔画像部分が表示されることとなる。ユーザの子供の画像，表情の良い画像などユーザの関心のある画像部分を見ることができるようになる。

上述した実施例においては顔の画像部分が表示されるものであるが，顔の画像部分だけでなく，特定の人物像全体を表示するようにもできるし，動物，自動車などの中の特定の種類の画像のみを表示するようもできる。

ディジタル・スチル・カメラの電気的構成を示すブロック図である。 記録処理手順を示すフローチャートである。 被写体像の一例である。 被写体像の一例である。 拡大された顔画像部分の一例である。 画像ファイルのファイル構造を示している。 記録処理手順を示すフローチャートである。 記録処理手順を示すフローチャートである。 再生処理手順を示すフローチャートである。

符号の説明

１ ＣＰＵ
９ 撮像素子
13 顔検出回路
41，42，43，44 顔画像部分
51 拡大された顔画像部分

Claims (12)

1. 注目したい顔の表情を指定する表情指定手段，
   被写体像の中から，顔の画像部分を検出する顔画像検出手段，
   上記顔画像検出手段によって検出された顔画像部分の中に特定の顔画像部分があるかどうかを判定する特定顔画像判定手段，
   上記特定顔画像判定手段によって特定の顔画像部分があると判定されたときにはその特定の顔画像部分を対象として，特定の顔画像部分がないと判定されたときには上記顔画像検出手段によって検出されたすべての顔画像部分を対象として上記表情指定手段によって指定された表情をもつ顔画像部分を検出する注目表情検出手段，
   上記注目表情検出手段によって検出された顔画像部分を，一駒の画像として表示画面に表示するように表示装置を制御する表示制御手段，
   を備えた画像表示制御装置。
2. 上記特定顔画像判定手段は，上記顔画像検出手段によって検出された顔画像部分が複数あった場合に，上記顔画像検出手段によって検出された顔画像部分の中に特定の顔画像部分があるかどうかを判定するものである，請求項１に記載の画像表示制御装置。
3. 上記注目表情検出手段は，上記特定顔画像判定手段によって複数の特定の顔画像部分があると判定されたことに応じて上記表情指定手段によって指定された表情をもつ顔画像部分を検出するものである，
   請求項１に記載の画像表示制御装置。
4. 上記表示制御手段は，上記注目表情検出手段によって検出された顔画像部分が複数あった場合に，もっとも大きな顔画像部分を表示画面に表示する，一つずつ順に一駒の画像として表示する，および２以上の顔画像部分のそれぞれを表示画面の異なる領域にそれぞれ表示する表示形態のうちのいずれかの表示を行うように制御するものである，請求項１に記載の画像表示制御装置。
5. 上記表情指定手段によって指定される顔の表情が，良い表情，悪い表情および目つむりの表情の少なくとも一つである，請求項１に記載の画像表示制御装置。
6. 被写体を撮像し，被写体像を表す画像データを出力する撮像装置をさらに備え，
   上記顔画像検出手段は，上記撮像装置から出力される画像データによって表される被写体像の中から，顔の画像部分を検出するものである，
   請求項１に記載の画像表示制御装置。
7. 上記撮像装置から出力される画像データおよび上記顔画像検出手段によって検出される顔画像部分を示すデータを互いに関連づけて記録媒体に記録する記録制御手段をさらに備えた請求項６に記載の画像表示制御装置。
8. 上記撮像装置から出力される画像データおよび上記注目表情検出手段によって検出される顔画像部分を示すデータを互いに関連づけて記録媒体に記録する記録制御手段をさらに備えた請求項６に記載の画像表示制御装置。
9. 被写体像を表す画像データが記録されている記録媒体から画像データを読み取る読み取り手段をさらに備え，
   上記顔画像検出手段は，上記撮像装置から出力される画像データによって表される被写体像の中から，顔の画像部分を検出するものである，
   請求項１に記載の画像表示制御装置。
10. 請求項１から９のいずれか一項に記載の画像表示制御装置を備えたカメラ。
11. 表情指定手段が，注目したい顔の表情を指定し，
    顔画像検出手段が，被写体像の中から，顔の画像部分を検出し，
    特定顔画像判定手段が，上記顔画像検出手段によって検出された顔画像部分の中に特定の顔画像部分があるかどうかを判定し，
    注目表情検出手段が，上記特定顔画像判定手段によって特定の顔画像部分があると判定されたときにはその特定の顔画像部分を対象として，特定の顔画像部分がないと判定されたときには上記顔画像検出手段によって検出されたすべての顔画像部分を対象として上記表情指定手段によって指定された表情をもつ顔画像部分を検出し，
    表示制御手段が，上記注目表情検出手段によって検出された顔画像部分を，一駒の画像として表示画面に表示するように表示装置を制御する，
    画像表示制御装置の制御方法。
12. 注目したい顔の表情を指定させる手順，
    被写体像の中から，顔の画像部分を検出させる手順，
    検出された顔画像部分の中に特定の顔画像部分があるかどうかを判定させる手順，
    特定の顔画像部分があると判定されたときにはその特定の顔画像部分を対象として，特定の顔画像部分がないと判定されたときには検出されたすべての顔画像部分を対象として指定された表情をもつ顔画像部分を検出させる手順，および
    検出された顔画像部分を，一駒の画像として表示画面に表示するように表示装置を制御する手順を実行するための画像表示制御装置を制御するプログラム。
    

Images