JP2005285035A - 画像表示制御装置および方法ならびに画像表示制御装置を制御するプログラム - Google Patents

Abstract

【目的】 表示の対象となる画像を表示に適した方向に回転して表示する。
【構成】 対象画像Ｉ２のサーチ・エリアＡＳ２内の画像ｉ21を０度から345度まで15度ずつ回転させる。回転したそれぞれの画像の顔らしさの評価値が学習結果を用いて算出される。算出された評価値の最大値を与える回転角（回転操作量θ）にもとづいて補正角度が算出される。算出された補正角度にもとづいて対象画像Ｉ２が回転させられて表示される。鑑賞に適した方向で対象画像が表示される。
【選択図】 図８

Description

この発明は，画像表示制御装置および方法ならびに画像表示制御装置を制御するプログラムに関する。

ディジタル・スチル・カメラなどを用いて被写体を撮像する場合には，一般的には横長の表示に適するようにカメラが構えられるが，常に横長の表示に適するようにカメラが構えられるとは限らず，縦長の表示に適するようにカメラが構えられることがある。しかしながら，画像を表示する場合には横長に表示するように設定されていることが一般的である。このために縦長で撮影された画像を縦長で表示させるためには，画像を指定し，横長に表示されるように回転させる必要がある。

このようなことを考慮して，被写体が人物である場合に，身体を構成する部分の位置関係にもとづいて画像の向きを判定するものがある（特許文献１）。
特開平８−138024号公報

しかしながら，ポートレート撮影など顔以外の身体の構成部分が含まれていない画像については，画像の向きを判定することはできないことがある。

この発明は，画像の向きを判定し，表示に適した方向に回転させて表示することを目的とする。

第１の発明による画像表示制御装置は，対象画像に含まれるサーチ・エリア内の画像を所定角度ずつ規定の角度まで回転させるエリア内画像回転手段，顔画像を検出するための検出用データを用いて，上記エリア内画像回転手段によって所定角度ずつ回転させられたそれぞれの角度での上記サーチ・エリア内の画像の顔らしさを表す評価値を算出する評価値算出手段，上記評価値算出手段によって上記それぞれの角度での顔らしさを表す評価値の最大値を与える角度にもとづいて回転補正角度を決定する回転補正角度決定手段，および上記回転補正角度決定手段によって決定された回転補正角度を用いて，上記対象画像を回転して表示ウインドウに表示するように表示装置を制御する表示制御手段を備えていることを特徴とする。

第１の発明は，上記画像表示制御装置に適した方法も提供している。すなわち，この方法は，対象画像に含まれるサーチ・エリア内の画像を所定角度ずつ規定の角度まで回転し，顔画像を検出するための検出用データを用いて，所定角度ずつ回転したそれぞれの角度での上記サーチ・エリア内の画像の顔らしさを表す評価値を算出し，上記それぞれの角度での顔らしさを表す評価値の最大値を与える角度にもとづいて回転補正角度を決定し，決定された回転補正角度を用いて，上記対象画像を回転して表示ウインドウに表示するように表示装置を制御するものである。

第１の発明は，上記画像表示制御装置を制御するプログラムも提供している。

第１の発明によると，表示すべき対象画像に含まれるサーチ・エリア（サーチ・エリアの大きさは，対象画像より小さくてもよいし，対象画像と同じでもよい）内の画像が所定角度ずつ（たとえば，15度ずつ），規定の角度（たとえば，360度から所定角度を減算した角度＝345度）まで回転させられる。顔画像を検出するための検出用データを用いて，サーチ・エリア内の画像の顔らしさを表す評価値が，所定角度ずつ回転させられたサーチ・エリア内の画像について算出される。顔らしさを表す評価値の最大値を与える角度にもとづいて回転補正角度が決定される。決定された回転補正角度を用いて，対象画像が回転させられる。回転させられた対象画像が表示ウインドウに表示される。撮像時に構えたカメラの向きに関わらず，鑑賞に適した向きで対象画像が表示されるようになる。

第２の発明による画像表示制御装置は，顔画像を検出するための検出用データを用いて，対象画像に含まれるサーチ・エリア内の画像の顔らしさを表す評価値を算出する評価値算出手段，上記検出用データを所定角度ずつ規定の角度まで回転するように角度変換処理を行い，所定角度ごとに角度変換処理後の検出用データを用いて評価値算出処理を行うように上記評価値算出手段を制御する評価値算出制御手段，上記所定角度ごとにおける評価値算出処理において得られた最大値を与える角度にもとづいて回転補正角度を決定する回転補正角度決定手段，および上記回転補正角度決定手段によって決定された回転補正角度を用いて，上記対象画像を回転して表示ウインドウに表示するように表示装置を制御する表示制御手段を備えていることを特徴とする。

第２の発明は，上記画像表示制御装置に適した方法も提供している。すなわち，この方法は，顔画像を検出するための検出用データを用いて，対象画像に含まれるサーチ・エリア内の画像の顔らしさを表す評価値を算出し，上記検出用データを所定角度ずつ規定の角度まで回転するように角度変換処理を行い，所定角度ごとに角度変換処理後の検出用データを用いて評価値算出処理を行い，上記所定角度ごとにおける評価値算出処理において得られた最大値を与える角度にもとづいて回転補正角度を決定し，決定された回転補正角度を用いて，上記対象画像を回転して表示ウインドウに表示するように表示装置を制御するものである。

第２の発明は，上記画像表示制御装置を制御するプログラムも提供している。

第２の発明によると，顔画像を検出するための検出用データを用いて，対象画像に含まれるサーチ・エリア内の画像の顔らしさを表す評価値が算出される。上記検出用データは，所定角度ずつ規定の角度まで回転するように角度変換処理が行われ，所定角度ごとに角度変換処理後の検出用データを用いて評価値算出処理が行われる。所定角度ごとにおいて行われる評価値算出処理において得られた評価値のうち最大値を与える角度にもとづいて回転補正角度が決定される。決定された回転補正角度を用いて，対象画像が回転させられて表示ウインドウに表示させられる。撮像時に構えたカメラの向きに関わらず，鑑賞に適した向きで対象画像が表示されるようになる。

第３の発明による画像表示装置は，対象画像が所定角度ずつ規定の角度まで回転した場合に，それぞれの角度に適したデータであって，顔画像を検出するための検出用データが上記所定角度ごとに対応して記憶される検出用データ記憶手段，上記所定角度ごとに記憶されている検出用データを用いて，上記対象画像に含まれるサーチ・エリア内の画像の顔らしさを表す評価値を，上記所定角度ごとに算出する評価値算出手段，上記評価値算出手段によって上記それぞれの角度での顔らしさを表す評価値の最大値を与える角度にもとづいて回転補正角度を決定する回転補正角度決定手段，および上記回転補正角度決定手段によって決定された回転補正角度を用いて，上記対象画像を回転して表示ウインドウに表示するように表示装置を制御する表示制御手段を備えていることを特徴とする。

第３の発明は，上記画像表示制御装置に適した方法も提供している。すなわち，この方法は，対象画像が所定角度ずつ規定の角度まで回転した場合に，それぞれの角度に適したデータであって，顔画像を検出するための検出用データを上記所定角度ごとに対応して記憶しておき，上記所定角度ごとに記憶されている検出用データを用いて，上記対象画像に含まれるサーチ・エリア内の画像の顔らしさを表す評価値を，上記所定角度ごとに算出し，上記それぞれの角度での顔らしさを表す評価値の最大値を与える角度にもとづいて回転補正角度を決定し，決定された回転補正角度を用いて，上記対象画像を回転して表示ウインドウに表示するように表示装置を制御するものである。

第３の発明は，上記画像表示制御装置に適したプログラムも提供している。

第３の発明によると，所定角度ごとに規定の角度まで回転させられた検出用データが記憶される。これらの記憶されている検出用データを用いて対象画像のサーチ・エリア内の画像の顔らしさを表す評価値が所定角度ごとに算出される。価値のうち最大値を与える角度にもとづいて回転補正角度が決定される。決定された回転補正角度を用いて，対象画像が回転させられて表示ウインドウに表示させられる。撮像時に構えたカメラの向きに関わらず，鑑賞に適した向きで対象画像が表示されるようになる。

上記対象画像が回転させられて上記表示ウインドウに表示される場合に，回転後の対象画像が上記表示ウインドウ内に収まるように上記対象画像をリサイズするリサイズ手段をさらに備えるようにしてもよい。

また，上記表示ウインドウが矩形の場合には，上記回転補正角度決定手段は，上記矩形の一辺が水平となるように，上記対象画像の回転補正角度を決定するものが好ましい。

この実施例によるディジタル・スチル・カメラにおいては，撮像によって得られた被写体像を再生することができる。とくに，この実施例においては，被写体像（対象画像）の中から顔の画像が検出され，抽出された顔の画像にもとづいて被写体像の中の人物像が正立するように被写体像が回転させられて表示される。撮像により得られる被写体像が縦長となるようにディジタル・スチル・カメラを構えた場合であっても人物像が正立するように表示されることとなる。

図１は，この実施例において顔画像の検出に利用される学習結果（検出用データ）が生成される様子を示している。

事前学習用画像データとして顔画像データと非顔画像データとが用いられる。顔画像データには，さまざまな顔の画像ＦＩ１，ＦＩ２，ＦＩ３などを表すものが用いられる。また，非顔画像データには，顔の画像ではない非顔画像（顔の画像と似ていても似ていなくともよい）ＦＮ１，ＦＮ２，ＦＮ３などが用いられる。

これらの事前学習用画像データを用いて所定の学習アルゴリズムにしたがって，顔画像かどうかを判定するための学習結果が得られる。得られた学習結果は，ディジタル・スチル・カメラに記憶される。

図２は，学習結果を表すテーブルの一例である。

学習結果は，サーチ・エリア内の画像の所定の位置の画素値，サーチ・エリア内の画像に対してフィルタ処理が行われた場合におけるサーチ・エリア内の所定の位置の画素値，画素値の差などとそれらのスコアとして記憶されている。ある画素値等の値から対応するスコア（正負いずれでもよい）が得られ，得られたスコアを累積して得られた値がそのサーチ・エリア内の画像の顔らしさを示す評価値となる。

図３は，ディジタル・スチル・カメラの電気的構成を示すブロック図である。

再生について説明する前に，撮像時の処理について説明する。

ディジタル・スチル・カメラの全体の動作は，制御回路20によって統括される。

制御回路20には，互いにバス接続されているＣＰＵ21，ＲＯＭ22およびＲＡＭ23が含まれている。ＲＯＭ22には，上述したように学習結果を表すデータが記憶されている。もちろん，上述したようにテーブル等の形態をもつ学習結果ではなく顔の画像を表すテンプレート画像データがＲＯＭ22に記憶されていてもよいのはいうまでもない。ＲＡＭ23は，サーチ・エリア内の画像を表す画像データ，その他の画像データを記憶するものである。

ディジタル・スチル・カメラには，シャッタ・レリーズ・ボタン，モード設定ダイアルなどを含む操作器15が含まれている。操作器15から出力される操作信号は，制御回路20に入力する。

レンズ駆動回路11によってズーム・レンズ（ズームでなくともよい）１のズーム位置が制御される。また，絞り駆動回路12によって絞り２の開口が制御される。ズーム・レンズ１によって被写体像を表す光線が集光され，絞り２を通ってＣＣＤのような撮像素子３に入射する。撮像素子３の受光面上に被写体像を表す光像が結像する。

モード設定ダイアル20によって撮像モードが設定されると，撮像素子制御回路13によって撮像素子３が制御され，被写体像を表す映像信号が撮像素子３から出力される。映像信号は，アナログ信号処理回路４において相関二重サンプリング等のアナログ信号処理が行われる。アナログ信号処理回路４から出力された映像信号は，アナログ／ディジタル変換回路４においてディジタル画像データに変換され，制御回路20およびディジタル信号処理回路６に入力する。ディジタル信号処理回路６において，ガンマ補正，白バランス調整などのディジタル信号処理が行われる。

ディジタル信号処理回路６から出力された画像データは，メモリ７を介して表示制御回路10に与えられる。表示制御回路10によって表示装置16の表示画面上に被写体像が表示される。

シャッタ・レリーズ・ボタンが押されると，上述したのと同様に，被写体が再び撮像され，被写体像を表す画像データが得られる。画像データは，ディジタル信号処理回路６からメモリ７に与えられ，一時的に記憶される。画像データは，メモリ７から読み出され，記録／読出制御回路８によってメモリ・カード９に記録される。必要に応じてデータ圧縮が行われるのはいうまでもない。

モード設定ダイアルによって再生モードが設定されると，記録／読出制御回路８によってメモリ・カード９から被写体像を表す画像データが読み出される。読み出された画像データは，メモリ７およびディジタル信号処理回路６を通過し（必要に応じてデータ伸長処理が行われる），顔検出処理回路14に入力する。顔検出処理回路14において読み取られた画像データの中から顔画像が検出される。検出された顔画像を表す画像データは，ＲＡＭ23に与えられ，一時的に記憶される。また，被写体像を表す画像データも制御回路20内のＲＡＭ23に一時的に記憶される。顔画像が正立するように，被写体像を表す画像データの表示角度補正処理（回転補正角度にもとづく補正処理）が行われる。この補正処理は画像データのアドレッシングの操作により容易にできる。

表示角度補正処理が行われた被写体像データがディジタル信号処理回路６およびメモリ７を介して表示制御回路10に与えられる。人物像が正立した被写体像が表示装置16の表示画面上に表示されるようになる。

図４は，対象画像を回転して表示する処理手順を示すフローチャート，図５は，対象画像とサーチ・エリアとの関係を示している。

この処理は，サーチ・エリアを対象画像上で走査していき，サーチ・エリア内の画像と上述した学習結果（検出用データ）との一致度の評価が行われる。また，後述するように，サーチ・エリア内の画像は所定角度ずつ回転させられ，回転させられた所定角度においても評価値の算出処理が行われる。最大の評価値が得られたサーチ・エリアの位置等によって規定される部分の画像が顔の画像と判定される。

まず，評価値の最大値が０にリセットされる（ステップ31）。また，サーチ・エリアＡＳが対象画像Ｉの先頭に移動させられる（ステップ32）。この実施例においては，対象画像のサイズが序々に小さくされ，対象画像が所定の最小画像サイズまで小さくされる。それぞれのサイズにおいてサーチ・エリアＡＳ内の画像について顔らしさの評価値が算出される。このために，対象画像の画像サイズが所定の最小画像サイズとなったかどうかが判定される（ステップ32）。

最小画像サイズとなっていると（ステップ32でＹＥＳ），種々のサイズにおいて評価値算出処理が行われたこととなるので，得られた最大評価値にもとづいて対象画像が回転させられて表示される。最小画像サイズとなっていなければ（ステップ32でＮＯ），サーチ・エリアが対象画像Ｉの終端にあるかどうかが確認される（ステップ33）。

サーチ・エリアが対象画像Ｉの終端にあると（ステップ33でＹＥＳ），その対象画像Ｉについての評価値算出処理は終了したこととなるので，次にサイズの小さな対象画像について評価値算出処理が行われるように対象画像Ｉのリサイズ処理が行われる（ステップ34）。また，サーチ・エリアがリサイズされた対象画像の先頭に移動させられる。サーチ・エリアが対象画像Ｉの終端に無ければ（ステップ33でＮＯ），サーチ・エリアＡＳ内の画像の顔らしさを示す評価値が算出される（ステップ34）。この評価値算出処理について詳しくは，後述する。評価値算出処理が終了すると，サーチ・エリアが水平方向および垂直方向に少しの距離だけ移動させられる（ステップ35）。再びステップ33および34の処理が繰り返される。

このように，最初の対象画像Ｉについてサーチ・エリアＡＳ内の画像についての顔らしさの評価値算出処理が終了すると，サイズの小さな対象画像Ｉ１，さらにサイズの小さな対象画像Ｉ２というように最小画像サイズとなるまで評価値算出処理が繰り返される。

図６は，評価値算出処理（図４ステップ34）の処理手順を示すフローチャートである。

この実施例においては，サーチ・エリアＡＳ内の画像がサーチ・エリアＡＳの中心を中心として15度ずつ回転させられ，回転後のサーチ・エリアＡＳ内の画像について学習結果を用いて顔らしさを示す評価値が算出される。

まず，サーチ・エリアＡＳ内の画像の回転角度を示す回転操作量θが０にリセットされる（ステップ41）。回転操作量θが360度になると，サーチ・エリアＡＳ内の画像は，一回転することとなる。このために，回転操作量θが360度以上となると（ステップ42でＮＯ），そのサーチ・エリアＡＳの位置での評価値算出処理は終了する。回転操作量θが360度未満であると（ステップ42でＹＥＳ），回転操作量θだけサーチ・エリアＡＳ内の画像が回転させられ（反時計まわりを正とする），学習結果を用いてそのサーチ・エリアＡＳ内の画像の評価値が算出される（ステップ43）。

得られた評価値が最大値よりも大きければ（ステップ44でＹＥＳ），その評価値が新たに最大値とされ，回転操作量θ，サーチ・エリアの位置，対象画像のサイズ情報が記憶される（ステップ45）。得られた評価値が最大値よりも大きくなければ（ステップ44でＮＯ），ステップ44の処理はスキップされる。回転操作量θが15度増やされ（ステップ46），増やされた回転操作量θによって特定される角度だけサーチ・エリアＡＳ内の画像が回転させられる。回転後のサーチ・エリアＡＳ内の画像について学習結果を用いて同様に評価値算出処理が繰り返される。

このように，回転操作量θが15度ずつ増やされ，それぞれの回転操作量θ（＝15度，30度，45度・・・）だけ回転させられたサーチ・エリアＡＳ内の画像について顔らしさの評価値が算出され，得られた評価値の最大値が記憶される。上述したように，サイズが異なる多くの対象画像のすべての領域について評価値算出処理が行われ，最大の評価値を与える回転操作量θ等が記憶される。たとえば，図７に示す例では，対象画像Ｉについてサーチ・エリアＡＳ内の画像の回転操作量θが０の場合に，学習結果にもとづいて得られる顔らしさの評価値が最大となる。このときには，対象画像Ｉ内の顔の傾きα（＝360度−θ）は０となる。

図７は，サーチ・エリアＡＳ１内の画像と顔らしさを検出するための学習結果Ｒとを示している。学習結果Ｒは，分かりやすくするためにテンプレート画像として表示されている。

サーチ・エリアＡＳ１内の画像ｉ11は傾きがないものである。

回転操作量θが０のサーチ・エリアＡＳ１内の画像ｉ11の顔らしさの評価値が学習結果を用いて算出される。つづいて，回転操作量θが15度増やされて，回転操作量θ＝15のサーチ・エリアＡＳ１内の画像ｉ12（回転後の画像をi12等で示す）の顔らしさの評価値が算出される。同様に，回転操作量θがさらに15度増やされた回転操作量θ＝30，さらに15度増やされた回転操作量θ＝45の画像ｉ13，ｉ14の顔らしさの評価値が算出される。回転操作量θ＝345度の画像ｉ1nに対する評価値算出処理まで続けられ，上述したように評価値の最大値が得られる。

回転操作量θが15度から345度の間は，回転操作量θ＝15度に代表的に示されているように，サーチ・エリアＡＳ１が回転操作量θ＝15度だけ回転されることにより得られる枠Ｆ１が想定される。そして，この枠Ｆ１が内接し，かつ回転操作量θが０度となるような枠Ｆ２が考えられる。この枠Ｆ２の大きさが枠Ｆ１と同じ大きさとなるような枠Ｆ12が定められる（この枠Ｆ12はサーチ・エリアＡＳ１と同じ大きさ，向きである）。枠Ｆ12内の画像ｉ12の顔らしさの評価値が学習結果にもとづいて算出される。そのほかの回転操作量θ＝30度からθ＝345度についても同様にして得られた枠Ｆ13から枠Ｆｉｎ（後述する図８における枠Ｆ22〜Ｆ2nについても同様）内の画像の顔らしさの評価値が算出される。

図７に示す例では，画像ｉ11には傾きがないから回転操作量θが０の画像ｉ11に対する顔らしさの評価値が最大となる。回転操作量θ＝０がサーチ・エリアＡＳ１の位置等とともに記憶されることとなる。

回転操作量θが０であるから，対象画像Ｉ１が表示されるときには，上述したように補正角度βは０となり，対象画像Ｉ１は，回転の補正が行われることなく表示される。

図８は，サーチ・エリア内の画像と顔らしさを検出するための学習結果との他の例を示している。

対象画像Ｉに含まれるサーチ・エリアＡＳ２内の画像ＡＦ２は30度左（反時計方向）に傾いている。

上述したのと同様に，サーチ・エリアＡＳ２内の画像ｉ21の回転操作量θが０度から345度まで15度ずつ増えて回転した場合に得られる画像ｉ21〜ｉ2nについての顔らしさが学習結果を用いて算出される。画像ｉ21は，30度左に傾いているから，学習結果を用いた場合，回転操作量θ＝330度のときの画像ｉ21に対する顔らしさの評価値が最大となる。回転操作量θ＝330度がサーチ・エリアＡＳ２の位置とともに記憶される。

回転操作量θが330度であるから，対象画像Ｉ２が表示されるときも補正角度βは０となる。

図９は，対象画像の表示処理手順を示すフローチャート，図10は，対象画像を示すもので，対象画像の表示処理において行われる対象画像のリサイズ処理のやり方を示している。

対象画像の表示処理は，最大の評価値を与えるサーチ・エリアＡＳ内の画像の顔の傾きが利用される。顔の傾きは上述した回転操作量θを用いて，α＝360度−θで表わされる。

顔の傾きαが０度以上45度未満または315度以上360度未満の場合には（ステップ51でＹＥＳ），表示角度を補正しない方が人物が正立している状態に近いので表示角度の補正をすることなく対象画像がそのまま表示される（ステップ52）。

顔の傾きαが45度以上135度未満の場合には（ステップ53でＹＥＳ），補正角度βが270度に設定される（ステップ54）。対象画像が270度の角度回転させられることとなる。対象画像が回転させられることにより，横長の対象画像が縦長で表示させられることとなる。このために，対象画像のリサイズ処理が行われる（ステップ55）。

図10（Ａ）を参照して，横長の対象画像Ｉが表示ウインドウ（表示画面でもよい）ｗ内に表示されている。この表示ウインドウｗは，高さがｈ１，幅がｗ１である。このような対象画像Ｉが反時計まわりに270度回転したときには，表示ウインドウｗ内に回転後の対象画像を表示できなくなる。このために，横長表示したときの対象画像の幅ｗ２が表示ウインドウｗの高さｈ１となるように対象画像の大きさがリサイズされる。リサイズにより対象画像の大きさは，（Ｂ）に示すように，横長表示したときに高さｈ２，幅ｗ２となる。リサイズ処理された対象画像が270度回転させられて表示されても，（Ｃ）に示すうに表示ウインドウｗ内に収まる。対象画像のすべてを見ることができる。

図９に戻って，顔の傾きαが135度以上225度未満となると（ステップ57でＹＥＳ），補正角度βは，180度に設定される（ステップ58）。設定された補正角度180度の角度，対象画像が回転させられて表示される（ステップ59）。

顔の傾きαが225度以上315度未満となると（ステップ57でＮＯ），補正角度βは90度に設定される（ステップ61）。この場合，対象画像は横長から縦長に表示が変わるので，顔の傾きが45度以上135度未満の場合と同様に対象画像のリサイズ処理が行われる（ステップ62）。リサイズされた対象画像が補正角度β＝90度の角度だけ回転させられて表示される（ステップ63）。

顔の傾きに応じて見やすいように対象画像の表示角度が回転させられることとなる。

図11から図13は，他の実施例を示している。

上述した実施例においては，サーチ・エリア内の画像を所定角度ずつ規定の角度まで回転させ，それぞれの角度において顔らしさの評価値算出処理を行っていたが，次に示す実施例においては，サーチ・エリア内の画像を回転させるのではなく，学習結果を所定角度ずつ規定の角度まで回転させ（所定角度ずつ回転させられた顔の画像を検出できるような学習結果を算出する処理に相当する），それぞれの角度において顔らしさの評価値算出処理を行うものである。

図11は，評価値算出処理（図６に対応する処理）を示すフローチャートである。

学習結果の傾きα（この学習結果の傾きは上述の顔の傾きに相当するので顔の傾きαと同じ符号αを用いる）が０にリセットされる（ステップ71）。学習結果の傾きαが360度未満かどうかが確認され，360度未満であれば（ステップ72でＹＥＳ），学習結果が傾きαの角度回転させられ，回転させられた学習結果を用いてサーチ・エリアＡＳ内の画像の顔らしさの評価値が算出される（ステップ73）。

算出された評価値が評価値の最大値よりも大きいかどうかが確認される（ステップ74）。算出された評価値が評価値の最大値よりも大きければ（ステップ74でＹＥＳ），その最大値を与えた学習結果の回転角度（傾きα），サーチ・エリア内の対象画像における位置，対象画像のサイズが，その最大値とともに記憶される（ステップ75）。傾きαが15度増やされて（ステップ76），再びステップ72から75までの処理が繰り返される。

図12は，サーチ・エリアＡＳ１内の画像と学習結果との関係を示している。

対象画像Ｉ１のサーチ・エリアＡＳ１内の顔の画像ｉ11は傾きがないものである。

傾きα＝０の学習結果ｒ１を用いてサーチ・エリアＡＳ１内の画像ｉ11の顔らしさの評価値が算出される。つづいて，傾きαが15度増やされて，傾きα＝15の学習結果ｒ２を用いてサーチ・エリアＡＳ内の画像ｉ11の顔らしさの評価値が算出される。同様に傾きαがさらに15度増やされた傾きα＝30，さらに15度増やされた傾きα＝45の学習結果ｒ３，ｒ４を用いてサーチ・エリアＡＳ内の画像ｉ11の顔らしさの評価値が算出される。傾きα＝345度の学習結果を用いた評価値算出処理まで続けられ，上述したように評価値の最大値が得られる。

図12に示す例では，サーチ・エリアＡＳ１に含まれている顔画像ｉ11は傾きがないから，傾きαが０の学習結果ｒ１を用いたときに得られる評価値が最大となる。上述のように，学習結果ｒ１の傾き等が記憶される。

傾きαが０であるから，対象画像Ｉ１が表示されるときには，上述したように補正角度βは０となり，対象画像Ｉは表示角度が回転されることなく，表示される。

図13は，サーチ・エリアＡＳ２内の画像ｉ21と学習結果との関係を示している。

対象画像Ｉ２のサーチ・エリアＡＳ２内の画像ｉ21は，30度左（反時計方向）に傾いている。

上述したのと同様に，傾きα＝０の学習結果ｒ１，傾きα＝15の学習結果ｒ２等を用いてサーチ・エリアＡＳ２内の画像ｉ21顔らしさの評価値が算出される。サーチ・エリアＡＳ２内の顔の画像ｉ21は30度傾いているから傾きα＝30の学習結果ｒ３を用いた顔らしさの評価値が最大となる。上述のように，学習結果ｒ３の傾き等が記憶される。

傾きαが30であるから，対象画像Ｉ２が表示されるときも，補正角度βは０となる。

このように，首を少し傾けたときには表示角度が補正されないので，補正によって対象画像が見づらくなってしまうことを未然に防止できる。

図14も，サーチ・エリアＡＳ３内の画像ｉ31と学習結果との関係を示している。

対象画像Ｉ３は，ディジタル・スチル・カメラを縦にして撮像することにより得られたものである。

上述したのと同様に，傾きαが０から345まで15度ずつ増やされた学習結果ｒ１からｒｎを用いて対象画像Ｉ３のサーチ・エリアＡＳ内の画像の顔らしさの評価値が算出される。

対象画像Ｉ３は，ディジタル・スチル・カメラを縦にして撮像することにより得られたものであるから，傾きα＝90の学習結果ｒ８を用いた顔らしさの評価値が最大となる。したがって，対象画像Ｉ３の補正角度βは270度となり，対象画像Ｉ３は，270度回転して表示されることとなる。鑑賞に適した方向で対象画像Ｉ３が表示されることとなる。

対象画像Ｉ３が90度回転することにより，上述したように表示ウインドウ内に対象画像Ｉ３が収まらない場合には，対象画像Ｉ３のリサイズ処理が行われるのはいうまでもない。もっとも必ずしもリサイズ処理を行わなくともよい。

上述した実施例においては，学習結果を傾きαだけ傾けたものをその都度算出しているが，あらかじめ算出処理を行っておき，傾きαだけ傾いた学習結果を記憶しておいてもよい。このようにして記憶された学習結果はたとえば，ＲＯＭ22に記憶され，上述したように顔らしさの評価値算出処理に用いられることとなろう。

顔らしさの評価値を算出する学習結果の算出の仕方を示している。 学習結果の一例である。 ディジタル・スチル・カメラの電気的構成を示すブロック図である。 対象画像回転表示処理を示すフローチャートである。 サーチ・エリアによって対象画像をサーチする様子を示している。 評価値算出処理を示すフローチャートである。 回転されるサーチ・エリア内の画像と学習結果とを示している。 回転されるサーチ・エリア内の画像と学習結果とを示している。 補正角度算出処理を示すフローチャートである。 （Ａ）から（Ｃ）は，表示される対象画像のリサイズ処理を示している 。 評価値算出処理を示すフローチャートである。 回転されるサーチ・エリア内の画像と学習結果とを示している。 回転されるサーチ・エリア内の画像と学習結果とを示している。 回転されるサーチ・エリア内の画像と学習結果とを示している。

符号の説明

９ メモリ
10 表示制御回路
14 顔検出処理回路
20 制御回路
21 ＣＰＵ
22 ＲＯＭ
23 ＲＡＭ
ＡＳ，ＡＳ１，ＡＳ２ サーチ・エリア
ｉ11〜ｉ1n，ｉ21〜ｉ2n サーチ・エリア内の画像
Ｉ，Ｉ１，Ｉ２ 対象画像
ｒ１〜ｒｎ，Ｒ 学習結果

Claims (11)

1. 対象画像に含まれるサーチ・エリア内の画像を所定角度ずつ規定の角度まで回転させるエリア内画像回転手段，
   顔画像を検出するための検出用データを用いて，上記エリア内画像回転手段によって所定角度ずつ回転させられたそれぞれの角度での上記サーチ・エリア内の画像の顔らしさを表す評価値を算出する評価値算出手段，
   上記評価値算出手段によって上記それぞれの角度での顔らしさを表す評価値の最大値を与える角度にもとづいて回転補正角度を決定する回転補正角度決定手段，および
   上記回転補正角度決定手段によって決定された回転補正角度を用いて，上記対象画像を回転して表示ウインドウに表示するように表示装置を制御する表示制御手段，
   を備えた画像表示制御装置。
2. 顔画像を検出するための検出用データを用いて，対象画像に含まれるサーチ・エリア内の画像の顔らしさを表す評価値を算出する評価値算出手段，
   上記検出用データを所定角度ずつ規定の角度まで回転するように角度変換処理を行い，所定角度ごとに角度変換処理後の検出用データを用いて評価値算出処理を行うように上記評価値算出手段を制御する評価値算出制御手段，
   上記所定角度ごとにおける評価値算出処理において得られた最大値を与える角度にもとづいて回転補正角度を決定する回転補正角度決定手段，および
   上記回転補正角度決定手段によって決定された回転補正角度を用いて，上記対象画像を回転して表示ウインドウに表示するように表示装置を制御する表示制御手段，
   を備えた画像表示制御装置。
3. 対象画像が所定角度ずつ規定の角度まで回転した場合に，それぞれの角度に適したデータであって，顔画像を検出するための検出用データが上記所定角度ごとに対応して記憶される検出用データ記憶手段，
   上記所定角度ごとに記憶されている検出用データを用いて，上記対象画像に含まれるサーチ・エリア内の画像の顔らしさを表す評価値を，上記所定角度ごとに算出する評価値算出手段，
   上記評価値算出手段によって上記それぞれの角度での顔らしさを表す評価値の最大値を与える角度にもとづいて回転補正角度を決定する回転補正角度決定手段，および
   上記回転補正角度決定手段によって決定された回転補正角度を用いて，上記対象画像を回転して表示ウインドウに表示するように表示装置を制御する表示制御手段，
   を備えた画像表示制御装置。
4. 上記対象画像が回転させられて上記表示ウインドウに表示される場合に，回転後の対象画像が上記表示ウインドウ内に収まるように上記対象画像をリサイズするリサイズ手段をさらに備えた請求項１から３のうちいずれか一項に記載の画像表示制御装置。
5. 上記表示ウインドウが矩形であり，
   上記回転補正角度決定手段は，上記矩形の一辺が水平となるように，上記対象画像の回転補正角度を決定するものである，
   請求項１から３のうちいずれか一項に記載の画像表示制御装置。
6. 対象画像に含まれるサーチ・エリア内の画像を所定角度ずつ規定の角度まで回転し，
   顔画像を検出するための検出用データを用いて，所定角度ずつ回転したそれぞれの角度での上記サーチ・エリア内の画像の顔らしさを表す評価値を算出し，
   上記それぞれの角度での顔らしさを表す評価値の最大値を与える角度にもとづいて回転補正角度を決定し，
   決定された回転補正角度を用いて，上記対象画像を回転して表示ウインドウに表示するように表示装置を制御する，
   画像表示制御方法。
7. 顔画像を検出するための検出用データを用いて，対象画像に含まれるサーチ・エリア内の画像の顔らしさを表す評価値を算出し，
   上記検出用データを所定角度ずつ規定の角度まで回転するように角度変換処理を行い，所定角度ごとに角度変換処理後の検出用データを用いて評価値算出処理を行い，
   上記所定角度ごとにおける評価値算出処理において得られた最大値を与える角度にもとづいて回転補正角度を決定し，
   決定された回転補正角度を用いて，上記対象画像を回転して表示ウインドウに表示するように表示装置を制御する，
   画像表示制御方法。
8. 対象画像が所定角度ずつ規定の角度まで回転した場合に，それぞれの角度に適したデータであって，顔画像を検出するための検出用データを上記所定角度ごとに対応して記憶しておき，
   上記所定角度ごとに記憶されている検出用データを用いて，上記対象画像に含まれるサーチ・エリア内の画像の顔らしさを表す評価値を，上記所定角度ごとに算出し，
   上記それぞれの角度での顔らしさを表す評価値の最大値を与える角度にもとづいて回転補正角度を決定し，
   決定された回転補正角度を用いて，上記対象画像を回転して表示ウインドウに表示するように表示装置を制御する，
   画像表示制御方法。
9. 対象画像に含まれるサーチ・エリア内の画像を所定角度ずつ規定の角度まで回転させ，
   顔画像を検出するための検出用データを用いて，所定角度ずつ回転させられたそれぞれの角度での上記サーチ・エリア内の画像の顔らしさを表す評価値を算出させ，
   上記それぞれの角度での顔らしさを表す評価値の最大値を与える角度にもとづいて回転補正角度を決定させ，
   決定させられた回転補正角度を用いて，上記対象画像を回転して表示ウインドウに表示するように表示装置を制御する画像表示制御装置のプログラム。
10. 顔画像を検出するための検出用データを用いて，対象画像に含まれるサーチ・エリア内の画像の顔らしさを表す評価値を算出させ，
    上記検出用データを所定角度ずつ規定の角度まで回転するように角度変換処理を行い，所定角度ごとに角度変換処理後の検出用データを用いて評価値算出処理を行わせ，
    上記所定角度ごとにおける評価値算出処理において得られた最大値を与える角度にもとづいて回転補正角度を決定させ，
    決定させられた回転補正角度を用いて，上記対象画像を回転して表示ウインドウに表示するように表示装置を制御する画像表示制御装置のプログラム。
11. 対象画像が所定角度ずつ規定の角度まで回転した場合に，それぞれの角度に適したデータであって，顔画像を検出するための検出用データを上記所定角度ごとに対応して記憶させ，
    上記所定角度ごとに記憶されている検出用データを用いて，上記対象画像に含まれるサーチ・エリア内の画像の顔らしさを表す評価値を，上記所定角度ごとに算出させ，
    上記それぞれの角度での顔らしさを表す評価値の最大値を与える角度にもとづいて回転補正角度を決定させ，
    決定させられた回転補正角度を用いて，上記対象画像を回転して表示ウインドウに表示するように表示装置を制御するように画像表示制御装置を制御するプログラム。

Images