JP5012872B2 - 表示モード制御装置及び表示モード制御プログラム - Google Patents

Description

本発明は、表示モード制御装置及び表示モード制御プログラムに関する。

この種の技術として、予め設定されている期間又は時刻に従って表示部の表示モードの制御を行い、この表示部を備える表示装置の消費電力を低減する表示モード制御装置がある。表示部としては、例えば、液晶ディスプレイや有機ＥＬ（Organic Electro-Luminescence：OEL）ディスプレイ等がある。表示装置としては、デジタル写真等を表示部に表示するデジタルフォトスタンド又はパーソナルコンピュータ等があり、表示モード制御装置は、この表示装置自身であることもある。消費電力を低減する表示モードとしては、例えば、スクリーンセーバーを表示部に表示する省電力モードがある。このような省電力モードでは、例えば、予め設定されている期間にユーザによる表示装置への操作が無い場合、又は、予め設定されている時刻になった場合に、例えば、表示部の表示面を暗くしたり、表示部への電源供給を中断したりする制御が行われ、これによって省電力化が図られている。

また、特許文献１には、表示装置の前面等に設けた照度センサーが表示装置周辺の明るさを検知し、この検知結果に基づいて、制御部が明るいことを判定した場合は表示モード制御を行わず、制御部が暗いことを判定した場合は表示モード制御を行う技術が開示されている。

特開２００２−１８９４５０号公報

しかしながら、前者の技術では、予め設定されている期間又は時刻が到来した場合、ユーザが表示装置を使用している時でも、表示モードの制御が行われ、表示部の表示面が暗くなったり、表示部への電力供給が中断されたりしてしまう、という問題があった。また、後者の技術では、ユーザが部屋にいない昼間でも、日光によって表示装置周辺が明るい場合には、表示モードの制御が行われない、という問題があった。このように、従来技術は、ユーザの行動が考慮されていない表示モード制御が行われ、ユーザにとって不都合が生じることもあった。

このような問題点に鑑み、本発明は、ユーザの行動を反映した表示モードの制御を行う、表示モード制御装置及び表示モード制御プログラムを提供することを目的とする。

本発明の第１の観点に係る表示モード制御装置は、
表示部の表示モードを制御する表示モード制御装置であって、
前記表示部の表示面の前方を撮影した第１撮影画像を表す第１撮影画像データを複数回取得し、取得した複数の前記第１撮影画像データそれぞれについて前記第１の撮影画像を分割した分割領域毎の前記明るさを特定し、特定した前記明るさを用いて、前記第１撮影画像データそれぞれにわたる、前記明るさが第１の基準を満たす前記分割領域の位置を照明位置として特定する照明位置特定手段と、
前記表示部の表示面の前方を撮影した第２撮影画像を表す第２撮影画像データを複数回取得し、取得した複数の前記第２撮影画像データを用いて、前記照明の明るさを複数回特定し、特定した複数の前記照明の明るさに基づいて、前記照明の明るさの変化状態を特定し、特定した前記変化状態に基づいて前記表示モードを制御する表示モード制御手段と、を備える。

本発明の第２の観点に係る表示モード制御プログラムは、
表示部の表示モードを制御するコンピュータに、
前記表示部の表示面の前方を撮影した第１撮影画像を表す第１撮影画像データを複数回取得し、取得した複数の前記第１撮影画像データそれぞれについて前記第１撮影画像を分割した分割領域毎の前記明るさを特定し、特定した前記明るさを用いて、前記第１撮影画像データそれぞれにわたる、前記明るさが第１の基準を満たす前記分割領域の位置を照明位置として特定する照明位置特定ステップと、
前記表示部の表示面の前方を撮影した第２撮影画像を表す第２撮影画像データを複数回取得し、取得した複数の前記第２撮影画像データを用いて、前記照明の明るさを複数回特定し、特定した複数の前記照明の明るさに基づいて、前記照明の明るさの変化状態を特定し、特定した前記変化状態に基づいて前記表示モードを制御する表示モード制御ステップと、
を行わせる。

本発明に係る表示モード制御装置及び表示モード制御プログラムによれば、ユーザの行動を反映した表示モードの制御を行うことができる。

本発明の実施形態１に係る表示モード制御装置の各部の関係を示すブロック図である。 本発明の実施形態１に係る表示モード制御装置のハードウェア構成を示す図である。 本発明の実施形態１に係る表示モード制御装置を正面から見た正面図である。 本発明の実施形態１に係る表示モード制御装置が行う、照明位置特定処理を示すフローチャートである。 （ａ）は撮影画像データによって表現される第１撮影画像、（ｂ）は所定の分割領域毎に分割した第１撮影画像を示した図である。 （ａ）は撮影画像データと、これに対応付けられる画像番号及び取得時刻とを示したデータ構造、（ｂ）は分割領域明るさデータのデータ構造、（ｃ）は照明候補データのデータ構造、（ｄ）は照明位置データのデータ構造を示した図である。 本発明の実施形態１に係る表示モード制御装置が行う、表示モード制御処理を示すフローチャートである。 本発明の実施形態１に係る表示モード制御装置が行う、点灯・消灯処理を示すフローチャートである。 本発明の実施形態１に係る表示モード制御装置が行う、消灯・点灯処理を示すフローチャートである。 （ａ）は、撮影画像における照明が消灯状態である様子を示した図である。（ｂ）は、撮影画像における照明が障害物で隠れている様子を示した図である。 本発明の実施形態２に係る表示モード制御装置の各部の関係を示すブロック図である。 本発明の実施形態２に係る表示モード制御装置のハードウェア構成を示す図である。 本発明実施形態２に係る表示モード制御装置が行う、移動検出処理を示すフローチャートである。 過去（直近）の撮影画像データが表す撮影画像を示した図である。 過去の撮影画像から左側に平行移動をしている、現在の撮影画像データが表す撮影画像を示した図である。 過去の撮影画像から左に９０度回転移動している、現在の撮影画像データが表す撮影画像を示した図である。 本発明の実施形態２に係る表示モード制御装置が行う、照明位置指定処理を示すフローチャートである。 本発明の実施形態２に係る表示モード制御装置が行う、パターンマッチングを説明するための図である。

（実施形態１）
以下、本発明の実施形態１について図面を参照して説明する。なお、本発明は下記の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で下記の実施形態及び図面に変更を加えることが出来るのはもちろんである。本発明に係る表示モード制御装置は、例えばコンピュータによって実現される。

はじめに、図１を用いて表示モード制御装置１の構成の一例を説明する。本実施形態に係る表示モード制御装置１は、デジタルフォトスタンド（デジタルフォトフレームともいう。）である（図３参照）。デジタルフォトスタンドは、例えば、デジタルカメラで撮影したデジタル写真等の画像を表示再生する。

本実施形態に係る表示モード制御装置１は、表示モード制御装置１の撮影装置３１（撮影部３０）が、表示モード制御装置１の表示パネル４２（表示部４０）の表示面の前方を撮影し、これにより得られる撮影画像を表す撮影画像データを基にして、部屋内に設置された蛍光灯や電球等の照明の位置を特定する。また、表示モード制御装置１は、所定時間毎に取得する撮影画像データについて、特定した照明の位置における照明の点灯／消灯状態を判定し、その判定結果に従って、表示モードの制御を行う。

表示モード制御装置１は、制御部１０と、記憶部２０と、撮影部３０と、表示部４０と、入力部５０と、読出・書込部６０と、を備える。なお、各部の機能の少なくとも一部は、ネットワークを介して表示モード制御装置１と通信可能な他の装置に設けても良い。

制御部１０は、各部の制御を行い、表示モード制御装置１全体の制御を行う。また、制御部１０は、照明位置特定部１０ａと、表示モード制御部１０ｂと、を備えており、これらが上述した照明の位置の特定や表示モードの制御を行う。

記憶部２０は、制御部１０の制御のもと、制御部１０が処理中に生成したデータ、及び、読出・書込部６０がメモリーカード１００から読みだした記録画像データ等の各種データを適宜記憶する。

撮影部３０の少なくとも一部は、撮影レンズが表示部４０の表示面の前方を向くように、表示部４０のフレーム等に固定される（図３参照）。撮影部３０は、制御部１０の制御のもと、表示部４０の表示面の前方を撮影する。ここで、表示面の前方とは、例えば、表示面から出射する光の方向の少なくとも一部の方向、又は、表示面の法線方向から一定範囲にある方向である。撮影部３０は、表示部４０の表示面の前方を撮影し、撮影した静止画像を表す撮影信号を生成し、生成した撮影信号をもとに、デジタルの静止画像元データを生成する。撮影部３０は、生成した静止画像元データを制御部１０に供給する。

表示部４０は、制御部１０の制御のもと、撮影部３０が撮影した表示部４０の表示面の前方の撮影画像、操作画面、及び、読出・書込部６０が読み出すメモリーカード１００に記録された記録画像データによって表現される記録画像等を表示する。

入力部５０は、ユーザの操作入力を受け付ける操作部であり、受け付けた操作入力の内容に対応する操作入力データを制御部１０に供給する。

読出・書込部６０は、制御部１０の制御のもと、メモリーカード１００に記録された記録画像データを読み出し、制御部１０に供給する。

メモリーカード１００は、フラッシュメモリタイプのメモリーカード等によって構成される。メモリーカードとしては、デジタルカメラが撮影した撮影画像（デジタル写真等）のデータである記録画像データを記録するＳＤメモリーカード等がある。

次に、図２を用いて表示モード制御装置１のハードウェア構成の一例を説明する。表示モード制御装置１は、ＣＰＵ（Central Processing Unit）１１と、一次記憶装置１２と、二次記憶装置２１と、撮影装置３１と、駆動回路４１と、表示パネル４２と、入力装置５１と、読出・書込装置６１と、を備える。

図１の制御部１０は、例えば、ＣＰＵ１１と一時記憶装置１２とによって構成される。制御部１０は、ＣＰＵ１１と、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）等と、を含んで構成されてもよい。この場合、ＣＰＵ１１が行う処理のうち、画像データの処理等は、ＡＳＩＣ等が行うようにしても良い。ＡＳＩＣは、例えば、ＤＳＰ（Digital Signal Processor）である。一次記憶装置１２は、ＲＡＭ（Random Access Memory）等によって構成される。

図１の記憶部２０は、二次記憶装置２１によって構成される。二次記憶装置２１は、フラッシュメモリ又はハードディスク等によって構成される。二次記憶装置２１は、表示モード制御プログラム２２を記録している。

ＣＰＵ１１は、表示モード制御プログラム２２を二次記憶装置２１から一次記憶装置１２に読み出し、読み出した表示モード制御プログラム２２の指令に基づいて後述の処理を行う。また、一次記憶装置１２はＣＰＵ１１のワーキングメモリ等として機能する。ＣＰＵ１１が受け取るデータ、及び、ＣＰＵ１１が供給するデータは、一旦、一次記憶装置１２の記憶領域に記憶される。ＣＰＵ１１は、一次記憶装置１２に記録されたデータを読み出し、読み出したデータを用いて演算を行い、演算結果のデータを一次記憶装置１２に記憶する。なお、制御部１０が備えている照明位置特定部１０ａと、表示モード制御部１０ｂとは、それぞれ、表示モード制御プログラム２２に従って後述の処理を行うＣＰＵ１１と、一次記憶装置１２と、によって構成される。

一次記憶装置１２及び二次記憶装置２１は、後述の処理で生成されるデータ、及び、メモリーカード１００から読みだした記録画像データ等の各種データを適宜記憶する。また、一次記憶装置１２及び二次記憶装置２１が記憶する各種データは、ＣＰＵ１１によって、必要に応じて消去又は他のデータに上書きされる。

図１の撮影部３０は、撮影装置３１（図３も参照）から構成される。撮影装置３１は、その撮影レンズが表示パネル４２の表示面の前方を向くように、撮影装置３１の少なくとも一部が表示パネル４２を固定するフレーム４５等に固定される（図３参照）。撮影装置３１は、ＣＣＤ（Charge Coupled Device）イメージセンサー又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等の撮像素子を備えるカメラ等によって構成される。

撮像素子は、撮影により得られる撮影画像を表す静止画像元データを生成する。つまり、撮影装置３１は、表示パネル４２（表示部４０）の前方を撮影した静止画像を表す撮影信号を撮像素子によって生成し、生成した撮影信号に対して各種回路を用いて制御処理を行うことにより、デジタルの静止画像元データを生成する。なお、制御処理には、例えば、相関二重サンプリング（Correlated Double Sampling）、サンプリング後の撮影信号に施す自動利得調整（Automatic Gain Control）、及び、自動利得調整後のアナログの撮影信号をデジタル信号に変換するアナログ・デジタル変換等がある。

静止画像元データは、撮像素子の各有効画素の画素値を含む、１フレーム分の画像を示すデータである。撮影装置３１は、生成した静止画像元データを、例えば、一次記憶装置１２に供給する。一次記憶装置１２は、撮影装置３１から受け取った静止画像元データを記憶する。

図１の表示部４０は、駆動回路４１と、表示パネル４２と、発光回路４３と、フレーム４５と、によって構成される。ＣＰＵ１１は、各種画像データを用いて、表示用のＲＧＢデータ（ＲＥＤ−ＧＲＥＥＮ−ＢＬＵＥデータ）を生成し、一次記憶装置１２を介して生成したＲＧＢデータを駆動回路４１に供給する。駆動回路４１は、受け取ったＲＧＢデータに基づいて表示パネル４２を駆動し、各種画像データによって表現される各種画像を表示パネル４２に供給する。表示パネル４２は、例えば、液晶表示パネル又は有機ＥＬ（Organic Electro-Luminescence：OEL）表示パネル等によって構成される。表示パネル４２は、駆動回路４１から受け取った各種画像を表示する。発光回路４３は、表示モード制御装置１により行われる処理が正常に行われているかについてユーザに知らせるものであり、発光回路４３は、制御部１０の制御のもと、発光する。発光回路４３は、例えば、ＬＥＤ（Light Emitting Diode）等によって構成される。発光回路４３は、表示パネル４２のフレーム４５等に固定される（図３参照）。

図１の入力部５０（操作部）は、入力装置５１によって構成される。入力装置５１は、例えば、再生キー、停止キー、メニューキー、表示制御モード選択キー、セットキー、電源キー等の複数の操作キーを含むユーザにより操作が行われるインターフェース装置である。ユーザがこれらのキーを操作すると、入力装置５１は、各キーに応じた操作入力データを一次記憶装置１２に供給する。一次記憶装置１２は、入力装置５１から供給される操作入力データを受け取り、受け取った操作入力データを記憶する。ＣＰＵ１１は、一次記憶装置１２が記憶する操作入力データに従って、後述の処理を行う。

なお、図１の表示部４０と入力部５０とをタッチパネルによって構成してもよい。この場合、表示パネル４２及び入力装置５１は、タッチパネルによって構成される。タッチパネルは、所定の入力画面を表示するとともに、操作入力データを一次記憶装置１２に供給する。

図１の読出・書込部６０は、読出・書込装置６１によって構成される。読出・書込装置６１は、データの読み出しや書き込みを行うインターフェース装置である。読出・書込装置６１は、メモリーカード１００に記録された記録画像データを読み出し、読み出した記録画像データを一次記憶装置１２に供給する。一次記憶装置１２は、読出・書込装置６１から供給される記録画像データを受け取り、受け取った記録画像データを記憶する。ＣＰＵ１１は、一次記憶装置１２が記憶する記録画像データを用いて後述の処理を行う。

次に表示モード制御装置１が行う処理を説明する。表示モード制御装置１が行う処理は、照明位置特定処理及び表示モード制御処理である。なお、表示モード制御装置１は、下記の処理中、省電力モードにならない限り、メモリーカード１００から記録画像データを順次取得して、取得した記録画像データによって表現される記録画像を表示部４０に順次表示していくものとする。

表示モード制御装置１が行う照明位置特定処理は、ユーザによる入力部５０の操作を契機として始まる。例えば、ユーザは、入力部５０を用いて、表示モード制御装置１の電源を投入し、表示部４０に表示される表示制御モードの選択画面から自動表示制御モードを動作させる選択を行う。これにより、入力部５０は、ユーザの操作に応じた操作入力データを制御部１０に対して供給し、制御部１０は、入力部５０からの操作入力データを受け取る。これに従い、照明位置特定部１０ａは、照明位置特定処理を実行する。なお、照明位置特定処理が終了するまでの間は、自動で表示モード制御を行うことができないので、この間は、制御部１０（ＣＰＵ１１）の制御のもと、発光回路４３を発光させることにより、ユーザに知らせるようにした方がよい。また、この照明位置特定処理は、照明位置が特定されていない時点で行われることが望ましい。

照明位置特定部１０ａは、照明位置特定処理（図４参照）において、撮影部３０に、表示部４０の表示面の前方を撮影させる。照明位置特定部１０ａは、これにより得られる撮影画像（つまり、第１撮影画像５０１）を表す撮影画像データ（つまり第１撮影画像データ）に基づいて、部屋内に設置された照明の位置を特定する処理を行う。照明位置特定部１０ａは、所定時間毎に撮影部３０に撮影を行わせ、撮影した第１撮影画像を表す第１撮影画像データを所定時間毎に取得する。本実施形態では、１時間に１回、２４回分の第１撮影画像データを取得する。

はじめに、照明位置特定部１０ａは、ｎ＝０を設定する（ステップＳ４０１）。ｎは、照明位置特定部１０ａが取得する撮影画像データの番号を示すものである。つづいて、照明位置特定部１０ａは、ｎ＝ｎ＋１とする（ステップＳ４０２）。

照明位置特定部１０ａの制御のもと、撮影部３０は撮影を行う。撮影部３０は、表示部４０の表示面の前方を撮影した静止画像（第１撮影画像５０１）を表す撮影信号を生成し、生成した撮影信号をもとに、デジタルの静止画像元データを生成する。撮影部３０は、生成した静止画像元データを照明位置特定部１０ａに供給する。照明位置特定部１０ａは、撮影部３０から供給される静止画像元データを受け取り、受け取った静止画像元データに対して、輪郭強調、ホワイトバランス調整、ガンマ補正、圧縮処理等の必要な制御処理を行い、ＹＵＶ（輝度・色差）データへの変換を行う。これにより、照明位置特定部１０ａは、１画像分のＹＵＶデータをｎ番目の第１撮影画像データとして取得し、記憶（保持）する（ステップＳ４０３）。

なお、この時、照明位置特定部１０ａは、取得した第１撮影画像データについて、画像番号（つまり、上記のｎ）及び取得時刻（図示しないタイマによって取得する。）を対応付けて記憶する（一次記憶装置１２に記録する）。図６（ａ）は、撮影画像データに撮影画像番号及び取得時刻を対応付けたデータ構造を示している。なお、撮影画像データは、上記ＹＵＶデータ以外に、サイズ及び解像度を変更したＹＵＶデータ、これらを変換して得られるＲＧＢデータ、又は、これらを圧縮して得られる圧縮データ等としてもよい。また、第１撮影画像データは適宜のタイミングで記憶部２０（二次記憶装置２１）に記録してもよい。

つづいて、照明位置特定部１０ａは、取得した第１撮影画像データによって表現される第１撮影画像５０１（図５（ａ）参照）を所定のエリア（つまり、分割領域）毎に分割する（図５（ｂ）参照）。なお、本実施形態では、撮影画像データを縦１１×横１３の分割領域に均等に分割しているが、分割する分割領域の数は適宜設定できるものであり、また、各分割領域は均等に分割されなくても良い。なお、分割領域の位置や大きさは予め設定されており、これらは処理中において不変である。予め設定されている、分割領域の第１撮影画像５０１における位置を一意に識別できる識別情報（ここでは、識別番号）によって、分割領域の位置が特定される。例えば、図５（ａ）の第１撮像画像内の一番左上の分割領域を１番とし、一番右上の分割領域を１３番とし、第１撮像画像内の一番左の上から二番目の分割領域を１４番とする。これによって、分割領域の位置が特定される。

さらに、照明位置特定部１０ａは、各分割領域の画素毎に得られる輝度値又はＲＧＢ値等の明るさの数値情報を用いて、その平均値又は加算値を算出することにより、各分割領域の明るさ（明るさを特定するデータ）を取得する（ステップＳ４０４）。明るさは、分割領域の全ての画素から画素毎に得る輝度値又はＲＧＢ値を基に算出しても良いし、分割領域の予め設定された所定の数及び所定の位置の画素から選択的に、または任意に取得する輝度値又はＲＧＢ値を基に算出しても良い。

このようにして、照明位置特定部１０ａは、第１撮影画像データを用いて、前記第１撮影画像５０１を分割した分割領域それぞれにおける明るさを特定する。このとき、照明位置特定部１０ａは、各分割領域について、分割領域の識別情報と、この識別情報によって特定される分割領域の明るさと、を対応付け、かつ、画像番号と取得時刻とを含む分割領域明るさデータを生成し、生成した分割領域明るさデータを記憶する（一次記憶装置１２に記録する）。図６（ｂ）は、分割領域明るさデータのデータ構造を示している。

つづいて、照明位置特定部１０ａは、各分割領域の明るさと、予め設定された閾値（第１の閾値）と、を比較する（ステップＳ４０５）。ここでいう、第１の閾値は、照明を特定するための値である。照明を特定するための値とは、部屋内に設置された蛍光灯や電球等の照明が取り得る明るさの値（例えば、２５５階調のうちの２００階調）として設定される。

照明位置特定部１０ａは、ステップＳ４０５の比較の結果を用いて、第１の閾値以上の値（もしくは第１の閾値よりも大きい値）をもつ明るさの分割領域の位置を照明の候補が写る分割領域（以下、照明候補領域という。）の位置（以下、照明候補位置という。）として特定する（ステップＳ４０６）。照明位置特定部１０ａは、照明候補位置を特定する前記の識別情報と、この照明候補位置の照明候補領域の明るさと、を対応付けて、照明候補データとして記憶する（一次記憶装置１２に記録する）。また、照明候補データには、前記の画像番号及び取得時刻が含まれる。図６（ｃ）に示されたデータが照明候補データの一例である。

図５（ａ）には、第１撮影画像５０１において、一つの照明５０２と二つの窓５０３がある。照明位置特定部１０ａが行う明るさと第１の閾値との比較により、図５（ｂ）に示すように、照明５０２に対応する部分である９個の分割領域が照明候補領域５０４ａとして特定され、また、窓５０３に対応する部分である１５個の分割領域が照明候補領域５０４ｂとして特定される。照明位置特定部１０ａは、これら照明候補領域の位置を、照明候補位置として特定する（ステップＳ４０６）。

照明位置特定部１０ａは、１画像分の第１撮影画像データを基に照明候補位置を特定した後、照明候補位置情報に対応付けられた画像番号「ｎ」が、所定値「ｍ」であるか否かを判定する（ステップＳ４０７）。所定値「ｍ」は、照明位置特定部１０ａが照明位置特定処理において所定時間毎に撮影・取得された第１撮影画像データの数を示すものである。本実施形態では、照明位置特定部１０ａが１時間に１回、２４回分の撮影画像データを取得するので、所定値は、「ｍ＝２４」である。

照明位置特定部１０ａは、「ｎ＝ｍ」でないことを判定した場合（ステップＳ４０７；Ｎｏ）、所定時間（ここでは１時間）経過後に、ステップＳ４０２に戻って、ｎ＝ｎ＋１（ここではｎ＝２）とする（ステップＳ４０２）。そして、照明位置特定部１０ａは、ステップＳ４０３〜Ｓ４０６の処理を行い、１画像分の第１撮影画像データを基に照明候補位置を特定する。

照明位置特定部１０ａは、「ｎ＝ｍ」（ここではｎ＝２４）であることを判定した場合（ステップＳ４０７；Ｙｅｓ）、以下の処理を行って、所定期間毎に特定した照明候補位置を基に、撮影画像における照明位置を特定する。なお、照明位置特定部１０ａは、一定時間（ここでは２４時間）以上経過した照明候補データは、照明を特定する際に使用しないものとする。つまり、照明位置特定部１０ａ（ＣＰＵ１１）は、一定時間（ここでは２４時間）以上経過した照明候補データ等について、一次記憶装置１２の記憶領域から削除するものとする。

照明位置特定部１０ａは、所定期間毎に生成した照明候補データ（照明候補位置）のうち、外光の影響を受ける時間帯の照明候補データを照明位置の特定に使用しないように、使用の対象から除外する（ステップＳ４０８）。図５（ｂ）に示すように、ステップＳ４０６で特定した照明候補領域の中には、部屋に設置されている窓５０３から射し込む外光（つまり、日光）により、窓５０３が写った分割領域が照明候補領域として特定される場合がある。照明位置特定部１０ａは、このような外光の影響を受ける時間帯である、例えば午前６時から午後６時の昼間の取得時刻のデータを含む照明候補データを使用しないものとする（例えば、この取得時刻のデータを含む照明候補データを削除する）。つまり、照明位置特定部１０ａは、照明位置の特定において、外光の影響を受けない時間である夜間時刻（例えば午後６時から午前６時等、季節によって変動する場合もあり、適宜設定される。）に取得した照明候補データを基に、照明位置の特定を行う。このようにして、照明位置特定部１０ａは、撮影時刻が所定の基準を満たす（例えば、前記の夜間時刻でない時間帯（昼間時間帯）である）前記第１撮影画像５０１を表す前記第１撮影画像データを用いる

つづいて、照明位置特定部１０ａは、所定時間毎に特定した照明候補位置のうち、所定時間毎に取得した複数の第１撮影画像データにわたって、所定回数以上同じ位置にある照明候補位置があるか否かを判定する（ステップＳ４０９）。この判定は、照明候補データを構成する識別情報を参照することにより行う。例えば、複数の第１撮影画像において、３回以上、同じ識別情報となる照明候補データがあるか否かを判定する。そして、あると判定した場合（ステップＳ４０９；Ｙｅｓ）、照明位置特定部１０ａは、この照明候補データの識別情報によって特定される照明候補位置を照明位置として特定する（ステップＳ４１０）。照明位置特定部１０ａは、照明位置を特定する照明位置データを生成して記憶する（一次記憶装置１２に記録する）。照明位置データは、照明が写っていると思われる分割領域の位置（照明位置）を特定するデータであり、具体的には、この位置を特定する識別情報によって構成される（図６（ｄ）参照）。

このように特定された照明位置にある分割領域に写った被写体は、外光の影響を受けない夜間時刻にもかかわらず明るさが所定の期間にわたって、一定の基準を超える領域であり、このような領域は、長時間点灯される照明の領域である可能性が高い。このため、照明位置特定部１０ａは、このような分割領域の位置を照明位置として特定する。

一方、照明位置特定部１０ａは、所定回数以上同じ位置にある照明候補位置が無いと判定した場合（ステップＳ４０９；Ｎｏ）、照明候補位置にある各分割領域について、複数の第１撮影画像データにわたる、明るさの変化（つまり明るさの差又は比）が第２の閾値以上（又は第２の閾値よりも上）である分割領域（つまり、明るさの変化が大きい分割領域）があるかを判断する（ステップＳ４１１）。具体的には、各第１撮影画像のうちの任意の二つの第１撮影画像についての照明候補データと、分割領域明るさデータとを比較し、照明候補データに含まれる各識別情報に対応する明るさと、分割領域明るさデータに含まれる前記の各識別情報と同じ識別情報に対応する明るさと、を比較して上記判断を行う。この比較を各第１画像について行う。この第２の閾値は、照明の消灯及び点灯によって生じる明るさの差に対応した値にする。

照明位置特定部１０ａは、明るさの変化が大きい分割領域があると判定した場合（ステップＳ４１１；Ｙｅｓ）、この明るさの分割領域の位置を照明位置として特定する（ステップＳ４１２）。照明位置特定部１０ａは、照明位置を特定する照明位置データを生成して記憶する（一次記憶装置１２に記録する）。照明位置データは、上記と同様のデータである（図６（ｄ）参照）。

このように特定された照明位置にある分割領域に写った被写体は、明るさの変化が大きく、このような領域は、消灯と点灯との変化によって明るさが大きく変化する照明が写った領域である可能が高い。このため、照明位置特定部１０ａは、このような分割領域の位置を照明位置として特定する。

照明位置特定部１０ａは、明るさの変化が大きい分割領域がないと判定した場合（ステップＳ４１１；Ｎｏ）、処理を終了する。照明位置特定部１０ａは、このとき表示部４０に照明位置を特定できなかったことになるので、照明位置特定部１０ａは、後述の表示モードの制御ができない旨の画面を表示する。

以上により、所定時間毎に取得した照明候補位置を基に、照明位置を特定し、照明位置特定処理は終了する。これにより、図５（ｂ）において、照明候補位置情報として取得されていた窓５０３に対応する部分である１５個の分割領域は、照明位置としては特定されず（この領域は昼間の時間に明るい領域であり、ステップＳ４０８によって照明候補領域から除かれる。）、実際に照明５０２に対応する部分である９個の分割領域の位置が照明位置として取得される。なお、照明位置データは、適宜記憶部２０に記録され、後述の所定の処理において読み出される。

照明位置特定部１０ａは、特定した照明位置（識別情報）を参照し、これらを基にして、互いに隣接している照明位置がある場合、これら照明位置にある分割領域は、同じ照明が写った分割領域であるものとみなし、このように隣接する各分割領域を一群の照明位置（以下、照明領域群という）として扱っても良い。つまり、図５（ｂ）においては、照明５０２に対応する部分である９個の分割領域（照明候補領域５０５）の位置が照明位置として特定されているが、各分割領域が互いに隣接しているので、同じ照明を対象として照明位置が特定されたものみなされ、これらの９個の分割領域は照明領域群として取り扱うことができる。また、この場合、照明領域群の代表となる分割領域を設定しても良い。例えば、図５（ｂ）の照明領域群の場合、分割領域群の中心位置を表す分割領域（中心位置を表す分割領域がない場合、中央付近にある分割領域のうちのランダムに特定された分割領域を、中心位置を表す分割領域とする。）を代表分割領域５０６として設定することができる。照明位置特定部１０ａは、このような場合、分割領域群の少なくとも一つの分割領域の位置を照明位置として特定する。このようにしても、後述の照明の消灯及び点灯は判別できるので（照明は全体として消灯及び点灯する。）、処理負担の軽減に繋がる。

照明位置特定部１０ａにより照明位置を特定した後、表示モード制御部１０ｂは、一定期間毎に第２撮影画像データ（第１撮影データと同様のデータ）を取得し、取得した第２撮影画像データと照明位置特定部１０ａが取得した照明位置とに基づいて、撮影画像における照明位置の明るさを判定する表示モード制御処理を行う。

表示モード制御部１０ｂは、上記照明位置特定処理と同様、一定期間毎に第２撮影画像データを取得する。ここでいう一定期間は、照明位置特定処理で設定した所定期間と同じでも良いし、別に設定されても良い。例えば、本実施形態では、表示モード制御部１０ｂは、撮影部３０に１０分に１回撮影させ、第１撮影画像データを取得するものとする。なお、第１撮影画像データの取得は、上記照明位置特定処理と同様に行うので、説明を省略する。

また、表示モード制御部１０ｂは、上記照明位置特定処理と同様、取得した第２撮影画像データを基に各分割領域の明るさを特定する（分割領域明るさデータを生成、記憶する）。なお、分割領域の明るさの特定は、上記照明位置特定処理での明るさの特定と同様なので、説明を省略する。表示モード制御部１０ｂは、各分割領域の明るさを第２撮影画像毎に時系列順に所定数以上蓄積記憶し、２以上の第２撮影画像についての各分割領域の明るさを特定し、２番目以降の各分割領域の明るさを特定する毎に図７に示す表示モード制御処理を行う。

なお、以下では、表示モード制御部１０ｂが取得した第２撮影画像データの中で、最新の第２撮影画像データを現在画像データといい、現在画像データによって表現される第２撮影画像を現在画像という。また、以下では、表示モード制御部１０ｂが取得した第２撮影画像データの中で、最新のものの一つ前に取得された第２撮影画像データを過去画像データといい、過去画像データによって表現される第２撮影画像を過去画像という。また、照明位置にある分割領域を照明領域という。

表示モード制御部１０ｂは、現在画像データによって表現される現在画像の照明位置にある照明領域の明るさを現在画像データに関する分割領域明るさデータを参照して特定する（ステップＳ７０１）。表示モード制御部１０ｂは、照明位置データの識別情報をもとにして、この識別情報に対応する明るさを特定することによって、照明位置にある照明領域の明るさの特定を行う。表示モード制御部１０ｂは、この明るさの値を現在画像明るさ情報（適宜、識別情報と各識別情報に対応した明るさとを含む）として記憶する（一次記憶装置１２に記録する）。なお、照明領域が複数特定されている場合には、例えば、各照明領域の明るさの平均値を照明領域の明るさとして特定する。

表示モード制御部１０ｂは、過去画像データによって表現される過去画像の照明位置にある照明領域の明るさを過去画像データに関する分割領域明るさデータを参照して特定する（ステップＳ７０２）。表示モード制御部１０ｂは、照明位置データの識別情報をもとにして、この識別情報に対応する明るさを特定することによって、照明位置にある照明領域の明るさの特定を行う。表示モード制御部１０ｂは、この明るさの値を過去画像明るさ情報（適宜、識別情報と各識別情報に対応した明るさとを含む）として記憶する（一次記憶装置１２に記録する）。なお、照明領域が複数特定されている場合には、例えば、各照明領域の明るさの平均値を照明領域の明るさとして特定する。

表示モード制御部１０ｂは、現在画像の照明領域の明るさと、過去画像の照明領域の明るさと、を比較し、照明領域の明るさの変化（差や比）を特定する（ステップＳ７０３）。

表示モード制御部１０ｂは、特定した明るさの変化が大きいか判定する（ステップＳ７０４）。これは、変化の値が第３の閾値以上であるか（又は超えるか、以下同じ）によって判定する。第３の閾値は、照明の変化（点灯から消灯、又は消灯から点灯等の照明の状態の変化）による明るさの変化の値によって設定される。なお、ここでは、変化の値が明るさの差の場合、この差の絶対値を変化の値とする。

表示モード制御部１０ｂは、変化の値が第３の閾値未満（又は以下、以下同じ）であれば、特定した明るさの変化が小さいと判定する（ステップＳ７０４；Ｎｏ）。変化の値が第３の閾値未満（又は以下、以下同じ）であれば、明るさが略変わらないか、変化が少ないため、照明の変化が無いと考えられる。表示モード制御部１０ｂが特定した明るさの変化が小さいと判定すると（ステップＳ７０４；Ｎｏ）、照明の変化が無いと考えられるので、表示モードを変更する必要はなく、表示モード制御部１０ｂは本処理を終了する。

表示モード制御部１０ｂは、変化の値が第３の閾値以上であれば、特定した明るさの変化が大きいと判定する（ステップＳ７０４；Ｙｅｓ）。変化の値が第３の閾値以上であれば、明るさが大きく変わるので、照明の変化があると考えられる。表示モード制御部１０ｂが特定した明るさの変化が大きいと判定すると（ステップＳ７０４；Ｙｅｓ）、照明の変化があると考えられるので、表示モードを変更する必要があり、表示モード制御部１０ｂは明るさの変化が点灯状態（明状態）から消灯状態（暗状態）への変化であるかを判定する（ステップＳ７０５）。ステップＳ７０５の判定は、明るさの変化の値を用いて行える。

変化の値が明るさの差（現在画像の照明領域の明るさ−過去画像の照明領域の明るさ）によって求められた場合、変化の値が負の値を示している時は、過去画像における照明領域の明るさよりも現在画像における照明領域の明るさの値の方が小さくなっているので、この照明領域は、「明るい状態」から「暗い状態」に変化していることになる。つまり、この照明領域に写る照明は、点灯から消灯に変化している可能性がある。一方、変化の値が正の値を示している時は、過去画像における照明領域の明るさよりも現在画像における照明領域の明るさの値の方が大きいので、この照明領域は、「暗い状態」から「明るい状態」に変化していることになる。つまり、この照明領域に写る照明は、消灯から点灯に変化している可能性がある。表示モード制御部１０ｂは、変化の値が負の値を示している時は、照明が点灯状態から消灯状態へ変化したと判定し（ステップＳ７０５；Ｙｅｓ）、点灯・消灯処理（ステップＳ７０６）を行う。また、表示モード制御部１０ｂは、変化の値が正の値を示している時は、照明が消灯状態から点灯状態へ変化したと判定し（ステップＳ７０５；Ｎｏ）、消灯・点灯処理（ステップＳ７０７）を行う。

変化の値が明るさの比（現在画像の照明領域の明るさ÷過去画像の照明領域の明るさ）によって求められた場合、変化の値が１未満である場合は、過去画像における照明領域の明るさよりも現在画像における照明領域の明るさの値の方が小さくなっているので、この照明領域は、「明るい状態」から「暗い状態」に変化していることになる。つまり、この照明領域に写る照明は、点灯から消灯に変化している可能性がある。一方、変化の値が１を超えている場合は、過去画像における照明領域の明るさよりも現在画像における照明領域の明るさの値の方が大きいので、この照明領域は、「暗い状態」から「明るい状態」に変化していることになる。つまり、この照明領域に写る照明は、消灯から点灯に変化している可能性がある。表示モード制御部１０ｂは、変化の値が１未満である場合は、照明が点灯状態から消灯状態へ変化したと判定し（ステップＳ７０５；Ｙｅｓ）、点灯・消灯処理（ステップＳ７０６）を行い、処理を終了する。また、表示モード制御部１０ｂは、変化の値が１を超えている場合は、照明が消灯状態から点灯状態へ変化したと判定し（ステップＳ７０５；Ｎｏ）、消灯・点灯処理（ステップＳ７０７）を行い、処理を終了する。

ここで、図８を用いて、表示モード制御部１０ｂが行う点灯・消灯処理について説明する。表示モード制御部１０ｂは、上記で特定した現在画像の各分割領域と明るさと、上記で特定した過去画像の各分割領域と明るさと、を比較し、各分割領域における明るさの変化を特定する（ステップＳ８０１）。表示モード制御部１０ｂは、過去画像データに関する分割領域明るさデータと、現在画像データに関する分割領域明るさデータと、を用いて同じ識別情報に対応する明るさの変化（差又は比）を識別情報毎に算出し、算出結果を示すデータを記憶する（一次記憶装置１２に記録する）。

表示モード制御部１０ｂは、特定した各分割領域における明るさの変化のうち、変化の少ない分割領域が存在するか判定する（ステップＳ８０２）。表示モード制御部１０ｂは、明るさの変化の値が、第４の閾値以下である（又は未満である、以下同じ。）分割領域があるかを判定することによって、変化の少ない分割領域が存在するかを判定する。第４閾値は、照明の点灯、消灯によって生じる明るさの変化の値よりも小さい値とする。表示モード制御部１０ｂは、第４の閾値以下である分割領域があれば、変化の少ない分割領域が存在すると判定する。

変化の少ない分割領域が存在しない場合（ステップＳ８０２；Ｎｏ）、照明５０２が点灯状態から消灯状態になったものと判断できる。つまり、この場合、撮影画像における照明位置以外の位置においても照明位置と同様に「明るい状態」から「暗い状態」に変化していると予想できる。この場合は、照明が点灯状態から消灯状態になったことにより、部屋内の明るさが全体的に暗くなったと予測でき、この撮影画像に写された部屋に人がいない可能性が高い（図１０（ａ）参照）。表示モード制御部１０ｂは、この判定結果に従って、表示部４０の表示面（表示パネル４２）を暗くしたり、表示部４０への電源供給を中断したり、スクリーンセーバーを表示したりして、表示モードを省電力モードに移行する表示モード制御を行う（ステップ８０３）。なお、すでに表示モードが省電力モードである場合、表示モード制御部１０ｂは、省電力モードを維持する。部屋に人がいなければ、表示部にデジタル写真の表示等を行う必要はない。

一方、変化の少ない分割領域が存在する場合（ステップＳ８０２；Ｙｅｓ）、照明領域は暗くなっているが、他の分割領域は暗くなっていないことになる。つまり、このときは、撮影部３０の前に人や物等の障害物があるだけで、照明は消灯していない可能性が高い（図１０（ｂ）参照）。この場合、人は部屋にまだいる可能があるので、表示モード制御部１０ｂは、表示モードの制御は行わずに処理を終了する。

図９を用いて、表示モード制御部１０ｂが行う消灯・点灯処理について説明する。この処理では、照明が点灯されたために、部屋に人が入ってきた可能性が高い。変化表示モード制御部１０ｂは、通常の動作モード（上記記録画像（デジタル写真）を順次表示していくモード）に表示モードを変更する（ステップＳ９０１）。なお、すでに表示モードが通常の動作モードである場合、表示モード制御部１０ｂは、通常の動作モードを維持する。

以上、本実施形態に係る表示モード制御装置１は、表示部の表示モードを制御する表示モード制御装置１であって、照明位置特定部１０ａと、表示モード制御部１０ｂと、を備える。そして、照明位置特定部１０ａは、表示部４０の表示面の前方を撮影した第１撮影画像を表す第１撮影画像データを取得し、取得した第１撮影画像データを用いて、第１撮影画像を分割した分割領域それぞれにおける明るさを特定し、特定した分割領域毎の明るさに基づいて、第１撮影画像における照明の候補が写った分割領域の位置を照明位置として特定する。また、表示モード制御部１０ｂは、表示部４０の表示面の前方を撮影した第２撮影画像を表す第２撮影画像データを取得し、取得した第２撮影画像データと照明位置特定部１０ａが特定した照明位置とを用いて、第２撮影画像における、照明位置に対応する位置にある分割領域の明るさを照明の明るさとして特定し、特定した照明の明るさに基づいて、表示モードを制御する。照明は、人が部屋にいれば点灯している可能性が高い。表示モード制御装置１は、上述のように照明の状態によって表示モードを制御できるので、ユーザの行動を反映した表示モードの制御が行える。

また、上述のように、照明位置特定部１０ａは、撮影時刻が所定の基準を満たす第１撮影画像を表す第１撮影画像データを用いて、照明位置を特定する。これによって、外光が入射する窓などを照明と誤認することを防ぐことができる。

照明位置特定部１０ａは、第１撮影画像データを複数回取得し、取得した複数の第１撮影画像データそれぞれについて分割領域毎の明るさを特定し、特定した明るさを用いて、第１撮影画像データそれぞれにわたる、明るさが第１の基準を満たす分割領域の位置を照明位置として特定しているので、照明位置の特定の精度がより良くなる。

照明位置特定部１０ａは、第１撮影画像データそれぞれについての、明るさが所定回数以上となる分割領域を照明位置として特定しているので、照明位置の特定の精度がより良くなる。

照明位置特定部１０ａは、前記第１撮影画像データそれぞれについての、前記明るさの変化が第２の基準を満たす前記分割領域の位置を前記照明位置として特定しているので、照明位置の特定の精度がより良くなる。

表示モード制御部１０ｂは、第２撮影画像データを複数回取得し、取得した複数の第２撮影画像データを用いて、照明の明るさを複数回特定し、特定した複数の照明の明るさに基づいて、照明の明るさの変化状態を特定し、特定した変化状態に基づいて表示モードを制御するので、精度良く照明の状態を把握し、把握した照明の状態に基づいて表示モードを制御できる。

表示モード制御部１０ｂは、変化状態が暗くなる方に変化した状態であって、かつ、変化状態の変化度が第３の基準を満たす場合に、表示モードを省電力モードに切り替えるので、精度良く照明の状態を把握し、把握した照明の状態に基づいて表示モードを制御できる。

表示モード制御部１０ｂは、変化状態が暗くなる方に変化した状態である場合に、複数の第２撮影画像データによって表現される第２撮影画像における照明位置に対応する分割領域以外の分割領域の明るさの変化を検出し、分割領域の明るさの変化が第４の基準を満たす場合に、表示モードを省電力モードに切り替えないので、障害物等があっても、精度良く照明の状態を把握し、把握した照明の状態に基づいて表示モードを制御できる。

表示モード制御部１０ｂは、変化状態が明るくなる方に変化した状態であって、かつ、変化状態の変化度が第５の基準を満たす場合に、表示モードを省電力モードから他のモードに切り替えるので、把握した照明の状態に基づいて精度良く表示モードを制御できる。

また、本実施形態において、表示モード制御部１０ｂは、照明位置特定手段１０ａが取得した照明位置を特定し、特定した照明位置を用いて、一定期間毎に取得する第２撮影画像データが表す第２撮影画像における照明位置の状態を判定している。しかし、本発明に係る表示モード制御装置１は、これに限定されるものではない。つまり、表示モード制御部１０ｂは、照明位置特定部１０ａが照明位置を特定するまでの間等、照明位置特定手段１０ａが取得した照明候補位置を、仮の照明位置として特定しても良い。そして、この照明位置を用いて、一定期間時間毎に取得する第２撮影画像データが表す第２撮影画像における照明位置の状態を判定しても良い。したがって、照明位置は、仮の照明位置も含む概念である。仮の照明位置を用いて表示モード制御を行うか否かは、ユーザが自由に選択し、設定できるものとする。また、照明位置等は、ユーザ等が適宜設定した所定領域であってもよい。この場合、照明位置特定部１０ａは不要になる場合がある。この場合でも、ユーザの行動を反映した表示モードの制御が行える。

（実施形態２）
以下、本発明の実施形態２について図面を参照して説明する。なお、本実施形態２において、実施形態１の構成と同一の構成には同一の符号を付し、重複する説明は省略する。図１１は、本実施形態に係る表示モード制御装置２の構成を示したブロック図である。表示モード制御装置２は、実施形態１の表示モード制御装置１の構成に加えて、制御部１０において表示部４０の移動を検出する移動検出部１０ｃを備えている。また、表示モード制御装置２は、センサー部８０を備えている。さらに、本実施形態に係る表示モード制御装置２は、入力部５０がユーザからの照明位置の指定操作を受け付け、これに応じて、照明位置特定部１０ａが照明位置を特定する処理を行う。

センサー部８０は、表示モード制御装置２の移動や回転、振動を検出する。センサー部８０は、それぞれの検出結果に対応するセンサーデータを制御部１０に供給する。

図１２は、本実施形態に係る表示モード制御装置２のハードウェア構成を示したブロック図である。表示モード制御装置２は、実施形態１の表示モード制御装置１の構成に加えて、３軸加速度センサー８１、振動検出センサー８２を備えている。

図１１のセンサー部８０は、３軸加速度センサー８１と、振動検出センサー８２とによって構成される。３軸加速度センサー８１は、デジタルフォトスタンド（表示モード制御装置２）内に搭載されている。３軸加速度センサー８１は、１素子でＸＹＺの３軸すべての加速度を測定するセンサーであり、表示モード制御装置２が移動または回転した時に、それらの加速度を検出する。３軸加速度センサー８１は、表示モード制御装置２の移動または回転を検出した時に加速度センサーデータを一次記憶装置１２に供給する。振動検出センサー８２は、デジタルフォトスタンド（表示モード制御装置２）内に搭載されている。振動検出センサー８２は、表示モード制御装置２の振動を検出する。振動検出センサー８２は、表示モード制御装置２の振動を検出した時に振動センサーデータを一次記憶装置１２に供給する。

また、図１１の移動検出部１０ｃは、ＣＰＵ１１と、一次記憶装置１２と、によって構成される。

以上のように構成された表示モード制御装置２について、以下、表示モード制御装置２が行う制御処理を説明する。なお、ここでは、移動検出部１０ｃが行う移動検出処理について説明し、実施形態１で説明した照明位置特定処理及び表示モード制御処理についての説明は省略する。

図１３を用いて、移動検出部１０ｃが行う移動検出処理について説明する。移動検出部１０ｃは、照明位置特定部１０ａまたは表示モード制御部１０ｂが行う処理と並行してこの処理を所定間隔で繰り返し行う。移動検出部１０ｃは、ユーザによる入力部５０の操作を契機として始まる。例えば、ユーザは、入力部５０を用いて、表示モード制御装置２の電源を投入し、表示部４０に表示される表示制御モードの選択画面から自動表示制御モードを動作させる選択を行う。これにより、入力部５０は、ユーザの操作に応じた操作入力データを制御部１０に対して供給し、制御部１０は、入力部５０からの操作入力データを受け取る。これに従い、移動検出部１０ｃは、移動検出処理を実行する。

移動検出部１０ｃは、現在画像データ及び過去画像データを取得する（ステップＳ１３０１）。これらの画像データは、照明位置特定部１０ａまたは表示モード制御部１０ｂが取得する、第１撮影画像データ又は第２撮影画像データでも良いし、移動検出部１０ｃが自ら一定の間隔毎に取得する撮影画像データでも良い。移動検出部１０ｃは、過去画像データを取得後、現在画像データを取得するまで待機し、現在画像データを取得後に、後述のステップの処理に進む。

移動検出部１０ｃは、取得した現在画像データ及び過去画像データを基に現在画像及び過去画像における各分割領域の明るさを特定し、特定した明るさを用いて、撮影画像の間で変化があるか否かを判定する（ステップＳ１３０２）。例えば、両画像間において、予め設定された撮影画像における四隅の位置の画像の変化を検出することによって行う。四隅の画像の変化（例えば、背景の移動度）が所定条件を満たせば、背景が動いていると判断できる。また四隅の画像の変化が所定条件を満たさなければ背景が動いていないと判断できる。なお、四隅の画像の変化は、動きベクトル、差分絶対値和、又は、差分自乗和等を用いて公知の方法で行える。

この判定の結果、画像間で変化がある場合（ステップＳ１３０２；Ｙｅｓ）、移動検出部１０ｃは、表示モード制御装置２（表示部４０を含む）の移動により、照明位置特定部１０ａが取得した照明位置情報または照明候補位置情報が変わったものと認識し、照明位置情報または照明候補位置情報を修正する処理（つまり、照明位置を再特定する処理）を行う。このとき、移動検出部１０ｃは、変化直前の過去画像データを保持しておく（以下では、この保持した過去画像データを保持データといい、保持データによって表現される画像を保持画像という）。

一方、画像間で変化がない場合（ステップＳ１３０２；Ｎｏ）、移動検出部１０ｃは、照明位置特定部１０ａが取得した照明位置情報または照明候補位置情報は変わっていないものと認識し、本処理を終了する。

移動検出部１０ｃは、現在画像データ及び保持データを基に照明候補位置を特定する（ステップＳ１３０３）。つまり、移動検出部１０ｃは、照明位置または照明候補位置が変わったと認識する前後の照明候補位置を特定する。照明候補位置の特定は、実施形態１で説明した処理と同様の方法で行うので、説明は省略する。

その後、移動検出部１０ｃは、現在画像及び保持画像における照明候補領域群の数が複数であるかを判定する（ステップＳ１３０４）。ここで、照明候補領域群とは、隣り合う照明候補領域の集合であり、移動検出部１０ｃは、この照明候補領域群を用いてこの判定を行う。なお、照明候補領域群は、前記で特定した照明候補位置によって特定できる。具体的には、例えば、移動検出部１０ｃは、照明候補データに含まれる識別情報（照明候補位置の位置を特定できる情報である）によって照明候補領域群を特定する。移動検出部１０ｃは、照明候補領域群の画像内における位置、大きさ、形状等を特定した照明候補領域群データを生成して記憶する（一次記憶装置１２に記録する）ことによって、照明候補領域群を特定する。

例えば、図１４は、保持画像における照明候補位置を基に特定した２つの照明候補領域群１４０１ａ及び１４０１ｂを示している。また、図１５は、現在画像における照明候補位置を基に特定した２つの照明候補領域群１５０１ａ及び１５０１ｂを示している。この場合、現在画像及び保持画像における分割領域群の数は、いずれも複数（２つ）なので、移動検出部１０ｃは、現在画像及び保持画像における照明候補領域群の数が複数であると判定する。

移動検出部１０ｃによる判定の結果、現在画像及び保持画像における照明候補領域群の数が複数でないと判定した場合（ステップＳ１３０４；Ｎｏ）、後述の処理が行えないので、移動検出部１０ｃは、処理を終了し、照明位置特定部１０ａは、実施形態１で説明した照明位置特定処理により、照明候補位置や照明位置の再特定を行う。

一方、移動検出部１０ｃによる判定の結果、現在画像及び保持画像における照明候補領域群の数が複数であると判定した場合（ステップＳ１３０４；Ｙｅｓ）、移動検出部１０ｃは、特定した現在画像及び保持画像における照明候補領域群の位置関係を用いて、撮影画像間での照明候補領域群のマッチング処理（例えば、後述のパターンマッチング処理）を行い、照明位置の修正が可能であるか判断し、これにより特定する移動内容を基にして照明位置の修正が可能であるか判断する（ステップＳ１３０５）。可能でない場合には（ステップＳ１３０５；Ｎｏ）、照明位置の修正はできないので、移動検出部１０ｃは、処理を終了し、照明位置特定部１０ａは、実施形態１で説明した照明位置特定処理により、照明候補位置や照明位置の再特定を行う。可能である場合には（ステップＳ１３０５；Ｙｅｓ）、照明位置の修正が出来るので、移動検出部１０ｃは、照明位置の修正を行う（ステップＳ１３０６）。

これらの処理の具体例を説明すると、例えば、移動検出部１０ｃは、まず、保持画像における、照明候補領域の分割領域を「１」とし、それ以外の分割領域を「０」とした、分割領域を１画素とする第１の画像を表す第１の画像データを生成する。これは、上記で特定した照明候補位置を用いて生成できる。同様に、移動検出部１０ｃは、現在画像における、照明候補領域の分割領域を「１」とし、それ以外の分割領域を「０」とした、分割領域を１画素とする第２の画像を表す第２の画像データを生成する。

移動検出部１０ｃは、生成した第１及び第２の画像データを記憶する（一次記憶装置１２に記録する）。そして、移動検出部１０ｃは、記憶した第１及び第２の画像データを用い、図１８のように第１の画像１８０１を第２の画像１８０２上で１画素ずつ上下左右にずらしていき（図１８の矢印参照）、両画像において「１」の画素が最も多く重なる両画像の相対位置を特定する処理（パターンマッチング）を行う。なお、特定した相対位置が複数ある場合には、ランダムで一つの相対位置を特定する。この相対位置は、第１の画像と第２の画像とがどの方向にどれだけずれているかを検出することによって把握できる。例えば、両画像の任意の角の画素が何画素分ずれているか等によって把握できる。なお、図１８では、理解を容易にするために、照明候補領域の分割領域に対応する画素のみ「１」を記入し、他の画素（０の画素）については何も記入していない。また、各画像の大きさ、分割領域の数等も図１４の画像等と変更した。

移動検出部１０ｃは、「１」の画素が最も多く重なる両画像の相対位置を特定後、この相対位置における両画像の「１」の画素について所定基準以上（例えば、９割以上）の数の画素が重なっているか判断し、所定基準以上の数の画素が重なっている場合には、照明位置の修正は可能であると判断し、相対位置を特定するデータ（例えば、「１」の画素が最も多く重なる場合の第１の画像と第２の画像とがどの方向にどれだけの画素分ずれているかのデータ）を生成し、これを移動内容データとして記憶する（一次記憶装置１２に記録する）。これによって、移動検出部１０ｃは、照明位置の移動内容（相対位置）を特定する。１画素は、一つの分割領域なので、移動内容は、移動方向といくつの分割領域の分だけ移動したかを特定したものになる（例えば、左に一つ分、下に四つ分）。

また、上記で「１」の画素について所定基準以上の数の画素が重なっていない場合、移動検出部１０ｃは、記憶した第１の画像データを用い、第１の画像を、任意の角（例えば、向かって左下の角）の画素を中心にして左右どちらかに９０度回転させる。これは、通常、表示モード制御装置２が縦置きから横置きへの回転をする等、９０度単位で回転することによる。そして、上記と同様、まず、第１の画像を第２の画像上で１画素ずつ上下左右にずらしていき、両画像において「１」の画素が最も多く重なる両画像の相対位置を特定する処理を行う。この相対位置は、第２の画像の回転方向、回転角、及び、回転の中心の画素（以下、回転中心画素という。）と、回転後の第２画像における回転中心画素と第１の画像における回転中心画素に対応する画素とがどの方向にどれだけずれているかと、を検出することによって把握できる。

移動検出部１０ｃは、「１」の画素が最も多く重なる両画像の相対位置を特定後、この相対位置における両画像の「１」の画素について所定基準以上（例えば、９割以上）の数の画素が重なっているか判断し、所定基準以上の数の画素が重なっている場合には、照明位置の修正は可能であると判断し、相対位置を特定するデータ（例えば、「１」の画素について所定基準以上（例えば、９割以上）の数の画素が重なっている場合の、第２の画像の回転方向、回転角、及び、回転中心画素と、回転後の第２画像における回転中心画素と第１の画像における前記の回転中心画素に対応する画素とがどの方向にどれだけずれているかを特定するデータ）を生成し、これを移動内容データとして記憶する（一次記憶装置１２に記録する）。これによって、移動検出部１０ｃは、照明位置の移動内容（相対位置）を特定する。１画素は、一つの分割領域なので、移動内容は、回転方向と、回転角と、回転の中心の分割領域と、回転後の移動方向及びいくつの分割領域の分だけ移動したかとを特定したものになる（例えば、左下の角の画素を中心にして右に９０度回転させ、左に一つ分、下に四つ分の移動）。

また、上記で「１」の画素について所定基準以上の数の画素が重なっていない場合、移動検出部１０ｃは、記憶した第１の画像データを用い、第１の画像を、回転中心画素を中心にして上記の回転方向に１８０度回転させ、上記と同様の処理を行う。移動検出部１０ｃは、この処理で、「１」の画素について所定基準以上の数の画素が重なっていない場合、さらに、記憶した第１の画像データを用い、第１の画像を、回転中心画素を中心にして上記の回転方向に２７０度回転させ、上記と同様の処理を行う。

移動検出部１０ｃが行う最後の処理で、「１」の画素について所定基準以上の数の画素が重なっていない場合、移動検出部１０ｃは、照明位置の修正は出来ないとして（ステップＳ１３０５；Ｎｏ）、移動検出部１０ｃは、処理を終了し、照明位置特定部１０ａは、実施形態１で説明した照明位置特定処理により、照明候補位置や照明位置の再特定を行う。

移動検出部１０ｃが上記のように、移動内容を照明候補領域（又は照明候補領域群）の位置関係を用いて特定した場合、移動検出部１０ｃは、移動内容データを用いて、記憶している又は記憶部２０に記録した照明位置データを修正することによって、照明位置を修正し、修正後の照明位置を特定する照明位置データを新たな照明位置として記憶又は記憶部２０に記録する。今後は、この新たな照明位置に基づいて表示モードの制御が行われる。

例えば、移動内容が、移動方向といくつの分割領域分移動したかを特定するものである場合、移動検出部１０ｃは、この内容に沿って、照明位置データが特定する各照明位置を移動させ（例えば、左に一つ分、下に四つ分移動させ）、移動させた照明位置に対応する分割領域の識別情報を照明位置データとする。また、移動内容が、回転方向と、回転角と、回転の中心の分割領域と、回転後の移動方向及びいくつの分割領域分移動したかとを特定したものである場合、移動検出部１０ｃは、この内容に沿って、照明位置データが特定する各照明位置を回転及び移動させ（例えば、左下の角の画素を中心にして右に９０度回転させ、左に一つ分、下に四つ分移動させ）、移動させた照明位置に対応する分割領域の識別情報を照明位置データとする。

例えば、図１４の画像と、図１５の画像（移動後の画像）とでは、照明候補領域群１４０１ａ及び１４０１ｂに対して照明候補領域群１５０１ａ及び１５０１ｂが左に３つの分割領域の分ずれている。このため、表示モード制御装置１は、照明位置も左に３つの分割領域分ずらす。また、例えば、図１４の画像と、図１６の画像（移動後の画像）とでは、照明候補領域群１４０１ａ及び１４０１ｂに対して照明候補領域群１６０１ａ及び１６０１ｂが図１６の画像を左下の分割領域を中心に９０度左方向に回転し、かつ、右に一つ、下に二つの分割領域の分ずれている。このため、表示モード制御装置１は、照明位置について、画像における左下の分割領域を中心に９０度左方向に回転させ、かつ、右に一つ、下に二つの分割領域の分ずらす。

このようにして、移動検出部１０ｃは、照明位置を修正する。以上により、移動検出部１０ｃが行う移動検出処理は終了する。なお、移動検出部１０ｃは、撮影画像データを基に表示部４０の移動を検出する以外に、表示モード制御装置２に備えたセンサー部８０が、表示モード制御装置２（表示部４０を含む）の移動や回転、振動を検出した場合に供給する各種センサーデータを、受け取ったときに、センサーデータが表す移動内容を基にして照明位置を上記と同様の方法で修正してもよい。つまり、移動検出部１０ｃは、各種センサーデータを受け取ったときに表示部４０の移動を検出する。そして、移動検出部１０ｃは、センサーデータに基づいて、公知の方法により、移動内容を特定し、特定した移動内容に応じて照明位置を移動させる。

次に、図１７を用いて、ユーザからの照明位置の指定操作に応じて、照明位置特定部１０ａが照明位置を特定する処理について説明する。例えば、ユーザは、入力部５０を用いて、表示モード制御装置１の電源を投入し、表示部４０に表示される表示制御モードの選択画面から照明位置指定モードを動作させる選択を行う。これにより、入力部５０は、ユーザの操作に応じた操作入力データを制御部１０に対して供給し、制御部１０は、入力部５０からの操作入力データを受け取る。これに従い、照明位置特定部１０ａは、照明位置特定処理を実行する。

照明位置特定部１０ａは、撮影部３０に、表示部４０の表示面の前方を撮影させ、撮影画像を表す撮影画像データを取得する（ステップＳ１７０１）。照明位置特定部１０ａは、取得した撮影画像データにより表される撮影画像を所定の分割領域毎に分割した分割画像（例えば、図５（ｂ）に示すような区切り線で分割領域を区切った画像）を表示部４０に表示する（ステップＳ１７０２）。

この時、照明位置特定部１０ａは、上記の処理を施す際に画像を左右反転させる処理を行うと良い。つまり、撮影部３０は、表示部４０を見る方向と逆方向から撮影を行っているので、撮影部３０が撮影した表示部４０前方の撮影画像を表示部４０の表示面に表示する場合、ユーザは、実際の表示部４０前方の位置関係と、表示部４０の表示面に表示される表示部４０前方の位置関係との比較が困難になる。そこで、照明位置特定部１０ａは、表示部４０前方の撮影画像に対して左右反転させる処理を行うことにより、撮影部３０が撮影した表示部４０前方の撮影画像を表示部４０の表示面に表示する場合、鏡に映したように表示することができる。これにより、撮影部３０が撮影した表示部４０前方の撮影画像（つまり、分割画像）を表示部４０の表示面に表示する場合、ユーザは、実際の表示部４０前方の位置関係と、表示部４０の表示面に表示される表示部４０前方の位置関係との比較が容易になる。

この状態で、入力部５０は、ユーザの操作を受け付ける。つまり、ユーザは、入力部５０を用いて、表示部４０に表示される分割画像から照明を確認し、その照明が写った分割領域を指定することができる。入力部５０は、指定された分割領域を表す識別情報を照明位置特定部１０ａに供給する。照明位置特定部１０ａは、入力部５０から供給される識別情報を受け取り、受け取った識別情報によって特定される分割領域の位置を照明位置として特定する。なお、図１１の表示部４０と入力部５０とをタッチパネルによって構成することにより、ユーザは、タッチパネルにより、照明位置分割領域を指定することができる。

照明位置特定部１０ａは、照明位置分割領域の指定完了の操作があるまで、ユーザの操作を受け付ける（ステップＳ１７０３；Ｎｏ）。そして、ユーザが、入力部５０を用いて、照明位置分割領域の指定完了の操作を行ったことを検知したことに従い（ステップＳ１７０３；Ｙｅｓ）、照明位置特定部１０ａは、取得した照明位置の記憶を行う（ステップＳ１７０４）。

以上、本実施形態に係る表示モード制御装置２によれば、表示部４０の移動を検出する移動検出部１０ｃをさらに備え、照明位置特定部１０ａは、移動検出部１０ｃが移動を検出した場合に、照明位置の特定をし直す。これによって、表示部４０が移動や回転、あるいは振動等した場合に、照明位置特定部１０ａが照明位置を適宜特定し直すことができ、自動表示制御モードを継続することができる。

また、本実施形態に係る表示モード制御装置２によれば、ユーザからの照明位置の指定操作に応じて、照明位置特定部１０ａが照明位置を特定する処理を行う。つまり、表示モード制御装置２は、表示部４０の表示面の前方を撮影した撮影画像を表す撮影画像データを取得し、取得した撮影画像データと予め設定された画像内における照明の位置を特定する照明位置とを用いて、撮影画像における、照明位置に対応する位置の明るさを照明の明るさとして特定し、特定した照明の明るさに基づいて、前記表示モードを制御する表示モード制御手段をそなえ、照明位置は、ユーザからの照明位置の指定操作に応じて予め設定される。これにより、ユーザが表示モード制御の対象としたい照明位置のみを指定することができ、よりユーザの意図に合わせた表示モード制御を行うことができる。

なお、実施形態１及び２の表示モード制御プログラム２２は、持ち運び可能な記憶媒体等に記録されてもよい。持ち運び可能な記憶媒体には、例えば、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）又はＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）等がある。また、表示モード制御プログラム２２は、持ち運び可能な記憶媒体から各種の読取装置を介して表示モード制御装置１又は２にインストールされても良い。さらに、表示モード制御プログラム２２は、インターネット等のネットワークから図示しない通信部を介して表示モード制御装置１又は２にダウンロード及びインストールされても良い。また、表示モード制御プログラム２２は、表示モード制御装置１又は２と通信可能なサーバ等の記憶装置に格納されて、ＣＰＵ１１への指示を行っても良い。表示モード制御プログラム２２を記憶した読み取り可能な記憶媒体（例えば、ＲＡＭ、ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＤＶＤ−Ｒ、ハードディスク、又は、フラッシュメモリ）は、コンピュータが読み取り可能なプログラム製品となる。

１・・・表示モード制御装置、１０・・・制御部、１０ａ・・・照明位置特定部、１０ｂ・・・表示モード制御部、１１・・・ＣＰＵ、１２・・・一次記憶装置、２０・・・記憶部、２１・・・二次記憶装置、２２・・・表示モード制御プログラム、３０・・・撮影部、３１・・・撮影装置、４０・・・表示部、４１・・・駆動回路、４２・・・表示パネル、４３・・・発光回路、４５・・・フレーム、５０・・・入力部（操作部）、５１・・・入力装置、６０・・・読出・書込部、６１・・・読出・書込装置、８０・・・センサー部、８１・・・３軸加速度センサー、８２・・・振動検出センサー、１００・・・メモリーカード

Claims (10)

1. 表示部の表示モードを制御する表示モード制御装置であって、
   前記表示部の表示面の前方を撮影した第１撮影画像を表す第１撮影画像データを複数回取得し、取得した複数の前記第１撮影画像データそれぞれについて前記第１の撮影画像を分割した分割領域毎の前記明るさを特定し、特定した前記明るさを用いて、前記第１撮影画像データそれぞれにわたる、前記明るさが第１の基準を満たす前記分割領域の位置を照明位置として特定する照明位置特定手段と、
   前記表示部の表示面の前方を撮影した第２撮影画像を表す第２撮影画像データを複数回取得し、取得した複数の前記第２撮影画像データを用いて、前記照明の明るさを複数回特定し、特定した複数の前記照明の明るさに基づいて、前記照明の明るさの変化状態を特定し、特定した前記変化状態に基づいて前記表示モードを制御する表示モード制御手段と、
   を備えることを特徴とする表示モード制御装置。
2. 前記照明位置特定手段は、撮影時刻が所定の基準を満たす前記第１撮影画像を表す前記第１撮影画像データを用いることを特徴とする請求項１に記載の表示モード制御装置。
3. 前記照明位置特定手段は、前記第１撮影画像データそれぞれについての、前記明るさが所定回数以上となる前記分割領域を前記照明位置として特定することを特徴とする請求項１または２に記載の表示モード制御装置。
4. 前記照明位置特定手段は、前記第１撮影画像データそれぞれについての、前記明るさの変化が第２の基準を満たす前記分割領域の位置を前記照明位置として特定することを特徴とする請求項１または２に記載の表示モード制御装置。
5. 前記表示モード制御手段は、前記変化状態が暗くなる方に変化した状態であって、かつ、前記変化状態の変化度が第３の基準を満たす場合に、前記表示モードを省電力モードに切り替えることを特徴とする請求項１乃至４のいずれか１項に記載の表示モード制御装置。
6. 前記表示モード制御手段は、前記変化状態が暗くなる方に変化した状態である場合に、複数の前記第２撮影画像データによって表現される前記第２撮影画像における前記照明位置に対応する前記分割領域以外の分割領域の明るさの変化を検出し、前記分割領域の明るさの変化が第４の基準を満たす場合に、前記表示モードを省電力モードに切り替えないことを特徴とする請求項１乃至５のいずれか１項に記載の表示モード制御装置。
7. 前記表示モード制御手段は、前記変化状態が明るくなる方に変化した状態であって、かつ、前記変化状態の変化度が第５の基準を満たす場合に、前記表示モードを省電力モードから他のモードに切り替えることを特徴とする請求項１乃至６のいずれか１項に記載の表示モード制御装置。
8. 前記表示部の移動を検出する移動検出手段をさらに備え、
   前記照明位置特定手段は、前記移動検出手段が移動を検出した場合に、前記照明位置の特定をし直すことを特徴とする請求項１乃至７のいずれか１項に記載の表示モード制御装置。
9. ユーザの操作を受け付ける操作部をさらに備え、
   前記照明位置特定手段は、ユーザの前記操作部の操作に応じて前記照明位置を特定することを特徴とする請求項１乃至８のいずれか１項に記載の表示モード制御装置。
10. 表示部の表示モードを制御するコンピュータに、
    前記表示部の表示面の前方を撮影した第１撮影画像を表す第１撮影画像データを複数回取得し、取得した複数の前記第１撮影画像データそれぞれについて前記第１撮影画像を分割した分割領域毎の前記明るさを特定し、特定した前記明るさを用いて、前記第１撮影画像データそれぞれにわたる、前記明るさが第１の基準を満たす前記分割領域の位置を照明位置として特定する照明位置特定ステップと、
    前記表示部の表示面の前方を撮影した第２撮影画像を表す第２撮影画像データを複数回取得し、取得した複数の前記第２撮影画像データを用いて、前記照明の明るさを複数回特定し、特定した複数の前記照明の明るさに基づいて、前記照明の明るさの変化状態を特定し、特定した前記変化状態に基づいて前記表示モードを制御する表示モード制御ステップと、
    を行わせる表示モード制御プログラム。

Images