JP2007102099A - 電子機器、画像処理方法及びプログラム - Google Patents

Abstract

【課題】僅かな利用者や装置のブレには反応せずに、利用者との相対的位置関係を基に表示する内容を変化させる電子機器、画像処理方法及びプログラムを提供する。
【解決手段】カメラ１１が撮影した利用者の画像を基に、画像処理部１２は表示部１５と利用者との相対位置関係を検出し、表示制御部１４は相対位置の変化が所定のしきい値以上であるか否かを判定し、所定のしきい値以上であった場合に、表示制御部１４は画像処理部１２が検出した相対位置に基づいて、記憶部１３に記憶された元画像から一部を切り取って表示画像を作成し、表示部１５は表示画像を表示する。
【選択図】図１

Description

本発明は、僅かな利用者や装置のブレには反応せずに、利用者との相対的位置関係を基に、表示する内容を変化させる電子機器、画像処理方法及びプログラムに関する。

電子機器の多くは表示手段（ディスプレイ等）を有するが、通常表示手段は表示できる画像の大きさが決まっており、表示できる大きさ以上の画像を電子表示手段に表示しようとした場合、大きい画像の一部を表示し、画面をスクロールさせることにより全体の画像を表示させたり、或いは、大きい画像を縮小し、表示手段の大きさに合わせてから表示している。
しかし、大きい画像の一部を表示する場合には、表示画面外の部分は見ることができず、また、表示位置を動かして画像の全体を見るためにボタン、スイッチ、マウス等の入力デバイスを必要とするため、手間がかかり、また画像の全体をつかみにくいという不利益があった。

上述した不利益を解消する先行関連技術として、特許文献１に記載された技術がある。
これは、表示部に対する電子機器本体の位置が移動したときに、その移動量に応じて表示部が表示する表示範囲や表示サイズを変更する技術である。

また、関連技術としては、他に特許文献２、３、４及び５がある。
特許文献２では、実空間における視点の移動と連動して、仮想空間における視界（模擬視界）が変化する模擬視界装置について説明されている。
特許文献３では、建物の窓からの眺望を、利用者の窓に対する向きによって変化させる建物眺望疑似体験装置について説明されている。
特許文献４では、利用者が前後左右への歩行及び走行、ジャンプやしゃがむ等の動作を行うことができ、更に大規模な設備なしに利用者の見る仮想空間画像に上述の動きをフィードバックできるシミュレーションシステムについて説明されている。
特許文献５では、利用者の姿勢の変化や移動方向・移動距離を基に、利用者から見える仮想空間の映像を演算して出力し、更に利用者と音源の相対移動速度を求め利用者が聞く音を変化させて出力する仮想空間生成装置について説明されている。
特開２００５−０２５１７０号公報 特開平９−１３８６３７号公報 特開２０００−０７５７７９号公報 特開平１０−２０７３４０号公報 特開２００３−２４１６３９号公報

しかし、特許文献１〜５に記載されている技術では、視点或いは利用者の移動に伴って画像が変化するため、僅かな利用者の動きや装置のブレ等が原因で画像に予期しない変化が起こってしまうという不利益がある。
また、表示する画像に拡大・縮小などの処理を施して表示するため、表示画像にテキストが含まれていた場合に、文字が歪んで表示されてしまい判読できなくなる、という不利益がある。

本発明は、上述した不利益を解消するために、利用者や装置の僅かなブレには反応せずに、利用者と装置との相対的位置関係を基に表示する内容を変化させる電子機器、画像処理方法及びプログラムを提供することを目的とする。

上述した不利益を解消するために、第１の観点の発明の電子機器は、第１の画像を記憶する記憶手段と、第２の画像を表示する表示手段と、前記表示手段と所定の視点との相対位置を検出する相対位置検出手段と、検出された前記相対位置に基づいて、前記第１の画像の一部を抽出して前記第２の画像を作成する表示制御手段と、を有し、前記表示制御手段は、前記相対位置が所定のしきい値以上変化した場合に、当該相対位置の変化に応じて前記表示手段に表示させる第２の画像を新たに作成する。

好適には、前記相対位置が所定のしきい値だけ変化しない場合には、新たな前記第２の画像を作成せず、前記第２の画像を変化させない。

好適には、前記表示制御手段は、前記所定の視点と前記表示手段と前記第１の画像とが当該順で並んだ仮想的な空間を形成し、検出された前記相対位置に基づいて、前記所定の視点と前期表示手段の特定の点と前記第１の画像上の交点との３点全てを含む直線が存在する場合に、前記交点を含む所定の大きさの画像を、前記第１の画像から抽出し、前記表示手段の大きさに合わせて補間処理を行い、前記第２の画像を作成する。

更に好適には、前記特定の点は、前記表示手段の中心点を含む。

更に好適には、前記交点は、前記所定の大きさの画像の中心点を含む。

更に好適には、前記表示制御手段は、前記所定の視点と前記表示手段との距離と、前記表示手段と前記第１の画像との距離との比を基に、前記第１の画像から切り取る画像の大きさを決定する。

好適には、前記表示制御手段は、前記所定の視点と前記表示手段と前記第１の画像とがこの順で並んだ仮想的な空間を形成し、検出する前記相対位置に基づいて、前記所定の視点と前記表示手段の四隅とを結ぶ少なくとも３つの直線と前記第１の画像との、少なくとも３つの交点を頂点とする画像を、前記第１の画像から切り取り、前記表示手段の大きさに合わせて補間処理を行い、前記第２の画像を作成する。

好適には、前記表示制御手段は、前記所定の視点と前記表示手段と前記第１の画像とが当該順で並んだ仮想的な空間を形成し、検出された前記相対位置に基づいて、前記所定の視点と前記表示手段全ての画素を結ぶ全ての直線の、前記第１の画像との交点を求め、それぞれの前記交点の位置にある前記第１の画像の画素を、対応する前記表示手段の画素の配列に従って配列することによって、前記第２の画像を作成する。

更に好適には、前記表示制御手段は、前記所定の視点と前記表示手段全ての画素を結ぶ全ての直線の、前記第１の画像との交点が整数値でない場合に補間処理を行う。

好適には、前記記憶部は、文字の位置と種類とを特定する文字情報を更に有し、前記表示制御手段は、前記文字情報を基に、前記第２の画像に前記文字情報から特定された文字画像を重ねて第２の画像を新たに作成する。

第２の観点の発明の画像処理方法は、表示手段と所定の視点との相対位置を検出する第１の工程と、前記相対位置の変化が所定のしきい値以上であるか否かを判定する第２の工程と、前記相対位置の変化が所定のしきい値以上であった場合に、検出された前記相対位置に基づいて第２の画像を作成する第３の工程と、を有する。

第３の観点の発明のプログラムは、電子機器が実行するプログラムであって、表示手段と所定の視点との相対位置を検出する第１の手順と、検出された前記相対位置の変化が所定のしきい値以上であるか否かを判定する第２の手順と、前記相対位置の変化が所定のしきい値以上であった場合に、検出された前記相対位置に基づいて第２の画像を作成する第３の手順と、を前記電子機器に実行させる。

本発明によれば、僅かな利用者や装置のブレには反応せずに、利用者との相対的位置関係を基に表示する内容を変化させる電子機器、画像処理方法及びプログラムを提供することができる。

＜第１実施形態＞
以下、第１実施形態の画像表示装置について説明する。
図１は、本実施形態の画像表示装置１のブロック図である。
図１に示すように、画像表示装置１は、例えば、カメラ１１、画像処理部１２、記憶部１３、表示制御部１４及び表示部１５を有する。

カメラ１１は、利用者の画像、例えば、顔写真等を撮影する。
画像処理部１２は、カメラ１１が撮影した利用者の画像を処理し、画像表示装置１に対する利用者の相対位置情報、例えば、画像表示装置１と利用者との角度や距離等を求める。相対位置情報の求め方については後に詳述する。
記憶部１３は、表示用の画像の元となる元画像を記憶する。
表示制御部１４は、画像処理部１２が算出した相対位置情報を基に、記憶部１３に記憶された元画像を表示部１５に表示する際の表示範囲を決定し、表示画像として元画像から切り取った画像を拡大・縮小等加工する。表示画像の作成方法については、後に詳述する。
表示部１５は、表示制御部１４が作成した表示画像を表示する。

以下、画像処理部１２の相対位置情報の算出方法について説明する。
なお、以下説明する画像処理部１２の相対位置情報の算出方法はあくまで一例であり、他の方法であってもよい。
画像処理部１２は、図２に示す利用者の画像を処理し、利用者の「顔」に該当する部分を抽出し、画像内での顔の位置を特定する。

「顔」の部分の抽出方法は以下のようである。
図２は、カメラ１１が撮影した利用者の画像の一例である。
画像処理部１２は、図２に示す利用者の画像から、図３に示すような、肌の色の部分を抽出した画像を作成する。
図３は、利用者の肌の色の部分を抽出した画像を示す図である。
画像処理部１２は、一定の範囲を設けて肌の色の部分の抽出を行う。すなわち、おおよそ肌の色であればその部分を肌の色であるとして扱う。
また、画像処理部１２は、空間フィルタ演算やノイズ除去等を行い、肌の色の誤認識を防止する。

更に、画像処理部１２は、得られた肌の色の部分の画像を使って、予め登録された一般的な顔の形状とのパターンマッチングを行う。
この処理により、手や腕など、顔以外の肌の色の部分が利用者の画像に写っていても、顔だけを抽出することが可能である。
次に、画像処理部１２は、カメラ１１が撮影した利用者の画像内の顔の位置と大きさを特定する。カメラ１１と表示部１５との位置関係は予め決まっているので、カメラ１１の撮影した画像内の顔の位置から、利用者と表示部１５との相対的な角度を求めることができる。また、予めカメラ１１が撮影した画像内の顔の大きさと、利用者とカメラの距離の相関データを用意しておくことで、おおよその利用者とカメラ１１（画像表示装置１）との距離を求めることができ、従って利用者と表示部１５との距離も求めることができる。

画像処理部１２は、上述した処理をリアルタイムに行う。これにより、画像処理部１２は、常に利用者と表示部１５との相対的位置関係を求めることができ、また、一定時間ごとの上記位置関係の変化量を求めることができる。

次に、表示制御部１４の表示画像作成方法について説明する。
図４に示すように、本実施形態の表示制御部１４は、記憶部１３に記憶された元画像の一部を切り取り、切り取った一部を拡大または縮小して表示画像を作成する。

図４は、利用者と、表示部１５と、記憶部１３に記憶された表示画像とを基に作成した、それぞれの仮想的な位置関係を示す仮想空間の図である。
点Ｈは利用者の仮想空間における位置を示す点、点Ａは表示部１５の中心の仮想空間における位置を示す点、点Ｂは上述した点ＨとＡとを結ぶ直線ＡＨが仮想空間において元画像と交わる点の位置を示す点である。

図５は、図４を上から見た図であり、図６は、図４を正面から見た図である。
図５における距離Ｌ１は、表示部１５と元画像との仮想空間における距離を示している。図５における角度Φ１は、直線ＡＨと表示部１５とが仮想空間において平面方向に対してなす角を、図６におけるΦ２は、直線ＡＨと表示部１５とが仮想空間において垂直方向に対してなす角を示している。すなわち、Φ１及びΦ２は、カメラ１１及び画像処理部１２が求めた、利用者と表示部１５との相対的角度に相当する。
ここで、例えば点Ｈの位置を仮想空間内での基準点として、点Ａと点Ｂの位置を画像処理部１２が求めた利用者と表示部１５との距離、Ｌ１、Φ１及びΦ２を基に求めることができる。なお、仮想空間内で基準とする点は点Ｈでなくてもよい。

表示画像を作成するために、まず、図５に示す表示部１５と元画像との仮想空間上の距離Ｌ１を設定する。
この距離は、元画像ごとに設定してもよいし、画像表示装置１ごとに固定の値としてもよいし、利用者が設定してもよい。また、表示制御部１４が表示画像を作成するタイミングでこの距離Ｌ１を設定するのではなく、予め設定しておいてもよい。

次に、表示制御部１４は、点Ｈと点Ａとを結ぶ直線ＡＨが仮想空間において元画像と交わるＢを中心に、元画像から画像を切り取る。
切り取る画像の大きさは、線分ＡＨの長さと線分ＡＢとの比を基に決定する。
表示制御部１４は、例えば、
（表示画面の大きさ）＊（線分ＡＢの長さ）／（線分ＡＨの長さ）
のような計算を行い、切り取る画像の大きさを決定する。
なお、線分ＡＨの長さは、画像処理部１２が上述した方法で求めた、利用者と表示部１５との距離に等しい。
線分ＡＢの長さは、上述したＬ１、Φ１及びΦ２を基に幾何学的に求めることができる。

なお、切り取る画像の大きさは、上述の方法だけではなく、画像表示装置１ごとに固定の大きさとしてもよいし、利用者が設定してもよい。その場合、表示制御部１４が表示画像を作成するタイミングで画像の大きさを設定するのではなく、予め設定しておいてもよい。

更に、表示制御部１４は、切り取った画像を表示部１５の大きさに合わせるために、拡大・縮小等の補間計算の画像処理を行い、表示画像を作成する。補間計算の一例としては、空間のＦＩＲフィルタ等がある。

次に、画像表示装置１の動作例を示す。
図７は、画像表示装置１の動作例を示すフローチャートである。

ステップＳＴ１：
カメラ１１は、利用者を撮影する。
ステップＳＴ２：
画像処理部１２は、ステップＳＴ１においてカメラが撮影した利用者の画像を基に、上述した方法で利用者と表示部１５との位置関係を求める。
ステップＳＴ３：
表示制御部１４は、ステップＳＴ２において画像処理部１２が求めた利用者と表示部１５との位置関係の一定時間内の変化量が、予め設定されたしきい値以上か否かを判断し、しきい値以上である場合にはステップＳＴ４に進み、そうでない場合はステップＳＴ１に戻る。

ステップＳＴ４：
表示制御部１４は、上記説明したように、仮想空間内での利用者を示す点Ｈの位置及び表示部１５の中心を示す点Ａの位置を求める。
ステップＳＴ５：
表示制御部１４は、ステップＳＴ４において求めた点Ａと点Ｈを基に、点Ａと点Ｈを直線で結び、直線ＡＨと仮想空間内の元画像との交点の位置を示す点Ｂを求める。
ステップＳＴ６：
表示制御部１４は、ステップＳＴ５において求めた点Ｂを中心とする所定の大きさの画像を元画像から切り出す。

ステップＳＴ７：
表示制御部１４は、ステップＳＴ６において切り出した所定の大きさの画像を、表示部１５の大きさに合わせて拡大或いは縮小等の処理を行い、表示画像を作成する。
ステップＳＴ８：
表示部１５は、ステップＳＴ７において表示制御部１４が作成した表示画像を表示し、ステップＳＴ１に戻る。

なお、本実施形態では、線分ＡＨの長さを画像処理部１２が求めた利用者と表示部１５との距離としたが、例えば、画像表示装置１が携帯機器であるような場合、利用者と表示部１５との距離は画像表示装置１の使用中、大きく変わらないことを考慮し、線分ＡＨを所定の長さに固定してもよい。この場合、線分ＡＨの長さは、画像表示装置１ごとに決まった値でもよいし、利用者が任意に決定できるようにしてもよい。
また、本実施形態では、図４において、仮想空間内において表示部１５と元画像とは平行であるように描かれているが、表示部１５と元画像とは仮想空間内で特に平行である必要は無い。
また、本実施形態では、点Ａを表示部１５の中心点であるとしたが、本発明では、表示部１５内の特定の点であれば、中心点でなくてもよい。この場合、特定の点は、利用者が決定した点でもよいし、画像表示装置１ごとに決まった点でもよい。更に、点Ｂを中心とする画像を切り出し補間して表示画像を作成したが、本発明では、点Ｂを含む画像であればよく、点Ｂが切り出す画像の中心でなくてもよい。

以上説明したように、本実施形態の画像表示装置１によれば、利用者と表示画像との相対位置が変化するたびに表示部１５の表示内容を変化させることができる。
また、本実施形態の画像表示装置１によれば、上記図７のステップＳＴ３において判断しているように、利用者と表示画像との相対位置の変化量が所定のしきい値以上でない場合は、すなわち、予期しない利用者の動きや画像表示装置１の僅かなブレ等による利用者と画像表示装置１との相対位置の変化の場合には、表示部１５の表示内容を変化させない。これにより、予期しない表示内容の変化を防止することができる。

これにより、利用者が、例えば、手に持った画像表示装置１を上下左右に傾けたり、顔に近づけたり遠ざけたりすることで、表示される大きい元画像の一部を動かして元画像の全体像を掴むことが容易になる。

＜第２実施形態＞
以下、第２実施形態の画像表示装置について説明する。
第２実施形態の画像表示装置１ａは、表示制御部１４ａ以外は第１実施形態の画像表示装置１と同様の構成を有する。
本実施形態の表示制御部１４ａは、図８に示すように、記憶部１３に記憶された元画像の一部を切り取り、切り取った一部を拡大または縮小して表示画像を作成する。

図８は、利用者と、表示部１５と、記憶部１３に記憶された表示画像とを基に作成した、それぞれの仮想的な位置関係を示す仮想空間の図である。
点Ｈは利用者の仮想空間における位置を示す点、点Ｃは表示部１５の中心の仮想空間における位置を示す点である。

図９は、図８を上から見た図であり、図１０は、図８を正面から見た図である。
図９における距離Ｌ２は、表示部１５と元画像との仮想空間における距離を示している。図９における角度Φ３は、直線ＣＨと表示部１５とが仮想空間において平面方向に対してなす角を、図１０におけるΦ４は、直線ＣＨと表示部１５とが仮想空間において垂直方向に対してなす角を示している。すなわち、Φ３及びΦ４は、カメラ１１及び画像処理部１２が求めた、利用者と表示部１５との相対的角度に相当する。
ここで、例えば点Ｈの位置を仮想空間内での基準点として、点Ｃの位置を画像処理部１２が求めた利用者と表示部１５との距離、Φ３及びΦ４を基に求めることができる。なお、仮想空間内で基準とする点は点Ｈでなくてもよい。

表示画像を作成するために、まず、図８に示す表示部１５と元画像との仮想空間上の距離Ｌ２を設定する。
この距離は、元画像ごとに設定してもよいし、画像表示装置１ａごとに固定の値としてもよいし、利用者が設定してもよい。また、表示制御部１４ａが表示画像を作成するタイミングでこの距離Ｌ２を設定するのではなく、予め設定しておいてもよい。

次に、表示部１５の仮想空間内での四隅を示す点Ｐ１、Ｐ２、Ｐ３及びＰ４の位置を、点Ｃの位置を基に求める。
更に、図８に示すように、仮想空間内で、点Ｈと表示部１５の四隅Ｐ１、Ｐ２、Ｐ３及びＰ４を結んだ直線と仮想空間内の元画像との交点Ｑ１、Ｑ２、Ｑ３及びＱ４の位置を求める。こうして求めた点Ｑ１〜Ｑ４に囲まれた範囲を切り取り、表示部１５の大きさに合わせて拡大・縮小等の補間計算の画像処理を行い、表示画像を作成する。補間計算の一例としては、空間のＦＩＲフィルタ等がある。

次に、画像表示装置１ａの動作例を示す。
図１１は、画像表示装置１ａの動作例を示すフローチャートである。

ステップＳＴ１１：
カメラ１１は、利用者を撮影する。
ステップＳＴ１２：
画像処理部１２は、ステップＳＴ１１においてカメラが撮影した利用者の画像を基に、上述した方法で利用者と表示部１５との位置関係を求める。
ステップＳＴ１３：
表示制御部１４ａは、ステップＳＴ１２において画像処理部１２が求めた利用者と表示部１５との位置関係の一定時間内の変化量が、予め設定されたしきい値以上か否かを判断し、しきい値以上である場合にはステップＳＴ１４に進み、そうでない場合はステップＳＴ１１に戻る。

ステップＳＴ１４：
表示制御部１４ａは、上記説明したように、仮想空間内での利用者を示す点Ｈの位置及び表示部１５の中心を示す点Ｃの位置を求める。
ステップＳＴ１５：
表示制御部１４ａは、ステップＳＴ１４において求めた点Ｃを基に、仮想空間内の表示部１５の四隅を示す点Ｐ１、Ｐ３、Ｐ３及びＰ４を求める。
ステップＳＴ１６：
表示制御部１４は、ステップＳＴ１５において求めた点Ｐ１〜Ｐ４と点Ｈとを基に、点Ｐ１〜Ｐ４と点Ｈを直線で結び、直線Ｐ１と仮想空間内の元画像との交点の位置を示す点Ｑ１、直線Ｐ２と仮想空間内の元画像との交点の位置を示す点Ｑ２、直線Ｐ３と仮想空間内の元画像との交点の位置を示す点Ｑ３、直線Ｐ４と仮想空間内の元画像との交点の位置を示す点Ｑ４を求める。
ステップＳＴ１７：
表示制御部１４ａは、ステップＳＴ１６において求めた点Ｑ１〜Ｑ４を四隅とする画像を元画像から切り出す。

ステップＳＴ１８：
表示制御部１４ａは、ステップＳＴ１７において切り出した画像を、表示部１５の大きさに合わせて拡大或いは縮小等の処理を行い、表示画像を作成する。
ステップＳＴ１９：
表示部１５は、ステップＳＴ１８において表示制御部１４ａが作成した表示画像を表示し、ステップＳＴ１１に戻る。

なお、線分ＣＨの長さは、画像処理部１２が上述した方法で求めた、利用者と表示部１５との距離に等しいが、例えば、画像表示装置１が携帯機器であるような場合、利用者と表示部１５との距離は画像表示装置１ａの使用中、大きく変わらないことを考慮し、線分ＣＨを所定の長さに固定してもよい。この場合、線分ＣＨの長さは、画像表示装置１ａごとに決まった値でもよいし、利用者が任意に決定できるようにしてもよい。
また、本実施形態では、図１１において、仮想空間内において表示部１５と元画像とは平行であるように描かれているが、表示部１５と元画像とは仮想空間内で特に平行である必要は無い。

以上説明したように、本実施形態の画像表示装置１ａによれば、利用者と表示画像との相対位置が変化するたびに表示部１５の表示内容を変化させることができる。
また、本実施形態の画像表示装置１ａによれば、上記図１１のステップＳＴ１３において判断しているように、利用者と表示画像との相対位置の変化量が所定のしきい値以上でない場合は、すなわち、予期しない利用者の動きや画像表示装置１ａの僅かなブレ等による利用者と画像表示装置１ａとの相対位置の変化の場合には、表示部１５の表示内容を変化させない。これにより、予期しない表示内容の変化を防止することができる。

＜第３実施形態＞
以下、第３実施形態の画像表示装置について説明する。
第３実施形態の画像表示装置１ｂは、表示制御部１４ｂ以外は第１実施形態の画像表示装置１と同様の構成を有する。
本実施形態の表示制御部１４ｂは、図１２に示すように、記憶部１３に記憶された元画像の一部を切り取り、切り取った一部を拡大または縮小して表示画像を作成する。

図１２は、利用者と、表示部１５と、記憶部１３に記憶された表示画像とを基に作成した、それぞれの仮想的な位置関係を示す仮想空間の図である。
点Ｈは利用者の仮想空間における位置を示す点、点Ｄは表示部１５の中心の仮想空間における位置を示す点である。

図１３は、図１２を上から見た図であり、図１４は、図１２を正面から見た図である。
図１３における距離Ｌ３は、表示部１５と元画像との仮想空間における距離を示している。図１３における角度Φ５は、直線ＤＨと表示部１５とが仮想空間において平面方向に対してなす角を、図１４におけるΦ６は、直線ＤＨと表示部１５とが仮想空間において垂直方向に対してなす角を示している。すなわち、Φ５及びΦ６は、カメラ１１及び画像処理部１２が求めた、利用者と表示部１５との相対的角度に相当する。
ここで、例えば点Ｈの位置を仮想空間内での基準点として、点Ｄの位置を画像処理部１２が求めた利用者と表示部１５との距離、Φ５及びΦ６を基に求めることができる。なお、仮想空間内で基準とする点は点Ｈでなくてもよい。

表示画像を作成するために、まず、図１２に示す表示部１５と元画像との仮想空間上の距離Ｌ３を設定する。
この距離は、元画像ごとに設定してもよいし、画像表示装置１ｂごとに固定の値としてもよいし、利用者が設定してもよい。また、表示制御部１４ｂが表示画像を作成するタイミングでこの距離Ｌ３を設定するのではなく、予め設定しておいてもよい。

次に、表示部１５の各画素を示す点Ｓｘｙと点Ｈとを結んだ線と、仮想空間内の元画像との交点Ｔｘｙを求める。なお、点Ｓｘｙは、表示部１５の横方向にｘ番目、縦方向にｙ番目の画素であることを意味している。
こうして求めた点Ｔｘｙにある画素を元画像から抽出し、ｘ、ｙの順番通りに並べていくことで、表示制御部１４ｂは表示画像を作成する。

次に、画像表示装置１ｂの動作例を示す。
図１５は、画像表示装置１ｂの動作例を示すフローチャートである。

ステップＳＴ２１：
カメラ１１は、利用者を撮影する。
ステップＳＴ２２：
画像処理部１２は、ステップＳＴ２１においてカメラが撮影した利用者の画像を基に、上述した方法で利用者と表示部１５との位置関係を求める。
ステップＳＴ２３：
表示制御部１４ｂは、ステップＳＴ２２において画像処理部１２が求めた利用者と表示部１５との位置関係の一定時間内の変化量が、予め設定されたしきい値以上か否かを判断し、しきい値以上である場合にはステップＳＴ２４に進み、そうでない場合はステップＳＴ２１に戻る。

ステップＳＴ２４：
表示制御部１４ｂは、上記説明したように、仮想空間内での利用者を示す点Ｈの位置及び表示部１５の中心を示す点Ｄの位置を求める。
ステップＳＴ２５：
表示制御部１４ｂは、ステップＳＴ２４において求めた点Ｄの位置を基に、表示部１５の全ての画素を示す点Ｓｘｙの位置を求める。
ステップＳＴ２６：
表示制御部１４ｂは、上記説明したように、ステップＳＴ２５において求めた点Ｓｘｙの位置を基に、点Ｓｘｙと点Ｈとを結ぶ直線と仮想空間内の元画像との交点Ｔｘｙの位置を求める。この処理を全ての点Ｓｘｙに対して行う。
ステップＳＴ２７：
表示制御部１４ｂは、ステップＳＴ２５において求めた点Ｔｘｙの位置にある元画像の画素を抽出し、順番どおりに並べて表示画像を作成する。点Ｔｘｙの位置にちょうど対応する点がない場合（計算で求めた点Ｔｘｙの座標が整数値でない場合）には、隣接したデータを用いた補間処理によって補う。
ステップＳＴ２８：
表示制御部１４ｂは、ステップＳＴ２６において作成した表示画像を表示部１５に表示し、ステップＳＴ２１に戻る。

なお、線分ＤＨの長さは、画像処理部１２が上述した方法で求めた、利用者と表示部１５との距離に等しいが、例えば、画像表示装置１が携帯機器であるような場合、利用者と表示部１５との距離は画像表示装置１ｂの使用中、大きく変わらないことを考慮し、線分ＤＨを所定の長さに固定してもよい。この場合、線分ＤＨの長さは、画像表示装置１ｂごとに決まった値でもよいし、利用者が任意に決定できるようにしてもよい。
また、本実施形態では、図１５において、仮想空間内において表示部１５と元画像とは平行であるように描かれているが、表示部１５と元画像とは仮想空間内で特に平行である必要は無い。

以上説明したように、本実施形態の画像表示装置１ｂによれば、利用者と表示画像との相対位置が変化するたびに表示部１５の表示内容を変化させることができる。
また、本実施形態の画像表示装置１ｂによれば、上記図１５のステップＳＴ２３において判断しているように、利用者と表示画像との相対位置の変化量が所定のしきい値以上でない場合は、すなわち、予期しない利用者の動きや画像表示装置１ｂの僅かなブレ等による利用者と画像表示装置１ｂとの相対位置の変化の場合には、表示部１５の表示内容を変化させない。これにより、予期しない表示内容の変化を防止することができる。

＜第４実施形態＞
本実施形態の画像表示装置は、表示する画像に文字が含まれているとき、上述した第１〜第３実施形態では、例えば、表示部１５と仮想空間内の元画像が平行でないような場合に、文字が歪んで表示されてしまうことを改善する。
すなわち、本実施形態では、どのような場合でも、文字を文字として認識できるように表示部１５に表示する画像表示装置１ｃについて説明する。

本実施形態の画像表示装置１ｃは、図１に示すように、記憶部１３ｃ、表示制御部１４ｃを除いて第１実施形態の画像表示装置１と同様の構成を有する。図１の括弧内の構成が第４実施形態の画像表示装置１ｃの構成である。
記憶部１３ｃは、表示用の画像の元となる元画像と共に、文字情報を記憶する。
ここで文字情報とは、文字の種類と文字の中心位置からなる情報である。
文字の種類情報は、表示すべき文字を特定するための情報である。
文字の中心位置情報は、元画像中のその文字がある位置を示す情報である。

表示制御部１４ｃは、元画像については上述した第１から第３実施形態のいずれかの方法で表示画像を作成する。
文字については、中心位置と最も近い元画像中の点が表示画像中に含まれていた場合、まず、表示制御部１４ｃは、その点に文字の中心位置を合わせる。次に、その点が元画像から表示画像に拡大或いは縮小されたときと同じ縮尺で、文字の種類情報を基にした文字画像を拡大或いは縮小し、表示画像に重ねて文字情報を含んだ表示画像を作成する。

以上説明したように、本実施形態の画像表示装置１ｃによれば、例えば、利用者が元画像を斜めから覗き込んだときのように、画像が均一の縮尺で拡大或いは縮小されずに歪んで表示されるような場合でも、文字が歪んで表示され、文字として読み取ることができなくなるような状況を防止することができる。

図１は、本実施形態の画像表示装置１のブロック図である。 図２は、カメラ１１が撮影した利用者の画像の一例である。 図３は、利用者の肌の色の部分を抽出した画像を示す図である。 図４は、利用者と、表示部１５と、記憶部１３に記憶された表示画像とを基に作成した、それぞれの仮想的な位置関係を示す仮想空間の図である。 図５は、図４を上から見た図である。 図６は、図４を正面から見た図である。 図７は、画像表示装置１の動作例を示すフローチャートである。 図８は、利用者と、表示部１５と、記憶部１３に記憶された表示画像とを基に作成した、それぞれの仮想的な位置関係を示す仮想空間の図である。 図９は、図８を上から見た図である。 図１０は、図８を正面から見た図である。 図１１は、画像表示装置１ａの動作例を示すフローチャートである。 図１２は、利用者と、表示部１５と、記憶部１３に記憶された表示画像とを基に作成した、それぞれの仮想的な位置関係を示す仮想空間の図である。 図１３は、図１２を上から見た図である。 図１４は、図１２を正面から見た図である。 図１５は、画像表示装置１ｂの動作例を示すフローチャートである。

符号の説明

１，１ａ，１ｂ…画像表示装置、１１…カメラ、１２…画像処理部、１３…記憶部、１４，１４ａ，１４ｂ…表示制御部、１５…表示部

Claims (12)

1. 第１の画像を記憶する記憶手段と、
   第２の画像を表示する表示手段と、
   前記表示手段と所定の視点との相対位置を検出する相対位置検出手段と、
   検出された前記相対位置に基づいて、前記第１の画像の一部を抽出して前記第２の画像を作成する表示制御手段と、
   を有し、
   前記表示制御手段は、前記相対位置が所定のしきい値以上変化した場合に、当該相対位置の変化に応じて前記表示手段に表示させる第２の画像を新たに作成する
   電子機器。
2. 前記相対位置が所定のしきい値だけ変化しない場合には、新たな前記第２の画像を作成せず、前記第２の画像を変化させない
   請求項１に記載の電子機器。
3. 前記表示制御手段は、前記所定の視点と前記表示手段と前記第１の画像とが当該順で並んだ仮想的な空間を形成し、検出された前記相対位置に基づいて、前記所定の視点と前記表示手段の特定の点と前記第１の画像上の交点との３点全てを含む直線が存在する場合に、前記交点を含む所定の大きさの画像を、前記第１の画像から抽出し、前記表示手段の大きさに合わせて補間処理を行い、前記第２の画像を作成する
   請求項１に記載の電子機器。
4. 前記特定の点は、前記表示手段の中心点を含む
   請求項３に記載の電子機器。
5. 前記交点は、前記所定の大きさの画像の中心点を含む
   請求項３に記載の電子機器。
6. 前記表示制御手段は、前記所定の視点と前記表示手段との距離と、前記表示手段と前記第１の画像との距離との比を基に、前記第１の画像から切り取る画像の大きさを決定する
   請求項３に記載の電子機器。
7. 前記表示制御手段は、前記所定の視点と前記表示手段と前記第１の画像とがこの順で並んだ仮想的な空間を形成し、検出された前記相対位置に基づいて、前記所定の視点と前記表示手段の四隅とを結ぶ少なくとも３つの直線と前記第１の画像との、少なくとも３つの交点を頂点とする画像を、前記第１の画像から切り取り、前記表示手段の大きさに合わせて補間処理を行い、前記表示画像を作成する
   請求項１に記載の電子機器。
8. 前記表示制御手段は、前記所定の視点と前記表示手段と前記第１の画像とが当該順で並んだ仮想的な空間を形成し、検出された前記相対位置に基づいて、前記所定の視点と前記表示手段全ての画素を結ぶ全ての直線の、前記第１の画像との交点を求め、それぞれの前記交点の位置にある前記第１の画像の画素を、対応する前記表示手段の画素の配列に従って配列することによって、前記表示画像を作成する
   請求項１に記載の電子機器。
9. 前記表示制御手段は、前記所定の視点と前記表示手段全ての画素を結ぶ全ての直線の、前記第１の画像との交点が整数値でない場合に補間処理を行う
   請求項８に記載の電子機器。
10. 前記記憶部は、文字の位置と種類とを特定する文字情報を更に有し、
    前記表示制御手段は、前記文字情報を基に、前記表示画像に前記文字情報から特定された文字画像を重ねて表示画像を新たに作成する
    請求項１に記載の電子機器。
11. 表示手段と所定の視点との相対位置を検出する第１の工程と、
    検出された前記相対位置の変化が所定のしきい値以上であるか否かを判定する第２の工程と、
    前記相対位置の変化が所定のしきい値以上であった場合に、検出された前記相対位置に基づいて表示画像を作成する第３の工程と、
    を有する画像処理方法。
12. 電子機器が実行するプログラムであって、
    表示手段と所定の視点との相対位置を検出する第１の手順と、
    検出された前記相対位置の変化が所定のしきい値以上であるか否かを判定する第２の手順と、
    前記相対位置の変化が所定のしきい値以上であった場合に、検出された前記相対位置に基づいて表示画像を作成する第３の手順と、
    を前記電子機器に実行させるプログラム。

Images