JPWO2012131862A1 - 画像処理装置、立体画像表示装置、方法およびプログラム - Google Patents

Abstract

実施形態の画像処理装置によれば、表示部は、立体画像を表示可能である。観測部は、一又は複数の視聴者を観測した観測画像を得る。生成部は、視聴者が立体画像を観察可能な視域を示す視域情報を用いて、視域を観測画像に重畳した提示画像を生成する。

Description

本発明の実施形態は、画像処理装置、方法およびプログラムに関する。

立体画像表示装置では、視聴者は特殊なメガネを使用せずに裸眼で立体画像を観察することができる。このような立体画像表示装置は、視点の異なる複数の画像を表示し、これらの光線を、例えばパララックスバリア、レンチキュラレンズなどの分光素子によって分離する。分離された光線は、視聴者の両眼に導かれるが、視聴者の観察位置が適切であれば、視聴者は立体画像を認識できる。このように視聴者が立体画像を認識可能な観察位置の領域を視域という。

しかしながら、このような視域は限定的であるという問題がある。すなわち、例えば、左目に知覚される画像の視点が右目に知覚される画像の視点に比べて相対的に右側となり、立体画像を正しく認識できなくなる観察位置である逆視領域が存在する。このため、裸眼方式の立体画像表示装置において、視聴者は、良好な立体画像を観察することが困難であるという課題がある。

特許第３４４３２７１号公報

本発明が解決しようとする課題は、視聴者が、良好な立体画像を、より簡単に観察することができる画像処理装置、方法およびプログラムを提供することである。

実施形態の画像処理装置は、表示部と、観測部と、生成部とを備える。表示部は、立体画像を表示可能である。観測部は、一又は複数の視聴者を観測した観測画像を得る。生成部は、前記視聴者が前記立体画像を観察可能な視域を示す視域情報を用いて、前記視域を前記観測画像に重畳した提示画像を生成する。

実施の形態１の画像処理装置の図。 実施の形態１の観測画像の一例の図。 実施の形態１の視域情報の一例の図。 実施の形態１の提示画像の一例の図。 実施の形態１の複数の視聴者が存在する場合の視域情報の一例の図。 実施の形態１の提示画像の例の図。 実施の形態１の提示画像の遷移例の図。 実施の形態１の提示画像の例の図。 実施の形態１の提示画像の例の図。 実施の形態１の提示画像生成処理のフローチャート。 実施の形態２の画像処理装置の図。 実施の形態２の提示画像と提示情報の例の図。 実施の形態２の提示画像と提示情報の例の図。 実施の形態２の提示画像と提示情報の例の図。 実施の形態２の提示情報の例の図。 実施の形態２の提示情報の例の図。 実施の形態２の提示情報の例の図。 実施の形態２の提示情報生成処理のフローチャート。 実施の形態３の画像処理装置の図。 実施の形態３の視域の制御の図。 実施の形態３の提示情報生成処理のフローチャート。

（実施の形態１）
実施の形態１の画像処理装置１００は、視聴者が裸眼で立体画像を観察することが可能なＴＶやＰＣ等に好適である。立体画像とは、互いに視差を有する複数の視差画像を含む画像である。

画像処理装置１００は、一又は複数の視聴者を観測した画像（観測画像）に、視聴者が立体画像を立体的に観察することができる実空間上での領域（視域）を重畳させた提示画像を生成し、視聴者に提示するものである。これにより、視聴者に視域を分かりやすく認識させることができる。なお、実施形態で述べる画像とは、静止画又は動画のいずれであってもよい。
図１は、画像処理装置１００を表すブロック図である。画像処理装置１００は、立体画像を表示可能であり、図１に示すように、観測部１１０と、提示画像生成部１２０と、表示部１３０とを備える。

観測部１１０は、視聴者を観測し、観察領域における視聴者の位置を示す観測画像を生成する。観察領域とは、表示部１３０の表示面を観察可能な領域である。観察領域における視聴者の位置とは、例えば、表示部１３０に対する視聴者の位置であってよい。図２は、観測画像の一例を示す図である。図２に示すように、観測画像には、観察領域における視聴者の位置が表されている。観測画像は、例えば、表示部１３０の位置から撮影された、視聴者の撮影画像であってよい。この場合、観測部１１０は、表示部１３０の位置に設けられる。

本実施形態では、観測部１１０としては、可視カメラ、赤外線カメラ等の他、レーダやセンサ等を用いることができる。ただし、観測部１１０にセンサを用いる場合には、直接観測画像を得ることができないため、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）やアニメーション等を用いて観測画像を生成することが好ましい。

提示画像生成部１２０は、視域情報を、観測画像に重畳した提示画像を生成する。視域情報は、実空間での視域の分布を示すものである。本実施形態では、画像処理装置１００は、視域情報を予めメモリ（不図示）等の記憶媒体に記憶している。

より具体的には、提示画像生成部１２０は、視聴者の位置を示す位置情報である人物位置と視域情報とに基づいて、視聴者と視域との相対位置関係を観測画像に重畳した提示画像を生成する。ここで、視聴者と視域との相対位置関係は、観測画像に視聴者が視域内に存在するか視域外に存在するかを示すものである。ここで、本実施形態では、画像処理装置１００は、人物位置を予めメモリ（不図示）等の記憶媒体に記憶している。

なお、本実施形態では、観測画像の左上隅を原点とし、横方向にｘ軸、縦方向にｙ軸を設定する。ただし、座標の設定方法はこれに限られるものではない。

また、実空間上において、表示部１３０の表示面の中心を原点とし、水平横方向にＸ軸、鉛直方向にＹ軸、表示部１３０の表示面の法線方向にＺ軸を設定する。ただし、実空間上で座標標の設定方法はこれに限定されるものではない。また、上記の前提のもと、ｉ番目の視聴者の位置をＰｉ（Ｘｉ，Ｙｉ，Ｚｉ）と示す。

ここで、視域情報の詳細について説明する。図３は、視域情報の一例を示す模式図である。図３では、観察領域を上方から俯瞰した状態を示している。図３において、白色の矩形範囲が視域内の範囲２０１である。一方、網掛けの領域は視域外の範囲２０３であり、逆視やクロストーク等の発生により、良好な立体視を得ることは困難である。

図３の例では、視聴者Ｐ１は視域２０１内に存在するため、良好な立体視が可能である。また、視域２０１は、表示部１３０（ディスプレイ）と表示する画像の組み合わせが分かれば、幾何学的に求めることもできる。

提示画像生成部１２０は、図２に示す観測画像に、図３に示す視域情報を合成、すなわち重畳して提示画像を生成する。図４は、図２の観測画像と図３の視域情報とから生成される提示画像の一例を示す模式図である。

図３の視域情報では、視聴者Ｐ１は座標Ｐ１（Ｘ１，Ｙ１，Ｚ１）に存在する。この視域情報において、距離Ｚ１での視域の様子を観測画像に重畳すると、図４に示す提示画像のようになる。この提示画像では、視域２０１を空白の領域で示し、視域以外の領域２０３に対して横線パターンを重畳することにより、視聴者に自分自身と、視域内および視域外との相対位置関係を把握させることができる。このような提示画像を生成することによって、視聴者は自分がどの方向に移動すれば、視域内に入ることができるのかを容易に理解することができ、より良好に立体画像を観察することが可能となる。

なお、図４の例では、表示部１３０から重畳する視域情報までの距離と、表示部１３０から視聴者までの距離とが一致しているが、両者は一致していなくてもよい。例えば、重畳する視域情報は、最も視域の横幅が広くなる位置の視域情報であってよい。

提示画像生成部１２０は、視域情報と観測画像の範囲とに基づいて、距離Ｚ１での提示画像を以下のように生成する。図３に示す視域情報の例では、観測部１１０としてカメラを用いており、符号２０４の２本の点線で定められる範囲がカメラ画角を示している。このカメラ画角の境界２０４がＺ＝Ｚ１で示される直線を切り取る範囲での視域の変化を観測画像に合成することによって、提示画像を生成する。

なお、提示画像生成部１２０は、視域情報を観測画像に重畳させた画像を左右反転させることにより、提示画像を生成してもよい。すなわち、提示画像を鏡面画像（鏡面に映ったように認識される画像）に変換してもよい。これにより、視聴者は、視域情報を含んだ、視聴者自身の鏡面画像を見ることができるため、視域の範囲内に居るか否かを直感的に認識することができる。
また、図４に示す提示画像の例では、視域外の範囲を横線パターンで示すことにより、視域内と視域外の関係を表示しているが、これに限定されるものではない。例えば、視域外の領域に対して、網掛けや斜線等のパターンを重畳または表示したり、枠線で囲んだり、特定の色を重畳または表示したり、黒色で表示したり、ぼかし表示を行ったり、モザイク処理を施したり、ネガポジ反転で表示したり、グレースケールで表示したり、薄い色で表示したり等、種々の手法を用いることができる。また、これらの手法を組み合わせて視域外の領域を示すように提示画像生成部１２０を構成することもできる。

すなわち、視聴者に視域内と視域外と区別できるような表示形態であれば任意の手法を用いることができ、視域内の領域を上記の表示形態で表示するように提示画像を生成してもよい。

また、本実施形態の提示画像生成部１２０は、複数の視聴者が存在する場合に、複数の視聴者の各位置情報と視域情報とから、視聴者ごとに、視聴者と視域との相対位置関係を観測画像に重畳した提示画像を生成する。すなわち、提示画像生成部１２０は、視聴者ごとに、観測画像に視聴者が視域内に存在するか視域外に存在するかを示す提示画像を生成する。

図５は、複数の視聴者が存在する場合の視域情報の一例を示す模式図である。図５の例では、２名の視聴者が存在し、各視聴者の位置座標は、視聴者Ｐ１（Ｘ１，Ｙ１，Ｚ１）、視聴者Ｐ２（Ｘ２，Ｙ２，Ｚ２）である。図５の例では、視聴者Ｐ１は視域内に存在し、視聴者Ｐ２は視域外に存在する。このような場合に、距離Ｚ１、Ｚ２、Ｚ３それぞれの視域を用いて提示画像を生成すると、図６（ａ）〜図６（ｃ）に示すようになる。図６（ａ）は、距離Ｚ１での提示画像の例、図６（ｂ）は、距離Ｚ２での提示画像の例、図６（ｃ）は、距離Ｚ３での提示画像の例を示している。

ここで、図６（ａ）に示す距離Ｚ１での提示画像１では、視聴者Ｐ１と視聴者Ｐ２はともに視域内に存在するように見える。しかし、図５に示すように、距離Ｚ１では、実際には視聴者Ｐ２は視域外に存在する。これは、提示画像の生成時に用いた視域の距離Ｚ１が視聴者２の距離と乖離していることに起因する。

同様に、図６（ｂ）に示す距離Ｚ２での提示画像２では、視聴者Ｐ１と視聴者Ｐ２はともに視域外に存在しているようにみえるが、実際には図５に示すように、距離Ｚ２では視聴者Ｐ１は視域内に存在する。さらに、図６（ｃ）に示す距離Ｚ３での提示画像３では、視聴者Ｐ１は視域外に存在し、視聴者Ｐ２は視域内に存在するようにみえるが、図５に示すように、距離Ｚ３では実際には、視聴者Ｐ１は視域内に存在し、視聴者Ｐ２は視域外に存在する。

このため、本実施形態の提示画像生成部１２０は、複数の視聴者が存在する場合には、各視聴者のＺ軸方向の距離（Ｚ座標位置）の近辺での視域情報を用いて一又は複数の提示画像を生成することにより、実際の視聴者の視域内外での位置と提示画像上での位置を一致させている。

より具体的には、提示画像生成部１２０は、複数の視聴者が存在する場合には、各視聴者の人物位置からＺ座標位置を参照し、視域情報のマップから各Ｚ座標位置における視域の範囲、すなわち各Ｚ座標位置における視域の位置および視域幅を求め、視聴者ごとに、視域内外の存在位置を示す提示情報を生成する。

このような提示情報の生成手法としては、以下のものがあげられる。例えば、提示画像生成部１２０は、図７に示すように、各視聴者またはＺ座標位置（Ｚ軸方向の距離）に対して生成した複数の提示画像を、一定時間ごとに時分割して表示部１３０に送出して表示をすることができる。

この場合には、ある時刻の提示画像がどの視聴者に対応しているかを通知するように提示画像生成部１２０を構成することが好ましい。例えば、現在表示する提示画像の対象となる視聴者に特定色やマーカを付したり、現在表示する提示画像の対象でない視聴者の特定色を付さずあるいは黒色で塗りつぶす等の表示形態を採用することができる。

また、図８に示すように、提示画像生成部１２０は、各視聴者の近傍において、対応する視聴者の距離での視域を重畳した提示画像を生成する手法があげられる。

また、図９に示すように、提示画像生成部１２０は、各視聴者の近傍を切り出して拡大した提示画像を生成する手法を採用することができる。他の例としては、提示画像生成部１２０は、各視聴者の位置から、対象となる視聴者が何番目の視差画像の光線を視認しているかを算出し、該当する視差画像にその視聴者用の提示画像を表示する手法を採用することもできる。

また、提示画像生成部１２０は、その他の視域情報を提示画像に重畳するように構成してもよい。例えば、実空間上で何番目の視差画像がどのように分布しているかを提示画像に重畳するように提示画像生成部１２０を構成することができる。

図１に戻り、表示部１３０は、提示画像生成部１２０で生成された提示画像を視聴者に対して表示する表示デバイスであり、例えば、ディスプレイ等が該当する。表示部１３０による表示手法は種々のものがあげられるが、例えば、ディスプレイの全面もしくは一部に表示するといった手法や提示画像表示のための専用の表示装置を用いることができる。

表示部１３０を、提示画像の他、立体画像も表示可能と構成する場合には、表示部１３０はディスプレイおよび光線制御素子としてのレンチキュラ−レンズ等が該当する。また、表示部１３０を、リモートコントローラ等の操作装置に設け、後述する提示画像を立体画像とは別個に表示することもできる。また、表示部１３０を、視聴者の携帯端末等の表示部として構成し、提示画像を携帯端末に送信して表示してもよい。

次に、以上のように構成された本実施形態の画像処理装置１００による提示画像の生成処理について図１０のフローチャートを用いて説明する。

まず、観測部１１０は、視聴者を観測して観測画像を取得する（ステップＳ１１）。次いで、提示画像生成部１２０は、既にメモリ（不図示）等に記憶している視域情報および視聴者の位置座標である人物位置を取得する（ステップＳ１２）。

次に、提示画像生成部１２０は、視域情報に人物位置をマッピングし（ステップＳ１３）、視聴者の数、および各視聴者の視域情報の上での位置を把握する。

提示画像生成部１２０は、視域情報から、人物位置のＺ座標位置（Ｚ軸方向での距離）における視域の位置および視域幅を算出する（ステップＳ１４）。そして、提示画像生成部１２０は、人物位置のＺ座標位置におけるカメラ画角のサイズを提示画像の画像サイズに決定する（ステップＳ１５）。

次に、提示画像生成部１２０は、人物位置のＺ座標位置における視域の位置および視域幅に基づいて、視聴者の視域内または視域外を示す情報を観測画像に重畳して提示画像を生成する（ステップＳ１６）。そして、提示画像生成部１２０は、生成した提示画像を表示部１３０に送出して、表示部１３０が提示画像を表示する（ステップＳ１７）。例えば、表示部１３０は、その表示面の一部の位置に、提示画像を表示してもよい。また、図示しない入力装置（リモート・コントロール装置等）からの信号に基づいて、提示画像を表示してもよい。この場合、入力装置は、提示画像を表示させるためのボタン等を有しておけばよい。

このようなステップＳ１４からＳ１７までの提示画像の生成処理および表示処理は、ステップＳ１３により把握した視聴者の人数分繰り返し実行する。ここで、複数の視聴者の提示画像の生成、表示は、上述した図７〜９の表示態様で行われる。

このように本実施形態では、視聴者を観測することにより得られる観測画像に、各視聴者が視域情報における視域内に存在するか視域外に存在するかを視聴者ごとに重畳した提示画像を視聴者に対して表示しているので、複数の視聴者の各人は容易に自分が視域内または視域外に存在していることを把握することができ、良好な立体画像を容易に観察することが可能となる。
なお、本実施形態において、提示画像は、表示部１３０に表示されるとして説明したが、これに限られない。例えば、提示画像は、画像処理装置１００と有線又は無線により接続可能な図示しない提示装置（例えば、携帯端末やＰＣ等）に表示されてもよい。この場合、提示画像生成部１２０は、生成した提示画像を当該提示装置に送出し、当該提示装置が提示画像を表示すればよい。
また、観測部１１０は、表示部１３０に内蔵されるか、取り付けられるのが望ましいが、表示部１３０とは別に設けられ、有線又は無線により表示部１３０に接続されても構わない。

（実施の形態２）
実施の形態２では、実施の形態１で説明した提示画像を表示する他、さらに、視聴者に対して視域内に移動させるための推奨移動先を示す提示情報を生成して表示するものである。

図１１は、実施の形態２の画像処理装置１１００の機能的構成を示すブロック図である。本実施形態の画像処理装置１１００は、図１１に示すように、観測部１１０と、提示画像生成部１２０と、提示情報生成部１１２１と、推奨移動先算出部１１２３と、表示部１３０とを備える。ここで、観測部１１０、提示画像生成部１２０、表示部１３０の機能、構成は実施の形態１と同様である。また、本実施形態でも、実施の形態１と同様に、画像処理装置１１００は、視聴者の人物位置および視域情報をメモリ（不図示）等の記憶媒体に予め記憶している。

推奨移動先情報算出部１１２３は、視聴者の人物位置と視域情報とに基づいて、立体画像の良好に観察できる位置への推奨すべき移動先である推奨移動先を求める。具体的には、推奨移動先情報算出部１１２３は、現在の視聴者の人物位置を視域情報のマップ（図３参照）にマッピングし、視聴者が視域外に存在する場合には、最も近い位置の視域に対する方向等を推奨移動先として求めることが好ましい。このように最も近い位置の視域に対する方向を推奨移動先として求めるのは、視聴者にとって繁雑な判断を回避させるためである。また、推奨移動先算出部１１２３は、人物位置と視域情報から、視聴者の前方に他の視聴者や遮蔽物が存在するか否かを判断し、視聴者の前方に他の視聴者や遮蔽物が存在する場合には、当該他の視聴者や遮蔽物が存在する位置への方向を推奨移動先として算出しないように構成することが好ましい。

この結果、例えば、推奨移動先情報算出部１１２３は、推奨移動先として、視聴者が現在位置から移動すべき、左方向または左方向、あるいは上方向または下方向等を求めることができる。

提示情報生成部１１２１は、推奨移動先情報算出部１１２３により算出された推奨移動先を示す情報を含む提示情報を生成する。ここで、提示情報生成部１１２１は、提示画像生成部１２０により生成された提示情報を提示画像に付加したり重畳させて生成する他、提示情報を提示画像とは別個に生成することもできる。

提示情報生成部１１２１は、このように生成された提示情報を、実施の形態１と同様に、表示部１３０に送出し、表示部１３０により視聴者に対して表示される。ここで、提示情報が提示画像と別個に生成される場合には、表示部１３０は、提示情報を提示画像と別個に、例えばディスプレイの一部に表示してもよい。さらに、表示部１３０を、提示情報を表示する専用の表示デバイスとして構成することもできる。

次に、提示情報生成部１１２１による推奨移動先を用いた提示情報の生成については、以下のようなものがあげられる。

例えば、提示情報生成部１１２１は、図１２（ａ）、図１３に示すように、推奨移動先１２０１を矢印等の移動方向がわかる記号等で提示情報を生成し、提示画像に付加する。また、提示情報生成部１１２１は、図１２（ｂ）に示すように、推奨移動先１２０１を示す文字等で提示情報を生成し、提示画像に付加する。

他の例としては、提示情報生成部１１２１は、図１４に示すように、専用の方向指示ランプ等を提示画像に付加した上で、移動先の指示方向のランプを点灯させた画像１２０１を提示情報として生成して提示画像に付加する。

また、他の例として、提示情報生成部１１２１は、図１５（ａ）〜図１５（ｃ）に示すように、推奨移動先１２０１として、移動先に向けてサイズが大きくなる人型の図形を提示情報として生成する。

また、他の例として、提示情報生成部１１２１は、図１６に示すように、表示部１３０と観察領域と視域を示す俯瞰図を用い、この俯瞰図に推奨移動先１２０１の矢印を示して提示情報を生成する。

さらに、他の例として、提示情報生成部１１２１は、図１７に示すように、移動先の位置に当該位置での表示サイズで視聴者の顔を示す画像１２０１を推奨移動先として、提示情報を生成する。この場合には、視聴者は、当該顔の画像のサイズと位置が一致するように移動することで、推奨移動先を示したことになる。

なお、推奨移動先を表示部１３０に提示情報として表示する他、音声出力等により、視聴者に通知するように構成することもできる。

次に、以上のように構成された本実施形態の画像処理装置１１００による提示情報の生成処理について図１８のフローチャートを用いて説明する。ステップＳ１１からＳ１６までの提示画像の生成処理については実施の形態１と同様に行われる。

提示画像が生成されたら、推奨移動先算出部１１２３は、上述の手法により、視域情報と視聴者の人物位置から、推奨移動先を算出する（ステップＳ３７）。そして、提示情報生成部１１２１は、推奨移動先を示す提示情報を生成する（ステップＳ３８）。提示情報の生成については、上述した図１２（ａ）から図１７を用いて説明した手法で行われる。そして、提示画像生成部１２０は、生成した提示画像を表示部１３０に送出し、提示情報生成部１１２１は、生成した提示情報を表示部１３０に送出し、表示部１３０は、提示画像と提示情報を表示する（ステップＳ３９）。

ステップＳ１４からＳ３９までの提示画像および提示情報の生成処理および表示処理は、ステップＳ１３により把握した視聴者の人数分繰り返し実行する。

このように本実施形態では、実施の形態１で説明した提示画像を表示する他、さらに、視聴者に対して視域内に移動させるための推奨移動先を示す提示情報を生成して表示するので、実施の形態１の効果に加え、複数の視聴者の各人は自分の視域内への移動先を容易に把握することができ、良好な立体画像をより容易に観察することが可能となる。

（実施の形態３）
実施の形態３では、視域情報、視聴者の人物位置から、提示情報の表示を行うか否かを判断して、提示情報の表示を行うと判断された場合に提示情報の生成、表示を行うものである。

図１９は、実施の形態３の画像処理装置１９００の機能的構成を示すブロック図である。本実施形態の画像処理装置１９００は、図１９に示すように、観測部１１０と、提示画像生成部１２０と、提示情報生成部１１２１と、推奨移動先算出部１１２３と、提示判定に１９２５と、表示部１３０と、人物検出・位置算出部１９４０と、視域決定部１９５０と、表示画像生成部１９６０とを備える。ここで、観測部１１０、提示画像生成部１２０、提示情報生成部１１２１、推奨移動先算出部１１２３、表示部１３０の機能、構成は実施の形態２と同様である。

人物検出・位置算出部１９４０は、観測部１１０により生成された観測画像から観察領域内における視聴者を検出し、の実空間上での視聴者の位置座標である人物位置座標を算出する。

より具体的には、観測部１１０がカメラで構成されている場合には、人物検出・位置算出部１９４０は、観測部１１０で撮像した観測画像を画像解析して、視聴者の検出および人物位置の算出を行う。また、この他、観測部１１０として例えばレーダを用いる場合には、レーダから提供される信号を信号処理して、視聴者の検出および人物位置の算出を行うように人物検出・位置算出部１９４０を構成すればよい。また、人物検出・位置算出部１９４０における視聴者の検出においては、顔、頭、人物全体、マーカーなど、人であると判定可能な任意の対象を検出してもよい。このような視聴者の検出および人物位置の算出は公知の手法で行われる。

視域決定部１９５０は、人物検出・位置算出部１９４０により算出された視聴者の人物位置から、視聴者の人物位置から視域を決定する。視域決定部１９５０は、視域の決定方法は、できるだけ多くの視聴者を視域内に収めるように設定するのが好ましい。また、視域決定部１９５０は、特定の視聴者が必ず視域内に収まるように視域を設定してもよい。

表示画像生成部１９６０は、視域決定部１９５０により決定された視域に合わせた表示画像を生成する。

ここで、視域の制御について説明する。図２０は、視域の制御を説明するための図である。図２０（ａ）は、表示部１３０としてのディスプレイとその視域の基本的な関係を示す。

また、図２０（ｂ）は、表示画像の画素とレンチキュラレンズ等の開口部の隙間を小さくすることにより、視域を前に移動させた状態を示している。これに対して、表示画像の画素とレンチキュラレンズ等の開口部の隙間を大きくすると、視域は後方に移動する。

図２０（ｃ）は、表示画像を右にシフトさせることによって、視域が左方向に移動する状態を示している。これに対して、表示画像を左に画像をシフトさせた場合には、視域は右方向に移動する。このような簡易な処理によって視域を制御することができる。

従って、表示画像生成部１９６０は、決定された視域に合わせた表示画像を生成することができる。

提示判定部１９２５は、視聴者の人物位置と視域情報とに基づいて、提示情報を生成すべきか否かを判定する。提示情報は主として視域内に存在しない視聴者を視域内に移動するための補助の役割を果たすことである。一例として、提示判定部１９２５は、提示情報を生成しないと判断する基準として以下のものがあげられる。

例えば、すべての視聴者の人物位置が視域内に存在する場合、または特定の視聴者の人物位置が視域内に存在する場合、あるいは２次元画像が表示部１３０に表示されている場合、もしくは視聴者が提示情報の非表示を指示した場合等には、提示判定部１９２５は提示情報を生成しないと判断する。

ここで、特定の視聴者とは、予め登録されている視聴者やリモートコントローラを所持している視聴者等、他の視聴者と異なる性質を有する視聴者である。

提示判定部１９２５は、これらの判断を行うために、視聴者の識別やリモートコントローラの検出等を公知の画像認識処理やセンサ等からの検知信号等を用いた処理により行う。また、視聴者による提示情報の非表示の指示は、リコーとコントローラやスイッチ等の入力操作により行われ、提示判定部１９２５は、かかる操作入力のイベント等を検出することにより、視聴者による提示情報の非表示の指示があったことを判断するように構成する。

また、一例として、提示判定部１９２５は、提示情報を生成すると判断する基準として以下のものがあげられる。

例えば、特定の視聴者の人物位置が視域内に存在しない場合、または立体画像の観察が開始された場合、あるいは視聴者が移動した場合、もしくは視聴者の人数が増減した場合、視聴者が提示情報の表示を指示した場合等には、提示判定部１９２５は提示情報を生成すると判断する。

立体画像の観察開始時は、特に視聴者の立体視の状況は不明であるため、提示情報を提示するのが好ましいからである。また、視聴者が移動した場合、移動した視聴者は自身の立体視状況が変化するため、提示情報を提示するのが好ましいからである。さらに、視聴者が増減した場合、特に新たに追加された視聴者は自身の立体視の状況が不明であるため、提示情報を提示するのが好ましいからである。

提示情報生成部１１２１は、提示判定部１９２５により提示情報を生成すべきと判定された場合に提示情報を生成する。

次に、以上のように構成された本実施形態の画像処理装置１９００による提示情報の生成処理について図２１のフローチャートを用いて説明する。ステップＳ１１からＳ１６までの提示画像の生成処理については実施の形態１と同様に行われる。

まず、観測部１１０は、視聴者を観測して観測画像を取得する（ステップＳ１１）。次いで、視域決定部１９５０は視域情報の決定を行い、人物検出・位置算出部１９４０は、視聴者の検出および人物位置を決定する（ステップＳ５１）。

次に、提示画像生成部１２０は、視域情報に人物位置をマッピングし（ステップＳ１３）、視聴者の数、および各視聴者の視域情報の上での位置を把握する。

次に、提示判定部１９２５は、視域情報と人物位置から、上述の判定手法により、提示情報の提示の可否を判定する（ステップＳ５３）。そして、提示情報を提示しないと判定された場合には（ステップＳ５３：不提示）、提示情報および提示画像の生成、表示を行わずに処理を終了する。なお、この場合、提示画像の生成および表示を行うように構成してもよい。

一方、ステップＳ５３において、提示情報を提示すると判定された場合には（ステップＳ５３：提示）、ステップＳ１４へ進み、実施の形態２と同様に、提示画像および提示情報の生成、表示が行われる（ステップＳ１４〜Ｓ３９）。

このように本実施形態では、視域情報、視聴者の人物位置から、提示情報の表示を行うか否かを判断して、提示情報の表示を行うと判断された場合に提示情報の生成、表示を行うので、実施の形態２と同様の効果に加え、視聴者にとって便宜となるとともに、視聴者の位置や観察状態により、良好な立体画像をより容易に観察することが可能となる。

実施の形態１〜３によれば、視聴者は、現在の観察位置が視域内であるか否かを容易に認識することができる。これにより、視聴者は、良好な立体画像を、より簡単に観察することができる。

なお、実施の形態１〜３の画像処理装置１００，１１００，１９００で実行される画像処理プログラムは、ＲＯＭ等に予め組み込まれて提供される。

実施の形態１〜３の画像処理装置１００，１１００，１９００で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、実施の形態１〜３の画像処理装置１００，１１００，１９００で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施の形態１〜３の画像処理装置１００，１１００，１９００で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

実施の形態１〜３の画像処理装置１００，１１００，１９００で実行される画像処理プログラムは、上述した各部（観測部、提示画像生成部、提示情報生成部、推奨移動先算出部、提示判定部、表示部、人物検出・位置算出部、視域決定部、表示画像生成部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭから画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、観測部、提示画像生成部、提示情報生成部、推奨移動先算出部、提示判定部、表示部、人物検出・位置算出部、視域決定部、表示画像生成部が主記憶装置上に生成されるようになっている。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

１００，１１００，１９００ 画像処理装置
１１０ 観測部
１２０ 提示画像生成部
１３０ 表示部
２０１ 視域内の領域
２０３ 視域外の領域
１１２１ 提示情報生成部
１１２３ 推奨移動先算出部
１２０１ 推奨移動先の情報
１９２５ 提示判定部
１９４０ 人物検出・位置算出部
１９５０ 視域決定部
１９６０ 表示画像生成部

【０００１】
技術分野
［０００１］
本発明の実施形態は、画像処理装置、立体画像表示装置、方法およびプログラムに関する。
背景技術
［０００２］
立体画像表示装置では、視聴者は特殊なメガネを使用せずに裸眼で立体画像を観察することができる。このような立体画像表示装置は、視点の異なる複数の画像を表示し、これらの光線を、例えばパララックスバリア、レンチキュラレンズなどの分光素子によって分離する。分離された光線は、視聴者の両眼に導かれるが、視聴者の観察位置が適切であれば、視聴者は立体画像を認識できる。このように視聴者が立体画像を認識可能な観察位置の領域を視域という。
［０００３］
しかしながら、このような視域は限定的であるという問題がある。すなわち、例えば、左目に知覚される画像の視点が右目に知覚される画像の視点に比べて相対的に右側となり、立体画像を正しく認識できなくなる観察位置である逆視領域が存在する。このため、裸眼方式の立体画像表示装置において、視聴者は、良好な立体画像を観察することが困難であるという課題がある。
先行技術文献
特許文献
［０００４］
特許文献１：特許第３４４３２７１号公報
発明の概要
発明が解決しようとする課題
［０００５］
本発明が解決しようとする課題は、視聴者が、良好な立体画像を、より簡単に観察することができる画像処理装置、立体画像表示装置、方法およびプログラムを提供することである。
課題を解決するための手段

【０００２】
［０００６］
実施形態の画像処理装置は、観測部と、生成部とを備える。観測部は、立体画像を表示可能な表示部を観察する視聴者を観測した観測画像を得る。生成部は、前記視聴者が前記立体画像を観察可能な視域を示す視域情報を用いて、前記視域を前記観測画像に重畳した提示画像であって、前記表示部に対する前記視聴者の前後位置に応じて、前記視域の表示形態を変化させた前記提示画像を生成する。
図面の簡単な説明
［０００７］
［図１］実施の形態１の画像処理装置の図。
［図２］実施の形態１の観測画像の一例の図。
［図３］実施の形態１の視域情報の一例の図。
［図４］実施の形態１の提示画像の一例の図。
［図５］実施の形態１の複数の視聴者が存在する場合の視域情報の一例の図。
［図６］実施の形態１の提示画像の例の図。
［図７］実施の形態１の提示画像の遷移例の図。
［図８］実施の形態１の提示画像の例の図。
［図９］実施の形態１の提示画像の例の図。
［図１０］実施の形態１の提示画像生成処理のフローチャート。
［図１１］実施の形態２の画像処理装置の図。
［図１２］実施の形態２の提示画像と提示情報の例の図。
［図１３］実施の形態２の提示画像と提示情報の例の図。
［図１４］実施の形態２の提示画像と提示情報の例の図。
［図１５］実施の形態２の提示情報の例の図。
［図１６］実施の形態２の提示情報の例の図。
［図１７］実施の形態２の提示情報の例の図。
［図１８］実施の形態２の提示情報生成処理のフローチャート。
［図１９］実施の形態３の画像処理装置の図。
［図２０］実施の形態３の視域の制御の図。
［図２１］実施の形態３の提示情報生成処理のフローチャート。
発明を実施するための形態

また、実空間上において、表示部１３０の表示面の中心を原点とし、水平横方向にＸ軸、鉛直方向にＹ軸、表示部１３０の表示面の法線方向にＺ軸を設定する。ただし、実空間上で座標の設定方法はこれに限定されるものではない。また、上記の前提のもと、ｉ番目の視聴者の位置をＰｉ（Ｘｉ，Ｙｉ，Ｚｉ）と示す。

ここで、図６（ａ）に示す距離Ｚ１での提示画像１では、視聴者Ｐ１と視聴者Ｐ２はともに視域内に存在するように見える。しかし、図５に示すように、距離Ｚ１では、実際には視聴者Ｐ２は視域外に存在する。これは、提示画像の生成時に用いた視域の距離Ｚ１が視聴者Ｐ２の距離と乖離していることに起因する。

推奨移動先算出部１１２３は、視聴者の人物位置と視域情報とに基づいて、立体画像の良好に観察できる位置への推奨すべき移動先である推奨移動先を求める。具体的には、推奨移動先算出部１１２３は、現在の視聴者の人物位置を視域情報のマップ（図３参照）にマッピングし、視聴者が視域外に存在する場合には、最も近い位置の視域に対する方向等を推奨移動先として求めることが好ましい。このように最も近い位置の視域に対する方向を推奨移動先として求めるのは、視聴者にとって繁雑な判断を回避させるためである。また、推奨移動先算出部１１２３は、人物位置と視域情報から、視聴者の前方に他の視聴者や遮蔽物が存在するか否かを判断し、視聴者の前方に他の視聴者や遮蔽物が存在する場合には、当該他の視聴者や遮蔽物が存在する位置への方向を推奨移動先として算出しないように構成することが好ましい。

この結果、例えば、推奨移動先算出部１１２３は、推奨移動先として、視聴者が現在位置から移動すべき、左方向または左方向、あるいは上方向または下方向等を求めることができる。

提示情報生成部１１２１は、推奨移動先算出部１１２３により算出された推奨移動先を示す情報を含む提示情報を生成する。ここで、提示情報生成部１１２１は、提示画像生成部１２０により生成された提示画像を提示情報に付加したり重畳させて生成する他、提示情報を提示画像とは別個に生成することもできる。

人物検出・位置算出部１９４０は、観測部１１０により生成された観測画像から観察領域内における視聴者を検出し、実空間上での視聴者の位置座標である人物位置座標を算出する。

視域決定部１９５０は、人物検出・位置算出部１９４０により算出された視聴者の人物位置から、視域を決定する。視域決定部１９５０は、視域の決定方法は、できるだけ多くの視聴者を視域内に収めるように設定するのが好ましい。また、視域決定部１９５０は、特定の視聴者が必ず視域内に収まるように視域を設定してもよい。

まず、観測部１１０は、視聴者を観測して観測画像を取得する（ステップＳ１１）。次いで、視域決定部１９５０は視域情報の決定を行い、人物検出・位置算出部１９４０は、視聴者の検出および人物位置を決定する（ステップＳ１２）。

次に、提示判定部１９２５は、視域情報と人物位置から、上述の判定手法により、提示情報の提示の可否を判定する（ステップＳ５１）。そして、提示情報を提示しないと判定された場合には（ステップＳ５１：不提示）、提示情報および提示画像の生成、表示を行わずに処理を終了する。なお、この場合、提示画像の生成および表示を行うように構成してもよい。

一方、ステップＳ５１において、提示情報を提示すると判定された場合には（ステップＳ５１：提示）、ステップＳ１４へ進み、実施の形態２と同様に、提示画像および提示情報の生成、表示が行われる（ステップＳ１４〜Ｓ３９）。

Claims (10)

1. 立体画像を表示可能な表示部と、
   一又は複数の視聴者を観測した観測画像を得る観測部と、
   前記視聴者が前記立体画像を観察可能な視域を示す視域情報を用いて、前記視域を前記観測画像に重畳した提示画像を生成する生成部と
   を備える、画像処理装置。
2. 前記観測部は、前記視聴者の位置情報を得るものであって、
   前記生成部は、前記視聴者の位置情報と前記視域情報とに基づいて、前記提示画像を生成する、
   請求項１に記載の画像処理装置。
3. 前記生成部は、複数の視聴者が存在する場合には、選択した一又は複数の前記視聴者に対応する前記視域を前記観測画像に重畳し、前記提示画像を生成する、
   請求項２に記載の画像処理装置。
4. 前記観測画像は、前記表示部の位置から前記視聴者を撮影した画像であり、
   前記生成部は、前記観測画像の撮影面に対応する前記視域を、前記観測画像に重畳し、前記提示画像を生成する、
   請求項１から３いずれか1つに記載の画像処理装置。
5. 前記視聴者の位置情報と前記視域情報とに基づいて、前記視聴者に対する立体画像の観察を行う推奨すべき移動先である推奨移動先を求める算出部と、
   前記推奨移動先を示す情報である提示情報を生成する提示情報生成部と、をさらに備える、
   請求項１に記載の画像処理装置。
6. 前記算出部は、前記推奨移動先として、前記視聴者が現在位置から左右いずれの方向に移動すべきかを求める、
   請求項５に記載の画像処理装置。
7. 前記算出部は、前記推奨移動先として、前記視聴者が現在位置から前後いずれの方向に移動すべきかを求める、
   請求項５に記載の画像処理装置。
8. 前記視聴者の位置情報と前記視域情報とに基づいて、前記提示情報を生成すべきか否かを判定する提示判定部、をさらに備え、
   前記提示情報生成部は、前記提示情報を生成すべきと判定された場合に、前記提示情報を生成する、
   請求項５に記載の画像処理装置。
9. 一又は複数の視聴者を観測した観測画像を得、
   表示部に表示される立体画像を前記視聴者が観察可能な視域を示す視域情報を用いて、前記視域を前記観測画像に重畳した提示画像を生成する、
   画像処理方法。
10. コンピュータを、
    一又は複数の視聴者を観測した観測画像を得る手段と、
    表示部に表示される立体画像を前記視聴者が観察可能な視域を示す視域情報を用いて、前記視域を前記観測画像に重畳した提示画像を生成する手段と
    して機能させる、画像処理プログラム。

Images