JP2015037282A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】多視点３次元表示器を用いて複数のユーザーに同じ３次元画像を表示したいというニーズに応えられていない。【解決手段】少なくとも一対の視差画像を入力する。そして、視差画像を構成する右目用画像及び左目用画像を、多視点３次元表示手段の各視点方向に対応する視点画像として重複して表示させる。【選択図】図８

Description

本発明は、３次元画像を表示する為の画像処理装置、画像処理方法及びプログラムに関する。

多視点３次元表示器を用いて３次元画像を表示する手法が提案されている。この手法は、多視点３次元表示器を用いて両眼の視差分だけ異なる２次元画像（視差画像）を表示する。この視差画像を３次元表示器から所定の距離だけ離れた視点位置で見る場合に、ユーザーは視差画像を立体的な３次元画像として知覚することになる。以下では、視差画像を表示することを３次元画像を表示するとも称する。

３次元画像を表示するための様々な技術が提案されている。例えば、特許文献１にはユーザーの視差の個人差に応じて最適な３次元画像を表示する為の技術が開示されている。また、特許文献２には通常の視点より手前で立体視を可能とする技術が開示されている。

特開２００４−２２１７００号公報 特開２０１０−１１３１５９号公報

多視点３次元表示器を用いて複数のユーザーに同じ３次元画像を表示したいというニーズが存在する。しかしながら、従来技術においては、複数のユーザーが、３次元表示器で表示されている３次元画像を互いに異なる位置で同じ３次元画像として知覚することが出来ない。これは、多視点３次元表示器から一定の距離と角度の視点位置にいるユーザーは、その視点位置に対応した３次元画像のみを知覚することできるからである。また、特許文献２の技術を用いると通常の視点位置より手前の視点位置で３次元画像を知覚することはできるものの、３次元画像を知覚できる視点の数が増加するわけではなく、複数のユーザーが同じ３次元画像を知覚するニーズに応えられない。

本発明に係る画像処理装置は、少なくとも一対の視差画像を入力する入力手段と、前記視差画像を構成する右目用画像及び左目用画像を、多視点３次元表示手段の各視点方向に対応する視点画像として重複して表示させる表示制御手段とを有することを特徴とする。

本発明によれば、異なる視点位置にいる複数のユーザーが同じ３次元画像を見る事が出来る。

本発明の一実施例に係る画像処理装置の一例を示すブロック図である。 本発明の一実施例に係る多視点３次元表示装置を説明する図である。 本発明の一実施例に係る各視点と、多視点画像または単視点画像との関係を示す図である。 本発明の一実施例に係る画像処理装置の機能ブロックの一例を示す図である。 本発明の一実施例に係る画像処理のフローチャートである。 本発明の一実施例に係る画像処理装置の機能ブロックの詳細例である。 本発明の一実施例に係る第２の表示モードの視点を説明する図である。 本発明の一実施例に係る第１の表示モードの視点を説明する図である。 本発明による実施例２に係る画像処理のフローチャートである。 本発明による実施例２の視点を説明する図である。 本発明による実施例３に係る画像処理のフローチャートである。 本発明による実施例３の視点を説明する図である。

実施例の説明に先立って、本明細書で用いる用語について簡単に説明する。２次元画像とは、表示器で表示したりプリンターで記録したりする、例えば人や図形などを表す１画面の２次元の画像そのものを示している。

３次元画像とは、３次元表示器で立体的に表示される、例えば人や図形など被写体を表す１画面の３次元の画像そのものを示している。例えば、３次元画像は、異なる位置から撮影した複数の２次元画像で構成される。例えば左目用と右目用の一対の２次元画像を既定の表示素子で表示し、その画像をユーザーが其々の目で独立に見る事で３次元画像として知覚される。このように左目用画像及び右目用画像で構成される画像を総称して視差画像と称する。また、左目用画像のことを左目用の視差画像、右目用画像のことを右目用の視差画像とも称する。各２次元画像を生成する際に、被写体と撮影装置とが成す角度を其々視角θと呼ぶ。

多視点画像とは、略同一被写体を連続的な既定の視角から撮影して得られる複数の画像である。多視点画像には、其々の視角によって３次元画像として表示出来る多視点３次元画像や、所謂パノラマ画像が含まれる。ユーザー視点とは、３次元表示器や被写体をユーザーが見る際の位置である。３次元表示器に対するユーザー視点は、左目用と右目用の左右一対の２次元画像がユーザーの両目に投影される位置であり、両画像を撮影した際の視角の略中央に該ユーザー視点は位置する。左目用と右目用の左右一対の２次元画像がユーザーの両目に丁度投影される位置にユーザーがいる場合、ユーザーは表示されている画像を立体的な３次元画像として知覚することが出来る。なお、一般的に人の目の間隔は約６５ｍｍの為、３次元表示器から投影される左目用と右目用の左右一対の２次元画像はユーザー視点において互いに約６５ｍｍ離れて集光されている。

２次元画像情報または３次元画像情報は、上記の２次元画像または３次元画像を表示するための輝度信号や濃度信号等の信号源を示している。３次元画像情報は、少なくとも左目用および右目用の一対の２次元画像情報から成る。この一対の２次元画像情報で示される画像を単視点視差画像と呼ぶ。なお、多視点画像情報は複数の視点におけるこれらの２次元画像情報または３次元画像情報の総称である。多視点画像情報はカメラで撮影することで得られたり、或いは、コンピュータグラフィックス等で人工的に制作されることで得られる。

次に、多視点３次元画像を表示することが可能な３次元表示器について簡単に説明する。一般に、３次元表示器は、３次元画像情報に基づいて表示器の画面中に複数の２次元画像を同時に表示する。より具体的には、３次元表示器に表示される複数の２次元画像は、左目用の視差画像および右目用の視差画像の２枚の２次元画像を示す２次元画像情報に基づいている。そして３次元表示器においては、ユーザーの左右のそれぞれの目に独立して画像が投影されるように、対応する表示素子及びその周辺の光学部材に光学的な工夫が施されている。

以下、本発明を実施するための形態について図面を用いて説明する。本実施形態では、表示器の正面を中心に７つの視点から被写体を略連続的にかつ立体的にユーザーが見る事の出来る、８方向に独立に画像を表示可能な７視点３次元表示器を用いる画像処理装置を例に説明するがこれに限定されるものではない。なお、８方向に表示する各画像を視点画像と称し、其々の方向に向けて表示する画像として、画像１、画像２、画像３、画像４、画像５、画像６、画像７及び画像８と記述する。また、表示する１画面の画像を同じ視点方向に表示した場合、画像全体は表示器から所定の距離Ｌだけ離れた視点に集光する。

＜実施例１＞
図１は、実施例１に係る画像処理装置の一例を示すブロック図である。画像処理装置は一般的なパーソナルコンピュータ（以後ＰＣと称する）１を有し、ネットワーク回線１１０等から画像情報等をネットワーク制御部９０を介して入力する。また画像処理装置は、少なくとも、３次元画像情報に基づいた３次元画像を立体表示することが可能な多視点３次元表示器３０を有する。

ＰＣ１はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０と、記憶部８０と、操作入力部５０とを有する。ＰＣ１は、ＣＰＵ１０で制御される。記憶部８０は、３次元画像情報や本実施例に用いられるプログラム等を保持する。ＲＯＭ６０は、各種設定やプログラムを格納する。ＲＡＭ７０は、一時的な記憶部として機能する。３次元表示装置２は、撮像部２０と多視点３次元表示器３０とタッチパネル４０とを有する。３次元表示装置２は、３次元画像を表示する。タッチパネル４０は多視点３次元表示器３０の表示面に配置され、表示した３次元画像を直接タッチして画像や表示された入力キーを選択すると共に、キーやマウスで構成する操作入力部５０と同様にユーザーからのＰＣへの各種の入力操作を可能にする。撮像部２０は一般的な表示器に装備された物で、ユーザーの位置やユーザーの動作を認識する為に多視点３次元表示器３０の正面に設けられている。

なお、上記の例では、画像処理装置が３次元表示装置２を含むものであるとして説明をしたが、画像処理装置はＰＣ１にのみ対応するものであってもよい。すなわち、画像処理装置は３次元表示装置２と接続される構成であってもよい。

図２は、図１で示した多視点３次元表示器３０をより詳細に説明する図である。図２（ａ）は、多視点３次元表示器３０の一例を示す図である。図２（ａ）で示す多視点３次元表示器３０は、液晶表示器２００とその全面にレンチキュラーレンズ２０１とを有する。

図２（ｂ）は、図２（ａ）で示す多視点３次元表示器の一部を拡大した模式図である。図２（ｂ）は、レンチキュラーレンズ２０１と相対位置が保証された液晶表示素子とを示す。図２（ｂ）の多視点３次元表示器３０は、ユーザーが７方向からこの多視点３次元表示器３０を見た場合、７視点から見た被写体を立体表示可能にする工夫がなされている。すなわち、液晶表示器２００は、各１つのレンチキュラーレンズ２０１内に素子２０２から素子２０３までの一続きの８つの表示素子を持つ構成とする。レンチキュラーレンズ２０１による光学特性と表示素子の配置によって特定の視点位置から３次元表示器３０を見たユーザーは、特定の表示素子の表示のみが見えることになる。尚、多視点３次元表示器３０は公知の技術で一般に実用化されている物を用いることができる。一般に多視点３次元表示器３０は、カラー表示可能であるが、説明を簡略化する為、本実施例での多視点３次元表示器３０は単色表示可能であるものとする。また、説明を簡便にする趣旨で、以後の図において表示素子や画素の並びを１次元的に表現するものとする。なお、１つの視点から見ているユーザーの目には８つの表示素子が表示する画像の内、其々左目用の画像と右目用の２つの画像が届けられることでユーザーは３次元画像を知覚することになる。

図２（ｃ）と図２（ｄ）は、其々異なる視点である視点１２と視点４５とからユーザーが見た場合に見える表示画素を示す。ここで視点１２とは、片方の目が視点１の位置にあり、他方の目が視点２の位置にある視点位置のことを示す。同様に、視点４５とは、片方の目が視点４の位置にあり、他方の目が視点５の位置にある視点位置のことを示す。本実施例では、図２（ｃ）に示すように、レンチキュラーレンズ２０１の光学特性に依って、視点１２の位置にいるユーザーの右目では画素２のみが、視点１２の位置にいるユーザーの左目では画素１のみが見える。従って、画素２と画素１とで一対の視差画像を表示すれば、視点１２の位置にいるユーザーは、視差画像を３次元画像として知覚することができる。また、図２（ｄ）に示すように、視点４５の位置にいるユーザーの右目では画素５のみが、視点４５の位置にいるユーザーの左目では画素４のみが見える。従って、画素４と画素５で一対の視差画像を表示すれば、視点４５の位置にいるユーザーは、視差画像を３次元画像として知覚することができる。このようなレンチキュラーレンズによる３次元画像の表示は公知の原理であり、本明細書では更なる説明を省略する。以下、ユーザーの左目が表示素子Ｍで表示する画像を見ることができ、かつ、右目が表示素子Ｎで表示する画像を見ることができる視点位置のことを“視点ＭＮ”と称する。

図３は、各視点と多視点画像または単視点画像との関係を示す図である。図３（ａ）は、視点１２から視点７８までの７つの視点と、その視点に対応する多視点３次元画像として被写体３００を撮影した画像１から画像８の８種類の撮影画像との関係を示す図である。其々の視点ではユーザーの左右のそれぞれの眼で見た画像に相当する２つの２次元画像が撮影される。多視点３次元表示器が有する光学特性に従って連続的に各視点における２次元画像を撮影するため、８種類の撮影画像の中で、隣り合う画像の視角は略一致する。

なお、同一被写体３００を視点１２から視点７８で連続的に３次元表示する場合には、各視点ＭＮにおいてユーザーの左目に届けられる画像Ｍは、隣接する視点におけるユーザーの右目に届けられる画像と同じである。これらの各２次元画像情報を横方向に分割して先のレンチキュラーレンズ２０１と相対位置を保った液晶表示素子（画素）で表示すれば、図３（ａ）で示す各視点から被写体３００を見た際と同じ３次元画像を各視点において見る事が出来る。即ち図２（ｃ）及び図２（ｄ）で示す画素１は視点１２の左側で撮影した２次元画像（画像１）の１部を表示し、画素２は視点１２の右側で撮影した２次元画像（画像２）の１部を表示している。また、画素４は視点４５の左側で撮影した２次元画像（画像４）の１部を表示し、画素５は視点４５の右側で撮影した２次元画像（画像５）の１部を表示している。

図３（ｂ）は単視点３次元画像を表示する為の左目用画像と右目用画像と視点との関係を示す。図３（ａ）では７つの視点で見た画像を撮影することで得られる７視点の多視点３次元画像を示す３次元画像情報を生成する場合の例を説明した。図３（ｂ）では、１つの視点で見た画像を撮影することで得られる１視点の単視点３次元画像を示す３次元画像情報を生成する場合の例を示している。本実施例では、図３（ｂ））に示す単視点３次元画像を多視点３次元表示器３０を用いて表示する例を説明する。これにより、多視点３次元表示器３０から角度と距離が異なる複数の視点において複数のユーザーが同じ被写体３００を同じ３次元画像として知覚することができる。

＜画像処理装置の機能ブロック＞
図４は、本実施例の画像処理装置１の画像処理機能のブロックの一例を示す図である。画像処理装置１は、３次元画像情報入力部４００と、表示モード設定部４０１と、表示画像生成部４０２と、３次元画像表示部４０３とを有する。

３次元画像情報入力部４００は、ネットワーク制御部９０等から３次元画像情報を入力する。入力される３次元画像情報は、例えば図３に示すように、複数の撮影装置によって各視点の画像を撮影することによって得られるものである。あるいは、コンピュータによって各視点の画像が生成されることで得られるものであってもよい。３次元画像情報には、１つの視点から見える３次元画像である単視点３次元画像を表示するための視差の異なる左右の目用の視差画像の単視点画像情報が含まれる。また、３次元画像情報には、７つの視点に対応する８種の２次元画像からなる多視点画像情報が含まれる。３次元画像情報入力部で入力された３次元画像情報は、必要に応じて記憶部８０で保持される。

表示モード設定部４０１は、多視点３次元表示器３０を用いて、単視点３次元画像表示モードである第１の表示モードで表示を行うか、または、多視点３次元表示モードである第２の表示モードで表示を行うかを設定する。単視点３次元画像表示モードは、単視点３次元画像を角度と距離が異なる複数の視点で見る為のモードである。多視点３次元表示モードは、図３（ａ）で示すように各視点位置に対応する位置で、各視点位置に対応する多視点３次元画像を見るためのモードである。表示モード設定部４０１は第１の表示モードか第２の表示モードかをユーザーの指示に従って設定する。

表示画像生成部４０２は、表示モード設定部４０１で設定された表示モードに応じて、３次元画像情報入力部４００で入力された３次元画像情報から多視点３次元表示器３０の各視点画像として表示する表示画像を生成する。すなわち、表示画像生成部４０２は、各視点画像として表示する画像の表示制御を行う。本実施例の多視点３次元表示器３０は図２で説明したように、レンチキュラーレンズに対応して７つの視点の計８種類の画像を表示可能となっている。従って、表示画像生成部４０２は、３次元画像情報から８つの表示画像を生成する。表示画像は、多視点３次元表示器の各視点方向に対応する方向で表示される。なお、本実施例では、多視点３次元表示器の光学特性に対応して８つの表示画像を生成する例を説明するが、必ずしも８つの全ての視点画像について表示画像が生成されなくてもよい。

本実施例では、次のように表示画像が生成されることができる。３次元画像情報入力部４００で多視点３次元画像情報が入力された場合、表示画像生成部４０２は、表示モード設定部４０１の設定に応じて表示画像を生成する。例えば、単視点３次元画像表示モードである第１の表示モードが設定されている場合、表示画像生成部４０２は、多視点３次元画像情報のうち、任意の視点の画像対（視差画像）を単視点画像情報として取得する。そして、取得した単視点画像情報を用いて表示画像を生成する。ここで、任意の視点の画像対の決定方法については、表示モード設定部４０１による設定に応じて決定してもよいし、予め設定されている視点（例えば中央の視点）を任意の視点の画像対として決定してもよい。一方、多視点３次元表示モードである第２の表示モードが設定されている場合、表示画像生成部４０２は、各視点に対応する表示画像を生成する。

なお、３次元画像情報入力部４００で３次元画像情報として単視点３次元画像情報が入力された場合には、表示モード設定部４０１の設定に関わらず、表示画像生成部４０２は単視点３次元画像情報を用いて表示画像を生成してもよい。

３次元画像表示部４０３は多視点３次元表示器３０を制御するものであり、表示画像生成部４０２で生成された表示画像に基づいて各視点画像を表示する。

図５は本実施例の画像処理の一例を示すフローチャートである。また、図６は図４で示した画像処理装置の機能ブロックの詳細例を示す図である。図５及び図６を用いて本実施例による画像処理を詳説する。図５に示すフローチャートは、例えばＲＯＭ６０に記憶されたプログラムをＣＰＵ１０がＲＡＭ７０に一時的に読み出して実行することによって実現される。

ステップＳ５０１において、表示画像生成部４０２は、表示モード設定部４０１によって設定された表示モードを検知する。表示モード設定部４０１における表示モードの設定は、例えばＣＰＵ１０がＲＯＭ６０に記憶されたプログラムの実行に依って、図示しない画面からユーザーが指定した表示モードを操作入力部５０で検出することで設定される。表示モード設定部４０１による設定値は、表示モードレジスター６１０に反映される。ステップＳ５０１で、表示モードレジスター６１０が多視点３次元画像を表示する第２のモードであった場合、表示画像生成部４０２はステップＳ５０２に処理を進める。一方、ステップステップＳ５０１で表示モードレジスター６１０が単視点３次元画像を表示する第１のモードであった場合、表示画像生成部４０２はステップＳ５０３に処理を進める。

多視点３次元画像を表示する第２のモードであった場合、ステップＳ５０２において表示画像生成部４０２は、３次元画像情報入力部４００から３次元画像情報として８枚の２次元画像情報６０２を順次画像１から画像８まで読み込む。３次元画像情報入力部４００は、画像情報格納部６００に格納されている画像１から画像８までの画像情報を３次元画像情報として表示画像生成部４０２に出力する。

次に、ステップＳ５０４において表示画像生成部４０２は、画像１から画像８の８種の２次元画像情報の表示を担当するビデオＲＡＭ（以降ＶＲＡＭと記す）にそれぞれの２次元画像情報を書き込む。すなわち、表示画像生成部４０２は、画像１の画像情報を画像１用ＶＲＡＭ６０３に、画像２の画像情報を画像２用ＶＲＡＭに、画像３の画像情報を画像３用ＶＲＡＭに、画像４の画像情報を画像４用ＶＲＡＭに書き込む。また表示画像生成部４０２は、画像５の画像情報を画像５用ＶＲＡＭに、画像６の画像情報を画像６用ＶＲＡＭに、画像７の画像情報を画像７用ＶＲＡＭに、画像８の画像情報を画像８用ＶＲＡＭ６０４にを書き込む。各ＶＲＡＭに書き込まれた画像情報は一定の周期で読み出され、其々の画像情報に応じた表示素子をドライバーが駆動することで画像が表示される。

即ちドライバー６０５は画像１の画像情報を画像１用ＶＲＡＭ６０３から読み出し、画像１用の表示素子６０７を駆動する。ドライバー６０６は画像８の画像情報を画像８用ＶＲＡＭ６０４から読み出し、画像８用の表示素子６０８を駆動する。画像２から７用のドライバー、ＶＲＡＭ、表示素子もまた、同様に動作する。

次に、ステップＳ５０１で表示モードレジスター６１０が、単視点視差画像を表示する第１のモードを示す場合におけるステップＳ５０３の処理を説明する。ステップＳ５０３において、表示画像生成部４０２は、３次元画像情報入力部４００から３次元画像情報として一対の視差画像画像情報６０１を読み込む。すなわち、表示画像生成部４０２は、左目用画像を示す左目用画像情報と右目用画像を示す右目用画像情報とを含む単視点３次元画像情報を読み込む。

次に、ステップＳ５０５において表示画像生成部４０２は、ステップＳ５０３で入力した左目用画像情報と右目用画像情報とを、重複して複数のＶＲＡＭに書き込む。本実施例では、表示画像生成部４０２は、左目用画像情報を画像１用ＶＲＡＭ６０３，画像２用ＶＲＡＭ，画像３用ＶＲＡＭ，及び画像４用ＶＲＡＭに書き込む。同様に、表示画像生成部４０２は、右目用画像情報を，画像５用ＶＲＡＭ，画像６用ＶＲＡＭ，画像７用ＶＲＡＭ，及び画像８用ＶＲＡＭ６０４に書き込む。先述したように、各ＶＲＡＭに書き込まれた画像情報は一定の周期で読み出され、其々の画像情報の位置に対応する表示素子をドライバーが駆動することで画像が表示される。

即ちドライバー６０５は左目用画像情報を画像１用ＶＲＡＭ６０３から読み出し、画像１用の表示素子６０７を駆動する。画像２から４用のドライバー、ＶＲＡＭ，表示素子もまた、同様に動作する。ドライバー６０６は右目用画像情報を画像８用ＶＲＡＭ６０４から読み出し、画像８用の表示素子６０８を駆動する。画像５から７用のドライバー、ＶＲＡＭ、表示素子もまた、同様に動作する。

以上の処理はステップＳ５０６またはステップＳ５０７において３次元画像の表示が終了するまで繰り返される。この結果、例えば、３次元画像情報入力部４００で入力される画像が動画の場合は、３次元の動画として表示される。

図７は多視点３次元画像を表示する第２の表示モードの場合における各視点と各画像との関係を示す図である。先に説明したように、例えば視点１２とは、左目が画像１用のＶＲＡＭに格納されている画像１を見ることができ、右目が画像２用のＶＲＡＭに格納されている画像２を見ることができる位置のことである。図中各視点のユーザーは△方向で３次元表示装置２を見ているものとする。各視点におけるユーザーの右目の位置を黒い丸印で、左目の位置を白色の丸印で、それぞれ示している。図７に示すような第２の表示モードは、一般に多視点３次元表示器で行われる表示方法である。３次元表示装置２から距離Ｌだけ離れた位置にある視点１２では、ユーザーの左目には画像１が投影され、右目には画像２が投影される。すなわち、図３（ａ）に示す被写体３００を同じ視点である視点１２から見ているのと同じ３次元画像が見える。ここで、距離Ｌは３次元表示装置２の３次元画像を見ることができる好適な距離であり、３次元表示装置２のディスプレイサイズや視角などに応じて適宜変更され得るものである。図７の例では、３次元表示装置２から距離Ｌだけ離れた位置にある各視点のユーザーは３次元画像を知覚できるものであるとする。

ここで、３次元表示装置２からの距離がＬ以上、或いはＬ以下の場合、人の左右の目に投影される画像Ｍと画像Ｎとが視差画像対ではなくなってしまう。例えば、距離がＬの半分のＬ／２の位置にある視点１３の位置で３次元表示装置２をユーザーが見ると仮定する。この場合、ユーザーの左目には画像１が投影され、ユーザーの右目には画像２ではなく、画像３が投影されることになる。図７の例においては、隣り合う画像同士が視差画像を構成しているので、画像１と画像３を見たユーザーは３次元画像を知覚することができない。つまり、多視点３次元画像を表示する場合には一定の距離である距離Ｌの位置でのみ、ユーザーは３次元画像を知覚することができる。このことを別の表現を用いて説明すると、人の左右の目に投影される画像Ｍと画像ＮとがＮ＝Ｍ＋１の関係にある場合にはユーザーが３次元画像を知覚することができる。図７の視点１３においては、画像Ｍと画像ＮとがＮ＝Ｍ＋１の関係に合致しないので、ユーザーが正規の３次元像として知覚できる視差画像対ではなく、従って、ユーザーは視点１３では３次元画像を見ることができない。

図７で説明した多視点３次元画像を表示する第２の表示モードに対して、単視点３次元画像を表示する第１の表示モードにおいては、距離Ｌ以外の距離においても３次元画像をユーザーが知覚することができる。図８は、単視点３次元画像を表示する第１の表示モードにおける各視点と画像との関係を示す図である。第１の表示モードの場合、ステップＳ５０５で説明したように、表示画像生成部４０２は左目用画像情報を画像１、画像２、画像３、画像４として多視点表示し、右目用画像情報を画像５、画像６、画像７、画像８として多視点表示する表示画像を生成する。すなわち、単視点３次元画像を表示する第１の表示モードの場合、視差画像の画像対は１組のみであり、同一の左目用画像を複数の視点画像として重複して表示し、同一の右目用画像を複数の視点画像として重複して表示する。図８の例では、左目用画像の投影線を破線で示し、右目用画像の投影線を実線で示す。図８の例では、３次元表装置２から距離Ｌの視点４５では図７と同様に立体視出来る。さらに、距離がＬ／２の位置にある視点４６においても、画像４として左目で左目用画像情報を、画像６として右目で右目用画像情報を見る事が出来る。図８の例では、投影している画像は単視点３次元画像であるので、ユーザーが左目で左目用画像情報を見て、右目で右目用画像を見ることができれば３次元画像を知覚することができる。従って、視点４６においても、ユーザーは３次元表示装置２に表示された画像を視点４５と同じ３次元画像として見ることができる。

視点４６において多視点３次元表示器３０から両目に届く画像４と画像６の成す角度は通常の人の目の視差角の２倍である。従って、左右の目用の画像４及び画像６の画像が両目の間隔約６５ｍｍ離れて届く３次元表示装置２からの距離の目安は約Ｌ／２となる。

すなわち、視点ＭＮの３次元表示装置からの距離の目安は略Ｌ／｜Ｍ−Ｎ｜に等しい。ここで｜Ｍ−Ｎ｜は（Ｍ−Ｎ）の絶対値を意味する。つまり、Ｌ／｜Ｍ−Ｎ｜に等しい位置でそれぞれ左目用画像と右目用画像とを見ることができれば、その位置でユーザーは３次元画像を知覚することが可能となる。具体的には、図８の例では、距離Ｌ／２の位置に視点４６および視点３５が存在する。また、距離Ｌ／３の位置に視点２５、視点３６、視点４７が存在する。距離Ｌ／４の位置に視点１５、視点４８が存在する。距離Ｌ／５の位置に視点１６、視点２７、視点３８が存在する。これらのいずれの視点位置においてもユーザーは同じ３次元画像を知覚することが可能となる。すなわち、複数のユーザーが同じ３次元画像を、距離と角度が異なる位置で見ることが可能となる。図７で説明したような多視点３次元画像の場合と比較すると、距離Ｌの位置で３次元画像が見えるのは視点４５のみであるが、更に距離と角度が異なる上記した合計１０個の視点で３次元画像を見ることが可能となる。すなわち、図７の例と比較してより多くの視点位置でユーザーが３次元画像を見ることが可能となる。

３次元表示装置２が１００インチを超えるような大画面で、会議室等で使う場合に本実施例は極めて有効である。さらに、表示可能な視点画像の数が増えるほど本実施例は有効である。また、一般に単視点３次元画像を表示する第１の表示モード１は主に動画に適し、多視点３次元画像を表示する第２の表示モードは静止画に適する。また、単視点３次元画像として多視点３次元画像情報の中の例えば画像４を右目用画像情報として、画像５を左目用画像情報として用いても同様の効果が得られる事は述べるまでも無い。すなわち、ステップＳ５０５や図８に示す組み合わせに限定されるものではなく、入力する左目用画像情報と右目用画像情報とを適宜変更してもよい。また、３次元表示装置２から表示される左目用画像と右目用画像とは同じ数でなくてもよい。

なお、図７及び図８は３次元表示装置２の略中央の表示画素から対向するユーザーに投影されている画像１から画像８を図示している例を示している。一般の多視点３次元表示器３０は、全ての表示画素からの表示画像をレンチキュラーレンズなどの光学手段で其々距離Ｌのユーザー視点位置に向けて投影しているので、距離Ｌの全ての視点では多視点３次元表示器３０で表示される画像全体を立体視出来る。つまり、一般の多視点３次元表示器３０は距離Ｌのユーザー視点位置に向けて最適化されている。逆に言えば、距離Ｌ以下の各視点に対しては最適化がされていないため、距離Ｌ以下の各視点では多視点３次元表示器３０で表示する中央部以外の表示画素からの画像も目に入ることがある。また、多視点３次元表示器３０に近い視点程、多視点３次元表示器３０で表示している画像全体（特に両端に近い部分）を見る事が出来ない場合がある。また、其々他方の目用の視差画像も投影される為、安定に立体視する事が難しくなる場合もある。従って、先の説明の視点位置も実際の視点位置と厳密に一致しないことがある。この状態は多視点３次元表示器３０のサイズが大きい程、多視点３次元表示器３０の視点数が多い程、また視点の多視点３次元表示器３０からの距離が近い程、顕著である。一方、各視点の両目に投影される画像は１対の視差画像の内の一方の為、本来の視点位置で意図している視差画像で無くとも同じ右（または左）目画像であれば、問題無く立体視が可能である。例えば視点１５の位置において本来左目には画像１が投影されることを意図しているところ、画像２が左目に入ってくる場合も状況によってはあり得る。このような場合であっても同じ左目用画像が投影されれば３次元画像として知覚することがもちろん可能である。また、右（または左）目に逆の左（または右）目用画像が投影されたとしても、そもそも同じ被写体の視差画像の一部であり、奥行き感の少ない画像部分で有れば、その視点での立体視を必ずしも阻害するものでは無い。

以上の説明ではレンチキュラーレンズを用いた多視点３次元表示器を用いる場合を例に挙げて説明した。しかしながら、本実施例は、表示器から異なる複数の視点方向に対して異なる２次元画像を表示する表示器で有れば、いずれの表示器においても適用することができる。例えば、５７台のプロジェクターを異なる５６個の視点方向に５７種の視差画像を投影する事が出来る画面サイズ２００インチの表示器を用いると、より大勢のユーザーが広い空間内で同じ３次元画像を見る事が出来る。また、多数の回折格子を使って２次元的多視点方向に多視点画像を表示出来る３次元表示器にも本実施例を適用することが可能である。

＜実施例２＞
実施例２では、表示画像生成部４０２が実施例１と異なる表示画像を生成する例について説明する。

図９は実施例２に係る表示画像生成部４０２の処理の一例を示すフローチャートである。ステップＳ９０１、Ｓ９０２〜Ｓ９０４、Ｓ９０６〜Ｓ９０７は、図５のステップＳ５０１、Ｓ５０２〜Ｓ５０４、Ｓ５０６〜Ｓ５０７とそれぞれ同じ処理とすることができるので説明を省略する。

実施例２では、ステップＳ９０５の処理が実施例１と異なる。実施例２においては、第１の表示モードが設定されている場合、ステップＳ９０５において、表示画像生成部４０２は次のように画像情報をＶＲＡＭに書き込む。すなわち、表示画像生成部４０２は、左目用画像の画像情報を画像１用ＶＲＡＭ、画像３用ＶＲＡＭ、画像５用ＶＲＡＭ、及び画像７用ＶＲＡＭに書き込む。一方、表示画像生成部４０２は、右目用画像の画像情報を画像２用ＶＲＡＭ、画像４用ＶＲＡＭ、画像６用ＶＲＡＭ、及び画像８用ＶＲＡＭに書き込む。

図１０は図９で示す表示画像生成部４０２の処理によって表示される画像を３次元画像として知覚することができるユーザー視点を示す。実施例２においては、距離Ｌで３次元画像を知覚できる視点は、視点１２、視点３４、視点５６、及び視点７８である。また、距離Ｌ／３で３次元画像を知覚できる視点は、視点１４、視点３６、及び視点５８である。また、距離Ｌ／５で３次元画像を知覚できる視点は、視点１６、及び視点３８である。以上のように、実施例２の場合には、９個の視点位置でユーザーが同じ３次元画像を見る事が可能である。

実施例１では距離Ｌで３次元画像を知覚できる視点は１か所である例を説明した。実施例２の手法によれば、少なくとも２か所以上隣り合う２視点画像に視差画像対を表示させれば、距離Ｌで角度の異なる視点が実施例１よりも多く得られる、従って実施例２はより大勢が裸眼で見る事の出来る大画面表示器に適する。図１０に示す実施例２の各視点画像として表示する画像を左右逆の目用の画像を表示すれば、距離Ｌの視点として中央の視点４５を含んで視点２３及び視点６７が得られる。一般に多視点３次元表示器で隣り合う２視点画像として視差画像対をＸ組表示すれば、正規の視点距離Ｌでは視点がＸ個得られる。従ってＸを２以上とする事で本実施例の効果がより明確になる。

＜実施例３＞
実施例３では、表示画像生成部４０２が実施例１及び２と異なる表示画像を生成する例について説明する。

図１１は実施例３に係る表示画像生成部４０２の処理の一例を示すフローチャートである。ステップＳ１１０１、Ｓ１１０２〜Ｓ１１０４、Ｓ１１０６〜Ｓ１１０７は、図５のステップＳ５０１、Ｓ５０２〜Ｓ５０４、Ｓ５０６〜Ｓ５０７とそれぞれ同じ処理とすることができるので説明を省略する。

実施例３では、ステップＳ１１０５の処理が実施例１と異なる。実施例３においては、第１の表示モードが設定されている場合、ステップＳ１１０５において、表示画像生成部４０２は次のように画像情報をＶＲＡＭに書き込む。すなわち、表示画像生成部４０２は、左目用画像の画像情報を画像１用ＶＲＡＭ、画像２用ＶＲＡＭ、画像５用ＶＲＡＭ、及び画像６用ＶＲＡＭに書き込む。一方、表示画像生成部４０２は、右目用画像の画像情報を画像３用ＶＲＡＭ、画像４用ＶＲＡＭ、画像７用ＶＲＡＭ、及び画像８用ＶＲＡＭに書き込む。

図１２は１１で示す表示画像生成部４０２の処理によって表示される３次元画像を知覚することができるユーザー視点を示す。実施例３において距離Ｌで３次元画像を知覚できる視点は、視点２３、及び視点６７である。距離Ｌ／２で３次元画像を知覚できる視点は、視点１３、視点２４、視点５７、及び視点６８である。距離Ｌ／３で３次元画像を知覚できる視点は、視点１４、及び視点５８である。距離Ｌ／５で３次元画像を知覚できる視点は、視点２７である。距離Ｌ／６で３次元画像を知覚できる視点は、視点１７、及び視点２８である。以上のように、実施例３の手法によれば１１個の視点でユーザーが同じ３次元画像を見る事が可能である。

図１２に示すように、実施例３では距離Ｌ／２の位置で３次元画像を知覚できる視点が４個あり、この距離Ｌ／２の位置において最も多くの視点でユーザーが３次元画像を見る事が出来る。また、実施例３では、実施例１および２よりも多くの視点位置でユーザーが３次元画像を見ることができる。

なお、以上の実施例１から３で説明した表示画像は単なる例示に過ぎず、全視点画像中約半分を右（または左）目用画像用として生成して表示するいずれの表示画像生成手法を用いてもよいことはもちろんである。なお、必ずしも半分が右（または左）目用画像でなくてもよい。極端な例では、１つの視点画像を左目用画像とし、その他の視点画像を右目用画像として構成してもよい。

また、実施例１から３においては単視点３次元画像を表示する第１の表示モードについて説明を行った。しかしながら、必ずしも単視点である必要はなく、複数の視点の視差画像対を、複数の視点画像として重複して表示させることで、異なる距離や異なる角度で同じ３次元画像をユーザーが見ることが可能となる。

本発明の実施例では各視点画像は理想的に任意の方向に視差画像を表示出来る前提で説明したが、一般的な多視点３次元表示器３０を構成する光学部材の特性によれば、表示する各視点方向には其々所定の角度の幅の指向性を有する。従って先の図７、図８、図１０、図１２の各視点ＭＮは一点では無く、一定の二次元的な範囲を有している。従って、上述した各実施例において、ユーザーは先の図７、図８、図１０、図１２の各視点の周辺を含むより十分広い領域で同じ３次元画像を見る事が出来る。

＜その他の実施例＞
上記の各実施例で説明したように、表示画像生成部４０２の各視点画像の生成の方法や、多視点３次元表示器３０の多視点数により、ユーザが３次元画像を見る事が可能な視点の位置が大きく異なる。従って、表示モード設定部４０１が、第１の表示モードを細分化した設定を行うように構成してもよい。たとえば、第１の表示モードを複数設けて、第１の表示モード１を実施例１、第１の表示モード２を実施例２とし、３者の表示モードから任意の設定を設けるように構成してもよい。上述したように、各実施例においては、視点位置や視点数などが異なるため、表示する内容や、人数、視聴者の位置、表示器の大きさ等に応じて適したモードをユーザーが適宜選択して設定するとより効果的である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (16)

1. 少なくとも一対の視差画像を入力する入力手段と、
   前記視差画像を構成する右目用画像及び左目用画像を、多視点３次元表示手段の各視点方向に対応する視点画像として重複して表示させる表示制御手段と
   を有することを特徴とする画像処理装置。
2. 前記表示制御手段は、前記多視点３次元表示手段の少なくとも２か所以上において、隣り合う視点方向に対応する視点画像として前記左目用画像及び前記右目用画像を隣り合わせに表示させることを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御手段は、前記多視点３次元表示手段の表示面に対向するユーザーから見て右側の視点方向に対応する視点画像に前記右目用画像を、ユーザーから見て左側の視点方向に対応する視点画像に前記左目用画像を表示させることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記表示制御手段は、前記多視点３次元表示手段の約半分の視点方向に対応する視点画像に前記右目用画像を表示させ、その他の視点方向に対応する視点画像に前記左目用画像を表示させることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 表示モードを設定する表示モード設定手段をさらに有し、
   前記表示制御手段は設定された表示モードに応じて各視点方向に対応する視点画像を決定することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 多視点３次元表示手段はレンチキュラーレンズを用いた３次元表示器であることを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
7. 多視点３次元表示手段は、プロジェクターを用いた３次元表示器であることを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
8. ３次元画像を多視点３次元表示手段から距離Ｌの位置で知覚できる前記３次元表示手段を有する画像処理装置であって、
   左目用画像を画像Ｍとし、右目用画像を画像Ｎとする場合、Ｌ／｜Ｍ−Ｎ｜の距離で３次元画像を知覚できるように少なくとも一対の視差画像を構成する前記左目用画像及び前記右目用画像を、前記多視点３次元表示手段の各視点方向に対応する視点画像として重複して表示させる表示制御手段を有することを特徴とする画像処理装置。
9. 前記距離Ｌは、３次元表示手段のサイズ及び視角に応じて決定されることを特徴とする請求項８に記載の画像処理装置。
10. 多視点３次元表示手段の各視点に対応する視点画像として、異なる画像を表示させるモードと、
    多視点３次元表示手段の各視点方向に対応する視点画像として、少なくとも１対の視差画像を構成する画像を重複して表示させるモードと、
    を切り替える切り替え手段を有することを特徴とする画像処理装置。
11. 少なくとも一対の視差画像を入力する入力手段と、
    複数の視点にそれぞれ対応する視点画像を表示する多視点３次元表示手段と、
    前記視差画像を構成する右目用画像及び左目用画像を、多視点３次元表示手段の各視点方向に対応する視点画像として重複して表示させる表示制御手段と
    を有することを特徴とする表示装置。
12. 少なくとも一対の視差画像を入力する入力ステップと、
    前記視差画像を構成する右目用画像及び左目用画像を、多視点３次元表示手段の各視点方向に対応する視点画像として重複して表示させる表示制御ステップと
    を有することを特徴とする画像処理方法。
13. ３次元画像を多視点３次元表示手段から距離Ｌの位置で知覚できる前記３次元表示手段を有する画像処理装置における画像処理方法であって、
    左目用画像を画像Ｍとし、右目用画像を画像Ｎとする場合、Ｌ／｜Ｍ−Ｎ｜の距離で３次元画像を知覚できるように少なくとも一対の視差画像を構成する前記左目用画像及び前記右目用画像を、前記多視点３次元表示手段の各視点方向に対応する視点画像として重複して表示させる表示制御ステップを有することを特徴とする画像処理方法。
14. 多視点３次元表示手段の各視点に対応する視点画像として、異なる画像を表示させるモードと、
    多視点３次元表示手段の各視点方向に対応する視点画像として、少なくとも１対の視差画像を構成する画像を重複して表示させるモードと、
    を切り替える切り替えステップを有することを特徴とする画像処理方法。
15. 複数の視点にそれぞれ対応する視点画像を表示する多視点３次元表示手段を有する表示装置の制御方法であって、
    少なくとも一対の視差画像を入力する入力ステップと、
    前記視差画像を構成する右目用画像及び左目用画像を、多視点３次元表示手段の各視点方向に対応する視点画像として重複して表示させる表示制御ステップと
    を有することを特徴とする制御方法。
16. コンピュータを、請求項１から１０のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

Images