JP2011035592A

JP2011035592A - 表示制御プログラムおよび情報処理システム

Info

Publication number: JP2011035592A
Application number: JP2009178848A
Authority: JP
Inventors: Keizo Ota; 敬三太田
Original assignee: Nintendo Co Ltd
Current assignee: Nintendo Co Ltd
Priority date: 2009-07-31
Filing date: 2009-07-31
Publication date: 2011-02-17
Also published as: US20110032252A1

Abstract

【課題】立体表示から平面表示への切替わりの表示を自然に見せることが可能な表示制御プログラムおよび情報処理システムを提供する。
【解決手段】表示装置において、被写体が立体表示されている状態（図９（ａ））から、被写体が平面表示される状態（図９（ｃ））に切替わる際に、表示装置に黒一色の挿入画像が表示される（図９（ｂ））。この挿入画像は、立体表示に用いられる入力画像とは独立している。この挿入画像の表示によって、ユーザの眼や脳が立体表示からリセットされ、立体表示から平面表示への切替わりの表示を自然に見せることができる。
【選択図】図９

Description

この発明は、立体表示から平面表示への切替わりの表示を自然に見せることが可能な表示制御プログラムおよび情報処理システムに関する。

従来から、所定の視差を有する２つの画像を用いて、立体表示を行なう方法が知られている。すなわち、ユーザの右眼の視野に右眼用の画像が入り、ユーザの左眼の視野に左眼用の画像が入るといったように、ユーザが左右の眼で異なる画像を見るように構成した上で、当該右眼用の画像と左眼用の画像との間に視差を与えることによって、ユーザに立体感を与えることができる。

典型的には、被写体までの光軸に対して所定距離だけ離して対称的に配置された２つの撮像部（いわゆる、ステレオカメラ）によってそれぞれ撮像された画像は、そのままで所定の視差を有している。そのため、被写体までの光軸に対して右側に配置された右カメラ、および同じく左側に配置された左カメラによってそれぞれ撮像された画像を、上述したような立体表示が可能な表示装置を用いて、それぞれ右眼用画像および左眼用画像として表示すれば、被写体を立体的に表示することができる。

あるいは、１台の撮像部を水平方向に位置を変えて複数回撮像することでも、所定の視差を有する複数の画像を取得することができ、このような撮像画像を用いても、被写体を立体的に表示することができる。

このよう立体表示が可能な表示装置では、たとえば、右眼用画像および左眼用画像として同一の画像を表示することで、被写体を２次元画像として表示（すなわち、平面表示）することもできる。そこで、たとえば、特開２００４−２９４８６１号公報（特許文献１）に開示されるように、１つの表示装置を用いて、立体表示と平面表示とを切替えて、どちらも利用できるように技術が提案されている。

特開２００４−２９４８６１号公報

上述のように、複数（典型的には、２枚）の画像を用いて立体表示を行なう場合には、人間の眼や脳の働きを利用して立体感を得ており、通常の空間を見る場合とは異なる情報が両眼に与えられている。

この発明は、このような課題を解決するためになされたものであって、その目的は、立体表示から平面表示への切替わりの表示を自然に見せることが可能な表示制御プログラムおよび情報処理システムを提供することである。

この発明の第１の局面に従えば、立体表示が可能な表示装置を制御するための表示制御プログラムを提供する。本表示制御プログラムは、表示装置のコンピュータを、共通の表示対象を含み、かつ視差を有する第１および第２入力画像を用いて、表示対象が表示装置に立体表示されるように表示処理を行なう立体表示処理手段、表示装置に表示対象が２次元画像として平面表示されるように表示処理を行なう平面表示処理手段、および、表示装置における立体表示と平面表示とを切替える表示切替手段、として機能させる。表示切替手段は、表示対象を立体表示する状態と表示対象を平面表示する状態とを切替えるときに、表示装置において所定期間にわたって表示対象が実質的に非表示となるように表示処理を行なう。

たとえば、ユーザが表示装置上の何らかの表示対象（被写体）に注目している場合に、当該表示対象を立体表示する状態と平面表示する状態とを切替えるときに、立体感が失われて当該表示対象の見え方が不連続になる。これに対して、この発明の第１の局面によれば、所定期間にわたって表示対象が実質的に非表示となるように表示処理が行なわれるので、実質的に同一の表示対象が時間的に連続してユーザの視野に入ることがない。これにより、ユーザの眼や脳が立体表示からリセットされ、立体表示から平面表示への切替わりの表示を自然に見せることができる。

好ましい第２の局面に従えば、立体表示処理手段は、所定の視差を有する第１および第２入力画像について、両入力画像の表示時の相対位置関係を設定することで、立体表示の立体感を決定する立体感決定手段を含む。

この発明の第２の局面によれば、第１および第２入力画像の相対位置関係を適宜設定することで、ユーザが感じる立体感を調整することができる。これにより、典型的には、ユーザが注目する表示対象についての立体感を適切に表現できる。

好ましい第３の局面に従えば、立体感決定手段は、相対位置関係を左右方向に変更することで、立体表示の立体感を調整する立体感調整手段を含む。

この発明の第３の局面によれば、立体感を調整するに際して、第１および第２入力画像を特定の方向（左右方向）に変位させるだけでよいので、立体感の調整に要する処理量を低減できる。

好ましい第４の局面に従えば、立体感調整手段は、相対位置関係を連続的に変更し、表示切替手段は、相対位置関係が所定条件を満足したときに、立体表示から平面表示へ切替える。

好ましい第５の局面に従えば、立体感調整手段は、相対位置関係を変更することで、立体表示の立体感を、手前側から奥行き側の所定範囲で連続的に調整可能であり、表示切替手段は、立体感が当該所定範囲の奥行き側の境界に達したときに、立体表示から平面表示へ切替える。

この発明の第４および第５の局面によれば、第１入力画像と第２入力画像との間の相対関係を連続的に異ならせることで、立体感を連続的に調整することができる。さらに、第１および第２入力画像の相対位置関係が所定条件を満足する場合において、立体表示から平面表示へ切替えられる。これによって、ユーザは立体感をシームレスに調整し、また、立体表示と平面表示との切替もシームレスに行なえると共に、切替時には表示対象が非表示となるような表示処理をおこなうことで、立体表示から平面表示への切替わりの表示を自然に見せることができる。

好ましい第６の局面に従えば、立体表示処理手段は、表示装置へ出力される、第１入力画像の一部領域である第１部分画像および第２入力画像の一部領域である第２部分画像を、立体感決定手段によって設定された相対位置関係に応じて決定する部分画像決定手段を含む。

好ましい第７の局面に従えば、立体感決定手段は、相対位置関係を左右方向に変更することで、立体表示の立体感を調整する立体感調整手段を含み、部分画像決定手段は立体感調整手段による立体感の調整に応じて、表示装置へ出力される、第１入力画像の一部領域および第２入力画像の一部領域の少なくとも一方を変更する。

この発明の第６および第７の局面によれば、立体表示を第１部分画像および第２部分画像について処理することで、表示装置の表示面における両端に非表示部分を作らない表示を行なうことができる。

好ましい第８の局面に従えば、立体感決定手段は、相対位置関係を連続的に変更することで、立体表示の立体感を調整する立体感調整手段を含み、平面表示処理手段は、表示切替手段によって立体表示から平面表示に切替えられた直後において、立体感調整手段による相対位置関係の変更と関係なく決定された相対位置関係に応じて、第１部分画像および第２部分画像の少なくとも一方を決定し、当該第１部分画像および第２部分画像の少なくとも一方に基づく画像を表示手段に表示させる。

この発明の第８の局面によれば、直前の立体表示での立体感とは独立して、常に所定の状態の平面表示を行なうことができる。

好ましい第９の局面に従えば、平面表示処理手段は、表示切替手段によって立体表示から平面表示に切替えられた直後において、第１入力画像と第２入力画像との間の基本となる相対位置関係に基づいて、第１部分画像および第２部分画像の少なくとも一方を決定する。

この発明の第９の局面によれば、直前の立体表示で表示されていた表示対象の状態になるべく近い状態で、平面表示を行なうことができる。そのため、ユーザは、立体表示から切替わった平面表示を自然に受入れることができる。

好ましい第１０の局面によれば、表示制御プログラムは、表示装置のコンピュータを、立体感に関連付けられた所定のパラメータを増減させるユーザ操作を受付ける入力手段としてさらに機能させ、入力手段は、所定のパラメータの値に基づいて、立体表示と平面表示との切替え要求を発生する。

好ましい第１１の局面によれば、入力手段は、所定のパラメータを増減させるユーザ操作として、スライダーを所定方向にスライドする操作を受付ける。

この発明の第１０および第１１の局面によれば、典型的には、所定方向に移動可能なスライダーが入力手段として採用され、ユーザは、このスライダーを操作することで、立体感に関連付けられた所定のパラメータを増減させることができる。したがって、ユーザは、ワンアクションで、立体感を調整することができる。すなわち、ユーザに対して、より直感的な操作を提供できる。

好ましい第１２の局面によれば、表示切替手段は、表示対象を立体表示している状態から平面表示している状態に切替えられるまでの所定期間にわたって、表示装置における表示を実質的に停止する。

この発明の第１２の局面によれば、表示装置において立体表示から平面表示への切替えが行なわれる際には、表示装置には何らの表示も行なわれないので、ユーザの眼や脳をリセットできるとともに、不要な電力消費を低減できる。

好ましい第１３の局面によれば、表示切替手段は、表示対象を立体表示している状態から平面表示している状態に切替えられるまでの所定期間の間、表示装置に第１および第２入力画像とは独立した演出を表示させる。

この発明の第１３の局面によれば、立体表示から平面表示への切替えが行なわれる際には、ユーザは、直前の立体表示されている表示対象とは独立した内容を眼にすることになる。そのため、その後、立体表示されていた表示対象と同じ表示対象が平面表示されることになっても、当該独立した演出によって、先にユーザの眼や脳がリセットされているので、ユーザは平面表示された表示対象を自然に受入れることができる。

典型的な実施の形態においては、カメラのシャッターを模したオブジェクト画像がフェードインするような演出が表現される。ユーザは、このような演出に注目するので、先に見ていた表示対象（被写体）からの注目が緩和され、よりユーザの眼や脳がリセットされ易くなる。

好ましい第１４の局面によれば、表示切替手段は、表示対象を立体表示している状態から平面表示している状態に切替えられるまでの所定期間にわたって、表示装置に第１および第２入力画像とは独立した挿入画像の表示を行なう。

この発明の第１４の局面によれば、ユーザは、直前の立体表示されている表示対象とは独立した内容を眼にすることになる。そのため、その後、立体表示されていた表示対象と同じ表示対象が平面表示されることになっても、当該独立した挿入画像によって、先にユーザの眼や脳がリセットされているので、ユーザは平面表示された表示対象を容易に受入れることができる。

好ましい第１５の局面によれば、表示切替手段は、予め用意されている挿入画像を表示させる。

好ましい第１６の局面によれば、挿入画像は、実質的に単色の画像を含む。
好ましい第１７の局面によれば、実質的に単色の画像は、黒色画像である。

この発明の第１５〜第１７の局面によれば、たとえば、表示装置において撮像部が撮像した写真などを表現する場合などにおいて、表示されることがない画像（典型的には、黒色画像）を予め用意しておくだけでよい。そのため、記憶容量などを不要に大きくする必要がないとともに、確実にユーザの眼や脳をリセットできる。

好ましい第１８の局面によれば、平面表示処理手段は、立体表示から平面表示に切替えられた直後において、直前の立体表示に用いられていた第１および第２入力画像の少なくとも一方に基づく画像を表示装置に表示させる。

好ましい第１９の局面によれば、平面表示処理手段は、立体表示から平面表示に切替えられた直後において、直前の立体表示に用いられていた第１および第２入力画像のいずれか一方の画像を表示装置に表示させる。

この発明の第１８および第１９の局面によれば、平面表示を行なうために特化した画像を取得する必要がない。すなわち、立体表示を行なうために用いられる複数の入力画像を利用して、平面表示を行なうことができるので、装置構成などをより簡素化できる。

この発明の第２０の局面に従う情報処理システムは、立体表示が可能な表示手段と、共通の表示対象を含み、かつ視差を有する第１および第２入力画像を用いて、表示対象が表示装置に立体表示されるように表示処理を行なう立体表示処理手段と、表示対象が表示装置に２次元画像として平面表示されるように表示処理を行なう平面表示処理手段と、表示手段における立体表示と平面表示とを切替える表示切替手段とを含む。表示切替手段は、表示対象を立体表示する状態と表示対象を平面表示する状態とを切替えるときに、所定期間にわたって表示対象が実質的に非表示となるように表示手段を制御する。

たとえば、ユーザが表示装置上の何らかの表示対象（被写体）に注目している場合に、当該表示対象を立体表示する状態と平面表示する状態とを切替えるときに、立体感が失われて当該表示対象の見え方が不連続になる。これに対して、この発明の第２０の局面によれば、所定期間にわたって表示対象が実質的に非表示となるように表示処理が行なわれるので、実質的に同一の表示対象が時間的に連続してユーザの視野に入ることがない。これにより、ユーザの眼や脳が立体表示からリセットされ、立体表示から平面表示への切替わりの表示を自然に見せることができる。

好ましい第２１の局面によれば、立体表示手段は、所定の視差を有する第１および第２入力画像について、両入力画像の間の相対位置関係を、立体表示の要求に応じた値に設定する第１立体感設定手段と、相対位置関係に応じて第１および第２入力画像に対してそれぞれ設定される第１および第２表示対象領域について、第１表示対象領域に含まれる第１部分画像と、第２表示対象領域に含まれる第２部分画像とを表示手段へ出力する第１出力手段とを含み、平面表示処理手段は、立体表示から平面表示に切替えられた直後において、両入力画像の間の相対位置関係を、第１入力画像と第２入力画像との間の対応関係に基づいて決定された基本相対位置関係と実質的に一致させた場合に取得される、第１部分画像および第２部分画像の少なくとも一方に基づく画像を表示手段に表示させる。

この発明の第２１の局面によれば、立体表示と平面表示を切替えたときに、ユーザによる基本相対位置関係からの調整量をリセットして平面表示を行なうことができ、これによって、もともと表示されるはずだった表示対象を表示することができる。そのため、ユーザは、立体表示から切替わった平面表示を自然に受入れることができる。

好ましい第２２の局面によれば、本システムは、所定の視差を有する一対の画像を受付ける画像入力手段と、仮想空間上のオブジェクトを一対の仮想カメラによって撮影することによって一対の画像を生成する画像生成手段と、第１モードにおいて、画像入力手段によって受付けられた一対の画像を第１および第２入力画像に設定する一方で、第２モードにおいて、画像生成手段によって生成された一対の画像を第１および第２入力画像に設定するモード切替手段とをさらに含み、立体表示手段は、一対の仮想カメラの間の相対距離を、立体表示の要求に応じた値に設定する第２立体感設定手段と、第１および第２入力画像を表示手段へ出力する第２出力手段とを含み、第１モードにおいて、第１相対変位量設定手段および第１出力手段が有効化される一方で、第２モードにおいて、第２相対変位量設定手段および第２出力手段が有効化される。

この発明の第２２の局面によれば、一定の視差を有する一対の入力画像を用いて立体表示を行なうことができるとともに、視差を変化させることのできる一対の入力画像を用いて立体表示を行なうことができる。

好ましい第２３の局面によれば、立体表示手段は、第１モードにおいて、ユーザによる立体感調整操作に応答して、第１および第２入力画像について、両入力画像の間の相対位置関係変位量を連続的に変更し、２モードにおいて、ユーザによる立体感調整操作に応答して、一対の仮想カメラの間の相対距離を連続的に変更する。

この発明の第２３の局面によれば、第１入力画像と第２入力画像との間の相対関係を無段階に異ならせることで、立体感を連続的に調整することができる。さらに、第１および第２入力画像の相対位置関係が所定条件を満足する場合（典型的には、ユーザが注目している表示対象が表示装置の表示面付近に位置する場合）において、立体表示から平面表示へ切替えられる。これによって、注目している表示対象が立体表示において現れていた位置からあまりずれることなく、自然に平面表示される。

好ましい第２４の局面によれば、第２モードにおいて、平面表示処理手段は、一対の仮想カメラの間の相対距離をゼロにしたときに、画像生成手段によって生成される一対の画像の一方を表示手段に表示させる。

この発明の第２４の局面によれば、一対の仮想カメラの間の相対変位量をゼロ、すなわち、同じ位置に２つの仮想カメラを配置した場合に得られる入力画像を用いて平面表示が行なわれるので、平面表示を行なうために必要な入力画像を容易に生成できるとともに、立体表示から平面表示への連続的な切替（移行）を実現できる。

好ましい第２５の局面によれば、第２モードにおいて、表示切替手段は、第２立体感設定手段によって一対の仮想カメラの間の相対距離をゼロとすることで、表示手段における立体表示と平面表示とを切替えるとともに、表示対象が実質的に非表示となる期間を設けない。

この発明の第２５の局面によれば、第２モードにおいては、立体表示から平面表示への連続的な切替（移行）を実現できる。そのため、この第２モードにおいては、立体表示から平面表示への切替時の処理量の低減、およびより切替処理の迅速な完了を実現することができる。

好ましい第２６の局面によれば、第２モードにおいて、表示切替手段は、所定条件が満たされた場合に限って、立体表示から平面表示へ切替えられるまでの所定期間にわたって、表示対象が実質的に非表示とする。

この発明の第２６の局面によれば、第２モードにおいては、立体表示から平面表示への連続的な切替（移行）を実現できる。そのため、この第２モードにおいては、立体表示から平面表示への切替時の処理量の低減、およびより切替処理の迅速な完了を実現することができる。

好ましい第２７の局面によれば、画像入力手段は、一対の撮像部を含む。
この発明の第２７の局面によれば、ユーザが情報処理システム１を用いて撮影した画像を立体表示できるので、ユーザビリティをより高めることができる。

好ましい第２８の局面によれば、立体表示に係る程度に関連付けられるとともに、立体表示と平面表示との切替えにも関連付けられた所定のパラメータに対するユーザ操作を受付ける入力手段をさらに含む。

好ましい第２９の局面によれば、立体表示手段は、第１モードにおいて、所定のパラメータに対するユーザ操作によって、第１および第２入力画像について、両入力画像の間の相対位置関係を連続的に変更し、第２モードにおいて、所定のパラメータに対するユーザ操作によって、一対の仮想カメラの間の相対距離を連続的に変更する。

さらに好ましい第３０の局面に従えば、入力手段は、所定の一軸方向にスライド操作可能な機構を含む。

この発明の第２８〜第３０の局面によれば、典型的には、所定の軸方向に移動可能なスライダーが入力手段として採用され、ユーザは、このスライダーを操作することで、立体表示に係る飛び出し量の調整および立体表示と平面表示との切替のいずれをも行なうことができる。したがって、ユーザは、ワンアクションで、立体感の調整と表示切替を行なうことができる。すなわち、ユーザに対して、より直感的な操作を提供することができる。

上述の記載においては、本発明の理解を助けるために後述の実施形態との対応関係を示す補足説明等を付したが、これらは本発明を何ら限定するものではない。

この発明のある局面によれば、立体表示から平面表示への切替わりの表示を自然に見せることができる。

この発明の実施の形態１に従う情報処理システムの内部構成を示すブロック図である。この発明の実施の形態１に従う情報処理システムの表示装置の模式断面図である。この発明の実施の形態１に従う画像マッチング処理を説明するためのある被写体の状態を示す模式図である。図３に対応して第１撮像部および第２撮像部により撮像される画像を示す模式図である。図４に示す入力画像に対して設定された注目領域枠に含まれる内容が表示装置の表示面付近に見えるように、入力画像を立体的に表示する場合の相対関係を説明するための図である。図５に示す注目領域枠を移動させた場合の処理例を説明するための図である。この発明の実施の形態１に従う平面処理に用いられる入力画像の取得例を説明するための図である。この発明の実施の形態１に従う立体表示から平面表示への切替処理を説明するための図である。この発明の実施の形態１に従う立体表示から平面表示への切替処理の表示態様の一例を示す模式図（その１）である。この発明の実施の形態１に従う立体表示から平面表示への切替処理の表示態様の一例を示す模式図（その２）である。この発明の実施の形態１に従う情報処理システムの表示装置を制御するための機能ブロック図である。この発明の実施の形態１に従う入力手段のある形態を示す図である。この発明の実施の形態１に従う入力手段の別の形態を示す図である。この発明の実施の形態１に従う入力手段のさらに別の形態を示す図である。この発明の実施の形態１に従う情報処理システムにおける入力画像の仮想配置を説明するための図である。この発明の実施の形態１に従う情報処理システムにおける基本相対変位量の決定処理を説明するための模式図である。この発明の実施の形態１に従うサーチ処理を説明するための図（その１）である。この発明の実施の形態１に従うサーチ処理を説明するための図（その２）である。この発明の実施の形態１に従うサーチ処理を説明するための図（その３）である。この発明の実施の形態１に従う表示ずれ量の決定処理を説明するための図である。この発明の実施の形態１に従う情報処理システムにおける画像表示制御の全体処理手順を示すフローチャート（その１）である。この発明の実施の形態１に従う情報処理システムにおける画像表示制御の全体処理手順を示すフローチャート（その２）である。図２１に示すサーチ処理サブルーチンの処理を示すフローチャートである。図２３に示す一致度評価サブルーチンの処理を示すフローチャートである。この発明の実施の形態１の変形例１に従う情報処理システムにおける画像表示制御の全体処理手順を示すフローチャート（その１）である。この発明の実施の形態１の変形例１に従う情報処理システムにおける画像表示制御の全体処理手順を示すフローチャート（その２）である。この発明の実施の形態２に従う情報処理システムの表示装置を制御するための機能ブロック図である。図２７に示すオブジェクト表示モードコントローラのより詳細な機能ブロック図である。この発明の実施の形態２に従うオブジェクト表示モードでの入力画像の生成処理を示す模式図である。図２９に示すそれぞれの視点において取得される入力画像の一例を示す図である。この発明の形態２に従うオブジェクト表示モードおいて提供される立体表示を示す模式図である。この発明の実施の形態２に従う情報処理システムにおける画像表示制御の全体処理手順を示すフローチャートである。

この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

＜用語＞
本明細書において、「立体表示」または「３次元表示」とは、画像に含まれる少なくとも一部の対象物をユーザに立体的に視認させることができるように、当該画像を表現することを意味する。典型的には、人間の眼や脳の生理的な働きが利用される。複数の画像を表示することで「ユーザに立体的に視認させる」ときに、立体的に見えるための要因としてはさまざまなものが存在するが、特に、立体表示において、以下の要素によって「ユーザに立体的に視認させる」ことができる。

（ａ）カメラ位置；立体表示を行なうために複数の画像を用いるが、それぞれの画像を生成するために異なった位置に設定したカメラ（観測点）からの画像を用いる。これらのカメラからの複数の画像は視差を有することになる。

（ｂ）表示位置；（ａ）によって生成された画像を表示デバイス上に表示する際に、複数の画像がユーザの左右の目にとって視差を有するように表示する。なお、（ａ）によって生成された複数の画像が有するもともとの視差をそのまま用いて表示してもよいが、当該視差を調整した後表示することもできる。

この「（ａ）カメラ位置」と「（ｂ）表示位置」の２つの要素により、ユーザが感じる立体感が生成されまた調整される。すなわち、立体感を調整するときに、（ａ）を変更することによって調整することができ、また、（ｂ）を変更することによって調整することもできる。本明細書では、前者を「カメラ位置による立体感調整」、後者を「表示位置による立体感調整」などとも称す。

本明細書において、「視差」とは、右目と左目で見える像における、対象点の見え方の違いのことを意味する。ある対象を異なる観測点から観測した場合に、それぞれの観測点で観測される内容に基づいて画像を生成した場合に、これらの画像は視差を有する画像となる。なお、１つの画像から擬似的に視差を有する画像を生成することもできるが、本明細書における「視差を有する画像」はそのような概念も含む。また、右目用の表示を生成するための観測点と左目用の表示を生成するための観測点の差により、ある物体について、右目用の表示画像中の像と左目用の表示画像中の像は位置が異なる。このような、両画像中における同一物体についての像の位置の差の大きさを「視差量」と称する。なお、視差量は、観測点を変更せずとも、表示位置をずらすことによって調整することもできる。

上述した「（ｂ）表示位置」に関して、立体表示にあたっての右目用画像ＩＭＧｒの表示位置と左目用画像ＩＭＧｌの表示位置との間の相対的な関係のことを「２つの画像の相対的な位置関係」と称する（単に「相対的な位置関係」または「相対位置関係」と称することもある）。これは、ある被写体に注目したときの、右目用の表示画像中の像と左目用の表示画像中の像の視差量によって代表的に表すこともできる。

「２つの画像の相対的な位置関係」という意味についてさらに説明する。立体表示ディスプレイには、典型的には、以下の種類がある。なお、これら以外の種類の立体表示ディスプレイについても、本発明の技術思想が適用可能な限り本発明が適用可能であることはいうまでもないが、ここでは、「２つの画像の相対的な位置関係」の意味を説明するために、便宜上、以下の３種類を取り上げるに過ぎない。

（ａ）パララックスバリア方式やレンチキュラ方式のように、右目用画像の表示エリアと左目用画像の表示エリアが一定のパターンで（典型的には交互に）配置されたもの
（ｂ）シャッタメガネ（時分割方式）を利用した方法のように、右目用画像の表示エリアと左目用画像の表示エリアが共通で、右目用画像と左目用画像を交互に表示するもの
（ｃ）ＨＭＤ（Head Mount Display）のように、右目用画像の表示ディスプレイと左目用画像の表示ディスプレイが別々に存在するもの
ここで、これらのいずれの場合においても、右目用表示エリア／左目用表示エリアの各点は、右目／左目に対して一定の位置関係を有する。そして、「右目用表示エリアのある点Ａ」の右目に対する位置関係と、「左目用表示エリアのある点Ｂ」の左目に対する位置関係が実質的に同等であるときに、右目用表示エリアの点Ａと左目用表示エリアの点Ｂは、相当点であると称する。相当点は、上記の（ａ）の場合は、隣接する画素であるし、（ｂ）の場合は同一の画素であり、（ｃ）の場合は、例えば、右目用画像の表示ディスプレイの代表点（例えば、中心点）が左目用画像の表示ディスプレイの代表点（例えば、中心点）と対応する。「２つの画像の相対的な位置関係」は、右目用表示エリアと左目用表示エリアとの間の相当点の関係をベースとする。すなわち、右目用表示エリアにおけるある点Ａに表示される右目用画像中の像と、左目用表示エリアにおける「点Ａの相当点」に表示される左目用画像中の像は、表示位置が対応していると言う。

なお、前述の視差量は、この相当点を基準として定まる値である。すなわち、ある対象物の像が、右目用表示エリアにおいてある点に表示され、左目用表示エリアにおいてその相当点に表示されるときに、当該対象物は視差量が０となって、例えば、表示面に存在するように感じられる。ある対象物の右目用画像における像と左目用画像における像が右目用画像における像が存在する点に対応する相当点に表示されないときには、相当点からの変位量が視差量である。

上述の（ａ）の方式や（ｂ）の方式の立体表示ディスプレイの場合、立体表示時あたってのＩＭＧｒとＩＭＧｌは、相当点が実質的に同じ位置に表示されるように、重ね合わせて表示される。それゆえ、これらの場合について、「２つの画像の相対的な位置関係」を「２つの画像の重ね合わせ位置」と称することもある。

２つの画像の相対的な位置関係を変更すること（２つの画像の重ね合わせ位置を変更すること）は、以下のいずれも含む。

・「第１ＬＣＤ１１６におけるＩＭＧｒの表示位置」をそのままに、「第２ＬＣＤ１２６におけるＩＭＧｌの表示位置」を変位させる
・「第２ＬＣＤ１２６におけるＩＭＧｌの表示位置」をそのままに、「第１ＬＣＤ１１６におけるＩＭＧｒの表示位置」を変位させる
・「第１ＬＣＤ１１６におけるＩＭＧｒの表示位置」を変位させるとともに、「第２ＬＣＤ１２６におけるＩＭＧｌの表示位置」を変位させる（２つの変位が同方向に同程度である場合を除く）
なお、ＩＭＧｒ／ＩＭＧｌの相対的な位置関係を変化させるとは、ＩＭＧｒ／ＩＭＧｌに含まれるある被写体の像について、ＩＭＧｒにおける像の表示位置とＩＭＧｌにおける像の表示位置を相対的に変化させることである。ゆえに、例えば、ＩＭＧｒの表示エリア／ＩＭＧｌの表示エリアが固定的である場合も含み、後述する本実施の形態のように、ＩＭＧｒ／ＩＭＧｌが、第１ＬＣＤ１１６／第２ＬＣＤ１２６より広い画像である場合に、ＩＭＧｒ／ＩＭＧｌのうちの第１ＬＣＤ１１６／第２ＬＣＤ１２６に表示される領域を変更することにより、ＩＭＧｒ／ＩＭＧｌに含まれる像の表示位置を変化させる場合などを含む。

ここで、立体表示のための画像セットＩＭＧｒとＩＭＧｌは相対的な位置関係の基本値を持つ（「基本相対位置関係」、または、「基本重ね合わせ位置」と称する）。本実施の形態では、後述の通り、２つの画像ＩＭＧｒとＩＭＧｌとに対して画像マッチング処理することにより、最も高い一致度が得られた位置関係が、ＩＭＧｒとＩＭＧｌの基本値とされる。なお、この画像マッチング処理において、ＩＭＧｒの全体とＩＭＧｌの全体をマッチング処理の判定対象としてもよいが、注目したい一部の領域（具体的には、後述の注目領域）のみをマッチング処理の判定対象としてもよい。なお、この基本値は、ＩＭＧｒとＩＭＧｌの中央点同士を対応付けるなどの固定的な位置関係としてもよいし、２つの画像ＩＭＧｒとＩＭＧｌの組に対して、基本値が予め設定されている場合には、それを利用してもよい。

そして、２つの画像ＩＭＧｒとＩＭＧｌとを基本値から左右方向に相対的に変位させて表示することができる。これを、「２つの画像の位置関係を相対的に変位させる」、または、「２つの画像の重ね合わせ位置を相対的に変位させる」と称し（単に「相対変位させる」とも称す）、その相対変位の度合い（基本相対位置関係からの変位量）を「相対変位量」と称す。すなわち、「２つの画像の相対的な位置関係」（「２つの画像の重ね合わせ位置」）は、相対変位量によって調整することができる。

本明細書において、「平面表示」または「２次元表示」とは、上述の「立体表示」または「３次元表示」と相対する用語であり、ユーザが立体感を視認できないような形態で画像を表現することを意味する。

立体視のためには、視差を有する２つの画像が必要である。すなわち、右目用画像ＩＭＧｒと左目用画像ＩＭＧｌが必要である。ここで、典型的には、この画像について以下の２つの態様がある。なお、これらの態様の派生も存在するがここでは詳細な説明は行なわない。

（１：立体表示用の画像が静的に与えられる態様）
立体表示のための画像セットであるＩＭＧｒとＩＭＧｌが予め静的に与えられる態様、すなわち、ある異なる２点のカメラ位置（観測点）で画像を生成した後、カメラ位置を変更することなく、そのままの画像を利用して立体表示を行なう態様である。典型的には、左右方向に所定距離だけ離して固定的に備え付けられた２つのカメラによって撮影された２枚の画像（ステレオ写真）を用いて立体表示を行なう方法がある。この態様を「静的態様」と称す。なお、仮想カメラで仮想空間を撮影した場合であっても、撮影した後の画像をそのまま用いるのであれば、静的態様となる。

（２：立体表示用の画像が動的に生成される態様）
ある異なる２点のカメラ位置（観測点）について、それぞれのカメラ位置を動的に変化させながら、変化させたカメラ位置で撮影される画像を利用して立体表示を行なう態様である。典型的には、３次元画像処理において、仮想カメラ（右目用仮想カメラと左目用仮想カメラ）による仮想空間を撮影することにより、ＩＭＧｒとＩＭＧｌを動的に生成することが可能な態様となる。この態様を「動的態様」と称す。

（１：立体表示用の画像が静的に与えられる態様）の場合には、カメラ位置による立体感の調整を行なうことはできない。しかしながら、表示位置による立体感の調整を行なうことができる。より、具体的には、２つの画像の表示時の位置関係を左右方向に変更することにより、立体感の調整をすることができる（表示位置による立体感調整）。しかしながら、この調整では、２つの画像間でカメラ位置による視差が変わることはないため、画像中のいずれかの被写体についての視差量をなくすように「２つの画像の相対的な位置関係」を変えたとしても、他の被写体についての視差量は残ることになる。すなわち、すべての被写体についての視差量を増減させようとしても、各被写体どうしの視差量の差は変化しないまま視差量を調整することになり、したがって、全ての被写体の視差量をなくすことはできない。

（２：立体表示用の画像が動的に生成される態様）の場合には、カメラ位置による立体感調整を行なうことが可能となる。典型的には、仮想カメラのパラメータを所望に設定することにより、立体感を調整することができる。例えば、右目用仮想カメラと左目用仮想カメラの間の距離を変更することによりある被写体についての奥行き方向の幅が変更される。この場合には、すべての被写体についての視差量が０に近づくような調整をすることができ、それゆえ、全ての被写体の視差量をなくすこともできる。なお、カメラ位置による立体感調整を行ったうえで、さらに、表示位置による立体感調整を行なうことも可能である。

［実施の形態１］
＜装置構成＞
図１は、この発明の実施の形態１に従う情報処理システム１の内部構成を示すブロック図である。図１を参照して、本実施の形態に従う情報処理システム１は、プロセッサによる処理が可能なコンピュータの典型例である。なお、情報処理システム１としては、パーソナルコンピュータ、ワークステーション、携帯端末、ＰＤＡ（Personal Digital Assistance）、携帯電話、携帯型ゲーム装置などとして実現してもよい。

情報処理システム１は、表示装置１０と、ＣＰＵ（Central Processing Unit）１００と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０４と、入力部１０６と、第１撮像部１１０と、第２撮像部１２０と、第１ＶＲＡＭ（Video RAM）１１２と、第２ＶＲＡＭ１２２とを含む。なお、各部は、内部バスを介して、互いにデータ通信可能に接続されている。

表示装置１０は、ユーザに向けて立体表示が可能である。表示装置１０は、典型的には、視差光学系として視差バリアを有する前面視差バリアタイプの構成が採用される。すなわち、表示装置１０は、ユーザが表示装置１０に対峙した場合に、視差バリアによって、その右眼および左眼の視野範囲にそれぞれ異なる画素からの光が入射するように構成される。

図２は、この発明の実施の形態１に従う情報処理システム１の表示装置１０の模式断面図である。図２には、前面視差バリアタイプの液晶表示デバイスの断面構造が示されている。この表示装置１０は、ガラス基板１６とガラス基板１８との間に設けられた、第１ＬＣＤ１１６および第２ＬＣＤ１２６を含む。第１ＬＣＤ１１６および第２ＬＣＤ１２６は、複数の画素を含み、かつバックライトからの光を画素単位で調節するための空間光変調器である。ここで、第１ＬＣＤ１１６の画素と第２ＬＣＤ１２６の画素とは交互に配置される。ガラス基板１８のガラス基板１６の側とは反対側に、図示しないバックライトが設けられており、このバックライトからの光は第１ＬＣＤ１１６および第２ＬＣＤ１２６に向けて照射される。

ガラス基板１６の第１ＬＣＤ１１６および第２ＬＣＤ１２６に接する側とは反対の側には、視差光学系である視差バリア１２が設けられる。この視差バリア１２には、複数のスリット１４が所定間隔で行列状に設けられている。各スリット１４の中心位置を通り、かつガラス基板１６の面に対して垂直方向の軸を基準として、第１ＬＣＤ１１６の画素と第２ＬＣＤ１２６の対応する画素とが対称的に配置される。このようなスリット１４に対応する画素との位置関係、ならびに第１ＬＣＤ１１６および第２ＬＣＤ１２６を表示すべき画像に応じて適切に制御することで、ユーザの両眼の間に所定の視差を生じさせることができる。

すなわち、視差バリア１２の各スリット１４においては、ユーザの右眼および左眼による視界をそれぞれ対応する角度に制限するので、典型的には、ユーザの右眼からは、光軸Ａｘ１上にある第１ＬＣＤ１１６の画素のみが視認でき、一方、ユーザの左眼からは、光軸Ａｘ２上にある第２ＬＣＤ１２６の画素のみが視認できることになる。ここで、第１ＬＣＤ１１６の画素および第２ＬＣＤ１２６の画素に、所定の視差を有する２つの画像の対応するピクセルを表示させることで、ユーザに所定の視差を与えることができる。

また、表示装置１０としては、上述したような前面視差バリアタイプの液晶表示デバイスに限られず、例えば、レンチキュラータイプの表示デバイスなど、任意の型式の立体表示が可能な表示デバイスを用いることができる。さらに、表示装置１０としては、それに含まれる主波長成分の異なる２つの画像をそれぞれ独立に表示するとともに、透過波長範囲の異なる２つのカラーフィルタがそれぞれ組込まれたメガネをユーザに装着させることで、立体表示を行なう構成であってもよい。類似の構成として、偏光方向を異ならせて２つの画像をそれぞれ表示するとともに、当該２つの偏光方向に対応する偏光フィルタがそれぞれ組込まれたメガネをユーザに装着させることで、立体表示を行なう構成であってもよい。

再度図１を参照して、ＣＰＵ１００は、ＲＯＭ１０２などに格納されているプログラムをＲＡＭ１０４に展開した上で、当該プログラムを実行する。このプログラムの実行により、ＣＰＵ１００は、後述するような表示制御処理や付随する各種処理を提供する。なお、ＣＰＵ１００が実行するプログラムは、ＤＶＤ−ＲＯＭ（Digital Versatile Disc ROM）、ＣＤ−ＲＯＭ（Compact Disk ROM）、フレキシブルディスク、フラッシュメモリ、各種のメモリカセットなどの記憶媒体によって流通する場合もある。そのため、情報処理システム１がこのような記憶媒体から格納されているプログラムコードなどを読出すようにしてもよい。なお、この場合には、情報処理システム１が記憶媒体に対応する読出装置を利用できるようにしておく必要がある。あるいは、上述のようなプログラムがネットワークを通じて頒布されるような場合には、図示しない通信インターフェイスなどを介して、当該頒布されるプログラムを情報処理システム１へインストールしてもよい。

ＲＯＭ１０２は、上述したようなＣＰＵ１００で実行されるプログラムや各種の設定パラメータなどを不揮発的に記憶するデバイスである。ＲＯＭ１０２としては、典型的には、マスクＲＯＭや半導体フラッシュメモリなどからなる。

ＲＡＭ１０４は、上述したようなＣＰＵ１００で実行されるプログラムを展開したり、プログラムの実行に必要なデータを一時的に記憶したりするワークメモリとして機能する。また、ＲＡＭ１０４には、情報処理システム１で立体表示を行なうために使用される画像のデータが格納される場合もある。

入力部１０６は、ユーザ操作を受付けるデバイスであり、典型的には、キーボード、マウス、タッチペン、トラックボール、ペンタブレット、各種ボタン（スイッチ）などからなる。入力部１０６は、それに対して何らかのユーザ操作がなされると、対応する操作内容を示す信号をＣＰＵ１００へ伝送する。

第１撮像部１１０および第２撮像部１２０は、任意の被写体を撮像することでそれぞれ画像を取得するデバイスである。第１撮像部１１０および第２撮像部１２０は、後述するように、同一の被写体に対して所定の視差をもつ画像が撮像できるように相対配置される（典型的には、携帯型ゲーム装置のハウジングの左右両端位置などにそれぞれ配置される）。すなわち、第１撮像部１１０および第２撮像部１２０は、所定の視差をもって配置される一対の撮像装置に相当する。第１撮像部１１０および第２撮像部１２０は、それぞれ、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる。なお、第１撮像部１１０および第２撮像部１２０の間の撮像特性は、互いに等しいことが好ましい。

第１ＶＲＡＭ１１２および第２ＶＲＡＭ１２２は、それぞれ第１ＬＣＤ１１６および第２ＬＣＤ１２６において表示すべき画像を示す画像データを格納するための記憶デバイスである。すなわち、第１ＶＲＡＭ１１２および第２ＶＲＡＭ１２２には、ＣＰＵ１００が後述するような表示制御処理などを行なうことで得られる表示データが順次書込まれる。そして、第１ＶＲＡＭ１１２および第２ＶＲＡＭ１２２に書込まれた表示データに基づいて、表示装置１０における描画処理が制御される。

表示装置１０は、上述の第１ＬＣＤ１１６および第２ＬＣＤ１２６に加えて、ＬＣＤドライバ１１４を含む。ＬＣＤドライバ１１４は、第１ＶＲＡＭ１１２および第２ＶＲＡＭ１２２と関連付けられている。そして、ＬＣＤドライバ１１４は、第１ＶＲＡＭ１１２に書込まれる表示データに基づいて、第１ＬＣＤ１１６を構成するそれぞれの画素の点灯／消灯（ＯＮ／ＯＦＦ）を制御し、さらに、第２ＶＲＡＭ１２２に書込まれる表示データに基づいて、第２ＬＣＤ１２６を構成するそれぞれの画素の点灯／消灯（ＯＮ／ＯＦＦ）を制御する。なお、第１ＬＣＤ１１６および第２ＬＣＤ１２６に対応付けて、第１ＶＲＡＭ１１２および第２ＶＲＡＭ１２２をそれぞれ設ける構成について例示したが、共通のＶＲＡＭを設けて、第１ＬＣＤ１１６および第２ＬＣＤ１２６で表示するための画像データをその共通のＶＲＡＭに格納するようにしてもよい。

上述の説明においては、内蔵の第１撮像部１１０および第２撮像部１２０を用いて、所定の視差を有する一対の入力画像（ステレオ画像）を取得する構成について例示したが、入力画像を取得するための撮像部は、必ずしも情報処理システム１に内蔵されている必要はない。典型的には、情報処理システム１とは別の装置（典型的には、サーバ装置）などから、ネットワークなどを介して一対の入力画像（ステレオ画像）を取得するようにしてもよい。メディアから読み込んでもよい。

＜立体表示処理＞
次に、本実施の形態に従う情報処理システム１における立体表示処理の概要について説明する。本実施の形態においては、基本的には、共通の表示対象（被写体）を含み、かつ予め定められた一定の視差を有する一対の入力画像（ステレオ画像）を用いて、立体表示を行なう。このような一対の入力画像は、典型的には、一対の撮像部を所定の相対位置に配置して、共通の被写体を撮像することで取得される。あるいは、ポリゴン生成といったコンピュータグラフィックスの技術を用いて、共通のオブジェクトに対して、視点を異ならせた２つの仮想カメラを用いて、一対の入力画像を動的に生成してもよい。

このような一対の入力画像を用いる場合には、当該入力画像を生成するカメラの位置が異なることによる両入力画像間の視差の大きさや、当該入力画像の表示位置によって定まる所定の立体感をユーザに与えることができる。より具体的には、それぞれ右眼用および左眼用の画像を表示面に表示することで、ユーザに立体感を与えることができる。

ここで、表示面上の右眼用の画像と左眼用の画像との間の重ね合わせ位置を適宜設定することで、当該一対の入力画像に含まれる被写体のうち、いずれの被写体（より詳細に言えば、当該被写体のうちのいずれの領域）が表示面に位置するのかを調整することができる。そのため、本実施の形態においては、一対の入力画像に含まれる被写体のうち、目的とする被写体を表示装置１０の表示面に位置させるように、後述する画像マッチング処理が実行される。なお、入力画像において、このような「表示面に位置させるべき被写体」を含む小領域を「注目領域」またはそれを囲む枠を「注目領域枠」とも称す（すなわち、各画像中で注目領域枠内に存在する領域が注目領域である）。

注目領域に含まれる被写体が、後述の処理により、ユーザには表示面に位置するように感じられる。なお、注目領域は、基本的には、２つの入力画像のそれぞれに対して設定される。すなわち、右目用画像における注目領域と、左目用画像における注目領域は独立して設定するようにしてもよい。しかしながら、本実施の形態では、図５や図６を参照して説明されるように、右目用画像と左目用画像を重ねて仮配置し、それに対して単一の注目領域枠を設定し、注目領域枠内の右目用画像および注目領域枠内の左目用画像がそれぞれの注目領域となる。この場合には、注目領域枠の位置を固定して、注目領域を変更する代わりに、右目用画像の注目領域枠に対する位置を変更し、または、左目用画像の注目領域枠に対する位置を変更することにより、各画像に対する注目領域が変更される。より具体的には、右目用画像と左目用画像と注目対象枠とを仮想空間内に配置し、注目対象枠を固定的な位置に配置するとともに、右目用画像と左目用画像とをそれぞれ可変的に配置することにより、右目用画像／左目用画像に対する注目対象枠の相対位置関係を変更し、これにより、右目用画像の注目領域／左目用画像の注目領域を変更することができる。

図３は、この発明の実施の形態１に従う画像マッチング処理を説明するためのある被写体の状態を示す模式図である。図４は、図３に対応して第１撮像部１１０および第２撮像部１２０により撮像される画像を示す模式図である。

図３を参照して、本実施の形態に従う情報処理システム１においては、ある仮想的な光軸ＡＸＣに対していずれも平行に、第１撮像部１１０および第２撮像部１２０が対称的に配置されているものとする。すなわち、第１撮像部１１０および第２撮像部１２０は、ある現実空間において、所定の視差をもつように相対配置されている。なお、情報処理システム１に第１撮像部１１０および第２撮像部１２０が内蔵される場合には、情報処理システム１の本体表面に対する垂線と一致するように光軸ＡＸＣが定められてもよい。

そして、第１撮像部１１０および第２撮像部１２０のより遠方側から、被写体ＯＢＪ１および被写体ＯＢＪ２が順に配置されているものとする。なお、一例として、被写体ＯＢＪ１は四角錐であり、被写体ＯＢＪ２は球体である。

なお、後述するような方法を用いて、図３に示すような仮想空間を実現することもできる。この場合には、第１撮像部１１０および第２撮像部１２０に代えて、一対の仮想カメラが用いられる。

図４（ａ）に示すように、第１撮像部１１０および第２撮像部１２０の受像面にそれぞれ入射する像は、それぞれの配置位置を中心とした視野に応じたものとなる。それぞれの受像面に入射した像が走査されることで反転されて、図４（ｂ）に示すような画像（以下、入力画像とも称す）ＩＭＧ１およびＩＭＧ２がそれぞれ取得される。すなわち、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間には、所定の視差が存在するので、入力画像ＩＭＧ１における被写体ＯＢＪ１の位置と入力画像ＩＭＧ２における被写体ＯＢＪ１の位置は差が生じており（この差がＯＢＪ１についての視差量である）、また、入力画像ＩＭＧ１における被写体ＯＢＪ２の位置と入力画像ＩＭＧ２における被写体ＯＢＪ２の位置も差が生じている（この差がＯＢＪ２についての視差量である）。これにより、入力画像ＩＭＧ１における被写体ＯＢＪ１と被写体ＯＢＪ２との間の相対距離と、入力画像ＩＭＧ２における被写体ＯＢＪ１と被写体ＯＢＪ２との間の相対距離とは、その大きさが異なる。

次に、表示装置１０の表示面を見たユーザが認識する立体感について説明する。再度図３を参照して、本実施の形態では、第１撮像部１１０と第２撮像部１２０との間の相対距離が固定であるので、カメラ位置による立体感の調整はできない。一方で、前述のとおり、入力画像ＩＭＧ１と入力画像ＩＭＧ２の間の重ね合わせ位置を左右方向に調整する、つまり、表示位置を変更することでも、ユーザに与えることのできる立体感を調整することができる（すなわち、表示位置による立体感の調整が可能である）。すなわち、２つの画像の重ね合わせ位置を左右方向に調整することにより、入力画像ＩＭＧ１および入力画像ＩＭＧ２に共通に含まれる被写体のうち、表示装置１０の表示面の位置にいずれの被写体（より細かく言えば、当該被写体のうちのいずれの領域）があるように感じられるかが調整される。言い換えれば、その立体表示される空間と表示装置１０の表示面との相対位置が調整される。さらに別の言い方をすれば、当該立体表示の対象となる現実空間または仮想空間内の任意の１点に注目した場合に、当該点が表示画面からどれだけ手前または奥に見えるかが調整される。なお、この調整の場合、カメラ位置による立体感の調整はできないので、各被写体の奥行き方向の長さは変化せず、各被写体の奥行き方向の位置が変化するのみである。

２つの画像の重ね合わせ位置の調整によって、立体表示を行なう際の、表示上の画像間の視差を決める基準とする（典型的には、基準奥行位置にある表示対象の視差が０となるようにする）仮想空間における位置である基準奥行位置が変更される。具体的には、図３に示すような基準奥行位置ＳＣＰが変更される。この基準奥行位置ＳＣＰにある被写体は、ユーザにとって表示装置１０の表示面にあるように感じられる(より正確に言えば、当該被写体の奥行き位置が表示面の位置にあるように感じられる）。たとえば、被写体ＯＢＪ１が表示装置１０の表示面に位置するように立体表示させるためには、ＯＢＪ１の視差量が０になるように、すなわち、入力画像ＩＭＧ１における被写体ＯＢＪ１の像とＩＭＧ２における被写体ＯＢＪ２の像とを視差量が０になるように、ＩＭＧ１とＩＭＧ２の間の重ね合わせ位置を調整する必要がある。

すなわち、第１撮像部１１０および第２撮像部１２０によりそれぞれ取得される入力画像ＩＭＧ１およびＩＭＧ２のうち、実質的に重なって表示される領域に含まれる被写体が表示装置１０の表示面において立体的に表示されることになる。言い換えれば、表示装置１０を見たユーザからみれば、当該重なって表示される領域に含まれる被写体が、表示装置１０の表示面付近にあるように感じられることになる。

なお、図３に示す状態において、立体表示の対象となるオブジェクトが存在する空間における、基準奥行位置ＳＣＰを調整することで、ユーザが視認する立体感を調整することができる。すなわち、基準奥行位置ＳＣＰを調整するとは、立体表示の対象となるオブジェクトが存在する空間のうち、どの領域を表示画面上にあるように立体表示が行われるかを調整することを意味する。具体的な調整手段としては、例えば、撮像部１１０，１２０から基準奥行位置ＳＣＰまでの距離ＯＱを調整する方法を採用してもよいし、空間内の特定のオブジェクト（オブジェクトＯＢＪ２）を基準とした距離ＰＱを調整する方法を採用してもよい。

図５は、図４に示す入力画像ＩＭＧ１およびＩＭＧ２に対して設定された注目領域枠ＦＷに含まれる内容が表示装置１０の表示面付近にあるように感じられるように、入力画像を立体的に表示する場合のＩＭＧ１とＩＭＧ２の重ね合わせ位置を説明するための図である。図６は、図５に示す注目領域枠ＦＷを移動させた場合の処理例を説明するための図である。

図５に示すように、注目領域枠ＦＷを入力画像ＩＭＧ１およびＩＭＧ２に映っている被写体ＯＢＪ１の周辺に設定した場合を考える。この場合には、入力画像ＩＭＧ１およびＩＭＧ２に映っている被写体ＯＢＪ１が実質的に重なるように、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の重ね合わせ位置を調整することで、被写体ＯＢＪ１が表示装置１０の表示面付近にあるように感じられるようになる。すなわち、入力画像ＩＭＧ１に映っている被写体ＯＢＪ１に対応する像と、入力画像ＩＭＧ２に映っている被写体ＯＢＪ１に対応する像とが、表示装置１０の表示面において、実質的に同じ位置（相当点に）に表示されることで、ユーザから見れば、被写体ＯＢＪ１が表示装置１０の表示面付近にあるように感じられる状態で、入力画像が立体的に見える。

次に、図６を参照して、「図５のように、被写体ＯＢＪ１の周辺を注目領域として被写体ＯＢＪ１が表示面付近にあるように感じられる状態」から、注目領域を被写体ＯＢＪ２の周辺に変更して被写体ＯＢＪ２が表示面付近にあるように感じられるように変更する場合について説明する。このような処理は、典型的には、ユーザ操作により画像がスクロールする場合などに利用可能であり、すなわち、例えば、入力画像ＩＭＧ１とＩＭＧ２が、各表示エリア（第１ＬＣＤ１１６、第２ＬＣＤ１２６）よりも広い画像であって、かつ、その時点で表示されている画面上の所定領域（中央領域など）が注目領域として設定され、スクロールに応じて、当該注目領域に表示される対象物が変化することにより、注目すべき対象物が変化する例が想定される。なお、スクロールする場合に限らず、画像に含まれる被写体のうち、ユーザが指定した所望の被写体を注目対象物として設定し、当該注目対象物の周囲に注目領域を設定するようにしてもよい。

被写体ＯＢＪ２を表示面付近に位置させる場合には、図６（ａ）に示すように、注目領域枠ＦＷが入力画像ＩＭＧ１およびＩＭＧ２に映っている被写体ＯＢＪ２の周辺に変更される。図６（ａ）に示す入力画像ＩＭＧ１と入力画像ＩＭＧ２との重ね合わせ位置では、入力画像ＩＭＧ１に映っている被写体ＯＢＪ２と入力画像ＩＭＧ２に映っている被写体ＯＢＪ２との表示位置が一致していない。すなわち、被写体ＯＢＪ２については、視差を生じている。

そこで、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の対応関係（一致度）を判定することで、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の重ね合わせ位置が再度調整される。より具体的には、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の左右方向の相対距離を広げる方向（図６（ｂ）参照）、および／または、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の左右方向の相対距離を縮める方向（図６（ｃ）参照）に、両者の重ね合わせ位置を順次変化させる。ここで、注目対象枠の位置は固定されているので、両者の重ね合わせ位置を順次変化させることに伴って、入力画像ＩＭＧ１における注目領域／入力画像ＩＭＧ２における注目領域が変化する。さらに、ＯＢＪ２の視差の調整には関係しないが、入力画像ＩＭＧ１と入力画像ＩＭＧ２とを紙面上下方向に相対移動するようにしてもよい。

このようにして、重ね合わせ位置を変化させるが、それぞれの重ね合わせ位置において、入力画像ＩＭＧ１における注目領域枠ＦＷ内の画像と、入力画像ＩＭＧ２における注目領域枠ＦＷ内の画像との間の一致度が順次算出される。この一致度は、典型的には、複数のピクセルを含む画像ブロック同士を比較して、その中に含まれる画像の有する特徴量（色属性や輝度属性）がどの程度似ているかを示す指標である。このような一致度の算出方法としては、それぞれの画像ブロックを構成する各ピクセルがもつ特徴量をベクトル化し、このベクトル同士の内積に基づいて相関値を算出し、この相関値を一致度として算出する方法がある。あるいは、画像ブロック間において、対応するピクセル同士の色の差（たとえば、色差ベクトルや輝度差など）の絶対値の積算値（または、平均）を算出し、この積算値（または、平均）が小さいものほど一致度が高いと判断する方法もある。より処理を高速化する観点からは、それぞれの画像ブロックを構成するピクセル同士の輝度差の積算値に基づいて評価する方法が好ましい。

そして、最も高い一致度が得られた重ね合わせ位置を新たな重ね合わせ位置として決定する（図６（ｄ）参照）。なお、この決定された重ね合わせ位置を基本値として設定し、そこからさらに相対変位させることにより、重ね合わせ位置を調整可能にしてもよい。

本実施の形態においては、入力画像ＩＭＧ１および入力画像ＩＭＧ２に対して共通の注目領域枠ＦＷが設定される。そして、入力画像ＩＭＧ１の注目領域枠ＦＷによって定まる領域が、入力画像ＩＭＧ１のうちの入力画像ＩＭＧ２との間の対応関係（一致度）を判定するための判定領域（第１判定領域）として設定される。同時に、入力画像ＩＭＧ２の注目領域枠ＦＷによって定まる領域が、入力画像ＩＭＧ２のうちの入力画像ＩＭＧ１との間の対応関係（一致度）を判定するための判定領域（第２判定領域）として設定される。

このように、入力画像ＩＭＧ１に第１判定領域が設定されるとともに、入力画像ＩＭＧ２に第２判定領域が設定される。このとき、入力画像ＩＭＧ１に設定された第１判定領域と入力画像ＩＭＧ２に設定された第２判定領域とは対応するように位置決めされる。

表示装置１０に表示すべき画像の内容が変化する毎に、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の重ね合わせ位置が更新（サーチ）される。なお、このような表示装置１０に表示すべき画像の内容が変化する場合としては、上述したようなスクロール操作に加えて、拡大表示操作や縮小表示操作（両者を合わせて「ズーム操作」とも称す）などが挙げられる。また、入力画像ＩＭＧ１およびＩＭＧ２の内容が更新される場合にも、同様のサーチ処理が実行される。

＜平面表示処理＞
本実施の形態に従う情報処理システム１の表示装置１０は、入力画像に含まれる被写体を２次元画像として平面表示することも可能である。具体的には、目的の被写体が写っている共通の画像を右眼用の画像および左眼用の画像として表示装置１０の表示面に表示する。すなわち、表示装置１０を視認するユーザから見れば、右眼および左眼に同じ内容の画像が入射するので、立体感を得ることなく、被写体を視認することができる。

なお、表示装置１０が有する視差バリアを解除できる構成を採用している場合には、平面表示を行なう際には、この視差バリアを解除してもよい。視差バリアを解除することで、表示装置１０に対峙するユーザに対して右眼および左眼の視野範囲に共通の画素からの光が入射するにようになる。そのため、ユーザが視差を感じることはない。このとき、右眼用画素および左眼用画素からの光が右眼および左眼のいずれにも入射するので、実質的に、解像度は２倍となる。

後述するように、ある被写体が立体表示されている状態から、同じ被写体を平面表示に切替える場合には、立体表示に用いられていた入力画像ＩＭＧ１およびＩＭＧ２の少なくとも一方の入力画像に基づく画像を表示することが現実的である。より具体的には、立体表示に用いられていた入力画像ＩＭＧ１またはＩＭＧ２のいずれか一方の画像、あるいは、入力画像ＩＭＧ１およびＩＭＧ２を合成された画像が平面表示に用いられる。

なお、入力画像ＩＭＧ１およびＩＭＧ２の少なくとも一方の入力画像に基づく平面表示を行なう場合には、立体表示から平面表示に切替えられた直後において、直前の立体表示を行なうために設定されていた入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の相対位置関係の変更と関係なく決定された相対位置関係を用いてもよい。

但し、予め立体表示用の画像を生成するための一対の撮像部とは別に、平面表示用の画像を生成するための撮像部を用意できる場合には、当該撮像部により撮影された平面表示用の画像が用いられる。具体的には、図７に示すように、第１撮像部１１０と第２撮像部１２０との中心に位置する光軸ＡＸＣに対して第３撮像部１３０を配置し、この第３撮像部１３０によって撮像された入力画像を平面表示の際に用いることが好ましい。

なお、図７に示すような処理は、上述したような入力画像を動的に生成する場合に、より適切である。すなわち、ポリゴン生成といったコンピュータグラフィックスの技術を用いれば、任意の位置に仮想カメラを配置することができるので、共通のオブジェクトに対して、立体表示用の一対の画像と、平面表示用の画像とをそれぞれ並列的に生成しておき、状況に応じて表示に用いる画像を切替えることができる。

＜立体表示と平面表示との切替処理＞
次に、本実施の形態に従う情報処理システム１における立体表示と平面表示との切替処理の概要について説明する。本実施の形態においては、（典型的には、ユーザの）要求に応じて、表示装置１０の表示態様を立体表示と平面表示との間で任意に切替えることが可能である。さらに、情報処理システム１では、立体表示に係る程度に応じた値、すなわち、上述したように、いずれの被写体を表示装置１０の表示面付近に見えるように表示するかも調整可能である。

所定の視差を有する複数の画像を用いて立体表示を行なう場合（静的態様の場合）には、前述のとおり、カメラ位置による立体感の調整を行なうことはできず、表示位置による立体感の調整をしても、いずれかの被写体についての視差量は存在する状態となる。そのため、立体表示から平面表示（言い換えれば、すべての被写体について視差量が０の状態）へ切替が行われると、いずれかの被写体についての視差量は急に失われることになる。

そこで、本実施の形態に従う情報処理システム１では、表示装置１０にいて被写体を立体表示している状態から、同じ被写体を平面表示する状態に切替えるときに、所定期間にわたって被写体が実質的に非表示となるように、表示装置１０を制御する。すなわち、ユーザが立体表示されている被写体と、平面表示される当該被写体とを時間的に連続して視認しないように、何らかのインターバル（休息期間）を設ける。

図８は、この発明の実施の形態１に従う立体表示から平面表示への切替処理を説明するための図である。図９は、この発明の実施の形態１に従う立体表示から平面表示への切替処理の表示態様の一例を示す模式図（その１）である。図１０は、この発明の実施の形態１に従う立体表示から平面表示への切替処理の表示態様の一例を示す模式図（その２）である。

図８に示すように、たとえば、時刻ｔ１においてある被写体の立体表示が中止されたとし、時刻ｔ２から当該被写体の平面表示が開始されたとする。このとき、時刻ｔ１から時刻ｔ２までの期間がインターバルに設定される。なお、このインターバルの長さ（時刻ｔ１〜時刻ｔ２の長さ）は、人間の生理的な特性などに基づいて適宜決定すればよいが、一例として、数１０〜数１００ｍｓｅｃ程度に設定されることが好ましい。

このようなインターバルは、同一の被写体が異なる表示態様に急激に切替わることを抑制するものであるので、このインターバルにおける表示装置１０の表示態様としては、人間の眼や脳をリセットするものであれば、任意の態様を採用することができる。一例として、以下に３つの態様を示す。

（ｉ）表示停止
上記のインターバルの間、表示装置１０の表示を実質的に停止してもよい。具体的には、第１ＬＣＤ１１６および第２ＬＣＤ１２６（図１）をそれぞれ駆動する第１ドライバ１１４および第２ドライバ１２４（図１）の動作をインターバルの間停止してもよい。あるいは、第１ＬＣＤ１１６および第２ＬＣＤ１２６のバックライトをインターバルの間消灯してもよい。

（ｉｉ）独立した挿入画像の表示
上記のインターバルの間、表示装置１０に、立体表示に用いられる入力画像ＩＭＧ１およびＩＭＧ２とは独立した挿入画像の表示を継続してもよい。具体的には、このような挿入画像は、予め情報処理システム１（または着脱可能なカートリッジ内のメモリ、内蔵のメモリに外部からダウンロードしてもよい）に用意される。なお、表示装置１０には様々な内容の画像を入力して立体表示することができるが、ここで「独立した」とは、表示する画像の内容に関係なくという意味である。なお、挿入画像の典型例としては、実質的に単色の画像（より好ましくは、黒色画像）が挙げられる。もちろん、表示装置１０自体や表示装置１０の周辺部の色などに応じて、「白色画像」や「グレイ色画像」などを用いてもよい。

たとえば、表示装置１０において、図９（ａ）に示すように被写体が立体表示されている状態から、図９（ｃ）に示すように被写体が平面表示されている状態に切替わる際に、図９（ｂ）に示すような、表示装置１０に黒一色の挿入画像が表示される。この挿入画像の表示によって、ユーザの眼や脳が立体表示からリセットされる。

（ｉｉｉ）エフェクト表示
上記のインターバルの間、表示装置１０に、ユーザの関心を立体表示された被写体から逸らせるようなエフェクトを表示してもよい。すなわち、インターバルの間、表示装置１０に入力画像ＩＭＧ１およびＩＭＧ２とは独立した演出を表示してもよい。このような演出表示としては、カメラのシャッターを模したオブジェクト画像がフェードインするような演出や、画面中央から被写体とは無関係のオブジェクトが回転しながら拡大するような演出が一例として挙げられる。

たとえば、表示装置１０において、図１０（ａ）に示すように被写体が立体表示されている状態から、図１０（ｃ）に示すように被写体が平面表示されている状態に切替わる際に、図１０（ｂ）に示すような、オブジェクト３００が画面上側から下方向に移動するような演出がなされる。オブジェクト３００の移動表示によって、ユーザは、あたかもカメラのシャッターが押されたように感じる。さらに、シャッターのレリーズ音に相当する効果音を同時に発生してもよい。このエフェクト表示によって、ユーザの眼や脳が立体表示からリセットされ、後続の平面表示を自然に受入れることができる。

＜制御構造＞
次に、本実施の形態に従う画像表示処理を提供するための制御構造について説明する。

図１１は、この発明の実施の形態１に従う情報処理システム１の表示装置１０を制御するための機能ブロック図である。図１１を参照して、情報処理システム１は、その制御構造として、第１画像バッファ２０２と、第２画像バッファ２１２と、第１画像変換部２０４と、第２画像変換部２１４と、画像展開部２２０と、第１画像抽出部２０６と、第２画像抽出部２１６と、制御部２２２と、操作受付部２２４とを含む。

第１画像変換部２０４、第２画像変換部２１４、および制御部２２２は、典型的には、ＣＰＵ１００（図１）が本実施の形態に従う表示制御プログラムを実行することで提供される。また、第１画像バッファ２０２、第２画像バッファ２１２、および画像展開部２２０は、ＲＡＭ１０４（図１）内の特定の記憶領域として提供される。操作受付部２２４は、ＣＰＵ１００（図１）および特定のハードウェアロジックおよび／またはドライバソフトの協働によって提供される。なお、図１１に示す各機能ブロックの全部または一部を公知のハードウェアによって実現することも可能である。

操作受付部２２４は、入力部１０６（図１）と関連付けられており、入力部１０６で検知されたユーザ操作に応じて、第１画像変換部２０４、第２画像変換部２１４、第１画像抽出部２０６、第２画像抽出部２１６、および制御部２２２へ、入力部１０６によるユーザ入力の内容を与える。より具体的には、ユーザによりズーム操作が指示されると、操作受付部２２４は、第１画像変換部２０４および第２画像変換部２１４に対して、入力部１０６による入力内容を通知し、第１画像変換部２０４および第２画像変換部２１４はその通知に基づいて拡大率または縮小率などを変更する。また、ユーザによりスクロール操作が指示されると、操作受付部２２４は、第１画像抽出部２０６および第２画像抽出部２１６に対して、当該スクロール操作があったことを通知し、第１画像抽出部２０６および第２画像抽出部２１６はその通知に基づいてスクロール量（移動量）などを決定する。また、ユーザにより注目領域枠ＦＷの位置操作が指示されると、操作受付部２２４は、制御部２２２に対して、当該操作があったことを通知し、制御部はその通知に基づいて新たな注目領域枠ＦＷの位置などを決定する。

さらに、操作受付部２２４は、視認される基準奥行位置（立体感）についてのユーザ操作を受付ける。このユーザ操作により、相対変位量が調整され、２つの画像の重ね合わせ位置が基本値から調整される。より具体的には、操作受付部２２４は、立体感についてのユーザ操作を受付け、ユーザ操作パラメータ値として制御部２２２に対して通知する。制御部２２２は、通知されたユーザ操作パラメータ値に基づいて、右目用画像と左目用画像の相対変位量を変更する。より具体的には、当該通知されたユーザ操作パラメータが大きいほど相対変位量を大きくする（ユーザ操作パラメータが小さいほど相対変位量を大きくしても良い。いずれにしても、ユーザ操作パラメータをある方向（増加方向／減少方向のうちの一方方向）に変化させたときの、相対変位量の変化方向（増加方向／減少方向）は固定される）。また、制御部２２２は、通知されたユーザ操作パラメータが所定値であった場合には、立体表示と平面表示との切替えを決定する。また、制御部２２２は、決定された相対変位量に基づいて、重ね合わせ位置を決定する。

立体感調整を行なう度合いを決定する、所定のユーザ操作パラメータ値を受付ける入力手段（ユーザインターフェイス）の一例としては、図１２〜図１４に示すような形態が挙げられる。

図１２は、この発明の実施の形態１に従う入力手段のある形態を示す図である。図１３は、この発明の実施の形態１に従う入力手段の別の形態を示す図である。図１４は、この発明の実施の形態１に従う入力手段のさらに別の形態を示す図である。

図１２には、本実施の形態に従う入力手段の一例として、所定の一軸方向にスライド操作可能な機構（スライダー１０６２）が示されている。このスライダー１０６２は、情報処理システム１の側面または表示装置１０の近傍などに設けられる。図１２に示すように、紙面左方向には立体表示を示す「３Ｄ」の文字が付されており、紙面右方向には平面表示を示す「２Ｄ」の文字が付されている。ユーザがスライダー１０６２を紙面左側の範囲で操作すると、相対変位量が変更され、それにより右目用画像と左目用画像の重ね合わせ位置が変更されることにより、表示装置１０で立体表示される被写体の基準奥行位置（立体感）が連続的に変化する。すなわち、このスライダー１０６２の位置に応じて、操作受付部２２４（図１１）が制御部２２２（図１１）に対して、立体感調整を行なう度合いに関連付けられた所定のユーザ操作パラメータ値（スライダーの位置に対応して決定される値；スライダー値）を通知し、当該ユーザ操作パラメータ値に応じて制御部２２２が相対変位量を設定する。

ユーザがスライダー１０６２を紙面右端まで移動させると、表示装置１０における表示が立体表示から平面表示へ切替わる。すなわち、操作受付部２２４（図１１）がスライダー１０６２の上端位置になったこと（ユーザ操作パラメータが境界値になったこと）を受付けてそれを制御部２２２に通知し、制御部２２２は、立体表示と平面表示との切替え処理を行なう。

操作受付部２２４は、スライダーの位置などに応じて、ユーザ操作パラメータ値として、Ｏｍｉｎ〜Ｏｍａｘまでの値を出力する。また、制御部２２２は、操作パラメータ値Ｏｍｉｎ〜Ｏｍａｘに対して、相対変位量として、Ｄｍｉｎ〜Ｄｍａｘを算出する。本実施の形態では、ユーザ操作パラメータがＯｍｉｎのとき相対変位量はＤｍａｘとなり、ユーザ操作パラメータがＯｍａｘのとき相対変位量はＤｍｉｎであるとする（すなわち、ユーザ操作パラメータが大きいほど、相対変位量は小さい）。そして、本実施の形態では、Ｏｍｉｎより大きくＯｍａｘより小さい値に対しては、Ｄｍｉｎより大きくＤｍａｘより小さい値に対応し、Ｏが大きくなるほど、Ｄが小さくなるという関係にある。

なお、本実施の形態では、相対変位量は、「基本値からみて、右目用画像を右方向に移動し、左目用画像を左方向に移動させる場合」にプラスの値をとり、「基本値からみて、右目用画像を左方向に移動し、左目用画像を右方向に移動させる場合」にマイナスの値をとることにする。

制御部２２２は、ユーザ操作パラメータ値が所定値Ａであるときに、相対変位量を０にし、重ね合わせ位置を基本値に設定する。この所定値Ａ（重ね合わせ位置を基本値に設定するときのユーザ操作パラメータ値）はＯｍａｘ付近の値であることが好ましい。所定値ＡをＯｍａｘとする場合にはＤｍｉｎは０となり、所定値ＡをＯｍａｘより少し小さな値（例えば、Ｏｍａｘより小さく（Ｏｍｉｎ＋Ｏｍａｘ）／４より大きい値）とする場合には、Ｄｍｉｎはマイナス値となる。

制御部２２２は、ユーザ操作パラメータ値が所定値Ｂであるときに、平面表示に切替える。この所定値Ｂ（平面表示に切替えるときのユーザ操作パラメータの値）はＯｍｉｎとするのが好ましい。すなわち、この場合、ユーザ操作パラメータ値を小さくするに従って、表示位置による立体感の調整を行なうことで、次第に各被写体が奥行き方向に移動するように感じられるように立体感が変更され、最後に平面表示に切替わることになる。

このようなスライダー１０６２を採用することで、ユーザはワンアクションで、与えられる立体感の調整、および立体表示と平面表示との間の切替えのいずれをもシームレスに行なうことができる。なお、相対変位量を変化させるためのユーザ操作パラメータは、現在値からの増減のみを行なうのが好ましい。

図１３には、本実施の形態に従う入力手段の別の一例として、表示装置１０をタッチパネルとした場合のユーザインターフェイスが示されている。このユーザインターフェイスにおいても、上述の図１２に示すスライダーと類似した、所定の一軸方向に沿った画像オブジェクト３１０と、この画像オブジェクト３１０に対して相対移動するように表示される画像オブジェクト３１２とが表示される。この画像オブジェクト３１２は、ユーザがタッチペン（スタイラスペン）７０などを用いて表示装置１０上をタッチすることで、そのタッチ操作に応じて移動する。そして、この画像オブジェクト３１２の位置に応じた指令が生成される。

図１４には、本実施の形態に従う入力手段のさらに別の一例として、表示装置１０と操作ボタンとを用いたユーザインターフェイスが示されている。このユーザインターフェイスにおいても、上述の図１２に示すスライダーと類似した、所定の一軸方向に沿った画像オブジェクト３２０と、この画像オブジェクト３２０に対して相対移動するように表示される画像オブジェクト３２２とが表示される。そして、ユーザが情報処理システム１上に設けられた操作ボタン（＋ボタン１０６３および−ボタン１０６４）を押下することで、この画像オブジェクト３２２は移動する。すなわち、当該画像オブジェクトの軸方向の位置がパラメータとして増減される。さらに、この画像オブジェクト３２２の位置（パラメータの値）に応じた指令が生成される。他の実施の形態においては、パラメータの数値そのものを表示画面上に表示して、当該数値を操作ボタン等で増減させてもよい。

再度図１１を参照して、制御部２２２は、表示装置１０における画像表示の全体制御を司る。より具体的には、制御部２２２は、入力画像ＩＭＧ１およびＩＭＧ２を用いて、その中に含まれる被写体が立体表示されるように表示装置１０を制御する立体表示制御部２２２ａと、入力画像ＩＭＧ１および／またはＩＭＧ２に含まれる被写体が２次元画像として平面表示されるように表示装置１０を制御する平面表示制御部２２２ｂと、表示装置１０における立体表示と平面表示とを切替える表示切換部２２２ｃとを含む。

立体表示制御部２２２ａおよび平面表示制御部２２２ｂは、表示切換部２２２ｃからの指令に応じて、いずれか一方が有効化される。表示切換部２２２ｃは、立体表示から平面表示への切替え要求、または、平面表示から立体表示への切替え要求を操作受付部２２４から受けると、立体表示制御部２２２ａおよび平面表示制御部２２２ｂのうち、有効化すべき一方を選択するための指令を発行する。立体表示から平面表示へ切替えられるとき、表示切換部２２２ｃは、上述したようなインターバルを提供する。

以下では、先に表示装置１０で立体表示を行なう場合の処理や機能について先に説明し、その後で平面表示を行なう場合の処理や機能について説明する。

（１．立体表示）
第１画像バッファ２０２は、第１撮像部１１０（図１）および第１画像変換部２０４と関連付けられており、第１撮像部１１０が撮像した生の画像（区別のため「第１撮像画像」とも称す。）を一時的に記憶する。また、第１画像バッファ２０２は、第１画像変換部２０４からのアクセスを受付ける。

同様に、第２画像バッファ２１２は、第２撮像部１２０（図１）および第２画像変換部２１４と関連付けられており、第２撮像部１２０が撮像した生の画像（区別のため「第２撮像画像」とも称す。）を一時的に記憶する。また、第２画像バッファ２１２は、第２画像変換部２１４からのアクセスを受付ける。

なお、予め所定の視差を有する一対の画像が予めＲＡＭ１０４（図１）などに格納されている場合には、これらの画像がＲＡＭ１０４から読出されて、第１画像バッファ２０２および第２画像バッファ２１２へそれぞれ与えられる。

このように、第１画像バッファ２０２および第２画像バッファ２１２は、所定の視差を有する一対の画像を受付ける画像入力手段として機能する。

第１画像変換部２０４および第２画像変換部２１４は、第１画像バッファ２０２および第２画像バッファ２１２にそれぞれ記憶される一対の画像（典型的には、第１撮像画像および第２撮像画像）を所定の大きさをもつ入力画像にそれぞれ変換する。第１画像変換部２０４および第２画像変換部２１４は、変換により生成されたそれぞれの入力画像を画像展開部２２０に書込む。

画像展開部２２０は、第１画像変換部２０４および第２画像変換部２１４により生成された入力画像のデータが展開される記憶領域である。この画像展開部２２０は、入力画像ＩＭＧ１およびＩＭＧ２のそれぞれについて、画像全体のうちどの領域を表示するかを決定し、また、２つの画像の重ね合わせ位置を決定する処理を行なう。この処理のために、画像展開部２２０は、それぞれの入力画像および注目対象枠を仮想空間に配置（仮想配置）する。より具体的には、画像展開部２２０は、入力画像ＩＭＧ１およびＩＭＧ２を重ねて仮想配置し、さらに、その上に注目対象枠を重ねて配置する。立体表示制御部２２２ａは、所定の視差を有する入力画像ＩＭＧ１およびＩＭＧ２について、両入力画像の間の重ね合わせ位置を設定する相対位置関係設定手段として機能する。そして、画像展開部２２０は、この立体表示制御部２２２ａからの指令に従って、ある重ね合わせ位置で入力画像ＩＭＧ１およびＩＭＧ２を配置する。

図１５を参照して、第１画像変換部２０４、第２画像変換部２１４および画像展開部２２０により提供される処理の内容について説明する。

図１５は、この発明の実施の形態１に従う情報処理システム１における入力画像の仮想配置を説明するための図である。図１５（ａ）に示すように、第１撮像部１１０の撮像により第１撮像画像が取得され、第２撮像部１２０の撮像により第２撮像画像が取得されたとする。この第１撮像画像および第２撮像画像からは、それぞれ第１画像変換部２０４および第２画像変換部２１４が変換処理を行なうことで、入力画像ＩＭＧ１および入力画像ＩＭＧ２が生成される。そして、その生成された画像データは、図１５（ｂ）および図１５（ｃ）に示すように、ＩＭＧ１とＩＭＧ２が重なるように、画像展開部２２０によって仮想空間に展開される。ここで、画像展開部２２０によって展開されたデータ（ピクセル群）は、表示装置１０を構成する画素（第１ＬＣＤ１１６および第２ＬＣＤ１２６の１表示単位）と１対１に対応しているものとする。そのため、画像展開部２２０によって、仮想空間に、表示装置１０の解像度（たとえば、５１２ｄｏｔ×３８４ｄｏｔなど）に相当する共通の表示対象領域枠ＤＡが（仮想的に）定義される。なお、表示対象領域枠ＤＡの位置は、ユーザ操作（典型的には、スクロール操作）または初期設定などに応じて、任意に変更可能である。より具体的には、図１５において、例えば、上下左右方向へのスクロール操作があったときに、表示対象領域枠ＤＡは上下左右方向に移動する。入力画像ＩＭＧ１および入力画像ＩＭＧ２に対して共通の表示対象領域枠ＤＡが設定されることで、入力画像ＩＭＧ１の表示対象領域枠ＤＡによって定まる領域が入力画像ＩＭＧ１のうちの表示装置１０（第１ＬＣＤ１１６）に表示される領域（第１表示対象領域）として設定され、同時に、入力画像ＩＭＧ２の表示対象領域枠ＤＡによって定まる領域が入力画像ＩＭＧ２について表示装置１０（第２ＬＣＤ１２６）に表示される領域（第２表示対象領域）として設定される。

画像展開部２２０における表示対象領域枠ＤＡのサイズは、一定であるので、画像展開部２２０により仮想空間に展開する入力画像のサイズを変更することで、ズーム操作を行なうことができる。すなわち、拡大表示（ズームイン）が指示された場合には、図１５（ｂ）に示すように、第１撮像画像および第２撮像画像を相対的な大きなピクセルサイズを有する入力画像ＩＭＧ１ＺＩおよびＩＭＧ２ＺＩに変換した上で、仮想空間にそのデータを展開する。一方、縮小表示（ズームアウト）が指示された場合には、図１５（ｃ）に示すように、第１撮像画像および第２撮像画像を相対的な小さなピクセルサイズを有する入力画像ＩＭＧ１ＺＯおよびＩＭＧ２ＺＯに変換した上で、仮想空間にそのデータを展開する。

第１画像変換部２０４および第２画像変換部２１４により生成される入力画像のサイズを適宜変更することで、表示対象領域枠ＤＡに対する相対的な大きさを変化させることができ、これにより、ズーム操作を実現することができる。

上述のように、入力画像ＩＭＧ１および／または入力画像ＩＭＧ２の表示対象領域枠ＤＡに対する位置またはサイズの変更によって、入力画像ＩＭＧ１のうちの表示装置１０に表示される領域（第１表示対象領域）および／または入力画像ＩＭＧ２のうちの表示装置１０に表示される領域（第２表示対象領域）が変更される。

別の見方をすれば、表示対象領域枠ＤＡを基準として、入力画像ＩＭＧ１および／または入力画像ＩＭＧ２の配置位置を調整することで、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の重ね合わせ位置を変化させることもできる。また、入力画像ＩＭＧ１およびＩＭＧ２の表示対象領域枠ＤＡに対する位置またはサイズの変更によって、入力画像ＩＭＧ１のうちの表示装置１０に表示される領域（第１表示対象領域）の位置またはサイズ、ならびに、入力画像ＩＭＧ２のうちの表示装置１０に表示される領域（第２表示対象領域）の位置またはサイズが変更されると、これに伴って、入力画像ＩＭＧ１およびＩＭＧ２についての判定領域（画像マッチング処理の判定対象領域）である注目領域枠ＦＷ内に存在する領域の位置またはサイズも変更される。

なお、判定領域に相当する注目領域枠ＦＷと表示対象領域枠ＤＡとの相対的な位置関係を一定に維持することが好ましい。たとえば、注目領域枠ＦＷを表示対象領域枠ＤＡの中心部または中央下部に位置するように設定しておくことができる。これは、ユーザは、表示装置１０に表示される画像のうち、その中心部または中央下部の範囲に注目することが多いと考えられるからである。なお、注目領域枠ＦＷおよび表示対象領域枠ＤＡの画像展開部２２０における位置は、両者の相対的な位置関係が維持されている限り、いずれを優先して定めてもよい。すなわち、ユーザ操作に応じて注目領域枠ＦＷの位置が変更される場合には、その注目領域枠ＦＷの変更後の位置に応じて表示対象領域枠ＤＡの位置を決定してもよいし、その逆に、ユーザ操作に応じて表示対象領域枠ＤＡの位置が変更される場合には、その表示対象領域枠ＤＡの変更後の位置に応じて注目領域枠ＦＷの位置を決定してもよい。

なお、図１５には、理解を容易にするために、両入力画像の間に重複範囲を生じるように仮想配置した概念図を示すが、この仮想配置と画像展開部２２０における実際のデータ配列とは必ずしも一致しない場合もある。

再度図１１を参照して、第１画像抽出部２０６および第２画像抽出部２１６は、それぞれ画像展開部２２０に展開されている入力画像ＩＭＧ１および入力画像ＩＭＧ２から、所定領域の画像情報（色属性や輝度属性などを含む）を抽出し、立体表示制御部２２２ａへ出力する。

また、第１画像抽出部２０６および第２画像抽出部２１６は、立体表示制御部２２２ａにより算出された重ね合わせ位置に基づいて、画像展開部２２０から、表示装置１０の第１ＬＣＤ１１６および第２ＬＣＤ１２６における表示内容を制御するための第１表示データおよび第２表示データをそれぞれ抽出する。なお、これらの抽出された第１表示データおよび第２表示データは、第１ＶＲＡＭ１１２および第２ＶＲＡＭ１２２へそれぞれ書込まれる。すなわち、立体表示制御部２２２ａは、重ね合わせ位置に応じて入力画像ＩＭＧ１およびＩＭＧ２に対してそれぞれ設定される表示対象領域枠ＤＡについて、入力画像ＩＭＧ１の表示対象領域枠ＤＡに含まれる第１部分画像（第１表示データ）と、入力画像ＩＭＧ２の表示対象領域枠ＤＡに含まれる第２部分画像（第２表示データ）とを表示装置１０へ出力する画像出力手段として機能する。

立体表示制御部２２２ａは、第１画像抽出部２０６および第２画像抽出部２１６によってそれぞれ抽出される入力画像ＩＭＧ１および入力画像ＩＭＧ２の画像情報に基づいて、両入力画像の間の対応関係（一致度）を評価する。典型的には、立体表示制御部２２２ａは、所定のブロックサイズ（典型的には、注目領域枠ＦＷの範囲）毎に、両入力画像の間の一致度（相関度）を算出し、その算出された一致度が最も高くなる重ね合わせ位置（基本値）を特定する。

すなわち、立体表示制御部２２２ａは、所定の視差を有する入力画像ＩＭＧ１および入力画像ＩＭＧ２の間の対応関係（一致度）を判定することで、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の重ね合わせ位置を適宜変更する。それによって、ユーザに視認される基準奥行位置（立体感）が連続的に調整される。

（２．平面表示）
表示装置１０において平面表示を行なう場合には、基本的には、第１表示データと第２表示データとの間で、（視差のない）同一の表示データを出力する。そのため、原則として、画像展開部２２０には、１種類の入力画像が展開されればよい。したがって、第１撮像画像を用いて平面表示する典型例においては、平面表示制御部２２２ｂからの指令に従って、第１画像バッファ２０２および第１画像変換部２０４のみが有効化され、第２画像バッファ２１２および第２画像変換部２１４は無効化される。

また、第１画像抽出部２０６および第２画像抽出部２０６は、平面表示制御部２２２ｂからの指令に従って、画像展開部２２０に展開された入力画像のうち、同じ領域の画像をそれぞれ第１表示データおよび第２表示データとして出力する。第１撮像画像を用いて平面表示する典型例においては、入力画像ＩＭＧ１の表示対象領域枠ＤＡに含まれる第１部分画像データを第１表示データとして出力するとともに、同じデータを第２表示データとして出力する。

＜画像マッチング処理の概要＞
上述したように、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の重ね合わせ位置を決定または更新する場合には、画像同士の一致度を順次算出する必要があり、入力画像の全面にわたってサーチを行なう場合や、入力画像の解像度（ピクセル数）が高い場合などには、処理負荷が高くなり、かつ処理に要する時間も長くなる。その結果、ユーザに対する応答性および操作性の低下を招きやすい。

そこで、本実施の形態に従う情報処理システム１においては、以下に示すような主として２つの処理を採用することで、処理負荷を低減して、応答性および操作性を高める。

第１処理として、前もって入力画像ＩＭＧ１および入力画像ＩＭＧ２の間の対応関係（一致度）を判定することで、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の重ね合わせ位置の基本値を決定しておく。すなわち、所定の視差を有する入力画像ＩＭＧ１および入力画像ＩＭＧ２について、入力画像ＩＭＧ１のうちの少なくとも一部の領域に含まれる画像と入力画像ＩＭＧ２のうちの少なくとも一部の領域に含まれる画像とを適宜変化させつつ、両画像を比較する。このとき、比較に用いられる領域は、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の重ね合わせ位置を第１の範囲内で変化させる。そして、この比較結果に応じて、当該第１の範囲内の重ね合わせ位置のうちから、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の対応関係（一致度）の高い重ね合わせ位置が基本値として決定される（基本重ね合わせ位置）。この基本重ね合わせ位置を決定する処理においては、基本的に、何らの情報も無い状態から入力画像間の対応関係（一致度）を判定するもので、相対的に広い範囲（第１の範囲）がサーチ対象となる。

さらに、このように基本重ね合わせ位置が決定された後、スクロール操作やズーム操作がなされると、決定された基本重ね合わせ位置を基準とする所定範囲内に存在する複数の重ね合わせ位置の各々について、入力画像ＩＭＧ１と入力画像ＩＭＧ２とを仮想配置し、それぞれの場合に生じる重複範囲に対して対応する判定領域をそれぞれ設定する。

さらに、それぞれ設定された判定領域について、入力画像ＩＭＧ１および入力画像ＩＭＧ２の間の対応関係（一致度）を判定する。基本重ね合わせ位置が決定された後には、大まかな重ね合わせ位置がわかっているので、サーチ対象を相対的に狭くすることができる。そして、上述のようなサーチ処理によって決定された重ね合わせ位置に基づいて、表示装置１０における入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の重ね合わせ位置が決定される。すなわち、入力画像ＩＭＧ１のうちの少なくとも一部の領域に含まれる画像と、入力画像ＩＭＧ２のうちの少なくとも一部の領域に含まれる画像とを、基本重ね合わせ位置を基準とする所定範囲であって、かつ上記の第１の範囲よりも狭い範囲である第２の範囲内で当該各領域の重ね合わせ位置を変化させて比較した結果に応じて、当該第２の範囲内の重ね合わせ位置のうちから当該第１表示対象領域と第２表示対象領域との間の対応関係(一致度)が高い重ね合わせ位置が、最終的に立体表示に用いられる。

このように、本実施の形態に従う情報処理システム１においては、原則として、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の対応関係（一致度）を相対的に広い範囲で判定する処理を最初の１回だけとし、その後、スクロール操作やズーム操作が要求された場合には、最初に取得された基本重ね合わせ位置を基準として、より狭い範囲でのみ対応関係（一致度）を判定する。これにより、画像間の対応関係（一致度）を判定する範囲をより限定できるので、処理負荷を低減することができる。

第２処理として、画像間の対応関係（一致度）を判定するためのサーチ処理の精度を、粗いものからより詳細なものに複数段階に切替えることで、処理負荷を低減する。すなわち、まず、より精度の低い粗サーチを行なった後、当該粗サーチの結果得られた重ね合わせ位置を基準として、より精度の高い精細サーチを行なうことで、正確な重ね合わせ位置を決定する。

より具体的には、まず、入力画像ＩＭＧ１と入力画像ＩＭＧ２とを所定の第１変化量ずつ変化させた複数の重ね合わせ位置の各々に仮想配置し、各調整量における入力画像間の一致度が算出される。そして、算出された一致度のうち最も高い一致度が得られた重ね合わせ位置が第１重ね合わせ位置として特定する。

次に、先に特定した第１重ね合わせ位置を基準として、入力画像ＩＭＧ１と入力画像ＩＭＧ２とを上述の第１変化量より小さい第２変化量ずつ変化させた複数の重ね合わせ位置の各々に仮想配置し、それぞれの位置における入力画像間の一致度が算出される。そして、算出された一致度のうち最も高い一致度が得られた相対重ね合わせ位置を第２重ね合わせ位置として特定する。

なお、入力画像のサイズは装置の処理能力などに応じて、２段階以上にわたってサーチ処理を行なってもよい。本実施の形態においては、後述するように３段階にわたってサーチ処理を行なう構成を例示する。また、この第２処理は、上述の第１処理に含まれる（１）基本重ね合わせ位置の決定、および（２）その後の重ね合わせ位置の決定、のいずれにも適用できる。

また、上述の第１および第２処理の両方を行なう必要はなく、いずれか一方のみを行なうようにしてもよい。

上述したように、本実施の形態に従う情報処理システム１では、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の画像マッチング処理の結果に基づいて立体表示を行なうので、基本的には、入力画像ＩＭＧ１および入力画像ＩＭＧ２としては静止画を用いることになるが、入力画像の更新周期を超える処理能力を有する場合には、動画像にも適用することが可能である。

＜画像マッチング処理の詳細＞
次に、上述した画像マッチング処理のより詳細な処理内容について説明する。一例として、上述の図６に示すように、任意に設定される注目領域枠ＦＷに含まれる被写体が表示装置１０の表示面に位置するように立体表示する場合の処理内容について説明する。すなわち、本画像マッチング処理においては、２つの画像の重ね合わせ位置を決定する。ここで、２つの画像の重ね合わせ位置を決定することは、表示装置１０において、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間をどの程度ずらして表示するか決定することであるので、これを「表示ずれ量」を決定すると言うことができる。

（１）基本重ね合わせ位置の決定処理
上述したように、まず、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の基本重ね合わせ位置が決定される。この基本重ね合わせ位置の決定処理の詳細な内容について以下説明する。

図１６は、この発明の実施の形態１に従う情報処理システム１における基本重ね合わせ位置の決定処理を説明するための模式図である。図１６を参照して、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の基本重ね合わせ位置は、両者の対応関係（一致度）を判定することで決定される。より具体的には、入力画像ＩＭＧ１と入力画像ＩＭＧ２との重ね合わせ位置を順次変更するとともに、各重ね合わせ位置における両入力画像間の一致度が順次算出される。いわば、入力画像ＩＭＧ１に対する入力画像ＩＭＧ２の位置（あるいは入力画像ＩＭＧ２に対する入力画像ＩＭＧ１の位置）をずらしてゆき、その重複範囲に映っている被写体の画像が最も合致する位置をサーチする。そのため、基本重ね合わせ位置を決定する場合には、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間に重複範囲が生じる実質的な全面にわたってサーチ処理がなされる。

すなわち、入力画像ＩＭＧ１のうちの少なくとも一部の領域（注目領域枠ＦＷに相当する領域）、および／または、入力画像ＩＭＧ２のうちの少なくとも一部の領域（注目領域枠ＦＷに相当する領域）について、両者の重ね合わせ位置を変化させて比較することによって、基本重ね合わせ位置が決定される。このとき、このように、入力画像ＩＭＧ１のうちの表示装置１０に表示される領域（第１表示対象領域）の少なくとも一部の領域に含まれる画像、および／または、入力画像ＩＭＧ２のうちの表示装置１０に表示される領域（第２表示対象領域）の少なくとも一部の領域に含まれる画像を、一致度判定のための比較対象の画像として用いることで、重ね合わせ位置である「表示ずれ量」が決定される。

なお、この基本重ね合わせ位置の決定処理においては、上述した注目領域枠ＦＷ内の画像についての一致度を必ずしも評価する必要はなく、両入力画像の重複範囲の全体領域内における一致度に基づいて評価することができる。但し、最終的に決定される「表示ずれ量」は、ユーザが注目する注目領域枠ＦＷに含まれる被写体を所望の態様で（例えば、表示面付近に見えるように）立体的に表示させるためのものであり、そのような観点から見れば、基本重ね合わせ位置を決定する際にも、注目領域枠ＦＷ内の画像についての一致度に注目して評価することが好ましい。以下の説明では、両入力画像の重複範囲に設定される注目領域枠ＦＷ内の画像についての一致度を評価する処理について例示する。

基本重ね合わせ位置を決定するために、その候補となる重ね合わせ位置のそれぞれについて、その重ね合わせ位置においての両者の一致度を判定し、その候補の中で一番一致度の高かった重ね合わせ位置を基本重ね合わせ位置とするが、その候補を探す範囲をサーチ範囲と称する（後述の表示ずれ量（実際に立体表示に用いられる重ね合わせ位置）の決定処理におけるサーチ範囲と区別するために、以下では「基本サーチ範囲」とも称す。）。このサーチ範囲は、左右方向については、「ＩＭＧ１の右端がＩＭＧ２の左端よりも左に位置するような重ね合わせ位置Ａ」から、徐々にＩＭＧ１を相対的に左に移動させて、「ＩＭＧ１の左端がＩＭＧ２の右端よりも右に位置するような重ね合わせ位置Ｂ」までを含む。なお、一致度判定のためには、ＩＭＧ１とＩＭＧ２が重複する領域が必要であるので、現実的には、重ね合わせ位置Ａや重ね合わせ位置Ｂにおいても、一致度判定のために必要な部分だけ重複している。すなわち、上述したように、注目領域枠ＦＷ内の画像についての一致度を評価する場合には、少なくとも注目領域枠ＦＷ内の大きさだけは重複している必要がある。まとめると、基本サーチ範囲は、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の距離が実質的にゼロとなる重ね合わせ位置（図１６（ａ）参照）から、その重複範囲が判定領域に相当する注目領域枠ＦＷの大きさを維持できる重ね合わせ位置（図１６（ｂ）および図１６（ｃ）参照）までに存在するすべての重ね合わせ位置を含む。

なお、基本重ね合わせ位置を決定する処理においては、Ｘ方向（立体表示される際の上下方向）およびＹ方向（立体表示される際の左右方向）のいずれにもサーチ（走査）することが好ましい。但し、第１撮像部１１０および第２撮像部１２０が高さ方向において同一の位置に固定されている場合には、Ｙ方向にのみサーチを行なうようにしてもよい。

また、図１６（ｂ）には、第１撮像部１１０と第２撮像部１２０との相対的な配置位置に応じて、入力画像ＩＭＧ２をＹ方向の正側（＋側）にのみ移動させる処理について例示したが、入力画像ＩＭＧ２をＹ方向の負側（−側）にも移動するようにしてもよい。

たとえば、図１６（ｄ）に示すような重ね合わせ位置において、一致度が最も高く算出されたとすると、図１６（ｄ）に示す入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の重ね合わせ位置、すなわちベクトル（ΔＸｓ，ΔＹｓ）で示される重ね合わせ位置が基本重ね合わせ位置となる。この基本重ね合わせ位置は、両入力画像に設定された判定領域における視差に対応した位置偏差に相当する。そのため、基本重ね合わせ位置を決定するために用いられた判定領域とは異なる位置に注目領域枠ＦＷが設定されたとしても、基本重ね合わせ位置からの外れ量は相対的に少ないと考えられるので、このような基本重ね合わせ位置を基準としてより狭いサーチ範囲でいてサーチ処理を行なうことにより、画像マッチング処理をより高速に行なうことができる。なお、基本重ね合わせ位置のベクトル（ΔＸｓ，ΔＹｓ）は、典型的には、ピクセル数で定義される。

なお、入力画像ＩＭＧ１およびＩＭＧ２上の任意の座標を（Ｘ，Ｙ）｛但し、Ｘｍｉｎ≦Ｘ≦Ｘｍａｘ；Ｙｍｉｎ≦Ｙ≦Ｙｍａｘ｝とすると、入力画像ＩＭＧ１上の座標（Ｘ，Ｙ）のピクセルと、入力画像ＩＭＧ２上の座標（Ｘ−ΔＸｓ，Ｙ−ΔＹｓ）のピクセルとが対応することになる。

（２）複数段階のサーチ処理
上述のような基本重ね合わせ位置を決定するためのサーチ処理としては、従来の方法では、入力画像間の重ね合わせ位置を１ピクセル毎にずらして順次評価する必要があるが、本実施の形態に従うサーチ処理においては、サーチ精度を複数段階に切替えることで、より高速に基本重ね合わせ位置をサーチする。以下、本実施の形態に従う複数段階のサーチ処理について、説明する。

図１７〜図１９は、この発明の実施の形態１に従うサーチ処理を説明するための図である。なお、以下の説明では、サーチ精度を３段階に切替えてサーチ処理を行なう構成について例示するが、サーチ精度の切替段階については特に制限はなく、入力画像のピクセルサイズなどに応じて適宜選択することができる。なお、図１７〜図１９には、理解を容易にするために、６４ピクセル×４８ピクセルの入力画像ＩＭＧ１およびＩＭＧ２を示すが、入力画像ＩＭＧ１およびＩＭＧ２はこのピクセルサイズに限定されないものではない。

本実施の形態においては、一例として、第１段階のサーチ処理では、サーチ精度が１６ピクセルに設定され、第２段階のサーチ処理では、サーチ精度が４ピクセルに設定され、最終の第３段階のサーチ処理では、サーチ精度が１ピクセルに設定される。

より具体的には、図１７（ａ）に示すように、第１段階のサーチ処理においては、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の距離が実質的にゼロとなる重ね合わせ位置から、Ｘ方向に１６ピクセルずつ、およびＹ方向に１６ピクセルずつずらした計１２個（Ｘ方向に３点×Ｙ方向に４点）の重ね合わせ位置で一致度がそれぞれ評価される。すなわち、図１７（ａ）に示す重ね合わせ位置における一致度の算出が完了すると、続いて、図１７（ｂ）に示すように、Ｙ方向に１６ピクセルだけずらした重ね合わせ位置における一致度が算出される。図示しないが、残りの９つの重ね合わせ位置においても一致度が算出される。そして、これらの重ね合わせ位置の各々に対応付けて算出された一致度のうち最も高い一致度が得られた重ね合わせ位置を特定する。この重ね合わせ位置の特定の後、第２段階のサーチ処理が実行される。なお、一致度は、注目領域枠ＦＷに対応する入力画像ＩＭＧ１内の画像と、注目領域枠ＦＷに対応する入力画像ＩＭＧ２内の画像との間で算出される。なお、図１７（ａ）と（ｂ）においては、注目領域枠ＦＷは異なる位置に設定されるように見えるが、実際には、注目領域枠ＦＷの位置は固定されており、ＩＭＧ１およびＩＭＧ２がＦＷに対して相対的に移動することにより、図１７（ａ）や（ｂ）の状態となる。

図１８（ａ）に示すように、第１段階のサーチ処理において最も高い一致度が得られた重ね合わせ位置を第１マッチング位置ＳＰ１とする。そして、第２段階のサーチ処理においては、この第１マッチング位置ＳＰ１を基準として、Ｘ方向に４ピクセルずつ、およびＹ方向に４ピクセルずつずらした計６４個（Ｘ方向に８点×Ｙ方向に８点）の重ね合わせ位置で一致度がそれぞれ評価される。すなわち、図１８（ａ）に示す重ね合わせ位置における一致度の算出が完了すると、続いて、図１８（ｂ）に示すように、４ピクセルだけずらした重ね合わせ位置における一致度が算出される。図示しないが、残りの６２つの重ね合わせ位置においても一致度が算出される。

なお、図１８（ａ）に示す例では、一致度を評価する重ね合わせ位置として、第１マッチング位置ＳＰ１を中心として、Ｘ方向の前進側に４点および後進側に３点、ならびにＹ方向の前進側に４点および後進側に３点、を設定する例を示すが、第１マッチング位置ＳＰ１を基準にして重ね合わせ位置を設定する限り、どのような設定方法であってもよい。

同様にして、図１９（ａ）に示すように、第２段階のサーチ処理において最も高い一致度が得られた重ね合わせ位置を第２マッチング位置ＳＰ２とする。そして、第３段階のサーチ処理においては、この第２マッチング位置ＳＰ２を基準として、Ｘ方向に１ピクセルずつ、およびＹ方向に１ピクセルずつずらした計６４個（Ｘ方向に８点×Ｙ方向に８点）の重ね合わせ位置で一致度がそれぞれ評価される。すなわち、図１９（ａ）に示す重ね合わせ位置における一致度の算出が完了すると、続いて、図１９（ｂ）に示すように、１ピクセルだけずらした重ね合わせ位置における一致度が算出される。図示しないが、残りの６２つの重ね合わせ位置においても一致度が算出される。

なお、図１９（ａ）に示す例では、一致度を評価する重ね合わせ位置として、第２マッチング位置ＳＰ２を中心として、Ｘ方向の前進側に４点および後進側に３点、ならびにＹ方向の前進側に４点および後進側に３点、を設定する例を示すが、第２マッチング位置ＳＰ２を基準として重ね合わせ位置を設定する限り、どのような設定方法であってもよい。

このように、段階的にサーチ精度を高めていく方法を採用することで、全体として一致度の算出回数を低減することができる。たとえば、図１７〜図１９に示す例においては、すべて第２段階のサーチ処理のように１ピクセル×１ピクセルの単位でサーチを行なった場合には、計３０７２回（６４点×４８点）の一致度の算出処理が必要となる。これに対して、本実施の形態に従うサーチ処理においては、計１４０回（第１段階：１２回、第２段階：６４回、第３段階：６４回）の一致度の算出処理で済む。

（３）表示ずれ量の決定処理
上述のように、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の基本重ね合わせ位置が予め決定されると、この基本重ね合わせ位置を含む所定のサーチ範囲（上述の基本サーチ範囲と区別するために、以下では「個別サーチ範囲」とも称す。）において、入力画像ＩＭＧ１と入力画像ＩＭＧ２との重複範囲に設定される判定領域である注目領域枠ＦＷ内の画像間の一致度が順次算出され、最も高い一致度が得られた重ね合わせ位置に対応して、表示ずれ量（実際に立体表示に用いられる重ね合わせ位置）が決定される。以下、本実施の形態に従う表示ずれ量の決定処理の詳細について説明する。

図２０は、この発明の実施の形態１に従う表示ずれ量の決定処理を説明するための図である。まず、図２０（ａ）に示すように、基本重ね合わせ位置として、ベクトル（ΔＸｓ，ΔＹｓ）が予め決定されているものとする。

個別サーチ範囲は、基本重ね合わせ位置を基準に決定される。たとえば、入力画像ＩＭＧ１の左上頂点をＯ１とし、入力画像ＩＭＧ２の左上頂点をＯ２とすると、入力画像ＩＭＧ１と入力画像ＩＭＧ２とを基本重ね合わせ位置に対応して仮想配置した場合の入力画像ＩＭＧ２の頂点Ｏ２をマッチング位置ＳＰと定義する。すると、このマッチング位置ＳＰを用いて、図２０（ｂ）および図２０（ｃ）に示すように所定範囲の個別サーチ範囲が定義できる。すなわち、入力画像ＩＭＧ２の頂点Ｏ２をこの表示ずれサーチ範囲の左端から右端まで移動させて、各重ね合わせ位置における注目領域枠ＦＷ内の画像間の一致度が算出される。

そして、算出された複数の一致度のうち最も高い一致度が得られた重ね合わせ位置に対応して、表示ずれ量が決定される。この個別サーチ範囲は、上述の基本サーチ範囲より狭く設定される。典型的な一例として、個別サーチ範囲は、入力画像ＩＭＧ１，ＩＭＧ２のＹ方向の長さに対する所定比率として定義することができ、たとえば、２０〜５０％程度に設定され、２５％程度に設定することが好ましい。なお、個別サーチ範囲を比率により定義するのは、入力画像ＩＭＧ１およびＩＭＧ２が、ユーザによるズーム操作に応じてそのピクセルサイズが変更されるため、これらの変更に柔軟に対応するためである。

また、原則として、表示ずれ量の決定処理においては、Ｙ方向（第１および第２撮像部の間で視差が発生する方向）にのみサーチされる。これは、Ｘ方向には、原則として視差が発生しないことと、予め決定される基本重ね合わせ位置によってＸ方向の相対差が補正されていることとを理由とするものである。もちろん、Ｙ方向に加えて、Ｘ方向にもサーチを行なうようにしてもよい。

なお、図２０（ｂ）および図２０（ｃ）には、入力画像ＩＭＧ２を基準として（すなわち、入力画像ＩＭＧ２の中心部に）注目領域枠ＦＷを設定している例を示すが、入力画像ＩＭＧ１を基準として注目領域枠ＦＷを設定してもよいし、あるいは、入力画像ＩＭＧ１と入力画像ＩＭＧ２との重複範囲を基準として注目領域枠ＦＷを設定してもよい。

このようなサーチ処理の結果、図２０（ｄ）に示すような相対変位量において、最も高い一致度が算出されたとすると、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の重ね合わせ位置、すなわちベクトル（ΔＸ，ΔＹ）が表示ずれ量となる。この表示ずれ量は、視差バリア１２の各スリット１４（図２）に対応する、それぞれ第１ＬＣＤ１１６および第２ＬＣＤ１２６の画素に対して、いずれの画像データを表示させるかについて制御するために用いられる。すなわち、入力画像ＩＭＧ１上の座標（Ｘ，Ｙ）の表示データと、入力画像ＩＭＧ２上の座標（Ｘ−ΔＸ，Ｙ−ΔＹ）の表示データとが、共通のスリット１４（図２）に対応する一対の画素に対して与えられる。

すなわち、入力画像ＩＭＧ１のうちの少なくとも一部の領域（注目領域枠ＦＷに相当する領域）と入力画像ＩＭＧ２のうちの少なくとも一部の領域（注目領域枠ＦＷに相当する領域）とについて、両者の重ね合わせ位置を変化させつつ画像同士の一致度を複数回算出し、さらに算出された複数の一致度のうち最も高い一致度が得られた重ね合わせ位置に対応して、入力画像ＩＭＧ１のうちの表示装置１０に表示される領域（第１表示対象領域）および／または入力画像ＩＭＧ２のうちの表示装置１０に表示される領域（第２表示対象領域）が決定される。そして、決定された重ね合わせ位置に相当する表示ずれ量に基づき、入力画像ＩＭＧ１のうちの表示装置１０に表示される領域（第１表示対象領域）および／または入力画像ＩＭＧ２のうちの表示装置１０に表示される領域（第２表示対象領域）の位置を更新し、変更後の領域にそれぞれ含まれる入力画像ＩＭＧ１の部分画像および入力画像ＩＭＧ２の部分画像を用いて表示装置１０での立体表示が行なわれる。

また、表示装置１０に対しては、図２０（ｄ）に示す入力画像ＩＭＧ１と入力画像ＩＭＧ２との重複範囲に含まれる画像データの全部または一部が与えられる。なお、表示装置１０における有効表示サイズ（ピクセル数）が入力画像間の重複範囲より大きい場合、および／または、表示装置１０のアスペクト比を満たすだけの重複範囲を設定できない場合には、表示データが存在しない部分について、黒または白の単一表示などを行なうことで補完してもよい。

また、表示ずれ量を決定する処理においても、上述した複数段階のサーチ処理を適用することができる。なお、複数段階のサーチ処理の詳細な内容については、上述したので繰返さない。

＜立体表示から平面表示への切替直後の表示内容＞
上述したように、所定の視差を有する２つの入力画像を用いて立体表示している状態から、一方の入力画像を用いて平面表示する状態に切替えた場合には、表示装置１０に表示される画像の内容（たとえば、同一の被写体の位置）が大きく変化する。そこで、入力画像ＩＭＧ１と入力画像ＩＭＧ２とを、上述の基本重ね合わせ位置で仮想配置した状態で表示対象領域枠ＤＡ内に得られる画像を平面表示に用いることが好ましい。

すなわち、表示切換部２２２ｃ（図１１）は、表示装置１０における表示が立体表示から平面表示に切替えられた直後において、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の重ね合わせ位置を、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の対応関係（一致度）に基づいて決定された基本重ね合わせ位置と実質的に一致させた場合に表示対象領域枠ＤＡ内に取得される、第１部分画像（第１表示データ）および／または第２部分画像（第２表示データ）を表示装置１０に表示させる。

言い換えれば、入力画像ＩＭＧ１および入力画像ＩＭＧ２を上述の図１６（ｄ）に示すような位置関係に配置し、両入力画像の重複範囲に設定される表示対象領域枠ＤＡに含まれる画像が平面表示に用いられる。

＜処理手順＞
図２１および図２２は、この発明の実施の形態１に従う情報処理システム１における画像表示制御の全体処理手順を示すフローチャートである。図２３は、図２１に示すサーチ処理サブルーチンの処理を示すフローチャートである。図２４は、図２３に示す一致度評価サブルーチンの処理を示すフローチャートである。なお、図２１〜図２４に示す各ステップは、典型的には、情報処理システム１のＣＰＵ１００がプログラムを実行することで提供される。

（メインルーチン）
図２１および図２２を参照して、画像表示処理の開始が指示されると、ステップＳ１００において、ＣＰＵ１００は、立体表示および平面表示のいずれが指示されているか否かを判断する。具体的には、ＣＰＵ１００は、入力部１０６（図１）の典型例であるスライダー（図１２〜図１４）が立体表示の位置に配置されているか否かを判断する。立体表示が指示されている場合（ステップＳ１００において「立体表示」）には、処理はステップＳ１０２へ進む。これに対して、平面表示が指示されている場合、すなわち、スライダーが立体感をゼロとする位置に配置されている場合（ステップＳ１００において「平面表示」）には、処理はステップＳ１６０へ進む。

ステップＳ１０２において、ＣＰＵ１００は、第１撮像部１１０および第２撮像部１２０のそれぞれから撮像画像を取得する。すなわち、ＣＰＵ１００は、第１撮像部１１０および第２撮像部１２０のそれぞれに撮像を行なわせ、それによって得られる画像データをＲＡＭ１０４（図７の第１画像バッファ２０２および第２画像バッファ２１２に相当）に格納する。続くステップＳ１０４において、ＣＰＵ１００は、それぞれの撮像画像を所定の初期サイズをもつ入力画像ＩＭＧ１およびＩＭＧ２に変換する。さらに続くステップＳ１０６において、ＣＰＵ１００は、所定の初期重ね合わせ位置で、入力画像ＩＭＧ１およびＩＭＧ２をＲＡＭ１０４（図１１の画像展開部２２０に相当）に展開する。さらに続くステップＳ１０８において、ＣＰＵ１００は、所定の初期位置に判定領域である注目領域枠ＦＷを設定する。

その後、ＣＰＵ１００は、ステップＳ１１０〜Ｓ１１４に示す基本重ね合わせ位置の決定処理を実行する。すなわち、ステップＳ１１０において、ＣＰＵ１００は、基本サーチ範囲を引数として設定する。続くステップＳ１１２において、ステップＳ１１０において設定された基本サーチ範囲に基づいて、サーチ処理が実行される。すなわち、ステップＳ１１０において設定された基本サーチ範囲が引数として、図２３に示すサーチ処理サブルーチンに渡される。このサーチ処理サブルーチンの結果、最も高い一致度が得られた重ね合わせ位置の情報がメインルーチンに返される。さらに続くステップＳ１１４において、ＣＰＵ１００は、サーチ処理サブルーチンから返された重ね合わせ位置を基本重ね合わせ位置として格納するとともに、当該重ね合わせ位置を表示ずれ量の初期値として格納する。その後、処理はステップＳ１１６へ進む。

ステップＳ１１６において、ＣＰＵ１００は、表示ずれ量の現在値に基づいて、表示装置１０における表示を制御する。すなわち、ＣＰＵ１００は、ＲＡＭ１０４に展開されている入力画像ＩＭＧ１およびＩＭＧ２の画像データを、表示ずれ量の現在値に応じた座標だけずらして、第１ＶＲＡＭ１１２および第２ＶＲＡＭ１２２へそれぞれ書込む。そして、処理はステップＳ１１８へ進む。

ステップＳ１１８において、ＣＰＵ１００は、新たな入力画像の取得が指示されたか否かを判断する。新たな入力画像の取得が指示された場合（ステップＳ１１８においてＹＥＳの場合）には、ステップＳ１０２以下の処理が繰返される。すなわち、新たな入力画像（撮像画像）の入力に応答して、基本重ね合わせ位置が決定または更新される。そうでない場合（ステップＳ１１８においてＮＯの場合）には、処理はステップＳ１２０へ進む。この新たな入力画像の入力は、入力画像ＩＭＧ１および入力画像ＩＭＧ２の少なくとも一方の更新を意味する。

なお、ユーザによる基本重ね合わせ位置の決定または更新の指示を直接受けるようにしてもよい。この場合には、ＣＰＵ１００は、ユーザ操作に応答して、ステップＳ１１０以下の処理の実行を開始し、これにより基本重ね合わせ位置が決定または更新される。

ステップＳ１２０において、ＣＰＵ１００は、スクロール操作が指示されたか否かを判断する。スクロール操作が指示された場合（ステップＳ１２０においてＹＥＳの場合）には、処理はステップＳ１２４へ進み、そうでない場合（ステップＳ１２０においてＮＯの場合）には、処理はステップＳ１２２へ進む。

ステップＳ１２２において、ＣＰＵ１００は、ズーム操作が指示されたか否かを判断する。ズーム操作が指示された場合（ステップＳ１２２においてＹＥＳの場合）には、処理はステップＳ１２４へ進み、そうでない場合（ステップＳ１２２においてＮＯの場合）には、処理はステップＳ１２８へ進む。

ステップＳ１２４において、ＣＰＵ１００は、ＲＡＭ１０４に格納されているそれぞれの撮像画像を、ステップＳ１２０またはＳ１２２において指示された内容（拡大／縮小率またはスクロール量）などに応じたサイズをもつ入力画像ＩＭＧ１およびＩＭＧ２に変換する。ここで、基本重ね合わせ位置がピクセル単位などを用いて定義されている場合には、入力画像のサイズ変更の比率に応じて、基本重ね合わせ位置の値も同じ比率で更新される。

続くステップＳ１２６において、ＣＰＵ１００は、ステップＳ１２０またはＳ１２２において指示された内容（拡大／縮小率またはスクロール量）に応じた相対変位量で、新たに生成した入力画像ＩＭＧ１およびＩＭＧ２をＲＡＭ１０４に展開する。そして、処理はステップＳ１３２へ進む。

一方、ステップＳ１２８において、ＣＰＵ１００は、表示装置１０において表現する立体感の変更が指示されたか否かを判断する。具体的には、ＣＰＵ１００は、入力部１０６（図１）の典型例であるスライダー（図１２〜図１４）の位置が変更されたか否かを判断する。表示位置を変化させることによる立体感の変更（表示位置による立体感調整）が指示された場合（ステップＳ１２８においてＹＥＳの場合）には、処理はステップＳ１３０へ進む。これに対して、立体感の変更（表示位置による立体感調整）が指示されていない場合（ステップＳ１２８においてＮＯの場合）には、処理はステップＳ１５０へ進む。

ステップＳ１３０において、ＣＰＵ１００は、ステップＳ１２８において指示された表示位置による立体感調整を行なう度合いを決定する変更値（典型例においてはスライダーの変位量に対応する値）に応じた位置に注目領域枠ＦＷを設定する。すなわち、この注目領域枠ＦＷに含まれる内容が表示装置１０の表示面に位置して立体表示されるように、上述の画像マッチング処理が実行される。そのため、ユーザによって指示された立体感調整を行なう度合いに応じて、この注目領域枠ＦＷを適宜配置することで、立体感をユーザ操作に応じて変更することができる（表示位置による立体感調整が可能となる）。そして、処理はステップＳ１３２へ進む。

ステップＳ１３２〜Ｓ１３８において、ＣＰＵ１００は、表示ずれ量の決定処理を実行する。すなわち、ステップＳ１３２において、ＣＰＵ１００は、個別サーチ範囲を引数として設定する。より具体的には、ＣＰＵ１００は、基本重ね合わせ位置を中心として、所定の方向（図２０に示す例では、Ｙ方向）に入力画像ＩＭＧ１，ＩＭＧ２の対応する辺の長さに所定比率を乗じた長さに相当する範囲を個別サーチ範囲として決定する。このように、基本サーチ範囲より狭い個別サーチ範囲がサーチ範囲として設定される。

続くステップＳ１３４において、ステップＳ１３２において設定された個別サーチ範囲に基づいて、サーチ処理が実行される。すなわち、ステップＳ１３２において設定された個別サーチ範囲を引数として、図２３に示すサーチ処理サブルーチンが実行される。このサーチ処理サブルーチンの結果、最も高い一致度が得られた重ね合わせ位置の情報がメインルーチンに返される。さらに続くステップＳ１３６において、ＣＰＵ１００は、サーチ処理サブルーチンから返された重ね合わせ位置を新たな表示ずれ量として更新する。さらに続くステップＳ１３８において、ＣＰＵ１００は、表示ずれ量の現在値に基づいて、表示装置１０における表示を制御する。すなわち、ＣＰＵ１００は、ＲＡＭ１０４に展開されている入力画像ＩＭＧ１およびＩＭＧ２の画像データを、表示ずれ量の現在値に応じた座標だけずらして、第１ＶＲＡＭ１１２および第２ＶＲＡＭ１２２へそれぞれ書込む。そして、処理はステップＳ１４０へ進む。

ステップＳ１４０において、ＣＰＵ１００は、立体表示から平面表示への切替が指示されたか否かを判断する。具体的には、ＣＰＵ１００は、入力部１０６（図１）の典型例であるスライダー（図１２〜図１４）が平面表示（２Ｄ）の位置まで移動されているか否かを判断する。立体表示から平面表示への切替が指示された場合（ステップＳ１４０においてＹＥＳの場合）には、処理はステップＳ１４２へ進む。これに対して、立体表示から平面表示への切替が指示されていない場合（ステップＳ１４０においてＮＯの場合）には、ステップＳ１１８以下の処理が繰返される。

ステップＳ１４２〜Ｓ１４８において、ＣＰＵ１００は、立体表示から平面表示への切替処理を実行する。すなわち、ステップＳ１４２において、ＣＰＵ１００は、表示装置１０で所定期間にわたってインターバルを提供する。具体的には、ＣＰＵ１００は、（ｉ）表示装置１０における表示の実質的な停止、（ｉｉ）独立した挿入画像の表示、（ｉｉｉ）所定のエフェクト表示、などを行なう。続くステップＳ１４４において、ＣＰＵ１００は、基本重ね合わせ位置で、入力画像ＩＭＧ１およびＩＭＧ２をＲＡＭ１０４（図１１の画像展開部２２０に相当）に再配置する。さらに続くステップＳ１４６において、ＣＰＵ１００は、ステップＳ１４４において再配置された入力画像ＩＭＧ１およびＩＭＧ２の重複範囲に表示対象領域枠を設定し、この表示対象領域枠に含まれる画像データを取得する。さらに続くステップＳ１４８において、ＣＰＵ１００は、ステップＳ１４６において取得した画像データに基づいて表示装置１０における表示を制御する。すなわち、ＣＰＵ１００は、ステップＳ１４６において取得した共通の画像データを、第１ＶＲＡＭ１１２および第２ＶＲＡＭ１２２へそれぞれ書込む。そして、処理はステップＳ１６６へ進む。

上述したように、ステップＳ１３８において表示装置１０における立体表示の表示内容を更新した上で、ステップＳ１４２〜Ｓ１４８に示す立体表示から平面表示への切替処理が実行される。すなわち、ユーザによって視認される基準奥行位置（立体感）が所定条件を満足したときに、立体表示から平面表示への切替処理が実行される。

また、ステップＳ１４６およびＳ１４８に示す処理によって、立体表示から平面表示に切替えられた直後において、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の重ね合わせ位置を、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の対応関係に基づいて決定された基本重ね合わせ位置と実質的に一致させた場合に取得される、第１部分画像（第１表示データ）または第２部分画像（第２表示データ）が表示装置１０に表示される。なお、当該第１部分画像と当該第２部分画像を１つの画像に合成し、当該合成画像を表示装置１０に表示してもよい。

一方、ステップＳ１５０において、ＣＰＵ１００は、画像表示処理の終了が指示されたか否かを判断する。画像表示処理の終了が指示された場合（ステップＳ１５０においてＹＥＳの場合）には、処理を終了し、そうでない場合（ステップＳ１５０においてＮＯの場合）には、ステップＳ１１８以下の処理が繰返される。

これに対して、平面表示が指示されている場合（ステップＳ１００において「平面表示」）には、処理はステップＳ１６０へ進み、ＣＰＵ１００は、第１撮像部１１０および第２撮像部１２０の一方から撮像画像を取得する。すなわち、ＣＰＵ１００は、第１撮像部１１０および第２撮像部１２０の一方に撮像を行なわせ、それによって得られる画像データをＲＡＭ１０４に格納する。続くステップＳ１６２において、ＣＰＵ１００は、取得した撮像画像を所定の初期サイズをもつ入力画像ＩＭＧ１に変換する。さらに続くステップＳ１６４において、ＣＰＵ１００は、所定の初期サイズで、入力画像ＩＭＧ１をＲＡＭ１０４（図１１の画像展開部２２０に相当）に展開する。さらに続くステップＳ１６６において、ＣＰＵ１００は、ステップＳ１６４において展開した画像データに基づいて表示装置１０における表示を制御する。すなわち、ＣＰＵ１００は、ＲＡＭ１０４に展開した入力画像ＩＭＧ１の一部または全部を共通の表示データとして抽出し、第１ＶＲＡＭ１１２および第２ＶＲＡＭ１２２へそれぞれ書込む。そして、処理はステップＳ１６８へ進む。

ステップＳ１６８において、ＣＰＵ１００は、スクロール操作が指示されたか否かを判断する。スクロール操作が指示された場合（ステップＳ１６８においてＹＥＳの場合）には、処理はステップＳ１７２へ進み、そうでない場合（ステップＳ１６８においてＮＯの場合）には、処理はステップＳ１７０へ進む。

ステップＳ１７０において、ＣＰＵ１００は、ズーム操作が指示されたか否かを判断する。ズーム操作が指示された場合（ステップＳ１７０においてＹＥＳの場合）には、処理はステップＳ１７２へ進み、そうでない場合（ステップＳ１７０においてＮＯの場合）には、処理はステップＳ１７８へ進む。

ステップＳ１７２において、ＣＰＵ１００は、ＲＡＭ１０４に格納されている撮像画像を、ステップＳ１７０またはＳ１７２において指示された内容（拡大／縮小率またはスクロール量）などに応じたサイズをもつ入力画像ＩＭＧ１に変換する。続くステップＳ１７４において、ＣＰＵ１００は、変換によって得られた入力画像ＩＭＧ１をＲＡＭ１０４に展開する。さらに続くステップＳ１７６において、ＣＰＵ１００は、ステップＳ１７４において展開した画像データに基づいて表示装置１０における表示を制御する。すなわち、ＣＰＵ１００は、ＲＡＭ１０４に展開した入力画像ＩＭＧ１の一部または全部を共通の表示データとして抽出し、第１ＶＲＡＭ１１２および第２ＶＲＡＭ１２２へそれぞれ書込む。そして、処理はステップＳ１７８へ進む。

ステップＳ１７８において、ＣＰＵ１００は、平面表示から立体表示への切替が指示されたか否かを判断する。具体的には、ＣＰＵ１００は、入力部１０６（図１）の典型例であるスライダー（図１２〜図１４）が立体表示の位置に移動されているか否かを判断する。平面表示から立体表示への切替が指示された場合（ステップＳ１７８においてＹＥＳの場合）には、処理はステップＳ１０２以下の処理が繰返される。これに対して、平面表示から立体表示への切替が指示されていない場合（ステップＳ１７８においてＮＯの場合）には、処理はステップＳ１８０へ進む。

ステップＳ１８０において、ＣＰＵ１００は、新たな入力画像の取得が指示されたか否かを判断する。新たな入力画像の取得が指示された場合（ステップＳ１８０においてＹＥＳの場合）には、ステップＳ１６４以下の処理が繰返される。この新たな入力画像の入力は、入力画像の更新を意味する。そうでない場合（ステップＳ１８０においてＮＯの場合）には、処理はステップＳ１８２へ進む。

ステップＳ１８２において、ＣＰＵ１００は、画像表示処理の終了が指示されたか否かを判断する。画像表示処理の終了が指示された場合（ステップＳ１８２においてＹＥＳの場合）には、処理を終了し、そうでない場合（ステップＳ１８２においてＮＯの場合）には、ステップＳ１８０以下の処理が繰返される。

（サーチ処理サブルーチン）
図２３を参照して、まず、ステップＳ２００において、ＣＰＵ１００は、引数として指定されたサーチ範囲（基本サーチ範囲または個別サーチ範囲）を更新後サーチ範囲の初期値として設定する。この更新後サーチ範囲は、図１７〜図１９に示すような複数段階のサーチ処理を行なう場合に、実質的なサーチ範囲を絞るための変数である。続くステップＳ２０２において、ＣＰＵ１００は、サーチ精度Ｎを第１段階目の値（上述の例では、１６ピクセル）に設定する。そして、処理はステップＳ２０４へ進む。

ステップＳ２０４において、ＣＰＵ１００は、更新後サーチ範囲の現在値およびサーチ精度を引数として設定する。続くステップＳ２０６において、ＣＰＵ１００は、ステップＳ２０４において設定された更新後サーチ範囲およびサーチ精度に基づいて、図２４に示す一致度評価サブルーチンを実行する。この一致度評価サブルーチンでは、更新後サーチ範囲に含まれる各重ね合わせ位置における一致度を評価し、更新後サーチ範囲において、最も高い一致度が得られる重ね合わせ位置を特定する。この一致度評価サブルーチンの結果、更新後サーチ範囲において、最も高い一致度が得られた重ね合わせ位置の情報が返される。

続くステップＳ２０８において、ＣＰＵ１００は、サーチ精度Ｎが「１」に設定されているか否かを判断する。すなわち、ＣＰＵ１００は、サーチ精度Ｎの現在値が最終段階の値になっているか否かを判断する。サーチ精度Ｎが「１」に設定されている場合（ステップＳ２０８においてＹＥＳの場合）には、処理はステップＳ２１４へ進み、そうでない場合（ステップＳ２０８においてＮＯの場合）には、処理はステップＳ２１０へ進む。

ステップＳ２１０において、ＣＰＵ１００は、直近のステップＳ２０８において実行された一致度評価サブルーチンにより特定された重ね合わせ位置を基準として、当該重ね合わせ位置±Ｎの範囲（もしくは、｛相対変位量−（Ｎ−１）｝〜｛相対変位量＋Ｎ｝の範囲）を新たな更新後サーチ範囲に設定する。すなわち、ＣＰＵ１００は、更新後サーチ範囲を一致度評価サブルーチンの実行結果に応じて更新する。続くステップＳ２１２において、サーチ精度Ｎを次の段階の値に更新する。上述の例では、サーチ精度Ｎの現在値を「４」で除算することで、新たなサーチ精度Ｎが算出される。そして、ステップＳ２０４以下の処理が繰返される。

一方、ステップＳ２１４において、直近の一致度評価サブルーチンにより特定された、最も高い一致度が得られた重ね合わせ位置をメインルーチンに返す。そして、サブルーチン処理は終了する。

（一致度評価サブルーチン）
図２４を参照して、まず、ステップＳ３００において、ＣＰＵ１００は、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の重ね合わせ位置を、更新後サーチ範囲の開始位置に設定する。すなわち、ＣＰＵ１００は、入力画像ＩＭＧ１および入力画像ＩＭＧ２を更新後サーチ範囲に存在する１番目の重ね合わせ位置に仮想配置する。続くステップＳ３０２において、ＣＰＵ１００は、積算最小値を初期化する。この積算最小値は、後述する最も一致度の高い重ね合わせ位置を特定するために用いられる判定値である。後述する処理においては、対応するピクセル同士の色の差についての積算値に基づいて一致度が評価されるので、当該積算値が小さいほど一致度が高いことになる。そのため、積算最小値の初期値としては、色属性のダイナミックレンジなどを考慮して、算出され得る最大値を超える値がセットされる。そして、処理はステップＳ３０４へ進む。

ステップＳ３０４において、入力画像ＩＭＧ１と入力画像ＩＭＧ２とを、重ね合わせ位置の現在値に仮想配置した場合に生じる重複範囲に対して注目領域枠ＦＷを設定する。そして、処理はステップＳ３０６へ進む。

ステップＳ３０６において、ＣＰＵ１００は、設定された注目領域枠ＦＷ内の１番目のピクセルに対応する、入力画像ＩＭＧ１および入力画像ＩＭＧ２における色属性をそれぞれ取得する。続くステップＳ３０８において、ＣＰＵ１００は、それぞれ取得した色属性に基づいて、両入力画像間の色の差についての絶対値を積算する。さらに続くステップＳ３１０において、設定された注目領域枠ＦＷ内のすべてのピクセルについての色属性を取得したか否かを判断する。注目領域枠ＦＷ内のすべてのピクセルについての色属性を取得した場合（ステップＳ３１０においてＹＥＳの場合）には、処理はステップＳ３１４へ進み、そうでない場合（ステップＳ３１０においてＮＯの場合）には、処理はステップＳ３１２へ進む。

ステップＳ３１２において、ＣＰＵ１００は、設定された注目領域枠ＦＷ内の次のピクセルに対応する、入力画像ＩＭＧ１および入力画像ＩＭＧ２における色属性をそれぞれ取得する。そして、ステップＳ３０８以下の処理が繰返される。

一方、ステップＳ３１４において、ＣＰＵ１００は、色の差の絶対値についての積算値が積算最小値（現在値）より小さいか否かを判断する。すなわち、ＣＰＵ１００は、重ね合わせ位置の現在値における一致度が先に評価された他の重ね合わせ位置よりも高いか否かを判断する。色の差の絶対値についての積算値が積算最小値より小さい場合（ステップＳ３１４においてＹＥＳの場合）には、処理はステップＳ３１６へ進み、そうでない場合（ステップＳ３１４においてＮＯの場合）には、処理はステップＳ３２０へ進む。

ステップＳ３１６において、ＣＰＵ１００は、直近に算出された色の差の絶対値についての積算値を、新たな積算最小値として格納する。続くステップＳ３１８において、ＣＰＵ１００は、重ね合わせ位置の現在値を最も高い一致度が得られた重ね合わせ位置として格納する。そして、処理はステップＳ３２０へ進む。

ステップＳ３２０において、ＣＰＵ１００は、重ね合わせ位置の現在値にサーチ精度Ｎを加算して、新たな重ね合わせ位置に更新する。すなわち、ＣＰＵ１００は、入力画像ＩＭＧ１および入力画像ＩＭＧ２を重ね合わせ位置の現在値からサーチ精度（Ｎピクセル）だけ離れた重ね合わせ位置に仮想配置する。なお、基本サーチ範囲については、Ｘ方向およびＹ方向のいずれにも重ね合わせ位置を変更する必要があるので、この場合には、重ね合わせ位置が所定の走査順で更新される。

続くステップＳ３２２において、ＣＰＵ１００は、更新後の重ね合わせ位置が更新後サーチ範囲の終了位置を超えたか否かを判断する。すなわち、ＣＰＵ１００は、指定された更新後サーチ範囲にわたってのサーチ処理が完了したか否かを判断する。更新後の重ね合わせ位置が更新後サーチ範囲の終了位置を超えている場合（ステップＳ３２２においてＹＥＳの場合）には、処理はステップＳ３２４へ進み、そうでない場合（ステップＳ３２２においてＮＯの場合）には、ステップＳ３０４以下の処理が繰返される。

ステップＳ３２４において、ＣＰＵ１００は、現在格納されている重ね合わせ位置（すなわち、当該サブルーチンにおいて最終的に最も高い一致度が得られた重ね合わせ位置）をサーチ処理サブルーチンに返す。そして、サブルーチン処理は終了する。

［実施の形態１の変形例］
上述の実施の形態１においては、ユーザが表示位置を変化させることによる立体感の変更（表示位置による立体感調整）を指示すると、この指示に連動して注目領域枠ＦＷの設定位置も変更される場合の処理を例示した。一方、ユーザが注目領域枠ＦＷを任意の領域に設定することも可能である。この場合には、立体表示から平面表示への切替が要求された場合には、注目領域枠ＦＷに含まれる内容が表示装置１０の表示面付近に見えるように表示位置によって立体感を調整した上で、平面表示を行なうことが好ましい。これは、ユーザは設定した注目領域枠ＦＷの被写体に注目していると考えられるため、この注目されている被写体が平面表示された場合にもその表示位置をなるべく維持する、すなわち、表示画面上の表示内容をなるべく維持することで、立体表示から平面表示へのより自然な切替えを実現できるからである。

本変形例に従う情報処理システムの構成などについては、上述の実施の形態１に従う情報処理システム１と同様であるので、詳細な説明は繰返さない。以下、本変形例に従う情報処理システムによって実行される処理のうち、主として、上述の実施の形態１と異なる点について説明する。

図２５および図２６は、この発明の実施の形態１の変形例１に従う情報処理システムにおける画像表示制御の全体処理手順を示すフローチャートである。なお、図２５および図２６に示す各ステップは、典型的には、情報処理システム１のＣＰＵ１００がプログラムを実行することで提供される。

図２５および図２６に示すフローチャートは、図２１および図２２に示すフローチャートに比較して、ステップＳ１２８の処理に代えてステップＳ１２９の処理が実行される点、ステップＳ１４０とステップＳ１４２との間にステップＳ１９０〜Ｓ１９４の処理が実行される点が異なっている。

すなわち、ステップＳ１２２において、ズーム操作が指示されなかった場合（ステップＳ１２２においてＮＯの場合）には、ＣＰＵ１００は、注目領域枠ＦＷの位置変更が指示されたか否かを判断する（ステップＳ１２９）。注目領域枠ＦＷの位置変更が指示された場合（ステップＳ１２９においてＹＥＳの場合）には、処理はステップＳ１３０へ進み、そうでない場合（ステップＳ１２９においてＮＯの場合）には、処理はステップＳ１５０へ進む。

注目領域枠ＦＷの位置変更の指示は、ユーザフレンドリの観点からは、たとえば表示装置１０の表示面に表示される画像に対するタッチ操作を受付けるように構成することが好ましい。なお、表示装置１０の表示面には、視差バリア１２が設けられるので、このようなタッチパネルのデバイスとしては、光学式もしくは超音波式などが好ましい。

また、ステップＳ１４０において、立体表示から平面表示への切替が指示された場合（ステップＳ１４０においてＹＥＳの場合）には、ＣＰＵ１００は、注目領域枠ＦＷについての画像マッチング処理が完了しているか否かを判断する（ステップＳ１９０）。注目領域枠ＦＷについての画像マッチング処理が完了していない場合（ステップＳ１９０においてＮＯの場合）には、処理はステップＳ１９２へ進み、そうでない場合（ステップＳ１９０においてＹＥＳの場合）には、処理はステップＳ１４２へ進む。

ステップＳ１９２において、ＣＰＵ１００は、サーチ処理を実行する。すなわち、先に設定されている個別サーチ範囲を引数として、図２３に示すサーチ処理サブルーチンが実行される。このサーチ処理サブルーチンの結果、最も高い一致度が得られた重ね合わせ位置の情報がメインルーチンに返される。さらに続くステップＳ１９４において、ＣＰＵ１００は、サーチ処理サブルーチンから返された重ね合わせ位置を新たな表示ずれ量として更新し、更新後の表示ずれ量に基づいて、表示装置１０における表示を制御する。すなわち、ＣＰＵ１００は、ＲＡＭ１０４に展開されている入力画像ＩＭＧ１およびＩＭＧ２の画像データを、表示ずれ量の現在値に応じた座標だけずらして、第１ＶＲＡＭ１１２および第２ＶＲＡＭ１２２へそれぞれ書込む。そして、処理はステップＳ１４２へ進む。

すなわち、ユーザが任意の領域に注目領域枠ＦＷを設定した場合などのように、注目領域枠ＦＷの位置が変更された場合には、注目領域枠ＦＷに含まれる内容が表示装置１０の表示面から離れた位置に見えるようになっている場合もあるが、このような場合であっても、注目領域枠ＦＷに含まれる内容を表示装置１０の表示面付近に見えるように調整した上で、立体表示から平面表示への切替が行われる。すなわち、視認される基準奥行位置（立体感）が所定条件を満足したときに限って、立体表示から平面表示への切替が許可される。このような処理を採用することで、立体表示から平面表示への切替わりの表示を自然に見せることが可能になる。

その他のステップの内容については、上述したので、詳細な説明は繰返さない。
［実施の形態２］
上述の実施の形態１およびその変形例においては、主として、予め定められた一定の視差を有する一対の入力画像（ステレオ画像）を用いて立体表示を行なう構成について例示した。ところで、ポリゴン生成といったコンピュータグラフィックスの技術を用いれば、任意の位置に仮想カメラを配置した場合の画像データを動的に生成できる。言い換えれば、視差を連続的に変更した一対の入力画像を生成することができる。そのため、カメラ位置による立体感調整によって立体感を連続的に変更することができる。

この発明の実施の形態２においては、上述の実施の形態１において説明したような一定の視差を有する一対の入力画像を用いて立体表示することができる（静的態様モード）とともに、視差を連続的に変更可能な一対の入力画像を用いて立体表示することができる（動的態様モード）、情報処理システムについて説明する。すなわち、実施の形態２の情報処理システムでは、両方の立体表示を扱うことができ、ユーザ操作または自動的にいずれかのモードに切替える。以下、動的態様モードにおける動作を中心に説明する。

＜装置構成＞
この発明の実施の形態２に従う情報処理システム２の内部構成については、上述の図１に示す実施の形態１に従う情報処理システム１と同様であるので、詳細な説明は繰返さない。

図２７は、この発明の実施の形態２に従う情報処理システム２の表示装置１０を制御するための機能ブロック図である。図２８は、図２７に示すオブジェクト表示モードコントローラ５２のより詳細な機能ブロック図である。

図２７を参照して、情報処理システム２は、その制御構造として、切替部５０と、画像表示モードコントローラ５１と、オブジェクト表示モードコントローラ５２とを含む。

画像表示モードコントローラ５１は、上述の実施の形態１と同様に、予め定められた一定の視差を有する一対の入力画像を用いて立体表示を提供する。すなわち、画像表示モードコントローラ５１は、所定の視差を有する一対の入力画像を受付ける画像入力手段を有し、この受付けた一対の入力画像に基づいて表示装置１０で被写体を立体表示する。また、画像表示モードコントローラ５１は、立体表示に用いられる一対の入力画像の少なくとも一方を用いて、入力画像に含まれる被写体を平面表示することもできる。画像表示モードコントローラ５１のより詳細な機能ブロックについては、上述の図１１に示す情報処理システム１の機能ブロック図と同様であるので、詳細な説明は繰返さない。

オブジェクト表示モードコントローラ５２は、仮想空間上のオブジェクトを一対の仮想カメラによって撮像することによって得られる一対の入力画像を用いて、立体表示を提供する。より具体的には、オブジェクト表示モードコントローラ５２は、一対の仮想カメラの間の相対距離を連続的に変更することで、生成される一対の入力画像が有する視差を調整する。これにより、表示装置１０に表示される被写体についてカメラ位置による立体感調整を行い、立体感を自在に変更する。

なお、この立体感調整は、前述のスライダー１０６２が用いられる。すなわち、実施の態様２の情報処理システムでは、静的態様モードでは、前述のスライダー１０６２により、実施の態様１と同様、ユーザは前述の相対変位量を調整して表示ずれの設定をすることにより立体感を調整することができる（表示位置による立体感調整）。そして、さらに、動的態様モードでは、同じスライダー１０６２により、ユーザは仮想カメラの相対距離を調整して立体感を調整するこができる（カメラ位置による立体感調整）。

図２８を参照して、オブジェクト表示モードコントローラ５２は、ソースデータバッファ２５２と、第１仮想カメラ２５４と、第２仮想カメラ２６４と、制御部２５６と、操作受付部２５８とを含む。

制御部２５６は、表示装置１０における画像表示の全体制御を司る。より具体的には、制御部２５６は、後述する第１仮想カメラ２５４および第２仮想カメラ２６４によってそれぞれ生成される入力画像ＩＭＧ１およびＩＭＧ２を用いて、その中に含まれる被写体が立体表示されるように表示装置１０を制御する立体表示制御部２５６ａと、第１仮想カメラ２５４または第２仮想カメラ２６４によって生成される入力画像を用いて、その中に含まれる被写体が平面表示されるように表示装置１０を制御する平面表示制御部２５６ｂと、表示装置１０における立体表示と平面表示とを切替える表示切換部２５６ｃとを含む。

立体表示制御部２５６ａおよび平面表示制御部２５６ｂは、表示切換部２５６ｃからの指令に応じて、いずれか一方が有効化される。

本実施の形態に従うオブジェクト表示モードでは、後述するように、カメラ位置による立体感調整によって立体感を連続的に変化させることができる。そのため、立体表示から平面表示への切替時に立体感が急激に失われることはない。したがって、表示切換部２５６ｃは、原則として、上述の実施の形態１において説明したようなインターバルを提供しない。但し、ユーザがカメラ位置による立体感調整によって、立体感を大幅に減少させるような操作を行った場合などの所定条件が満たされた場合に限って、インターバルを提供する。

ソースデータバッファ２５２は、情報処理システム２において実行されるアプリケーションなどから仮想空間上のオブジェクトを定義するためのデータである、ソースデータを一時的に記憶する。また、ソースデータバッファ２５２は、第１仮想カメラ２５４および第２仮想カメラ２６４からのアクセスを受付ける。

第１仮想カメラ２５４は、ソースデータバッファ２５２に記憶されるソースデータによって定義される仮想空間上のオブジェクトを撮影することによって入力画像ＩＭＧ１を生成する。同様に、第２仮想カメラ２６４は、ソースデータバッファ２５２に記憶されるソースデータによって定義される仮想空間上のオブジェクトを撮影することによって入力画像ＩＭＧ２を生成する。より具体的には、第１仮想カメラ２５４および第２仮想カメラ２６４は、立体表示制御部２５６ａからの指示に従うそれぞれの視点を基準として、仮想空間上のオブジェクトなどをレンダリングすることで、入力画像ＩＭＧ１およびＩＭＧ２をそれぞれ生成する。このときの入力画像ＩＭＧ１およびＩＭＧ２は、表示装置１０での立体表示に用いられる。なお、立体表示制御部２５６ａは、第１仮想カメラ２５４および第２仮想カメラ２６４の視点、すなわち、第１仮想カメラ２５４と第２仮想カメラ２６４との間の相対距離を、立体表示の要求（立体感）に応じた値に設定する。

第１仮想カメラ２５４によって生成された入力画像ＩＭＧ１は、第１表示データとして出力され、第２仮想カメラ２６４によって生成された入力画像ＩＭＧ２は、第２表示データとして出力される。すなわち、立体表示制御部２５６ａは、入力画像ＩＭＧ１およびＩＭＧ２を表示装置１０へ出力する出力手段として機能する。

一方、表示装置１０において被写体が平面表示される場合には、表示切換部２５６ｃから第１仮想カメラ２５４および第２仮想カメラ２６４に対して、同じ視点位置が指示される。すなわち、表示装置１０において平面表示がなされるときには、第１仮想カメラ２５４および第２仮想カメラ２６４は、いずれも同じ視点を基準とする入力画像ＩＭＧ１およびＩＭＧ２をそれぞれ生成する。したがって、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の視差はゼロとなる。そのため、入力画像ＩＭＧ１および入力画像ＩＭＧ２からは、同じ入力画像が生成され、この入力画像が第１表示データおよび第２表示データとして出力される。

再度図２７を参照して、切替部５０は、ユーザ操作や実行されるアプリケーションからの要求に応答して、画像表示モードコントローラ５１およびオブジェクト表示モードコントローラ５２の一方を有効化する。なお、以下の説明においては、固定の視差を有する一対の入力画像を用いて立体表示を行なう処理（静的態様についての処理）を「画像表示モード」とも称し、視差を変更できる一対の入力画像を用いて立体表示を行なう処理（動的態様についての処理）を「オブジェクト表示モード」とも称す。なお、「画像表示モード」であっても、一対の撮像部によって得られた画像だけでなく、仮想空間上のオブジェクトを一対の仮想カメラによって撮像することによって得られる画像を対象とすることもできる。また、「画像表示モード」であっても、仮想空間上のオブジェクトを一対の仮想カメラによって撮影することによって得られる画像だけでなく、その間の相対距離を連続的に変更できるような一対の撮像部を用いて撮像することによって得られる画像を対象とすることもできる。

典型的には、「オブジェクト表示モード」においては、図１１に示すように、第１撮像部１１０および第２撮像部１２０によって撮像された一対の撮像画像が一対の入力画像ＩＭＧ１およびＩＭＧ２として設定される。これに対して、「オブジェクト表示モード」においては、図２８に示すように、第１仮想カメラ２５４および第２仮想カメラ２６４によって生成された一対の画像が一対の入力画像ＩＭＧ１およびＩＭＧ２として設定される。

＜立体表示処理および平面表示処理＞
次に、本実施の形態に従うオブジェクト表示モードでの表示処理の内容について説明する。

図２９は、この発明の実施の形態２に従うオブジェクト表示モードでの入力画像の生成処理を示す模式図である。図３０は、図２９に示すそれぞれの視点において取得される入力画像の一例を示す図である。図３１は、この発明の形態２に従うオブジェクト表示モードおいて提供される立体表示を示す模式図である。

図２９（ａ）を参照して、本実施の形態に従うオブジェクト表示モードにおいては、仮想空間上に配置されたオブジェクトに対して、２つの仮想カメラを用いて一対の入力画像を生成する。典型的には、基準点Ｏを通る直線上に、基準点Ｏから等間隔だけ離れた視点ＶＰＡおよびＶＰＢにそれぞれ仮想カメラが配置されているものとする。それぞれの仮想カメラの撮影視野は同じであるものとすると、これらの仮想カメラによる撮影によって得られる画像の間には、２つの仮想カメラの相対距離Ｄｆに応じた視差が生じることになる。

なお、画像生成に係る処理負荷を低減する観点から、各仮想カメラの撮影視野のうち、実際に使用される範囲（レンダリング範囲）の画像のみが生成されることが好ましい（図２９に示す破線の範囲）。

図２９（ａ）に示すような仮想空間上のオブジェクトおよび仮想カメラの位置関係に基づいて生成される入力画像の一例を図３０（ａ）に示す。

次に、図２９（ｂ）に示すように、２つの仮想カメラの相対距離Ｄｆをより小さくした場合を考える。この場合には、基準点Ｏから視点ＶＰＡおよびＶＰＢまでの距離をそれぞれ短くしたものとする。なお、基準点Ｏから視点ＶＰＡまでの距離と、基準点Ｏから視点ＶＰＢまでの距離とは、同一であるものとする。

図２９（ｂ）に示す状態においては、２つの仮想カメラによって生成される一対の入力画像の有する視差は、図２９（ａ）に示す状態において生成される一対の入力画像の有する視差より小さくなる。たとえば、図２９（ｂ）に示すような仮想空間上のオブジェクトおよび仮想カメラの位置関係に基づいて生成される一対の入力画像は、図３０（ｂ）に示すようになる。図３０（ａ）に示す一対の入力画像に写る被写体の位置ずれの度合いに比較して、図３０（ｂ）に示す一対の入力画像に写る被写体の位置ずれの度合いが小さくなっていることがわかる。

さらに、図２９（ｃ）に示すように、２つの仮想カメラの相対距離Ｄｆをゼロにした場合を考える。この場合には、視点ＶＰＡと視点ＶＰＢとが同じ位置（基準点Ｏ）に配置されるので、２つの仮想カメラによって生成される入力画像は互いに同一となる。たとえば、図２９（ｃ）に示すような仮想空間上のオブジェクトおよび仮想カメラの位置関係に基づいて生成される一対の入力画像は、図３０（ｃ）に示すようになる。この図３０（ｃ）に示す一対の入力画像では、互いに同じ被写体が同じ位置で写っていることがわかる。

上述のように、本実施の形態に従うオブジェクト表示モードでは、視差を連続的に変更した一対の入力画像を生成することができる。入力画像の間の、カメラ位置によって決まる視差が、表現可能な立体感を決定する。たとえば、図２９（ａ）に示すような状況において生成される一対の入力画像を用いた立体表示は、図３１（ａ）のようになる。これに対して、図２９（ｂ）に示すように、カメラ位置による立体感調整を行なってその間の視差をより小さくした入力画像を用いた場合には、図３１（ｂ）に示すように、その立体感をより小さくした立体表示がなされる。すなわち、立体表示に用いられる一対の入力画像の視差を連続的に変更（減少または増加）することで、表示装置１０で表現される立体表示の立体感を連続的に調整（カメラ位置による立体感調整）することができる。

さらに、図２９（ｃ）に示すように、２つの仮想カメラの相対距離Ｄｆをゼロにすると、図示していないが、両仮想カメラから生成される画像間の視差がゼロの立体表示、すなわち平面表示が表示装置１０において提供される。

したがって、本実施の形態に従うオブジェクト表示モードにおいては、一対の仮想カメラの間の相対距離Ｄｆを非ゼロの値からゼロとなるまで連続的に減少させることで、表示装置１０における立体表示と平面表示とが切替えられる。また、表示切換部２５６ｃ（図２８）は、一対の仮想カメラの間の相対距離をゼロにしたときに、第１仮想カメラ２５４および第２仮想カメラ２６４（図２８）のいずれか一方によって生成される入力画像を表示装置１０に表示させることで、平面表示を提供する。

上述したように、オブジェクト表示モードにおいては、カメラ位置による立体感調整によって立体感が連続的に減少するので、この調整においては立体感のジャンプ的な変動が生じない。そのため、画像表示モードのように、立体表示から平面表示への切替時に、必ずしもインターバルを設ける必要はない。

しかしながら、カメラ位置による立体感の調整に、上述の図１２〜図１４に示すような機構（スライダー）を採用する場合には、ユーザ操作によっては、カメラ位置による立体感調整において、立体感が大きく変動する場合が想定される。このような場合には、立体表示から平面表示への切替わりの表示をより自然に見せる観点から、インターバルを設けることが好ましい。すなわち、ユーザ操作などが所定条件を満たした場合に限って、立体表示から平面表示へ切替えられるまでの所定期間にわたってインターバルを設けることが好ましい。より具体的には、ユーザが相対的に立体感の大きな状態から平面表示への切替操作を行った場合などには、カメラ位置による立体感調整を行なう場合もインターバルを設ける。

なお、上述の説明では、一対の仮想カメラの間の相対距離Ｄｆを順次変更することで視差を調整する構成について例示したが、この相対距離Ｄｆの変更に代えて、または、この変更に加えて、仮想カメラの向きを変更するようにしてもよい。具体的には、仮想カメラの撮影視野の光軸を、視点を中心に回転させることで、生成される入力画像の間の視差を調整することができる。なお、この場合には、２つの仮想カメラの撮影視野の光軸の交点の位置のオブジェクトが表示装置１０の表示面付近に位置することになる。

＜処理手順＞
図３２は、この発明の実施の形態２に従う情報処理システム２における画像表示制御の全体処理手順を示すフローチャートである。なお、図３２に示す各ステップは、典型的には、情報処理システム２のＣＰＵ１００がプログラムを実行することで提供される。

図３２を参照して、まず、ＣＰＵ１００は、いずれのモードが要求されているかを判断する（ステップＳ２）。

画像表示モードが選択されている場合（ステップＳ２において「画像表示モード」）には、図２１および図２２にフローチャートのステップＳ１００以下の処理が実行される。図２１および図２２にフローチャートの処理内容については、上述したので、詳細な説明は繰返さない。

これに対して、オブジェクト表示モードが選択されている場合（ステップＳ２において「オブジェクト表示モード」）には、ＣＰＵ１００は、表示対象のオブジェクトを定義するソースデータを取得する（ステップＳ５００）。具体的には、ソースデータが実行中のアプリケーションなどから取得され、ソースデータバッファ２５２（図２８）に格納される。続くステップＳ５０２において、ＣＰＵ１００は、立体表示および平面表示のいずれが指示されているか否かを判断する。具体的には、ＣＰＵ１００は、入力部１０６（図１）の典型例であるスライダー（図１２〜図１４）が立体表示の位置に配置されているか否かを判断する。立体表示が指示されている場合（ステップＳ５０２において「立体表示」）には、処理はステップＳ５０４へ進む。これに対して、平面表示が指示されている場合（ステップＳ５０２において「平面表示」）には、処理はステップＳ５３４へ進む。

ステップＳ５０４において、ＣＰＵ１００は、両仮想カメラの間の距離が指示された立体感に対応する相対距離となるように、一対の仮想カメラを仮想空間上に仮想配置する。続くステップＳ５０６において、ＣＰＵ１００は、仮想空間上のオブジェクトを一対の仮想カメラによって撮影することによって、一対の入力画像を生成する。さらに続くステップＳ５０８において、ＣＰＵ１００は、生成した一対の入力画像を用いて、表示装置１０で立体表示を行なう。具体的には、ＣＰＵ１００は、第１仮想カメラ２５４および第２仮想カメラ２６４によってそれぞれ生成された入力画像ＩＭＧ１およびＩＭＧ２を、第１ＶＲＡＭ１１２および第２ＶＲＡＭ１２２へそれぞれ書込む。そして、処理はステップＳ５１０へ進む。

ステップＳ５１０において、ＣＰＵ１００は、スクロール操作が指示されたか否かを判断する。スクロール操作が指示された場合（ステップＳ５１０においてＹＥＳの場合）には、処理はステップＳ５１４へ進み、そうでない場合（ステップＳ５１０においてＮＯの場合）には、処理はステップＳ５１２へ進む。

ステップＳ５１２において、ＣＰＵ１００は、ズーム操作が指示されたか否かを判断する。ズーム操作が指示された場合（ステップＳ５１２においてＹＥＳの場合）には、処理はステップＳ５１４へ進み、そうでない場合（ステップＳ５１２においてＮＯの場合）には、処理はステップＳ５１６へ進む。

ステップＳ５１４において、ＣＰＵ１００は、ステップＳ５１０またはＳ５１２における指示内容（拡大／縮小率またはスクロール量）などに応じて、オブジェクトに対する一対の仮想カメラの配置位置を変更する。具体的には、ズームイン（オブジェクトの拡大）が指示されると、オブジェクトに対する一対の仮想カメラの相対距離を短くし、反対に、ズームアウト（オブジェクトの縮小）が指示されると、オブジェクトに対する一対の仮想カメラの相対距離を長くする。このとき、仮想カメラ間の距離（相対距離）は維持される。これは、一対の仮想カメラによって生成される一対の画像の間の視差の大きさを維持するためのである。そして、処理はステップＳ５２２へ進む。

ステップＳ５１６において、ＣＰＵ１００は、表示装置１０において表現する立体感の変更が指示されたか否かを判断する。具体的には、ＣＰＵ１００は、入力部１０６（図１）の典型例であるスライダー（図１２〜図１４）の位置が変更されたか否かを判断する。カメラ位置を調整することによる立体感の変更（カメラ位置による立体感調整）が指示された場合（ステップＳ５１６においてＹＥＳの場合）には、処理はステップＳ５１８へ進む。これに対して、立体感の変更（カメラ位置による立体感調整）が指示されていない場合（ステップＳ５１６においてＮＯの場合）には、処理はステップＳ５４０へ進む。

ステップＳ５１８において、ＣＰＵ１００は、変更後（カメラ位置による立体感調整後）の立体感の指示がゼロであるか否かを判断する。具体的には、ＣＰＵ１００は、入力部１０６（図１）の典型例であるスライダー（図１２〜図１４）が平面表示（２Ｄ）の位置（より具体的には、前述の操作パラメータ値がＯｍｉｎ）まで移動されているか否かを判断する。変更後の立体感の指示がゼロではない場合（ステップＳ５１８においてＮＯの場合）には、処理はステップＳ５２０へ進む。

ステップＳ５２０において、ＣＰＵ１００は、両仮想カメラの間の距離が指示された立体感に対応する相対距離となるように、それぞれの仮想カメラの仮想空間上における配置位置を更新する。そして、処理はステップＳ５２２へ進む。より具体的には、前述のように、操作受付部２２４は、スライダー１０６２の位置に応じて、ユーザ操作パラメータ値として、Ｏｍｉｎ〜Ｏｍａｘまでの値を出力するが、制御部２２２は、動的態様モードにおいては、操作パラメータ値Ｏｍｉｎ〜Ｏｍａｘに対して、両仮想カメラの間の相対距離として、Ｄ２ｍｉｎ〜Ｄ２ｍａｘを算出する。本実施の形態では、ユーザ操作パラメータがＯｍｉｎのとき相対距離はＤ２ｍｉｎとなり、ユーザ操作パラメータがＯｍａｘのとき相対距離はＤ２ｍａｘであるとする。そして、本実施の形態では、Ｏｍｉｎより大きくＯｍａｘより小さい値に対しては、Ｄｍｉｎより大きくＤｍａｘより小さい値に対応し、Ｏが大きくなるほど、Ｄ２が大きくなるという関係にある。

ステップＳ５２２において、ＣＰＵ１００は、仮想空間上のオブジェクトを一対の仮想カメラによって撮影することによって、一対の入力画像を生成する。さらに続くステップＳ５２４において、ＣＰＵ１００は、生成した一対の入力画像を用いて、表示装置１０における立体表示を更新する。そして、処理はステップＳ５４０へ進む。

これに対して、変更後の立体感の指示がゼロである場合（ステップＳ５１８においてＹＥＳの場合）には、処理はステップＳ５３０へ進む。

ステップＳ５３０において、ＣＰＵ１００は、要求される立体感の変更前後における差が所定値を超えているか否かを判断する。すなわち、ＣＰＵ１００は、ユーザが立体感を大幅な減少させるような操作を行ったか否かを判断する。

要求される立体感の変更前後における差が所定値を超えている場合（ステップＳ５３０においてＹＥＳの場合）には、処理はステップＳ５３２へ進み、そうでなければ（ステップＳ５３０においてＮＯの場合）、処理はステップＳ５３４へ進む。

ステップＳ５３２において、ＣＰＵ１００は、表示装置１０で所定期間にわたってインターバルを提供する。具体的には、ＣＰＵ１００は、（ｉ）表示装置１０における表示の実質的な停止、（ｉｉ）独立した挿入画像の表示、（ｉｉｉ）所定のエフェクト表示、などを行なう。そして、処理はステップＳ５３４へ進む。

ステップＳ５３４において、ＣＰＵ１００は、両仮想カメラの間の距離がゼロとなるように、それぞれの仮想カメラの仮想空間上における配置位置を更新する。すなわち、ＣＰＵ１００は、仮想空間上の同じ位置に２つの仮想カメラを配置する。続くステップＳ５３６において、ＣＰＵ１００は、仮想空間上のオブジェクトを一方の仮想カメラによって撮影することによって、１つの入力画像を生成する。さらに続くステップＳ５３８において、ＣＰＵ１００は、生成した１つの入力画像をそれぞれ表示装置１０に出力することで、表示装置１０においてオブジェクトを平面表示する。そして、処理はステップＳ５４０へ進む。

ステップＳ５４０において、ＣＰＵ１００は、新たな入力画像の取得が指示されたか否かを判断する。新たな入力画像の取得が指示された場合（ステップＳ５４０においてＹＥＳの場合）には、ステップＳ５００以下の処理が繰返される。すなわち、新たなソースデータが処理対象として読込まれる。そうでない場合（ステップＳ５４０においてＮＯの場合）には、処理はステップＳ５４２へ進む。

ステップＳ５４２において、ＣＰＵ１００は、画像表示処理の終了が指示されたか否かを判断する。画像表示処理の終了が指示された場合（ステップＳ５４２においてＹＥＳの場合）には、処理を終了し、そうでない場合（ステップＳ５４２においてＮＯの場合）には、ステップＳ５１０以下の処理が繰返される。

［その他の変形例］
上述の実施の形態においては、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の対応関係を判定する際に、Ｘ方向およびＹ方向に走査する処理例を示したが、これらに加えて、回転方向や台形歪みなどを考慮して対応関係を判定してもよい。特に、このような処理は、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の基本重ね合わせ位置を決定する際に有効である。

また、上述の実施の形態においては、画像表示処理の開始時に、基本重ね合わせ位置を取得する処理例を示したが、この基本重ね合わせ位置を装置固有のパラメータとして予め記憶しておいてもよい。このような場合には、製品の出荷段階においてキャリブレーション機能として装置に実装することが好ましい。さらに、このような機能は、たとえば隠しコマンドなどによって任意のタイミングで実行できるようにしてもよい。また、このキャリブレーション機能としては、第１撮像部１１０および第２撮像部１２０の間の撮像感度を互いに略一致させるための処理を含むことが好ましい。これは、上述したように一致度をピクセル同士の色の差に基づいての評価する場合に誤差の発生を抑制できるからである。

また、上述の実施の形態においては、新たな入力画像が取得された場合には、基本重ね合わせ位置が更新される処理例を示したが、定点カメラのように入力画像自体は周期的に更新されているとしても、その内容の変化がわずかであるような場合には、基本重ね合わせ位置の更新を行なわないようにしてもよい。この場合には、入力画像の内容に対して所定値以上の変化が生じたときに限って、基本重ね合わせ位置を更新してもよい。

また、上述の実施の形態においては、入力画像ＩＭＧ１およびＩＭＧ２に映っている被写体ＯＢＪ１が実質的に重なるように、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の重ね合わせ位置を調整したが、ユーザが許容できる視差量の範囲以内の所定のずれ量だけずれた位置に、被写体ＯＢＪ１が表示されるように調整してもよい。この場合には、例えば、図２５に示すフローチャートにおいて、ステップＳ１１６で、最も高い一致度が得られた重ね合わせ位置から所定量だけずらして表示装置１０における表示を制御してもよい。これによって、被写体ＯＢＪ１が表示装置の表示面から所定量だけ手前または奥に位置するように、入力画像を表示することができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１，２情報処理システム、１０表示装置、１２視差バリア、１４スリット、１６，１８ガラス基板、５０切替部、５１画像表示モードコントローラ、５２オブジェクト表示モードコントローラ、１００ＣＰＵ、１０２ＲＯＭ、１０４ＲＡＭ、１０６入力部、１１０第１撮像部、１１４ドライバ、１１６第１ＬＣＤ、１１２第１ＶＲＡＭ、１２０第２撮像部、１２２第２ＶＲＡＭ、１２６第２ＬＣＤ、１３０第３撮像部、２０２第１画像バッファ、２０４第１画像変換部、２０６第１画像抽出部、２１２第２画像バッファ、２１４第２画像変換部、２１６第２画像抽出部、２２０画像展開部、２２２制御部、２２２ａ立体表示制御部、２２２ｂ平面表示制御部、２２２ｃ表示切換部、２２４操作受付部、２５２ソースデータバッファ、２５４第１仮想カメラ、２５６制御部、２５６ａ立体表示制御部、２５６ｂ平面表示制御部、２５６ｃ表示切換部、２５８操作受付部、２６４第２仮想カメラ。

Claims

立体表示が可能な表示装置を制御するための表示制御プログラムであって、前記表示制御プログラムは、前記表示装置のコンピュータを、
共通の表示対象を含み、かつ視差を有する第１および第２入力画像を用いて、前記表示対象が前記表示装置に立体表示されるように表示処理を行なう立体表示処理手段、
前記表示装置に前記表示対象が２次元画像として平面表示されるように表示処理を行なう平面表示処理手段、および、
前記表示装置における立体表示と平面表示とを切替える表示切替手段、として機能させ、
前記表示切替手段は、前記表示対象を立体表示する状態と前記表示対象を平面表示する状態とを切替えるときに、前記表示装置において所定期間にわたって前記表示対象が実質的に非表示となるように表示処理を行なう、表示制御プログラム。
前記立体表示処理手段は、
所定の視差を有する前記第１および第２入力画像について、両入力画像の表示時の相対位置関係を設定することで、立体表示の立体感を決定する立体感決定手段を含む、請求項１に記載の表示制御プログラム。
前記立体感決定手段は、
前記相対位置関係を左右方向に変更することで、立体表示の立体感を調整する立体感調整手段を含む、請求項２に記載の表示制御プログラム。
前記立体感調整手段は、前記相対位置関係を連続的に変更し、
前記表示切替手段は、前記相対位置関係が所定条件を満足したときに、立体表示から平面表示へ切替える、請求項３に記載の表示制御プログラム。
前記立体感調整手段は、前記相対位置関係を変更することで、立体表示の立体感を、手前側から奥行き側の所定範囲で連続的に調整可能であり、
前記表示切替手段は、前記立体感が当該所定範囲の奥行き側の境界に達したときに、立体表示から平面表示へ切替える、請求項４に記載の表示制御プログラム。
前記立体表示処理手段は、
前記表示装置へ出力される、前記第１入力画像の一部領域である第１部分画像および前記第２入力画像の一部領域である第２部分画像を、前記立体感決定手段によって設定された前記相対位置関係に応じて決定する部分画像決定手段を含む、請求項２に記載の表示制御プログラム。
前記立体感決定手段は、
前記相対位置関係を左右方向に変更することで、立体表示の立体感を調整する立体感調整手段を含み、
前記部分画像決定手段は前記立体感調整手段による立体感の調整に応じて、前記表示装置へ出力される、前記第１入力画像の一部領域および前記第２入力画像の一部領域の少なくとも一方を変更する、請求項６に記載の表示制御プログラム。
前記立体感決定手段は、
前記相対位置関係を連続的に変更することで、立体表示の立体感を調整する立体感調整手段を含み、
前記平面表示処理手段は、
前記表示切替手段によって立体表示から平面表示に切替えられた直後において、前記立体感調整手段による前記相対位置関係の変更と関係なく決定された相対位置関係に応じて、前記第１部分画像および前記第２部分画像の少なくとも一方を決定し、
当該第１部分画像および前記第２部分画像の少なくとも一方に基づく画像を前記表示手段に表示させる、請求項６に記載の表示制御プログラム。
前記平面表示処理手段は、
前記表示切替手段によって立体表示から平面表示に切替えられた直後において、前記第１入力画像と前記第２入力画像との間の基本となる相対位置関係に基づいて、前記第１部分画像および前記第２部分画像の少なくとも一方を決定する、請求項８に記載の表示制御プログラム。
前記表示制御プログラムは、前記表示装置のコンピュータを、立体感に関連付けられた所定のパラメータを増減させるユーザ操作を受付ける入力手段としてさらに機能させ、
前記入力手段は、前記所定のパラメータの値に基づいて、立体表示と平面表示との切替え要求を発生する、請求項１〜９のいずれか１項に記載の表示制御プログラム。
前記入力手段は、前記所定のパラメータを増減させるユーザ操作として、スライダーを所定方向にスライドする操作を受付ける、請求項１０に記載の表示制御プログラム。
前記表示切替手段は、前記表示対象を立体表示している状態から平面表示している状態に切替えられるまでの所定期間にわたって、前記表示装置における表示を実質的に停止する、請求項１〜１１のいずれか１項に記載の表示制御プログラム。
前記表示切替手段は、前記表示対象を立体表示している状態から平面表示している状態に切替えられるまでの所定期間の間、前記表示装置に前記第１および第２入力画像とは独立した演出を表示させる、請求項１〜１１のいずれか１項に記載の表示制御プログラム。
前記表示切替手段は、前記表示対象を立体表示している状態から平面表示している状態に切替えられるまでの所定期間にわたって、前記表示装置に前記第１および第２入力画像とは独立した挿入画像の表示を行なう、請求項１〜１１のいずれか１項に記載の表示制御プログラム。
前記表示切替手段は、予め用意されている前記挿入画像を表示させる、請求項１４に記載の表示制御プログラム。
前記挿入画像は、実質的に単色の画像を含む、請求項１５に記載の表示制御プログラム。
前記実質的に単色の画像は、黒色画像である、請求項１６に記載の表示制御プログラム。
前記平面表示処理手段は、立体表示から平面表示に切替えられた直後において、直前の立体表示に用いられていた前記第１および第２入力画像の少なくとも一方に基づく画像を前記表示装置に表示させる、請求項１〜１７のいずれか１項に記載の表示制御プログラム。
前記平面表示処理手段は、立体表示から平面表示に切替えられた直後において、直前の立体表示に用いられていた前記第１および第２入力画像のいずれか一方の画像を前記表示装置に表示させる、請求項１８に記載の表示制御プログラム。
立体表示が可能な表示手段と、
共通の表示対象を含み、かつ視差を有する第１および第２入力画像を用いて、前記表示対象が前記表示装置に立体表示されるように表示処理を行なう立体表示処理手段と、
前記表示対象が前記表示装置に２次元画像として平面表示されるように表示処理を行なう平面表示処理手段と、
前記表示手段における立体表示と平面表示とを切替える表示切替手段とを備え、
前記表示切替手段は、前記表示対象を立体表示する状態と前記表示対象を平面表示する状態とを切替えるときに、所定期間にわたって前記表示対象が実質的に非表示となるように前記表示手段を制御する、情報処理システム。
前記立体表示手段は、
所定の視差を有する前記第１および第２入力画像について、両入力画像の間の相対位置関係を、立体表示の要求に応じた値に設定する第１立体感設定手段と、
前記相対位置関係に応じて前記第１および第２入力画像に対してそれぞれ設定される第１および第２表示対象領域について、前記第１表示対象領域に含まれる第１部分画像と、前記第２表示対象領域に含まれる第２部分画像とを前記表示手段へ出力する第１出力手段とを含み、
前記平面表示処理手段は、立体表示から平面表示に切替えられた直後において、前記両入力画像の間の相対位置関係を、前記第１入力画像と前記第２入力画像との間の対応関係に基づいて決定された基本相対位置関係と実質的に一致させた場合に取得される、前記第１部分画像および前記第２部分画像の少なくとも一方に基づく画像を前記表示手段に表示させる、請求項２０に記載の情報処理システム。
所定の視差を有する一対の画像を受付ける画像入力手段と、
仮想空間上のオブジェクトを一対の仮想カメラによって撮影することによって一対の画像を生成する画像生成手段と、
第１モードにおいて、前記画像入力手段によって受付けられた一対の画像を前記第１および第２入力画像に設定する一方で、第２モードにおいて、前記画像生成手段によって生成された一対の画像を前記第１および第２入力画像に設定するモード切替手段とをさらに備え、
前記立体表示手段は、
前記一対の仮想カメラの間の相対距離を、立体表示の要求に応じた値に設定する第２立体感設定手段と、
前記第１および第２入力画像を前記表示手段へ出力する第２出力手段とを含み、
前記第１モードにおいて、前記第１相対変位量設定手段および前記第１出力手段が有効化される一方で、前記第２モードにおいて、前記第２相対変位量設定手段および前記第２出力手段が有効化される、請求項２１に記載の情報処理システム。
前記立体表示手段は、
前記第１モードにおいて、ユーザによる立体感調整操作に応答して、前記第１および第２入力画像について、両入力画像の間の相対位置関係変位量を連続的に変更し、
前記第２モードにおいて、ユーザによる立体感調整操作に応答して、前記一対の仮想カメラの間の相対距離を連続的に変更する、請求項２０に記載の情報処理システム。
前記第２モードにおいて、前記平面表示処理手段は、前記一対の仮想カメラの間の相対距離をゼロにしたときに、前記画像生成手段によって生成される一対の画像の一方を前記表示手段に表示させる、請求項２３に記載の情報処理システム。
前記第２モードにおいて、前記表示切替手段は、前記第２立体感設定手段によって前記一対の仮想カメラの間の相対距離をゼロとすることで、前記表示手段における立体表示と平面表示とを切替えるとともに、前記表示対象が実質的に非表示となる期間を設けない、請求項２４に記載の情報処理システム。
前記第２モードにおいて、前記表示切替手段は、所定条件が満たされた場合に限って、立体表示から平面表示へ切替えられるまでの所定期間にわたって、前記表示対象が実質的に非表示とする、請求項２５に記載の情報処理システム。
前記画像入力手段は、一対の撮像部を含む、請求項２２〜２６のいずれか１項に記載の情報処理システム。
立体表示に係る程度に関連付けられるとともに、立体表示と平面表示との切替えにも関連付けられた所定のパラメータに対するユーザ操作を受付ける入力手段をさらに備える、請求項２０〜２７のいずれか１項に記載の情報処理システム。
前記立体表示手段は、
前記第１モードにおいて、前記所定のパラメータに対するユーザ操作によって、前記第１および第２入力画像について、両入力画像の間の相対位置関係を連続的に変更し、
前記第２モードにおいて、前記所定のパラメータに対するユーザ操作によって、前記一対の仮想カメラの間の相対距離を連続的に変更する、請求項２８に記載の情報処理システム。
前記入力手段は、所定の一軸方向にスライド操作可能な機構を含む、請求項２８または２９に記載の情報処理システム。