JP3702243B2 - 立体画像処理方法および装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は立体画像処理技術、とくに、視差画像をもとに立体画像を生成または表示する方法および装置に関する。
【０００２】
【従来の技術】
近年、ネットワークインフラの未整備が問題視されてきたが、ブロードバンドへの移行期を迎え、むしろ、広い帯域を有効活用するコンテンツの種類や数の少なさが目立ち始めている。映像はいつの時代でも、もっとも重要な表現手段であったが、いままでの取り組みの多くは表示品質やデータ圧縮率の改善に関するものであり、それらに比べると、表現の可能性自体を広げる技術的な取り組みは、後手にまわっている感がある。
【０００３】
そうした中で、立体映像表示（以下、単に立体表示という）は、以前からいろいろ研究され、劇場用途や特殊な表示装置を利用する、ある程度限られた市場で実用化されてきた。今後は、より臨場感の溢れるコンテンツの提供を目指してこの方面の研究開発が加速し、個人ユーザが家庭でも立体表示を楽しむ時代が来るものと思われる。
【０００４】
【発明が解決しようとする課題】
そうした流れの中にあって、立体表示には以前よりいくつかの課題が指摘されている。たとえば、立体感を創生する原因となる視差の適正化が難しい。もともと、本当に三次元のオブジェクトを映し出しているのではなく、その映像を左右両目に対して画素単位でずらして投じているのであり、その人工的な立体感に自然な感じをもたせるのは容易ではない。
【０００５】
また、視差の付けすぎも問題になることがあり、立体映像の観察者（以下、単にユーザともいう）によっては、軽い不快感を訴える場合がある。もちろんこれには、立体表示だけではなく、表示されているシーンと自己の周囲の状況ないし感覚が一致しないなど、種々の要因がある。しかし、経験則からいえば、そうした問題は視差が大きすぎる、換言すれば、立体感が強すぎる場合に観察されやすい。
【０００６】
以上は人間の生理上のはなしであるが、それとは別に、立体映像のコンテンツやアプリケーションの普及を阻む技術要因がある。立体視は視差によって実現するが、仮に視差を左右画像の画素のずれ量で表現しても、表示装置のハードウエアの差違により、同じ立体映像が適切に立体視できる場合とそうでない場合がある。遠方を表現する視差が眼間距離を超えてしまうと、理論的に立体視ができない。今日のように、表示装置の解像度やスクリーンサイズがＰＣ（パーソナルコンピュータ）、テレビジョン受像機、携帯機器など多様化する中、いろいろなハードウエアを考えて立体表示のために最適なコンテンツを作るのは難題であり、あるいは、そのための方法論が与えられていないというほうがより正確である。
【０００７】
また仮に、その方法論が与えられたとしても、それを一般のプログラマが理解し、コンテンツおよびアプリケーションの作成に利用することを期待するのは難しいであろう。
【０００８】
本発明はこうした背景に鑑みてなされたものであり、その目的は、人の生理に適合しやすい立体画像を生成または表示することにある。別の目的は、表示対象画像や表示装置が変わってもユーザに適切な立体画像を生成または表示することにある。さらに別の目的は、立体表示がなされているときに、簡単な操作でその立体感を調整することにある。さらに別の目的は、適切な立体表示が可能なコンテンツまたはアプリケーションづくりに際し、プログラマの負担を軽減することにある。さらに別の目的は、適切な立体表示を実現する技術をビジネスのモデルとして提供することにある。
【０００９】
【課題を解決するための手段】
本発明の基礎をなす発明者の知見は、適正視差をいったん表示装置のハードウエアやユーザと表示装置の距離などの要素（以下、これらを統括的に「ハードウエア」と表現する）から切り離すことにある。すなわち、適正視差の表現を後述のカメラ間隔と光軸交差位置で一般化することにより、いったんハードウエアに依存しない汎用的な形で記述する。「ハードウエアに依存しない」とは、表示装置に固有のハードウエア情報の読み出しが原則的に不要という意味であり、この汎用的な記述がなされれば、あとはその適正視差に基づいて視差画像を生成または調整すれば、所望の立体表示が実現する。
【００１０】
適正視差の取得、および画像の立体表示の際にその適正視差を実現する制御をライブラリで提供することにより、一般のプログラマはこのライブラリを呼び出せば複雑な立体視の原理やプログラミングを意識せず適正な立体表示が実現する。
【００１１】
本発明のいろいろな態様のうち、第１グループは、ユーザの応答をもとに適正視差を取得する技術を基本とする。この技術は、ユーザによる視差の「初期設定」に利用でき、いちど適正視差が装置内に取得されれば、以降、別の画像の表示の際にもその適正視差が実現される。ただし、この技術は初期設定にとどまらず、ユーザが適宜表示中の画像の視差を調整する「手動調整」にも利用される。以下、第１グループに関する。
【００１２】
本発明は、立体画像処理装置に関し、異なる視差に対応する複数の視点画像をもとに表示された立体画像に対するユーザの応答を取得する指示取得部と、取得された応答をもとに、そのユーザに関する適正視差を特定する視差特定部とを含む。
【００１３】
指示取得部は、たとえばＧＵＩ（グラフィカルユーザインタフェイス、以下同様）として提供され、まず視点画像間の視差を変えながら表示する。ユーザは自分が好む立体感になったとき、ボタン操作などによってその旨を入力する。
【００１４】
「立体画像」とは立体感をもって表示された画像であり、そのデータの実体は、複数の画像に視差をもたせた「視差画像」である。視差画像は一般に複数の二次元画像の集合である。視差画像を構成する各画像は、それぞれが対応する視点を有する「視点画像」である。つまり、複数の視点画像によって視差画像が構成され、それを表示すると立体画像として表示される。立体画像の表示を単に「立体表示」ともいう。
【００１５】
「視差」とは、立体感を生むためのパラメータであり、いろいろな定義が可能だが、一例として視点画像間の同じ点を表す画素のシフト量で表現できる。以下、本明細書では、とくに断らない限り、その定義にしたがう。
【００１６】
適正視差は範囲指定してもよい。その場合、その範囲の両端を「限界視差」と呼ぶことにする。「適正視差の特定」は、後述の近置オブジェクトの視差として許容できる最大値で行ってもよい。
【００１７】
本発明の立体画像処理装置はさらに、特定された適正視差が別の画像の表示の際にも実現されるよう処理を施す視差制御部を含んでもよい。別の画像が三次元データを起点として生成される立体画像であるとき、視差制御部は前記の適正視差にしたがってその立体画像を生成する複数の視点を決定してもよい。より具体的には、複数の視点間の距離とそれらの視点からオブジェクトを見込む光軸の交差位置を決定してもよい。これらの処理の一例は、後述のカメラ配置決定部によってなされる。これらの処理をリアルタイムにすれば、常に最適な立体表示が実現する。
【００１８】
視差制御部は、表示の対象となる所定の基本三次元空間について適正視差が実現するよう制御してもよい。この処理の一例は、後述の投影処理部によってなされる。
【００１９】
視差制御部は、三次元空間において最も近置されるオブジェクトの座標と最も遠置されるオブジェクトの座標について前記適正視差が実現するよう制御してもよい。この処理の一例は、後述の投影処理部によってなされる。オブジェクトは静的でもよい。
【００２０】
「近置」は複数の視点にそれぞれ置かれたカメラの視線、すなわち光軸の交差位置（以下、「光軸交差位置」という）にある面（以下、「光軸交差面」という）より前に立体視されるような視差がつけられている状態を指す。「遠置」は逆に光軸交差面よりうしろに立体視されるような視差がつけられている状態を指す。近置オブジェクトの視差が大きくなるほどユーザに近づいて感知され、遠置オブジェクトの視差が大きくなるほどユーザから遠ざかって見える。すなわち、特に断らないかぎり、視差は近置、遠置で正負が反転せず、ともに非負の値として定義し、光軸交差面において近置視差、遠置視差ともにゼロとする。
【００２１】
表示されるオブジェクトや空間のうち、視差のない部分について、光軸交差面は表示装置のスクリーン面に一致する。なぜなら、視差がつけられていない画素は、左右両眼から見込む視線がちょうどスクリーン面内の同じ位置に到達し、すなわち、そこで交差するためである。
【００２２】
前記の別の画像がすでに視差が与えられている複数の二次元画像である場合、視差制御部は適正視差にしたがってそれら複数の二次元画像の水平方向のシフト量を定めてもよい。この態様では、立体表示のための入力が三次元データを起点として高い自由度をもって生成されるのではなく、すでに生成されている視差画像であり、視差は固定されている。この場合、もとの三次元空間、あるいは実際に撮影された実空間に戻ってカメラ位置を変更して再描画、あるいは再撮影する処理ができない。そのため、視差画像を構成する視点画像、またはそれらに含まれる画素を水平へシフトして視差を調整する。
【００２３】
前記の別の画像はデプス情報が与えられている平面画像（以下これを「デプス情報付画像」ともいう）の場合、視差制御部は適正視差にしたがってそのデプスを調整してもよい。この処理の一例は、後述の第３の立体画像処理装置の二次元画像生成部によってなされる。
【００２４】
この立体画像処理装置は、適正視差を記録する視差保持部をさらに含み、視差制御部は、所定のタイミング、例えばこの装置の起動時や、この装置が有する立体画像処理機能またはその一部が起動されたときなどにおいて適正視差を読み込み、その値を初期値として処理を施してもよい。すなわち、「起動」はハードウエア的な意味でもソフトウエア的な意味でもよい。この態様によれば、ユーザがいちど適正視差を決めれば、以降、立体感調整のための自動処理が実現する。これは「適正視差の初期設定」とでもよぶ機能である。
【００２５】
本発明の別の態様は、立体画像処理方法に関し、異なる視差による複数の立体画像をユーザに表示するステップと、表示された立体画像に対するユーザの応答をもとにそのユーザに関する適正視差を特定するステップとを含む。
【００２６】
本発明のさらに別の態様も立体画像処理方法に関し、ユーザに依存する適正視差を取得するステップと、取得した適正視差が実現されるよう、表示前に画像に処理を加えるステップとを含む。ここで「取得」は積極的に特定する処理であってもよいし、前記の視差保持部等から読み込む処理であってもよい。
【００２７】
これら各ステップを立体表示用ライブラリの機能として実装し、複数のプログラムからこのライブラリの機能を関数として呼出可能に構成すれば、プログラマがいちいち立体表示装置のハードウエアを考慮してプログラムを記述する必要がなくなり、効果的である。
【００２８】
本発明の第２グループは、ユーザの指示をもとに視差を調整する技術を基本とする。この技術は、ユーザによる視差の「手動調整」に利用でき、ユーザは適宜表示中の画像の立体感を変更できる。ただし、この技術は手動調整にとどまらず、ある画像を立体表示する際、前述の適正視差を読み込み、その画像の視差を自動調整する際にも利用できる。第１グループの自動調整との違いは、第２グループの自動調整が二次元の視差画像またはデプス情報付画像に対して作用する点であり、三次元データまで遡って視差を変更する場合は第１グループの技術を利用する。以下、第２グループに関する。
【００２９】
本発明のある態様は立体画像処理装置に関し、複数の視点画像から表示された立体画像に対するユーザの指示を取得する指示取得部と、取得された指示にしたがい、前記複数の視点画像間の視差量を変化させる視差制御部とを含む。この処理の一例は後述の図４５に示され、「手動調整」の典型例である。ユーザの指示は、たとえばボタン操作など、簡単なＧＵＩで提供すれば利便性が高い。
【００３０】
本発明の別の態様も立体画像処理装置に関し、複数の視点画像から立体画像を表示するときに生じる第１の視差量を検出する視差量検出部と、第１の視差量が、ユーザの許容視差量である第２の視差量の範囲に入るよう前記複数の視点画像間の視差量を変化させる視差制御部とを含む。これは「自動調整」の典型例であり、第２の視差量として前述の適正視差が利用できる。この処理の一例は、後述の図４６に示される。
【００３１】
視差量検出部は第１の視差量の最大値を検出し、視差制御部は、その最大値が第２の視差量の最大値を超えないよう複数の視点画像間の視差量を変化させてもよい。視差の付きすぎによる過度な立体感を避けるため、視差量の最大値、すなわち限界視差を守る意図である。ここでいう最大値は、近置側の最大値と考えてもよい。
【００３２】
視差量検出部は、複数の視点画像間で対応点マッチングを計算して第１の視差量を検出したり、または複数の視点画像のいずれかのヘッダに予め記録された第１の視差量を検出してもよい。これらの処理の一例は後述の図４７に示される。
【００３３】
視差制御部は、複数の視点画像の合成位置をシフトすることにより複数の視点画像間の視差量を変化させてもよい。これは図４５〜４７に共通である。合成位置のシフトは、画素または画像全体を単位とする水平または垂直方向のシフトである。入力がデプス情報付画像の場合、視差制御部は、デプス情報を調整して視差量を変化させてもよい。
【００３４】
本発明の別の態様は立体画像処理方法に関し、複数の視点画像をもとに表示された立体画像に対するユーザの指示を取得するステップと、その指示にしたがい、前記複数の視点画像間の視差量を変化させるステップとを含む。
【００３５】
本発明のさらに別の態様も立体画像処理方法に関し、複数の視点画像から立体画像を表示するときに生じる第１の視差量を検出するステップと、第１の視差量が、ユーザの許容視差量である第２の視差量の範囲に入るよう複数の視点画像間の視差量を変化させるステップとを含む。
【００３６】
これら各ステップを立体表示用ライブラリの機能として実装し、複数のプログラムからこのライブラリの機能を関数として呼出可能に構成してもよい。
【００３７】
本発明の第３グループは、画像内位置に基づいて視差を補正する技術を基本とする。この「自動補正」は立体表示に対するユーザの違和感または拒絶感を軽減するよう作用し、第１、第２グループの技術と併用できる。一般に、立体表示の際、画像端部に近いほど複数の視点画像がずれて観察されたり、違和感を産みやすいなど、技術上または生理上の問題点が指摘される。第３グループでは、画像端に近い部分で視差を減らし、またはオブジェクトが近置側から遠置側へ移動するよう視差を調整するなどの処理により、この問題の軽減を図る。以下、第３グループに関する。
【００３８】
本発明のある態様は立体画像処理装置に関し、立体画像を表示するための複数の視点画像間の視差を補正する視差制御部と、視差制御部がその処理の際に参照すべき補正マップを保持するマップ保持部とを含み、この補正マップは、視差が視点画像内の位置に基づいて補正されるよう記述されている。補正マップには、視差補正マップ、距離感補正マップなどがある。
【００３９】
視差制御部は、例えば複数の視点画像の周辺部において視差を小さくするか、またはオブジェクトがユーザからより遠くに感知されるよう視差を変化させる。視差制御部は、複数の視点画像のいずれかに選択的に処理を施すことによって視差を変化させてもよい。
【００４０】
複数の視点画像は三次元データから生成されるもの、すなわち、三次元空間まで戻って視点画像を生成できる場合には、視差制御部は複数の視点画像の生成にあたって、カメラパラメータを制御して視差を変化させてもよい。カメラパラメータとして、左右カメラの間隔、カメラからオブジェクトを見込む角度、または光軸交差位置などがある。
【００４１】
同様に、複数の視点画像が三次元データから生成される場合、視差制御部は複数の視点画像の生成にあたって、三次元空間自体を例えばワールド座標系において歪ませることにより視差を変化させてもよい。一方、複数の視点画像がデプス情報付画像から生成される場合、視差制御部はそのデプス情報を操作することによって視差を変化させてもよい。
【００４２】
本発明の別の態様は立体画像処理方法に関し、立体画像を表示するための複数の視点画像を取得するステップと、取得された前記複数の視点画像間の視差をそれら視点画像内の位置に基づいて変化させるステップとを含む。これらのステップを立体表示用ライブラリの機能として実装し、複数のプログラムからこのライブラリの機能を関数として呼出可能に構成してもよい。
【００４３】
本発明の第４グループは、第１〜第３グループおよびその関連機能をソフトウエアライブラリとして提供し、プログラマおよびユーザの負担を軽減し、立体画像表示アプリケーションの普及を促進する技術に関する。以下、第４グループに関する。
【００４４】
本発明のある態様は立体画像処理方法に関し、立体画像表示に関連する情報をメモリ上に保持し、その保持された情報を複数の異なるプログラム間で共有し、それらのプログラムのいずれかが立体画像を表示する際、保持された情報を参照して出力すべき画像の状態を決定する。画像の状態の例は、視差画像にどの程度の視差が与えられているか、その程度である。
【００４５】
「保持された情報」は、立体画像表示装置に入力される画像のフォーマット、視点画像の表示順序、視点画像間の視差量のいずれかの情報を含んでもよい。また、保持された情報の共有に加え、立体画像表示固有の処理を複数のプログラムで共有してもよい。「立体画像表示固有の処理」の一例は、保持された情報を決定するための処理である。別の例は、適正視差を決定するためのグラフィカルユーザインタフェイスに関する処理、適正視差状態の実現を支援する視差調整用画面の表示処理、ユーザの頭位置を検出して追跡する処理、立体表示装置を調整するための画像を表示する処理などである。
【００４６】
本発明の別の態様は、立体画像処理装置に関し、立体表示画像の立体感を調整するためのグラフィカルユーザインタフェイスをユーザに提供する立体感調整部と、ユーザによる立体感の調整の結果判明する限界視差を守る形で視差画像を生成する視差制御部とを含む。
【００４７】
この装置はさらに、立体画像表示を適正化するために参照すべき情報を取得する情報検出部と、取得された情報にしたがって前記視差制御部で生成された視差画像のフォーマットを変換する変換部とを含んでもよい。
【００４８】
視差制御部は、三次元データに基づき、カメラパラメータを制御して、限界視差を守りつつ視差画像を生成してもよいし、デプス情報付画像のデプスを制御して視差画像を生成してもよいし、視差のある複数の二次元画像の水平方向のシフト量を定めた後、視差画像を生成してもよい。
【００４９】
本発明の第５グループは、以上の立体画像処理技術またはその関連技術を用いたひとつのアプリケーション、またはビジネスモデルに関する。第４グループのソフトウエアライブラリが利用可能である。以下、第５グループに関する。
【００５０】
本発明のある態様は立体画像処理方法に関し、視差画像を立体表示するための適正視差をいったん表示装置のハードウエアに依存しない表現形式へ変換し、この表現形式による適正視差を異なる表示装置間で流通する。
【００５１】
本発明の別の態様も立体画像処理方法に関し、第１の表示装置にて取得されたユーザの適正視差を第２の表示装置に読み込むステップと、第２の表示装置にて前記適正視差にしたがって視差画像間の視差を調整するステップと、第２の表示装置から調整後の視差画像を出力するステップとを含む。例えば、第１の表示装置がユーザの通常利用する装置、第２の表示装置が別の個所に設けられた装置である。
【００５２】
本発明の別の態様は、立体画像処理装置に関し、ネットワークを介して接続された第１の表示装置、第２の表示装置およびサーバを含み、第１の表示装置は、当該装置にて取得されたユーザの適正視差情報をサーバに送信し、サーバは適正視差情報を受信してこれをユーザと関連づけて記録し、ユーザが第２の表示装置にて画像データの出力を要求したとき、当該装置はサーバからそのユーザの適正視差情報を読み出して視差を調整したのち視差画像を出力する。
【００５３】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【００５４】
【発明の実施の形態】
図１はユーザ１０、スクリーン１２、立体表示される再生オブジェクト１４の位置関係を示す。ユーザ１０の眼間距離がＥ、ユーザ１０とスクリーン１２の距離がＤ、表示されたときの再生オブジェクト１４の幅がＷである。再生オブジェクト１４は立体表示されているため、スクリーン１２よりも近くに感知される画素、すなわち近置される画素と、スクリーン１２よりも遠くに感知される画素、すなわち遠置される画素を有する。視差が付けられていない画素はスクリーン１２上でちょうど両目から同じ位置に見えるため、スクリーン１２上に感知される
。
【００５５】
図２は、図１の理想的な表示を生成するための撮影系を示す。二台のカメラ２２、２４の間隔をＥとし、それらから現実のオブジェクト２０を見たときの光軸交差位置までの距離（これを光軸交差距離という）をＤとし、スクリーン１２と同じ幅を見込む画角で、幅が現実にＷであるオブジェクト２０を撮影すれば、ふたつのカメラから視差画像が得られる。これを図１のスクリーン１２へ表示すれば、図１の理想状態が実現する。
【００５６】
図３、図４は、それぞれ図２の位置関係をＡ倍（Ａ＜１）、Ｂ倍（Ｂ＞１）した状態を示す。これらの位置関係で得られた視差画像でも、図１の理想状態が実現する。すなわち、理想的な立体表示の基本は、Ｗ：Ｄ：Ｅを一定にすることからはじまる。この関係が視差の付け方の基礎にもなる。
【００５７】
図５から図１０は、実施の形態においてオブジェクト２０の三次元データをもとに立体表示がなされるまでの処理の大筋を示す。
図５はモデル座標系、すなわち、個々の三次元オブジェクト２０がもっている座標空間である。この空間で、オブジェクト２０をモデリングしたときの座標を与える。通常はオブジェクト２０の中心に原点をもってくる。
【００５８】
図６はワールド座標系を示す。ワールド空間は、オブジェクト２０や床、壁を配置してシーンが形成される広い空間である。図５のモデリングと図６のワールド座標系の確定までを「三次元データの構築」と認識できる。
【００５９】
図７はカメラ座標系を示す。ワールド座標系の任意の位置から任意の方向に任意の画角でカメラ２２を据えることにより、カメラ座標系への変換が行われる。カメラの位置、方向、画角がカメラパラメータである。立体表示の場合は、ふたつのカメラについてパラメータを定めるため、カメラ間隔と光軸交差位置も決める。また、ふたつのカメラの中点を原点にするために、原点移動も行われる。
【００６０】
図８、図９は透視座標系を示す。まず図８のように、表示すべき空間を前方投影面３０と後方投影面３２でクリッピングする。後述するように、実施の形態のひとつの特徴は、近置最大視差点のある面を前方投影面３０とし、遠置最大視差点のある面を後方投影面３２にすることにある。クリッピングの後、このビューボリュームを図９のように直方体へ変換する。図８と図９の処理を投影処理ともよぶ。
【００６１】
図１０はスクリーン座標系を示す。立体表示の場合、複数のカメラそれぞれからの画像をそれぞれスクリーンのもっている座標系へ変換し、複数の二次元画像、すなわち視差画像を生成する。
【００６２】
図１１、図１２、図１３は、それぞれ一部が異なる立体画像処理装置１００の構成を示す。以下、便宜上、それらの立体画像処理装置１００をそれぞれ第１、第２、第３の立体画像処理装置１００ともよぶ。これらの立体画像処理装置１００は、装置内に一体に組み込むことも可能であるが、ここでは図の複雑を避けて３つに分けている。第１の立体画像処理装置１００は描画すべきオブジェクトと空間が三次元データの段階から入手できる場合に効果的であり、したがって、主な入力を三次元データとする。第２の立体画像処理装置１００はすでに視差が与えられている複数の二次元画像、すなわち既存の視差画像の視差調整に効果的であり、したがって、二次元の視差画像を入力する。第３の立体画像処理装置１００はデプス情報付画像のデプス情報を操作して適正視差を実現するものであり、したがって、主に入力をデプス情報付画像とする。これら３通りの入力を総称して「オリジナルデータ」と表記している。
【００６３】
第１〜第３の立体画像処理装置１００を一体化して実装する場合、それらの前処理部として「画像形式判定部」を設け、三次元データ、視差画像、デプス情報付画像を判定した後、第１〜第３の立体画像処理装置１００のうち最適なものを起動する構成としてもよい。
【００６４】
第１の立体画像処理装置１００は、立体表示に対する立体感を設定するうえで、「初期設定」および「自動調整」の機能をもつ。ユーザは立体表示された画像に対し、自分の適正視差を範囲指定すると、これがシステムで取得され、以降、別の立体画像の表示の際、予めこの適正視差が実現するよう変換処理が施されて表示される。したがって、第１の立体画像処理装置１００により、ユーザは原則として一回だけ設定手続を経れば、以降、自分に合った立体表示を楽しむことができる。
【００６５】
第１の立体画像処理装置１００はさらに、画像の周辺部の視差を人工的に緩和する「視差補正」という副機能をもつ。既述のごとく、画像端部に近づくにしたがって複数の視点画像のずれが「二重像」として認識されやすくなる。これはパララックスバリアや表示装置のスクリーンの反りなど機構誤差が主因である。そこで、画像の周辺部で、１）近置視差と遠置視差をともに減らす、２）近置視差を減らし遠置視差はそのままにする、３）近置視差、遠置視差を問わず、全体に遠置視差のほうへシフトする、など、いろいろな方法を実施する。なお、この「視差補正」機能は第３の立体画像処理装置１００にも存在するが、入力データの違いにより、処理は異なる。
【００６６】
第１の立体画像処理装置１００は、立体表示した画像に対するユーザからの応答をもとに立体感を調整する立体感調整部１１２と、立体感調整部１１２で特定された適正視差を保存する視差情報保持部１２０と、視差情報保持部１２０から適正視差を読みだし、オリジナルデータから適正視差を有する視差画像を生成する視差制御部１１４と、表示装置のハードウエア情報を取得し、また立体表示の方式を取得する機能を有する情報取得部１１８と、情報取得部１１８で取得した情報をもとに、視差制御部１１４で生成された視差画像の形式を変更するフォーマット変換部１１６を含む。オリジナルデータを単に三次元データとよぶが、厳密にはワールド座標系で記述されたオブジェクトおよび空間のデータがこれに当たる。
【００６７】
情報取得部１１８で取得する情報の例として、立体表示の視点数、空間分割または時間分割等の立体表示装置の方式、シャッタめがねの利用があるか否か、多眼式の場合における視点画像の並び方、視差画像の中に視差が反転する視点画像の並びがあるか否か、ヘッドトラッキングの結果などがある。なお、ヘッドトラッキングの結果だけは例外的に図示しない経路を経て直接カメラ配置決定部１３２へ入力され、そこで処理される。
【００６８】
以上の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはＧＵＩ機能、視差制御機能その他の機能をもつプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところであり、以降の構成についてもその事情は同様である。
【００６９】
立体感調整部１１２は指示取得部１２２と視差特定部１２４を有する。指示取得部１２２は、立体表示された画像に対してユーザが適正視差の範囲を指定したとき、これを取得する。視差特定部１２４は、その範囲をもとに、ユーザがこの表示装置を用いたときの適正視差を特定する。適正視差は、表示装置のハードウエアに依存しない表現形式で表される。適正視差を実現することにより、ユーザの生理に適合した立体視が可能になる。
【００７０】
視差制御部１１４は、まずカメラパラメータを仮設定するカメラ仮配置部１３０と、適正視差にしたがって仮設定されたカメラパラメータを修正するカメラ配置決定部１３２と、カメラパラメータが決まったとき、複数のカメラの中点を原点とすべく原点移動処理を行う原点移動部１３４と、前述の投影処理を行う投影処理部１３８と、投影処理後、スクリーン座標系への変換処理を行って視差画像を生成する二次元画像生成部１４２とを含む。また、必要な応じて画像周辺部の視差を緩和するために空間歪み変換（以下単に歪変換ともいう）を行う歪処理部１３６がカメラ仮配置部１３０とカメラ配置決定部１３２の間に設けられている。歪処理部１３６は補正マップ保持部１４０から後述の補正マップを読み出して利用する。
【００７１】
なお、立体表示のために表示装置を調整する必要があれば、そのための図示しないＧＵＩを追加してもよい。このＧＵＩで、表示されている視差画像全体を上下左右へ微小シフトして最適表示位置を確定するなどの処理をなしてもよい。
【００７２】
図１２の第２の立体画像処理装置１００は、複数の視差画像を入力とする。これを単に入力画像ともよぶ。第２の立体画像処理装置１００は、さきに第１の立体画像処理装置１００で取得された適正視差を読み込み、入力画像の視差を調整して適正視差の範囲へ収め、出力する。その意味で、第２の立体画像処理装置１００は視差の「自動調整」機能を有する。ただし、それだけでなく、実際に立体表示が行われている際にユーザが立体感を変更したいとき、ＧＵＩ機能を提供し、ユーザの指示にしたがって視差を変更する「手動調整」機能もあわせもつ。
【００７３】
すでに生成済みの視差画像の視差は通常変更できるものではないが、第２の立体画像処理装置１００によれば、視差画像を構成する視点画像の合成位置をシフトすることで十分に実用に耐えるレベルで立体感が変更できる。第２の立体画像処理装置１００は、入力データが三次元データまで遡れない状況においても良好な立体感調整機能を発揮する。以下、第１の立体画像処理装置１００との相違点を中心に述べる。
【００７４】
立体感調整部１１２は手動調整に利用される。指示取得部１２２は例えばスクリーンで「＋ｎ」「−ｎ」などの数値入力を実現し、その値が視差の変更量として視差特定部１２４で特定される。数値と指示される立体感の関係にはいくとおりか考えられる。たとえば、「＋ｎ」は立体感を強める指示、「−ｎ」は弱める指示で、ｎが大きくなるほど立体感に対する変更量が大きいとしてもよい。また、「＋ｎ」は全体に近置方向へオブジェクトを移動する指示、「−ｎ」は全体に遠置方向へオブジェクトを移動する指示としてもよい。別の方法として、ｎの値は指定せず、単に「＋」と「−」のボタンのみ表示し、これをクリックするたびに視差が変更される構成としてもよい。
【００７５】
第２の立体画像処理装置１００は、視差量検出部１５０と視差制御部１５２を有する。入力画像が複数の視差画像の場合、視差量検出部１５０はそれらの視差画像のヘッダ領域を検査し、画素数の形で記述された視差量、とくに近置最大視差画素数と遠置最大視差画素数があればこれを取得する。視差量が記述されていなければ、マッチング部１５８がブロックマッチングなど既知の手法を利用して視差画像間で対応点を検出することにより視差量を特定する。マッチング部１５８は画像の中央部など重要領域だけに処理を施してもよいし、最も重要な近置最大視差画素数に絞って検出してもよい。検出された視差量は画素数の形で視差制御部１５２へ送られる。
【００７６】
視差制御部１５２の位置シフト部１６０は、視点画像間の視差量が適正視差になるよう視差画像を構成する視点画像の合成位置を水平方向へシフトする。シフトは、視点画像のいずれかについて行えばよい。位置シフト部１６０は別の動作モードも有し、ユーザが立体感調整部１１２を介して視差の増加または減少を指示したとき、単純にこの指示にしたがって画像合成位置を変更する。すなわち、位置シフト部１６０は適正視差への自動調整機能と、ユーザによる手動調整機能のふたつを有する。
【００７７】
視差書込部１６４は、前述の視差量検出部１５０のため、または別の用途のために、視差画像を構成する複数の視点画像のいずれかのヘッダ領域に視差量を画素数で書き込む。画像端調整部１６８は、位置シフト部１６０によるシフトによって画像端に生じた画素の欠落を埋める。
【００７８】
図１３の第３の立体画像処理装置１００は、デプス情報付画像を入力とする。第３の立体画像処理装置１００は、適正視差が実現するようデプスを調整する。また、前述の「視差補正」機能をもつ。視差制御部１７０の歪処理部１７４は、補正マップ保持部１７６に保存された補正マップにしたがい、後述の要領で歪変換を実施する。歪変換後のデプス情報と画像は二次元画像生成部１７８へ入力され、ここで視差画像が生成される。この二次元画像生成部１７８は、第１の立体画像処理装置１００の二次元画像生成部１４２とは異なり、ここで適正視差が考慮される。デプス情報付画像も画像としては二次元であるため、二次元画像生成部１７８は、図示しないが内部に第２の立体画像処理装置１００の位置シフト部１６０に似た機能をもち、デプス情報にしたがって画像内の画素を水平方向にずらし、立体感を生成する。このとき、後述の処理により、適正視差が実現される。
【００７９】
以上の構成における各立体画像処理装置１００の各部の処理動作とその原理は以下のとおりである。
図１４（ａ）、図１４（ｂ）は、第１の立体画像処理装置１００の立体感調整部１１２による適正視差の特定のプロセスにおいてそれぞれ表示された左眼画像２００、右眼画像２０２を示す。それぞれの画像には５個の黒丸が表示されており、上にいくほど近置かつ大きな視差、下へいくほど遠置かつ大きな視差が付けられている。
【００８０】
図１５はこれら５個の黒丸を表示したとき、ユーザ１０に感知される距離感を模式的に示す。ユーザ１０はこれら５個の距離感の範囲を「適正」と応答しており、この応答を指示取得部１２２が取得する。同図では、視差が異なる５個の黒丸が同時に、または順に表示され、許容できる視差であるか否かをユーザ１０が入力していく。一方、図１６では表示自体は１個の黒丸で行うが、その視差を連続的に変更し、ユーザ１０が遠置と近置それぞれの方向において許容する限界にきたとき、応答する。応答は通常のキー操作、マウス操作、音声による入力等、それ自体は既知の技術を利用すればよい。
【００８１】
図１５、図１６のいずれの場合でも、指示取得部１２２は適正視差を範囲として取得でき、その近置側および遠置側の限界視差が決まる。近置最大視差は、自分に最も近い位置に見える点に許す近さに対応する視差、遠置最大視差は、自分から最も遠い位置に見える点に許す遠さに対応する視差である。ただし、一般にはユーザの生理上の問題から近置最大視差をケアすべきことが多く、以下、近置最大視差のみを限界視差とよぶ場合もある。
【００８２】
図１７は、立体表示される画像が三次元データから取り出される場合において、実際に２視点の視差を調整する原理を示す。まず、ユーザが決めた限界視差を仮配置されたカメラの見込み角に変換する。角度表現をとることにより、表示装置のハードウエアから独立した汎用表現になる。同図のごとく、近置と遠置の限界視差は画素数でＭ、Ｎとあらわすことができ、カメラの画角θが表示画面の水平画素数Ｌに相当するので、限界視差画素数の見込み角である、近置最大見込み角φと遠置最大見込み角ψがθ、Ｍ、Ｎ、Ｌであらわされる。
【００８３】
ｔａｎ（φ／２）＝Ｍｔａｎ（θ／２）／Ｌ
ｔａｎ（ψ／２）＝Ｎｔａｎ（θ／２）／Ｌ
次にこの情報を３次元空間内での２視点画像の取り出しに適用する。図１８のように、まず基本表現空間Ｔ（その奥行きもＴと表記）を決める。ここでは、基本表現空間Ｔはオブジェクトの配置に対する制限から決めるとする。基本表現空間Ｔの前面である前方投影面３０からカメラ配置面、すなわち視点面２０８までの距離をＳとする。ＴやＳはユーザが指定できる。視点は２つあり、これらの光軸交差面２１０の視点面２０８からの距離をＤとする。光軸交差面２１０と前方投影面３０までの距離をＡとする。
【００８４】
つぎに、基本表現空間Ｔ内での近置および遠置の限界視差をそれぞれＰ、Ｑとすると、
Ｅ：Ｓ＝Ｐ：Ａ
Ｅ：Ｓ＋Ｔ＝Ｑ：Ｔ−Ａ
が成立する。Ｅは視点間距離である。いま、視差の付けられていない画素である点Ｇは両カメラからの光軸Ｋ２が光軸交差面２１０上で交差する位置にあり、光軸交差面２１０がスクリーン面の位置となる。近置最大視差Ｐを生む光線Ｋ１は前方投影面３０上で交差し、遠置最大視差Ｑを生む光線Ｋ３は後方投影面３２上で交差する。
【００８５】
ＰとＱは、図１９のようにφ、ψを用いて、
Ｐ＝２（Ｓ＋Ａ）ｔａｎ（φ／２）
Ｑ＝２（Ｓ＋Ａ）ｔａｎ（ψ／２）
で表され、結果として、
Ｅ＝２（Ｓ＋Ａ）ｔａｎ（θ／２）・（ＳＭ＋ＳＮ＋ＴＮ）／（ＬＴ）
Ａ＝ＳＴＭ／（ＳＭ＋ＳＮ＋ＴＮ）
が得られる。いま、ＳとＴは既知であるから、こうしてＡ及びＥが自動的に決まり、したがって光軸交差距離Ｄとカメラ間距離Ｅが自動的に決まり、カメラパラメータが確定する。カメラ配置決定部１３２はこれらのパラメータにしたがってカメラの配置を決定すれば、以降投影処理部１３８、二次元画像生成部１４２の処理を各カメラからの画像に対して独立してなすことにより、適正視差をもった視差画像が生成および出力できる。以上のごとく、ＥとＡはハードウエアの情報を含んでおらず、ハードウエアに依存しない表現形式が実現される。
【００８６】
以降、別の画像を立体表示する際にもこのＡまたはＤとＥを守るようカメラを配置すれば、自動的に適正視差が実現できる。適正視差の特定から理想的な立体表示までのプロセスはすべて自動化できるため、この機能をソフトウエアライブラリとして提供すれば、コンテンツやアプリケーションを作成するプログラマは立体表示のためのプログラミングを意識する必要がない。また、Ｌ、Ｍ、Ｎを画素数で表すと、Ｌは表示範囲を示すので、全画面による表示であるか、画面の一部による表示であるかをＬで指示することができる。Ｌもハードウエアに依存しないパラメータである。
【００８７】
図２０は４台のカメラ２２、２４、２６、２８による４眼式のカメラ配置を示す。正確には、第１のカメラ２２と第２のカメラ２４の間など、隣接するカメラ間で適正視差になるよう前述のＡとＥを決めていくべきだが、簡易的な処理としては、より中央に近い第２のカメラ２４と第３のカメラ２６の間で決めたＡおよびＥを他のカメラ間に流用してもほぼ同様の効果が得られる。
【００８８】
なお、Ｔはオブジェクトの配置に対する制限としたが、基本的な三次元空間の大きさとしてプログラムにより決められていてもよい。この場合、プログラム全体を通して必ずこの基本表現空間Ｔ内にのみオブジェクトを配置することもできるし、効果的な表示のために、ときどき故意にこの空間を飛び出すようにオブジェクトに視差を与えてもよい。
【００８９】
別の例として、三次元空間におけるオブジェクトのうち最も近置されるものと最も遠置されるものの座標に対してＴを決定してもよく、これを実時間で行えば、必ず基本表現空間Ｔにオブジェクトが配置できる。オブジェクトをつねに基本表現空間Ｔに入れることの例外として、「一定時間の位置の平均が基本表現空間Ｔ内にあればよい」という緩和条件で運用すれば、短時間の例外を作ることもできる。さらに、基本表現空間Ｔを定めるオブジェクトを静的なものに限ってもよく、この場合、動的なオブジェクトが基本表現空間Ｔからはみ出す例外的な動作を与えることができる。さらに別の例として、すでにオブジェクトを配置した空間を基本表現空間の幅Ｔのサイズに縮める変換を行ってもよいし、既述の操作と組み合わせてもよい。
【００９０】
なお、第１の立体画像処理装置１００の立体感調整部１１２がユーザに表示する画像として、二重像がでやすいものにすれば、限界視差は小さめに定まり、他の画像を表示したときの二重像の出現頻度を低下させることができる。二重像が出やすい画像として、オブジェクトと背景との色や明るさが対照的なものが知られており、限界視差を特定する段階、すなわち初期設定の際にはそうした画像を利用すればよい。
【００９１】
図２１から図３６までは、第１の立体画像処理装置１００の歪処理部１３６による処理とその原理を示す。
図２１は第１の立体画像処理装置１００の補正マップ保持部１４０に格納された補正マップの一例を概念的に示す。このマップは直接視差を補正するもので、その全体がそのまま視差画像に対応しており、周辺部にいくにしたがって小視差になる。図２２はこの補正マップにしたがって歪処理部１３６がカメラ配置を決め、それを受けたカメラ配置決定部１３２によるカメラパラメータの操作の結果生じる視差の変化を示す。ふたつのカメラの左右視点位置から正面方向を見るときは「通常視差」が付けられ、一方、正面から大きく外れた方向を見るときは「小視差」が付けられる。実際には、周辺にいくにしたがって、カメラ配置決定部１３２はカメラ間隔を近づけていく。
【００９２】
図２３はカメラ配置決定部１３２が歪処理部１３６の指示にしたがってカメラの配置を変えて視差を変える別の例を示す。ここでは、ふたつのカメラのうち、左側のカメラのみを移動させながら、画像周辺に向かうにしたがって「通常視差」→「中視差」→「小視差」と視差が変化している。この方法のほうが図２２に比べて計算コストが低い。
【００９３】
図２４は補正マップの別の例を示す。このマップも視差を変更するもので、画像の中央付近は通常視差のまま触れず、それ以外の視差補正領域において視差を徐々に小さくする。図２５はカメラ配置決定部１３２がこのマップにしたがって変化させるカメラ位置を示す。カメラの方向が正面から大きく外れたとき、はじめて左カメラの位置が右カメラへ寄り、「小視差」が付けられている。
【００９４】
図２６は補正マップの別の例を概念的に示す。このマップは視点からオブジェクトまでの距離感を補正するもので、それを実現するために、カメラ配置決定部１３２がふたつのカメラの光軸交差距離を調整する。画像周辺に行くにしたがって光軸交差距離を小さくすれば、オブジェクトは相対的に遠置方向へ奥まって見えるため、とくに近置視差を小さくする意味で目的を達する。光軸交差距離を小さくするために、カメラ配置決定部１３２はカメラの光軸方向を変えればよく、いずれか一方のカメラの向きを変えればよい。図２７は、図２６のマップによって二次元画像を生成するときの光軸交差位置、または光軸交差面２１０の変化を示す。画像周辺ほど光軸交差面２１０がカメラに寄る。
【００９５】
図２８は距離感に関する別の補正マップ、図２９は図２８のマップにしたがってカメラ配置決定部１３２が歪処理部１３６の指示にしたがって光軸交差面２１０を変化させる様子を示す。この例では、画像中央領域では補正をせずにオブジェクトを通常位置に配置し、画像周辺領域でオブジェクトの位置を補正する。その目的のために、図２９において画像中央付近では光軸交差面２１０に変化はなく、ある点を超えてから光軸交差面２１０がカメラへ寄ってくる。図２９では、左カメラだけ向きをかえて対応している。
【００９６】
図３０（ａ）〜（ｆ）は歪処理部１３６による別の歪変換を示す。いままでの例と違い、カメラ位置を変えるのではなく、カメラ座標系で三次元空間自体を直接歪ませる。図３０（ａ）〜（ｆ）において、長方形領域はもとの空間の上面図、斜線領域は変換後の空間の上面図を示す。例えば、図３０（ａ）のもとの空間の点Ｕは、変換後点Ｖに移る。これはこの点が遠置方向へ移動されたことを意味する。図３０（ａ）では、空間は周辺部へ向かうほど奥行き方向について矢印の方向に押しつぶされ、近置の場合も遠置の場合も、同図の点Ｗのごとく、一定の距離感に近い距離感をもたされる。その結果、画像周辺部では距離感が揃い、特別に近置されるオブジェクトもなくなり、二重像の問題を解決するとともに、ユーザの生理に適合しやすい表現となる。
【００９７】
図３０（ｂ）、図３０（ｃ）、図３０（ｄ）、図３０（ｅ）はいずれも画像周辺部で距離感を一定値に近づける変換の変形例を示し、図３０（ｆ）はすべての点を遠置方向へ変換する例を示している。
【００９８】
図３１は、図３０（ａ）の変換を実現するための原理を示す。直方体空間２２８は、第１のカメラ２２と第２のカメラ２４の投影処理が行われる空間を含む。第１のカメラ２２のビューボリュームは、そのカメラの画角と前方投影面２３０および後方投影面２３２で定まり、第２のカメラ２４のそれは、そのカメラの画角と前方投影面２３４および後方投影面２３６で定まる。歪処理部１３６はこの直方体空間２２８に歪変換を施す。原点は直方体空間２２８の中心とする。多眼式の場合はカメラが増えるだけで変換原理は同じである。
【００９９】
図３２は歪変換の一例で、Ｚ方向の縮小変換を採用している。実際には空間内の個々のオブジェクトに対して処理を行う。図３３はこの変換を視差補正マップになぞらえて表現したもので、Ｙ軸上が通常視差であり、Ｘの絶対値が増えるほど視差が小さくなり、Ｘ＝±Ａが視差なしとなる。ここではＺ方向のみの縮小変換なので、変換式は以下のとおりである。
【０１００】
【数１】

変換を図３４で説明する。まず、Ｘ≧０かつＺ≧０の範囲を考える。点（Ｘ０，Ｙ０，Ｚ０）が縮小処理により点（Ｘ０，Ｙ０，Ｚ１）に移動したとき、縮小率Ｓｚは、

である。Ｃの座標は（Ｘ０，Ｙ０，０）でＤの座標は（Ｘ０，Ｙ０，Ｂ）である。
【０１０１】
Ｅは直線と平面の交点であり、座標を（Ｘ０，Ｙ０，Ｚ２）とすると、Ｚ２は下のように求めることができる。
【０１０２】
Ｚ＝Ｂ−Ｘ×Ｂ／Ａ （平面）
Ｘ＝Ｘ０，Ｙ＝Ｙ０ （直線）
Ｚ２＝Ｂ−Ｘ０×Ｂ／Ａ
したがって、

Ｘに対して一般に、
Ｓｚ＝１−Ｘ／Ａ
となる。ＸとＺの他の範囲についても同様の計算を行うと、以下の結果が得られ、変換が検証できる。
【０１０３】
Ｘ≧０のとき、Ｓｚ＝１−Ｘ／Ａ
Ｘ＜０のとき、Ｓｚ＝１＋Ｘ／Ａ
図３５は歪変換の別の例を示す。より厳密にはカメラから放射状に撮影が行われることを考慮し、Ｘ軸、Ｙ軸方向の縮小処理も組み合わせている。ここでは、ふたつのカメラの中心をカメラ位置の代表として変換を行う。変換式は以下の通りである。
【０１０４】
【数２】

図３６はこの変換を検証する。ここでも、Ｘ≧０かつＺ≧０の範囲を考える。点（Ｘ０，Ｙ０，Ｚ０）が縮小処理により点（Ｘ１，Ｙ１，Ｚ１）に移動したとき、縮小率Ｓｘ、Ｓｙ、Ｓｚは、

となる。Ｅは平面と直線の交点なので、前述と同様Ｓｘ、Ｓｙ、Ｓｚを求めることができる。
【０１０５】
なお、以上のように変換後の空間を平面の集合で表すと、面同士の接線を境に処理が変化し、場合により違和感が生じうる。その場合は曲面で接続するか、曲面だけで空間を構成してもよい。計算は曲面と直線の交点Ｅを求めるものに変わるだけである。
【０１０６】
また、以上の例では、縮小率は同一直線ＣＤ上では同じとなるが、重み付けを行ってもよい。例えばＳｘ、Ｓｙ、Ｓｚに、カメラからの距離Ｌに対する重み付け関数Ｇ（Ｌ）をかければよい。
【０１０７】
図３７から図４０までは、第３の立体画像処理装置１００の歪処理部１７４による処理とその原理を示す。
図３７は第３の立体画像処理装置１００に入力されたデプス情報付画像のデプスマップを示し、ここではデプスの範囲がＫ１〜Ｋ２の値をもつとする。ここでは近置のデプスを正、遠置のデプスを負で表す。
【０１０８】
図３８は元のデプス範囲２４０と変換後のデプス範囲２４２の関係を示す。デプスは画像周辺部に行くにしたがって一定値に近づく。歪処理部１７４はこの補正にしたがうようデプスマップを変換する。垂直方向に視差をもたせる場合も同様である。この変換もＺ方向の縮小のみなので、以下の式で表現できる。
【０１０９】
【数３】

なお、ＳｚはＸの値により場合分けされ、
Ｘ≧０のとき、Ｓｚ＝１−２Ｘ／Ｌ
Ｘ＜０のとき、Ｓｚ＝１＋２Ｘ／Ｌ
となる。以上の変換により、図３９に示す新たな要素をもつ新たなデプスマップが生成される。
【０１１０】
図４０はデプスマップに対する別の歪変換の原理を示す。空間は、より厳密にはユーザ１０から放射状に観察されるので、Ｘ軸、Ｙ軸方向の縮小処理も組み合わせている。ここでは、眼間中心を観察位置としている。具体的な処理は図３６の場合と同じ式になる。なお、もともとのデプスマップはＺ値しか持たないが、この計算を行う場合はＸ値とＹ値も保持することになる。Ｚ値はＸ方向あるいはＹ方向の画素シフト量に変換されるが、Ｘ値とＹ値はそれらに対するオフセット値として保持すればよい。
【０１１１】
いずれにしても、歪処理部１７４で変換されたデプスマップともとの画像は二次元画像生成部１７８へ入力され、ここで適正視差になるよう水平方向にシフトした合成処理が行われる。その詳細は後述する。
【０１１２】
図４１〜図５１は、第２の立体画像処理装置１００の位置シフト部１６０、およびその延長と把握できる第３の立体画像処理装置１００の二次元画像生成部１７８の処理を示す。
図４１は位置シフト部１６０によるふたつの視差画像の合成位置のシフト原理を示す。同図のごとく、初期状態では右眼画像Ｒと左眼画像Ｌの位置は一致している。しかし、同図上部のごとく左眼画像Ｌを相対的に右へシフトすると、近置点の視差は増加し、遠置点の視差は減少する。逆に、同図下部のごとく左眼画像Ｌを相対的に左へシフトすると、近置点の視差は減少し、遠置点の視差は増加する。
【０１１３】
以上が視差画像のシフトによる視差調整の本質である。画像のシフトは一方であってもよいし、両方を互いに逆方向にシフトしてもよい。またこの原理から、立体表示方式は、メガネ方式やメガネなし方式を問わず、視差を利用している全ての方式に適用できることがわかる。多視点映像や垂直方向の視差に対しても同様の処理が可能である。
【０１１４】
図４２はシフト処理を画素レベルで示す。左眼画像２００と右眼画像２０２には、ともに第１四角形２５０と第２四角形２５２が写っている。第１四角形２５０には近置視差がついており、その視差量を正数であらわすと、「６画素」となる。これに対し第２四角形２５２は遠置視差がついており、その視差量を負数であらわすと、「−６画素」となる。ここで、この視差量をそれぞれＦ２、Ｆ１とする。
【０１１５】
一方、ユーザが保有する表示装置の適正視差がＪ１〜Ｊ２であることが分かったとする。位置シフト部１６０は両画像の合成開始位置を互いに（Ｊ２−Ｆ２）画素シフトさせる。図４３はそのシフトの終了後の状態で、いま、Ｆ１＝−６、Ｆ２＝６であり、また、Ｊ１＝−５、Ｊ２＝４であったとすると、合成開始位置は互いに−２画素、つまり遠置方向に全体がシフトする方向にずらされることになる。最終的な視差量は図４３のごとく、Ｅ１＝−８、Ｅ２＝４となり、少なくとも近置方向に関して限界視差内に収まる。一般に遠置方向と比較して、近置方向の二重像の方が違和感が強いとされ、かつ被写体は近置方向に配置された状態で撮影されることが多いので、基本的に近置方向の視差を限界内に収めることが望ましい。以下に処理例を示す。
【０１１６】
１．近置点が限界視差外で、遠置点が限界視差内の場合は、近置点を限界視差点にシフトする。ただし、遠置点の視差が眼間距離に到達すれば処理をやめる。 ２．近置点が限界視差外で、遠置点が限界視差外の場合は、近置点を限界視差点にシフトする。ただし、遠置点の視差が眼間距離に到達すれば処理をやめる。 ３．近置点も遠置点も限界視差内の場合は処理しない。
４．近置点が限界視差内で、遠置点が限界視差外の場合は、遠置点を限界視差点にシフトするが、処理の途中で近置点が限界視差点に到達すれば処理をやめる。
【０１１７】
図４４は合成位置のシフトによる画像端の欠落を示す。ここでは左眼画像２００と右眼画像２０２のシフト量が１画素であり、左眼画像２００の右端と右眼画像２０２の左端にそれぞれ１画素幅の欠落部分２６０が生じる。画像端調整部１６８はこのとき、図４４のように画像端の画素列を複製して水平画素数を補償する。
【０１１８】
これ以外の方法として、欠落部分２６０は黒または白など特定の色で表示してもよいし、非表示にしてもよい。さらに初期画像のサイズと同じになるように切り出しや付け加え処理を施してもよい。また、予め初期画像のサイズを実際の表示サイズより大きくしておき、欠落部分２６０が表示に影響しないよう配慮してもよい。
【０１１９】
図４５は第２の立体画像処理装置１００による視差の手動調整の流れである。同図のごとく、まず視差画像として左右画像が人手で作成され（Ｓ１０）、これがネットワークその他のルートで配布される（Ｓ１２）。これを第２の立体画像処理装置１００が受け取り（Ｓ１４）、この図の例では、まずはそのままシフトなしの通常の状態で画像を合成して表示する（Ｓ１６）。すなわち、ここでは適正視差がまだ取得されていない場合や位置シフト部１６０を動作させていない場合を考えている。つづいて、立体表示された視差画像に対してユーザが立体感調整部１１２を介して視差の調整を指示し、これを位置シフト部１６０が「手動調整モード」で受け、画像合成位置を調整して表示する（Ｓ１８）。なお、Ｓ１０とＳ１２は画像クリエータの手続２７０、Ｓ１４以降は第２の立体画像処理装置１００の手続２７２である。また、図示しないが、このシフト量をヘッダに記録し、次回から参照して合成すれば、再調整の手間が省ける。
【０１２０】
図４６は第２の立体画像処理装置１００による自動調整の流れを示す。画像クリエータの手続２７０である、左右画像の生成（Ｓ３０）、画像配布（Ｓ３２）は図４５と同じである。また、第２の立体画像処理装置１００の手続２７２のうち、画像受取（Ｓ３４）も同様である。つぎに、視差量検出部１５０のマッチング部１５８によって視差画像間に予め付けられている視差、とくに最大視差を検出し（Ｓ３６）、一方、視差情報保持部１２０から適正視差、とくに限界視差を取得する（Ｓ３８）。この後、位置シフト部１６０が前述の処理によって限界視差を満たすよう画像の合成位置をシフトし（Ｓ４０）、視差書込部１６４、画像端調整部１６８、フォーマット変換部１１６による処理を経て立体表示される（Ｓ４２）。
【０１２１】
図４７は、第２の立体画像処理装置１００によるさらに別の自動調整の流れを示す。画像クリエータの手続２７０で左右画像の生成（Ｓ５０）した後、この時点で最大視差を検出して（Ｓ５２）視差画像のいずれかの視点画像のヘッダへ記録しておく（Ｓ５４）。この検出は対応点マッチングで実施してもよいが、クリエータが手作業で視差画像を生成したときは、その編集過程で当然に既知であるため、これを記録すればよい。この後、画像を配布する（Ｓ５６）。
【０１２２】
一方、第２の立体画像処理装置１００の手続２７２のうち、画像受取（Ｓ５８）は図４６と同様である。つぎに、視差量検出部１５０のヘッダ検査部１５６によって前述の最大視差をヘッダから読み出す（Ｓ６０）。一方、視差情報保持部１２０から限界視差を取得し（Ｓ６２）、以下の処理Ｓ６４、Ｓ６６は図４６の処理Ｓ４０、Ｓ４２とそれぞれ同じである。この方法によれば、最大視差を計算する必要がない。また、画像全体に適切な立体感を実現できる。さらに、シフト量はヘッダに記録できるため、原画像自体を損なうおそれがない。なお、図示しないが、図４６でも検出された最大視差をヘッダに記録すれば、つぎからは図４７の手続にしたがって処理することができる。
【０１２３】
なお、多眼式でも同様の処理が可能で、それぞれ隣り合う視点画像間の視差量に対して同様の処理を行えばよい。ただし、実際にはそれら複数の視点画像間の視差のうちの最大の視差によって全視点画像間の「最大視差」とみなし、合成位置のシフト量を決めてもよい。
【０１２４】
ヘッダ情報は多視点画像の少なくともひとつにあればよいとしたが、多視点画像が１枚の画像に合成されている場合はその画像のヘッダを利用すればよい。
【０１２５】
さらに、すでに合成済みの画像が配布される場合もあるが、その場合はいちど逆変換処理で画像を分離し、合成位置シフト量を計算して再合成するか、それと結果が同じになるよう画素の並べ替え処理を行えばよい。
【０１２６】
図４８〜図５１は、合成位置のシフトをデプス情報付画像について行う処理を示す。これは第３の立体画像処理装置１００の二次元画像生成部１７８にて行われる。
図４８、図４９はそれぞれデプス情報付画像を構成する平面画像２０４とデプスマップである。ここでは近置デプスを正、遠置デプスを負で表している。オブジェクトとして第１四角形２５０、第２四角形２５２、第３四角形２５４が存在し、第１四角形２５０はデプス「４」、第２四角形２５２は「２」、第３四角形２５４は「−４」である。第１四角形２５０は最近置点、第２四角形２５２は中間近置点、第３四角形２５４が最遠置点にある。
【０１２７】
二次元画像生成部１７８は、もとの平面画像２０４を基礎として、まず、各画素をデプスマップの値分だけシフトさせる処理を行い、他方の視点画像を生成する。基準を左眼画像とすると、もとの平面画像２０４はそのまま左眼画像となる。第１四角形２５０を左に４画素、第２四角形２５２を左に２画素、第３四角形２５４を右に４画素シフトし、図５０のごとく、右眼画像２０２が作成される。画像端調整部１６８は、オブジェクトの移動による画素情報の欠落部分２６０を視差が「０」である、背景と判断される近接画素によって埋める。
【０１２８】
つづいて二次元画像生成部１７８は、適正視差を満たすデプスを計算する。デプスの範囲をＫ１〜Ｋ２とし、各画素のデプス値をＧｘｙとすると、デプスマップは図３７においてＨｘｙをＧｘｙへ変更した形になる。また、ユーザが保有する表示装置の適正視差がＪ１〜Ｊ２であることが分かったとする。この場合、そのデプスマップにおいて、各画素のデプス値Ｇは以下のように変換され、新しいデプス値Ｆｘｙが得られる。
【０１２９】
Ｆｘｙ＝Ｊ１＋（Ｇｘｙ−Ｋ１）×（Ｊ２−Ｊ１）／（Ｋ２−Ｋ１）
前述の例では、Ｋ１＝−４、Ｋ２＝４であり、また、Ｊ１＝−３、Ｊ２＝２であったとすると、この変換式により、図４９のデプスマップは図５１のデプスマップへ変換される。すなわち、「４」は「２」へ、「２」は「１」へ、「−４」は「−３」へそれぞれ変換される。Ｋ１とＫ２の間の中間値は、Ｊ１とＪ２の間に変換される。例えば第２四角形２５２はＧｘｙ＝２で、Ｆｘｙ＝０．７５となる。Ｆｘｙが整数にならない場合は、四捨五入や近置視差が小さくなるような処理を施せばよい。
【０１３０】
なお、上述の変換式は線形変換の例であるが、さらにＧｘｙに対する重み付け関数Ｆ（Ｇｘｙ）をかけたり、その他いろいろな非線形変換も考えられる。また、もとの平面画像２０４から、オブジェクトを互いに逆方向にシフトして新たに左右画像を生成することもできる。多眼式の場合は同様の処理を複数回行い、多視点画像を生成すればよい。
【０１３１】
以上が実施の形態に係る立体画像処理装置１００の構成および動作である。 立体画像処理装置１００は装置として説明したが、これはハードウエアとソフトウエアの組合せでもよく、ソフトウエアのみでも構成できる。その場合、立体画像処理装置１００の任意の部分をライブラリ化して各種プログラムから呼びだし可能にすると利便性が高い。プログラマは立体表示の知識が必要となる部分のプログラミングをスキップできる。ユーザにとっては、ソフトウエアやコンテンツによらず、立体表示に関する操作、すなわちＧＵＩが共通になり、設定した情報は他のソフトウエアでも共有できるため再設定の手間が省ける。
【０１３２】
なお、立体表示に関する処理ではなく、情報を複数のプログラム間で共有するだけでも有用である。各種プログラムはその情報を参照して画像の状態を決定できる。共有される情報の例は、前述の立体画像処理装置１００の情報取得部１１８で取得される情報である。この情報を図示しない記録部または補正マップ保持部１４０などに保持しておけばよい。
【０１３３】
図５２〜図５４は、以上の立体画像処理装置１００をライブラリとして利用する一例を示す。図５２は立体表示ライブラリ３００の用途を示す。立体表示ライブラリ３００は複数のプログラムＡ３０２、プログラムＢ３０４、プログラムＣ３０６などから関数を呼び出す形で参照される。パラメータファイル３１８には前述の情報のほか、ユーザの適正視差などが格納されている。立体表示ライブラリ３００はＡＰＩ（アプリケーションプログラムインタフェイス）３１０を介して複数の装置Ａ３１２、装置Ｂ３１４、装置Ｃ３１６などで利用される。
【０１３４】
プログラムＡ３０２等の例として、ゲーム、いわゆるＷｅｂ３Ｄと呼ばれる三次元アプリケーション、三次元デスクトップ画面、三次元地図、二次元画像である視差画像のビュア、デプス情報付画像などのビュアが考えられる。ゲームの中でも、当然ながら座標の使い方が違うものがあるが、立体表示ライブラリ３００はそれにも対応できる。
【０１３５】
一方、装置Ａ３１２等の例として、２眼や多眼のパララックスバリア式、シャッタめがね方式、偏光めがね方式など、視差を利用する任意の立体表示装置である。
【０１３６】
図５３は三次元データソフト４０２に立体表示ライブラリ３００が組み込まれた例を示す。三次元データソフト４０２はプログラム本体４０４と、そのために適正視差を実現する立体表示ライブラリ３００と、撮影指示処理部４０６を備える。プログラム本体４０４はユーザインタフェイス４１０を介してユーザと連絡する。撮影指示処理部４０６は、ユーザの指示にしたがって、プログラム本体４０４の動作中の所定の場面を仮想的にカメラ撮影する。撮影された画像は画像記録装置４１２に記録される。また、立体表示装置４０８へ出力される。
【０１３７】
たとえば三次元データソフト４０２がゲームソフトであるとする。その場合、ユーザはゲーム中は立体表示ライブラリ３００によって適切な立体感を体験しながらゲームを実行できる。ゲーム中、ユーザが記録に残したい場合、たとえば、対戦型戦闘ゲームで完全勝利をおさめたとき、ユーザインタフェイス４１０を介して撮影指示処理部４０６へ指示を出し、その場面を記録する。その際、立体表示ライブラリ３００を利用し、後に立体表示装置４０８で再生したときに適正視差となるよう視差画像が生成され、これが画像記録装置４１２の電子アルバム等へ記録される。なお、記録を視差画像という二次元画像で行うことにより、プログラム本体４０４の有する三次元データ自体は流出せず、著作権保護の面にも配慮することができる。
【０１３８】
図５４は、図５３の三次元データソフト４０２をネットワーク利用型のシステム４３０へ組み込んだ例を示す。
ゲーム機４３２は図示しないネットワークを介し、サーバ４３６と、ユーザ端末４３４に接続される。ゲーム機４３２は、いわゆるアーケードゲーム用で、通信部４４２、三次元データソフト４０２およびゲームをローカルに表示する立体表示装置４４０を備える。三次元データソフト４０２は図５３のものである。三次元データソフト４０２から立体表示装置４４０へ表示される視差画像は立体表示装置４４０について予め最適設定されている。三次元データソフト４０２による視差の調整は、後述のように通信部４４２を介してユーザへ画像を送信する際に利用される。ここで利用する表示装置は、視差を調整して立体画像を生成する機能を備えていればよく、必ずしも立体表示ができる装置でなくてもよい。
【０１３９】
ユーザ端末４３４は、通信部４５４、立体画像を見るためのビュアプログラム４５２および立体画像をローカルに表示する任意のサイズおよびタイプの立体表示装置４５０を備える。ビュアプログラム４５２には立体画像処理装置１００が実装されている。
【０１４０】
サーバ４３６は、通信部４６０、ゲームに関連してユーザが仮想的に撮影した画像を記録する画像保持部４６２、およびユーザの適正視差情報、ユーザのメールアドレスその他の個人情報などをユーザと対応づけて記録するユーザ情報保持部４６４を備える。サーバ４３６は例えばゲームの公式サイトとして機能し、ゲーム実行中にユーザが気に入った場面や名勝負の動画または静止画を記録する。立体表示は動画、静止画のいずれでも可能である。
【０１４１】
以上の構成における画像撮影の一例は以下の要領で行われる。ユーザは予めユーザ端末４３４の立体表示装置４５０で立体表示を行い、立体画像処理装置１００の機能をもとに適正視差を取得し、これを通信部４５４を介してサーバ４３６へ通知し、ユーザ情報保持部４６４へ格納してもらう。この適正視差は、ユーザの保有する立体表示装置４５０のハードウエアに関係のない汎用的な記述になっている。
【０１４２】
ユーザは任意のタイミングでゲーム機４３２によってゲームをする。その間、立体表示装置４４０には最初に設定されていた視差、またはユーザが手動調整した視差による立体表示がなされる。ゲームのプレイ中、またはリプレイ中、ユーザが画像の記録を希望すると、ゲーム機４３２の三次元データソフト４０２に内蔵された立体表示ライブラリ３００が、ふたつの通信部４４２、４６０を介してサーバ４３６のユーザ情報保持部４６４からこのユーザの適正視差を取得し、それに合わせて視差画像を生成し、再びふたつの通信部４４２、４６０を介して画像保持部４６２へ仮想的に撮影された画像に関する視差画像を格納する。ユーザは自宅へ帰ったのち、この視差画像をユーザ端末４３４へダウンロードすれば、所望の立体感で立体表示ができる。その際も、ビュアプログラム４５２のもつ立体画像処理装置１００により、視差の手動調整は可能である。
【０１４３】
以上、この応用例によれば、本来、表示装置のハードウエアごと、ユーザごとに設定しなければならない立体感に関するプログラミングが立体画像処理装置１００および立体表示ライブラリ３００に集約されており、ゲームソフトのプログラマは立体表示に関する複雑な要件を一切気にする必要がない。これはゲームソフトに限らず、立体表示を利用する任意のソフトウエアについても同様であり、立体表示を利用するコンテンツやアプリケーションの開発の制約を解消する。したがって、これらの普及を飛躍的に促進することができる。
【０１４４】
とくに、もともと三次元のＣＧデータが存在するゲームその他のアプリケーションの場合、従来は的確な立体表示をコーディングすることが困難であることも大きな原因となって、せっかく三次元データをもちながら、それを立体表示に利用しなかったことも多い。実施の形態に係る立体画像処理装置１００または立体表示ライブラリ３００によれば、そうした弊害を除去でき、立体表示アプリケーションの充実化に寄与することができる。
【０１４５】
なお、図５４ではユーザの適正視差をサーバ４３６に登録したが、ユーザはその情報を記録したＩＣカードなどを持参してゲーム機４３２を利用してもよい。このカードに、このゲームに関する得点や気に入った画像を記録してもよい。
【０１４６】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、そうした例を挙げる。
【０１４７】
第１の立体画像処理装置１００は、三次元データを入力することにより、高い精度で処理が可能である。しかし、三次元データをいったんデプス情報付画像へ落とし、これに対して第３の立体画像処理装置１００を利用して視差画像を生成してもよい。場合により、そのほうが計算コストが低いことがある。同じように複数の視点画像を入力する際も、高精度の対応点マッチングを用いてデプスマップを作ることも可能で、このようにしてデプス情報付画像へ落とし、これに対して第３の立体画像処理装置１００を利用して視差画像を生成してもよい。
【０１４８】
第１の立体画像処理装置１００において、カメラ仮配置部１３０を立体画像処理装置１００の構成としたが、これは立体画像処理装置１００の前処理であってもよい。カメラの仮配置までは、適正視差に関係なく処理できるためである。同様に、第１、第２、第３の立体画像処理装置１００を構成する任意の処理ユニットを立体画像処理装置１００の外部へ出すことも可能であり、立体画像処理装置１００の構成の自由度の高さは当業者に理解されるところである。
【０１４９】
実施の形態では、視差の制御を水平方向に行う場合を説明したが、同様の処理は垂直方向についても実施できる。
【０１５０】
立体表示ライブラリ３００や立体画像処理装置１００の動作中は、文字データを拡大処理するユニットを設けてもよい。たとえば水平２視点による視差画像の場合、ユーザの目に見える画像の水平解像度は１／２になる。その結果、文字の可読性が低下しうるので、水平方向へ２倍に文字を引き延ばす処理が有効である。垂直方向にも視差がある場合、同様に垂直方向へ文字を引き延ばすことも有用である。
【０１５１】
立体表示ライブラリ３００や立体画像処理装置１００の動作中は、表示している画像に「３Ｄ」などの文字やマークを入れる「動作中表示部」を設けてもよい。その場合、ユーザは視差の調整が可能な画像であるか否かを知ることができる。
【０１５２】
立体表示／通常表示の切替ユニットを設けてもよい。このユニットはＧＵＩを含み、ユーザが所定のボタンをクリックすると、表示が立体表示から通常の二次元表示に切り替わり、その反対も可能な構成とすれば便利である。
【０１５３】
情報取得部１１８は必ずしもユーザ入力により情報を取得するのではなく、プラグアンドプレイなどの機能により自動的に取得できる情報があってもよい。
【０１５４】
実施の形態では、ＥとＡを導出する方法をとったが、これらを固定し、他のパラメータを導出する方法であってもよく、変数の指定は自由である。
【０１５５】
【発明の効果】
本発明によれば、以下のような効果がある。
１．人の生理に適合しやすい立体画像を生成または表示できる。
２．表示対象画像が変わってもユーザに適切な立体画像を生成または表示できる。
３．簡単な操作で立体表示の立体感を調整できる。
４．適切な立体表示が可能なコンテンツまたはアプリケーションづくりに際し、プログラマの負担を軽減できる。
５．立体表示を最適化しようとするユーザの手間が軽減される。
６．通常、プラグアンドプレイ機能の対象にならない立体感調整やヘッドトラッキング情報を容易に実現でき、後付のパララックスバリアのように、原理上プラグアンドプレイができない装置についても同様である。
【図面の簡単な説明】
【図１】 理想的な立体視ができているユーザ、スクリーン、再生オブジェクト１４の位置関係を示す図である。
【図２】 図１の状態を実現する撮影系の例を示す図である。
【図３】 図１の状態を実現する撮影系の別の例を示す図である。
【図４】 図１の状態を実現する撮影系の別の例を示す図である。
【図５】 第１の立体画像処理装置に利用するモデル座標系を示す図である。
【図６】 第１の立体画像処理装置に利用するワールド座標系を示す図である。
【図７】 第１の立体画像処理装置に利用するカメラ座標系を示す図である。
【図８】 第１の立体画像処理装置に利用するビューボリュームを示す図である。
【図９】 図８のボリュームの透視変換後の座標系を示す図である。
【図１０】 第１の立体画像処理装置に利用するスクリーン座標系を示す図である。
【図１１】 第１の立体画像処理装置の構成図である。
【図１２】 第２の立体画像処理装置の構成図である。
【図１３】 第３の立体画像処理装置の構成図である。
【図１４】 図１４（ａ）、図１４（ｂ）は、それぞれ、第１の立体画像処理装置の立体感調整部によって表示される左眼画像と右眼画像を示す図である。
【図１５】 第１の立体画像処理装置の立体感調整部によって表示される、異なる視差をもつ複数のオブジェクトを示す図である。
【図１６】 第１の立体画像処理装置の立体感調整部によって表示される、視差が変化するオブジェクトを示す図である。
【図１７】 適正視差が実現される際のカメラ画角、画像サイズ、視差の関係を示す図である。
【図１８】 図１７の状態を実現する撮影系の位置関係を示す図である。
【図１９】 図１７の状態を実現する撮影系の位置関係を示す図である。
【図２０】 多視点画像を適正視差で生成する際のカメラ配置を示す図である。
【図２１】 第１の立体画像処理装置の歪処理部が利用する視差補正マップを示す図である。
【図２２】 図２１の視差補正マップにしたがって視差画像を生成する際のカメラ視点を示す図である。
【図２３】 図２１の視差補正マップにしたがって視差画像を生成する際の別のカメラ視点を示す図である。
【図２４】 第１の立体画像処理装置の歪処理部が利用する視差補正マップを示す図である。
【図２５】 図２４の視差補正マップにしたがって視差画像を生成する際のカメラ視点を示す図である。
【図２６】 第１の立体画像処理装置の歪処理部が利用する距離感補正マップを示す図である。
【図２７】 図２６の距離感補正マップにしたがって視差画像を生成する際のカメラ視点を示す図である。
【図２８】 第１の立体画像処理装置の歪処理部が利用する別の距離感補正マップを示す図である。
【図２９】 図２８の距離感補正マップにしたがって視差画像を生成する際のカメラ視点を示す図である。
【図３０】 図３０（ａ）、図３０（ｂ）、図３０（ｃ）、図３０（ｄ）、図３０（ｅ）、図３０（ｆ）は、いずれも第１の立体画像処理装置の歪処理部が三次元空間に処理を施した結果得られる視差分布の上面図である。
【図３１】 第１の立体画像処理装置の歪処理部による処理の原理を示す図である。
【図３２】 図３１の処理を具体的に示す図である。
【図３３】 図３１の処理を具体的に示す図である。
【図３４】 図３１の処理を具体的に示す図である。
【図３５】 第１の立体画像処理装置の歪処理部による処理の別の例を示す図である。
【図３６】 図３５の処理を具体的に示す図である。
【図３７】 デプスマップを示す図である。
【図３８】 第３の立体画像処理装置の歪処理部による処理の例を示す図である。
【図３９】 第３の立体画像処理装置の歪処理部による処理によって生成されたデプスマップを示す図である。
【図４０】 第３の立体画像処理装置の歪処理部による処理の別の例を示す図である。
【図４１】 第２の立体画像処理装置の二次元画像生成部による処理の例を示す図である。
【図４２】 視差画像の例を示す図である。
【図４３】 第２の立体画像処理装置の二次元画像生成部によって合成位置がシフトされた視差画像を示す図である。
【図４４】 第２の立体画像処理装置の画像端調整部の処理を示す図である。
【図４５】 第２の立体画像処理装置の処理を示す図である。
【図４６】 第２の立体画像処理装置の別の処理を示す図である。
【図４７】 第２の立体画像処理装置の別の処理を示す図である。
【図４８】 デプスマップが付加された平面画像を示す図である。
【図４９】 デプスマップを示す図である。
【図５０】 第２の立体画像処理装置の二次元画像生成部でデプスマップをもとに視差画像を生成する様子を示す図である。
【図５１】 第２の立体画像処理装置の二次元画像生成部で補正されたデプスマップを示す図である。
【図５２】 実施の形態に係る立体画像処理装置をライブラリ化して利用する様子を示す図である。
【図５３】 立体表示ライブラリを三次元データソフトに組み込んだ構成図である。
【図５４】 立体表示ライブラリをネットワーク利用型のシステムで利用する様子を示す図である。
【符号の説明】
１０ ユーザ、 １２ スクリーン、 １４ 再生オブジェクト、 ２０ 現実のオブジェクト、 ２２，２４，２６，２８ カメラ、 ３０ 前方投影面、３２ 後方投影面、 １００ 立体画像処理装置、 １１２ 立体感調整部、１１４，１５２，１７０ 視差制御部、 １１６ フォーマット変換部、 １１８ 情報取得部、 １２２ 指示取得部、 １２４ 視差特定部、 １３２ カメラ配置決定部、 １３６，１７４ 歪処理部、 １４０，１７６ 補正マップ保持部、 １４２ 二次元画像生成部、 １５０ 視差量検出部、 １５６ ヘッダ検査部、 １５８ マッチング部、 １６０ 位置シフト部、 １６４ 視差書込部、 １６８ 画像端調整部、 １７８ 二次元画像生成部、 ２１０光軸交差面、 ３００ 立体表示ライブラリ、 ４０２ 三次元データソフト、 ４０６ 撮影指示処理部、 ４３０ ネットワーク利用型のシステム、 ４３２ ゲーム機、 ４３４ ユーザ端末、 ４３６ サーバ、 ４５２ ビュアプログラム。

Claims (8)

1. 立体画像を表示するための複数の視点画像間の視差を補正する視差制御部と、
   前記視差制御部がその処理の際に参照すべき補正マップを保持するマップ保持部と、を含み、
   前記補正マップは、前記視差の補正量が視点画像内の位置に対応して変化するよう記述されており、
   前記視差制御部は、前記複数の視点画像の周辺部において視差を小さくし、または、周辺部のオブジェクトがユーザからより遠くに感知されるよう前記視差を変化させることを特徴とする立体画像処理装置。
2. 前記視差制御部は、前記複数の視点画像のいずれかに選択的に処理を施すことによって前記視差を変化させることを特徴とする請求項１記載の立体画像処理装置。
3. 前記複数の視点画像は三次元データを起点として生成されるものであり、
   前記視差制御部は、前記複数の視点画像の生成にあたって、カメラパラメータを制御して前記視差を変化させることを特徴とする請求項１又は２記載の立体画像処理装置。
4. 前記複数の視点画像は三次元データを起点として生成されるものであり、
   前記視差制御部は、前記複数の視点画像の生成にあたって、三次元空間自体を歪ませることにより前記視差を変化させることを特徴とする請求項１記載の立体画像処理装置。
5. 前記複数の視点画像は、デプス情報が与えられている平面画像から生成されるものであり、前記視差制御部はそのデプス情報を操作することによって前記視差を変化させることを特徴とする請求項１記載の立体画像処理装置。
6. 立体画像を表示するための複数の視点画像を取得する画像取得ステップと、
   取得された前記複数の視点画像間の視差を、その補正量がそれら視点画像内の位置に対応して変化するように変化させる視差補正ステップと、含み、
   前記視差補正ステップにおいて、前記複数の視点画像の周辺部において視差が小さくなるような視差の補正、または、周辺部のオブジェクトがユーザからより遠くに感知されるような視差の補正を行うことを特徴とする立体画像処理方法。
7. 前記の各ステップを立体表示用ライブラリの機能として実装し、複数のプログラムからこのライブラリの機能を関数として呼出可能に構成したことを特徴とする請求項６に記載の立体画像処理方法。
8. 立体画像を表示するための複数の視点画像を取得する画像取得ステップと、
   取得された前記複数の視点画像間の視差を、その補正量がそれら視点画像内の位置に対応して変化するように変化させる視差補正ステップと、をコンピュータに実行せしめるコンピュータプログラムであって、
   前記視差補正ステップにおいて、前記複数の視点画像の周辺部において視差が小さくなるような視差の補正、または、周辺部のオブジェクトがユーザからより遠くに感知されるような視差の補正を行うことを特徴とするコンピュータプログラム。

Images