JP3702243B2 - 立体画像処理方法および装置 - Google Patents
立体画像処理方法および装置 Download PDFInfo
- Publication number
- JP3702243B2 JP3702243B2 JP2002087496A JP2002087496A JP3702243B2 JP 3702243 B2 JP3702243 B2 JP 3702243B2 JP 2002087496 A JP2002087496 A JP 2002087496A JP 2002087496 A JP2002087496 A JP 2002087496A JP 3702243 B2 JP3702243 B2 JP 3702243B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image
- stereoscopic
- viewpoint images
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【発明の属する技術分野】
この発明は立体画像処理技術、とくに、視差画像をもとに立体画像を生成または表示する方法および装置に関する。
【0002】
【従来の技術】
近年、ネットワークインフラの未整備が問題視されてきたが、ブロードバンドへの移行期を迎え、むしろ、広い帯域を有効活用するコンテンツの種類や数の少なさが目立ち始めている。映像はいつの時代でも、もっとも重要な表現手段であったが、いままでの取り組みの多くは表示品質やデータ圧縮率の改善に関するものであり、それらに比べると、表現の可能性自体を広げる技術的な取り組みは、後手にまわっている感がある。
【0003】
そうした中で、立体映像表示(以下、単に立体表示という)は、以前からいろいろ研究され、劇場用途や特殊な表示装置を利用する、ある程度限られた市場で実用化されてきた。今後は、より臨場感の溢れるコンテンツの提供を目指してこの方面の研究開発が加速し、個人ユーザが家庭でも立体表示を楽しむ時代が来るものと思われる。
【0004】
【発明が解決しようとする課題】
そうした流れの中にあって、立体表示には以前よりいくつかの課題が指摘されている。たとえば、立体感を創生する原因となる視差の適正化が難しい。もともと、本当に三次元のオブジェクトを映し出しているのではなく、その映像を左右両目に対して画素単位でずらして投じているのであり、その人工的な立体感に自然な感じをもたせるのは容易ではない。
【0005】
また、視差の付けすぎも問題になることがあり、立体映像の観察者(以下、単にユーザともいう)によっては、軽い不快感を訴える場合がある。もちろんこれには、立体表示だけではなく、表示されているシーンと自己の周囲の状況ないし感覚が一致しないなど、種々の要因がある。しかし、経験則からいえば、そうした問題は視差が大きすぎる、換言すれば、立体感が強すぎる場合に観察されやすい。
【0006】
以上は人間の生理上のはなしであるが、それとは別に、立体映像のコンテンツやアプリケーションの普及を阻む技術要因がある。立体視は視差によって実現するが、仮に視差を左右画像の画素のずれ量で表現しても、表示装置のハードウエアの差違により、同じ立体映像が適切に立体視できる場合とそうでない場合がある。遠方を表現する視差が眼間距離を超えてしまうと、理論的に立体視ができない。今日のように、表示装置の解像度やスクリーンサイズがPC(パーソナルコンピュータ)、テレビジョン受像機、携帯機器など多様化する中、いろいろなハードウエアを考えて立体表示のために最適なコンテンツを作るのは難題であり、あるいは、そのための方法論が与えられていないというほうがより正確である。
【0007】
また仮に、その方法論が与えられたとしても、それを一般のプログラマが理解し、コンテンツおよびアプリケーションの作成に利用することを期待するのは難しいであろう。
【0008】
本発明はこうした背景に鑑みてなされたものであり、その目的は、人の生理に適合しやすい立体画像を生成または表示することにある。別の目的は、表示対象画像や表示装置が変わってもユーザに適切な立体画像を生成または表示することにある。さらに別の目的は、立体表示がなされているときに、簡単な操作でその立体感を調整することにある。さらに別の目的は、適切な立体表示が可能なコンテンツまたはアプリケーションづくりに際し、プログラマの負担を軽減することにある。さらに別の目的は、適切な立体表示を実現する技術をビジネスのモデルとして提供することにある。
【0009】
【課題を解決するための手段】
本発明の基礎をなす発明者の知見は、適正視差をいったん表示装置のハードウエアやユーザと表示装置の距離などの要素(以下、これらを統括的に「ハードウエア」と表現する)から切り離すことにある。すなわち、適正視差の表現を後述のカメラ間隔と光軸交差位置で一般化することにより、いったんハードウエアに依存しない汎用的な形で記述する。「ハードウエアに依存しない」とは、表示装置に固有のハードウエア情報の読み出しが原則的に不要という意味であり、この汎用的な記述がなされれば、あとはその適正視差に基づいて視差画像を生成または調整すれば、所望の立体表示が実現する。
【0010】
適正視差の取得、および画像の立体表示の際にその適正視差を実現する制御をライブラリで提供することにより、一般のプログラマはこのライブラリを呼び出せば複雑な立体視の原理やプログラミングを意識せず適正な立体表示が実現する。
【0011】
本発明のいろいろな態様のうち、第1グループは、ユーザの応答をもとに適正視差を取得する技術を基本とする。この技術は、ユーザによる視差の「初期設定」に利用でき、いちど適正視差が装置内に取得されれば、以降、別の画像の表示の際にもその適正視差が実現される。ただし、この技術は初期設定にとどまらず、ユーザが適宜表示中の画像の視差を調整する「手動調整」にも利用される。以下、第1グループに関する。
【0012】
本発明は、立体画像処理装置に関し、異なる視差に対応する複数の視点画像をもとに表示された立体画像に対するユーザの応答を取得する指示取得部と、取得された応答をもとに、そのユーザに関する適正視差を特定する視差特定部とを含む。
【0013】
指示取得部は、たとえばGUI(グラフィカルユーザインタフェイス、以下同様)として提供され、まず視点画像間の視差を変えながら表示する。ユーザは自分が好む立体感になったとき、ボタン操作などによってその旨を入力する。
【0014】
「立体画像」とは立体感をもって表示された画像であり、そのデータの実体は、複数の画像に視差をもたせた「視差画像」である。視差画像は一般に複数の二次元画像の集合である。視差画像を構成する各画像は、それぞれが対応する視点を有する「視点画像」である。つまり、複数の視点画像によって視差画像が構成され、それを表示すると立体画像として表示される。立体画像の表示を単に「立体表示」ともいう。
【0015】
「視差」とは、立体感を生むためのパラメータであり、いろいろな定義が可能だが、一例として視点画像間の同じ点を表す画素のシフト量で表現できる。以下、本明細書では、とくに断らない限り、その定義にしたがう。
【0016】
適正視差は範囲指定してもよい。その場合、その範囲の両端を「限界視差」と呼ぶことにする。「適正視差の特定」は、後述の近置オブジェクトの視差として許容できる最大値で行ってもよい。
【0017】
本発明の立体画像処理装置はさらに、特定された適正視差が別の画像の表示の際にも実現されるよう処理を施す視差制御部を含んでもよい。別の画像が三次元データを起点として生成される立体画像であるとき、視差制御部は前記の適正視差にしたがってその立体画像を生成する複数の視点を決定してもよい。より具体的には、複数の視点間の距離とそれらの視点からオブジェクトを見込む光軸の交差位置を決定してもよい。これらの処理の一例は、後述のカメラ配置決定部によってなされる。これらの処理をリアルタイムにすれば、常に最適な立体表示が実現する。
【0018】
視差制御部は、表示の対象となる所定の基本三次元空間について適正視差が実現するよう制御してもよい。この処理の一例は、後述の投影処理部によってなされる。
【0019】
視差制御部は、三次元空間において最も近置されるオブジェクトの座標と最も遠置されるオブジェクトの座標について前記適正視差が実現するよう制御してもよい。この処理の一例は、後述の投影処理部によってなされる。オブジェクトは静的でもよい。
【0020】
「近置」は複数の視点にそれぞれ置かれたカメラの視線、すなわち光軸の交差位置(以下、「光軸交差位置」という)にある面(以下、「光軸交差面」という)より前に立体視されるような視差がつけられている状態を指す。「遠置」は逆に光軸交差面よりうしろに立体視されるような視差がつけられている状態を指す。近置オブジェクトの視差が大きくなるほどユーザに近づいて感知され、遠置オブジェクトの視差が大きくなるほどユーザから遠ざかって見える。すなわち、特に断らないかぎり、視差は近置、遠置で正負が反転せず、ともに非負の値として定義し、光軸交差面において近置視差、遠置視差ともにゼロとする。
【0021】
表示されるオブジェクトや空間のうち、視差のない部分について、光軸交差面は表示装置のスクリーン面に一致する。なぜなら、視差がつけられていない画素は、左右両眼から見込む視線がちょうどスクリーン面内の同じ位置に到達し、すなわち、そこで交差するためである。
【0022】
前記の別の画像がすでに視差が与えられている複数の二次元画像である場合、視差制御部は適正視差にしたがってそれら複数の二次元画像の水平方向のシフト量を定めてもよい。この態様では、立体表示のための入力が三次元データを起点として高い自由度をもって生成されるのではなく、すでに生成されている視差画像であり、視差は固定されている。この場合、もとの三次元空間、あるいは実際に撮影された実空間に戻ってカメラ位置を変更して再描画、あるいは再撮影する処理ができない。そのため、視差画像を構成する視点画像、またはそれらに含まれる画素を水平へシフトして視差を調整する。
【0023】
前記の別の画像はデプス情報が与えられている平面画像(以下これを「デプス情報付画像」ともいう)の場合、視差制御部は適正視差にしたがってそのデプスを調整してもよい。この処理の一例は、後述の第3の立体画像処理装置の二次元画像生成部によってなされる。
【0024】
この立体画像処理装置は、適正視差を記録する視差保持部をさらに含み、視差制御部は、所定のタイミング、例えばこの装置の起動時や、この装置が有する立体画像処理機能またはその一部が起動されたときなどにおいて適正視差を読み込み、その値を初期値として処理を施してもよい。すなわち、「起動」はハードウエア的な意味でもソフトウエア的な意味でもよい。この態様によれば、ユーザがいちど適正視差を決めれば、以降、立体感調整のための自動処理が実現する。これは「適正視差の初期設定」とでもよぶ機能である。
【0025】
本発明の別の態様は、立体画像処理方法に関し、異なる視差による複数の立体画像をユーザに表示するステップと、表示された立体画像に対するユーザの応答をもとにそのユーザに関する適正視差を特定するステップとを含む。
【0026】
本発明のさらに別の態様も立体画像処理方法に関し、ユーザに依存する適正視差を取得するステップと、取得した適正視差が実現されるよう、表示前に画像に処理を加えるステップとを含む。ここで「取得」は積極的に特定する処理であってもよいし、前記の視差保持部等から読み込む処理であってもよい。
【0027】
これら各ステップを立体表示用ライブラリの機能として実装し、複数のプログラムからこのライブラリの機能を関数として呼出可能に構成すれば、プログラマがいちいち立体表示装置のハードウエアを考慮してプログラムを記述する必要がなくなり、効果的である。
【0028】
本発明の第2グループは、ユーザの指示をもとに視差を調整する技術を基本とする。この技術は、ユーザによる視差の「手動調整」に利用でき、ユーザは適宜表示中の画像の立体感を変更できる。ただし、この技術は手動調整にとどまらず、ある画像を立体表示する際、前述の適正視差を読み込み、その画像の視差を自動調整する際にも利用できる。第1グループの自動調整との違いは、第2グループの自動調整が二次元の視差画像またはデプス情報付画像に対して作用する点であり、三次元データまで遡って視差を変更する場合は第1グループの技術を利用する。以下、第2グループに関する。
【0029】
本発明のある態様は立体画像処理装置に関し、複数の視点画像から表示された立体画像に対するユーザの指示を取得する指示取得部と、取得された指示にしたがい、前記複数の視点画像間の視差量を変化させる視差制御部とを含む。この処理の一例は後述の図45に示され、「手動調整」の典型例である。ユーザの指示は、たとえばボタン操作など、簡単なGUIで提供すれば利便性が高い。
【0030】
本発明の別の態様も立体画像処理装置に関し、複数の視点画像から立体画像を表示するときに生じる第1の視差量を検出する視差量検出部と、第1の視差量が、ユーザの許容視差量である第2の視差量の範囲に入るよう前記複数の視点画像間の視差量を変化させる視差制御部とを含む。これは「自動調整」の典型例であり、第2の視差量として前述の適正視差が利用できる。この処理の一例は、後述の図46に示される。
【0031】
視差量検出部は第1の視差量の最大値を検出し、視差制御部は、その最大値が第2の視差量の最大値を超えないよう複数の視点画像間の視差量を変化させてもよい。視差の付きすぎによる過度な立体感を避けるため、視差量の最大値、すなわち限界視差を守る意図である。ここでいう最大値は、近置側の最大値と考えてもよい。
【0032】
視差量検出部は、複数の視点画像間で対応点マッチングを計算して第1の視差量を検出したり、または複数の視点画像のいずれかのヘッダに予め記録された第1の視差量を検出してもよい。これらの処理の一例は後述の図47に示される。
【0033】
視差制御部は、複数の視点画像の合成位置をシフトすることにより複数の視点画像間の視差量を変化させてもよい。これは図45〜47に共通である。合成位置のシフトは、画素または画像全体を単位とする水平または垂直方向のシフトである。入力がデプス情報付画像の場合、視差制御部は、デプス情報を調整して視差量を変化させてもよい。
【0034】
本発明の別の態様は立体画像処理方法に関し、複数の視点画像をもとに表示された立体画像に対するユーザの指示を取得するステップと、その指示にしたがい、前記複数の視点画像間の視差量を変化させるステップとを含む。
【0035】
本発明のさらに別の態様も立体画像処理方法に関し、複数の視点画像から立体画像を表示するときに生じる第1の視差量を検出するステップと、第1の視差量が、ユーザの許容視差量である第2の視差量の範囲に入るよう複数の視点画像間の視差量を変化させるステップとを含む。
【0036】
これら各ステップを立体表示用ライブラリの機能として実装し、複数のプログラムからこのライブラリの機能を関数として呼出可能に構成してもよい。
【0037】
本発明の第3グループは、画像内位置に基づいて視差を補正する技術を基本とする。この「自動補正」は立体表示に対するユーザの違和感または拒絶感を軽減するよう作用し、第1、第2グループの技術と併用できる。一般に、立体表示の際、画像端部に近いほど複数の視点画像がずれて観察されたり、違和感を産みやすいなど、技術上または生理上の問題点が指摘される。第3グループでは、画像端に近い部分で視差を減らし、またはオブジェクトが近置側から遠置側へ移動するよう視差を調整するなどの処理により、この問題の軽減を図る。以下、第3グループに関する。
【0038】
本発明のある態様は立体画像処理装置に関し、立体画像を表示するための複数の視点画像間の視差を補正する視差制御部と、視差制御部がその処理の際に参照すべき補正マップを保持するマップ保持部とを含み、この補正マップは、視差が視点画像内の位置に基づいて補正されるよう記述されている。補正マップには、視差補正マップ、距離感補正マップなどがある。
【0039】
視差制御部は、例えば複数の視点画像の周辺部において視差を小さくするか、またはオブジェクトがユーザからより遠くに感知されるよう視差を変化させる。視差制御部は、複数の視点画像のいずれかに選択的に処理を施すことによって視差を変化させてもよい。
【0040】
複数の視点画像は三次元データから生成されるもの、すなわち、三次元空間まで戻って視点画像を生成できる場合には、視差制御部は複数の視点画像の生成にあたって、カメラパラメータを制御して視差を変化させてもよい。カメラパラメータとして、左右カメラの間隔、カメラからオブジェクトを見込む角度、または光軸交差位置などがある。
【0041】
同様に、複数の視点画像が三次元データから生成される場合、視差制御部は複数の視点画像の生成にあたって、三次元空間自体を例えばワールド座標系において歪ませることにより視差を変化させてもよい。一方、複数の視点画像がデプス情報付画像から生成される場合、視差制御部はそのデプス情報を操作することによって視差を変化させてもよい。
【0042】
本発明の別の態様は立体画像処理方法に関し、立体画像を表示するための複数の視点画像を取得するステップと、取得された前記複数の視点画像間の視差をそれら視点画像内の位置に基づいて変化させるステップとを含む。これらのステップを立体表示用ライブラリの機能として実装し、複数のプログラムからこのライブラリの機能を関数として呼出可能に構成してもよい。
【0043】
本発明の第4グループは、第1〜第3グループおよびその関連機能をソフトウエアライブラリとして提供し、プログラマおよびユーザの負担を軽減し、立体画像表示アプリケーションの普及を促進する技術に関する。以下、第4グループに関する。
【0044】
本発明のある態様は立体画像処理方法に関し、立体画像表示に関連する情報をメモリ上に保持し、その保持された情報を複数の異なるプログラム間で共有し、それらのプログラムのいずれかが立体画像を表示する際、保持された情報を参照して出力すべき画像の状態を決定する。画像の状態の例は、視差画像にどの程度の視差が与えられているか、その程度である。
【0045】
「保持された情報」は、立体画像表示装置に入力される画像のフォーマット、視点画像の表示順序、視点画像間の視差量のいずれかの情報を含んでもよい。また、保持された情報の共有に加え、立体画像表示固有の処理を複数のプログラムで共有してもよい。「立体画像表示固有の処理」の一例は、保持された情報を決定するための処理である。別の例は、適正視差を決定するためのグラフィカルユーザインタフェイスに関する処理、適正視差状態の実現を支援する視差調整用画面の表示処理、ユーザの頭位置を検出して追跡する処理、立体表示装置を調整するための画像を表示する処理などである。
【0046】
本発明の別の態様は、立体画像処理装置に関し、立体表示画像の立体感を調整するためのグラフィカルユーザインタフェイスをユーザに提供する立体感調整部と、ユーザによる立体感の調整の結果判明する限界視差を守る形で視差画像を生成する視差制御部とを含む。
【0047】
この装置はさらに、立体画像表示を適正化するために参照すべき情報を取得する情報検出部と、取得された情報にしたがって前記視差制御部で生成された視差画像のフォーマットを変換する変換部とを含んでもよい。
【0048】
視差制御部は、三次元データに基づき、カメラパラメータを制御して、限界視差を守りつつ視差画像を生成してもよいし、デプス情報付画像のデプスを制御して視差画像を生成してもよいし、視差のある複数の二次元画像の水平方向のシフト量を定めた後、視差画像を生成してもよい。
【0049】
本発明の第5グループは、以上の立体画像処理技術またはその関連技術を用いたひとつのアプリケーション、またはビジネスモデルに関する。第4グループのソフトウエアライブラリが利用可能である。以下、第5グループに関する。
【0050】
本発明のある態様は立体画像処理方法に関し、視差画像を立体表示するための適正視差をいったん表示装置のハードウエアに依存しない表現形式へ変換し、この表現形式による適正視差を異なる表示装置間で流通する。
【0051】
本発明の別の態様も立体画像処理方法に関し、第1の表示装置にて取得されたユーザの適正視差を第2の表示装置に読み込むステップと、第2の表示装置にて前記適正視差にしたがって視差画像間の視差を調整するステップと、第2の表示装置から調整後の視差画像を出力するステップとを含む。例えば、第1の表示装置がユーザの通常利用する装置、第2の表示装置が別の個所に設けられた装置である。
【0052】
本発明の別の態様は、立体画像処理装置に関し、ネットワークを介して接続された第1の表示装置、第2の表示装置およびサーバを含み、第1の表示装置は、当該装置にて取得されたユーザの適正視差情報をサーバに送信し、サーバは適正視差情報を受信してこれをユーザと関連づけて記録し、ユーザが第2の表示装置にて画像データの出力を要求したとき、当該装置はサーバからそのユーザの適正視差情報を読み出して視差を調整したのち視差画像を出力する。
【0053】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【0054】
【発明の実施の形態】
図1はユーザ10、スクリーン12、立体表示される再生オブジェクト14の位置関係を示す。ユーザ10の眼間距離がE、ユーザ10とスクリーン12の距離がD、表示されたときの再生オブジェクト14の幅がWである。再生オブジェクト14は立体表示されているため、スクリーン12よりも近くに感知される画素、すなわち近置される画素と、スクリーン12よりも遠くに感知される画素、すなわち遠置される画素を有する。視差が付けられていない画素はスクリーン12上でちょうど両目から同じ位置に見えるため、スクリーン12上に感知される
。
【0055】
図2は、図1の理想的な表示を生成するための撮影系を示す。二台のカメラ22、24の間隔をEとし、それらから現実のオブジェクト20を見たときの光軸交差位置までの距離(これを光軸交差距離という)をDとし、スクリーン12と同じ幅を見込む画角で、幅が現実にWであるオブジェクト20を撮影すれば、ふたつのカメラから視差画像が得られる。これを図1のスクリーン12へ表示すれば、図1の理想状態が実現する。
【0056】
図3、図4は、それぞれ図2の位置関係をA倍(A<1)、B倍(B>1)した状態を示す。これらの位置関係で得られた視差画像でも、図1の理想状態が実現する。すなわち、理想的な立体表示の基本は、W:D:Eを一定にすることからはじまる。この関係が視差の付け方の基礎にもなる。
【0057】
図5から図10は、実施の形態においてオブジェクト20の三次元データをもとに立体表示がなされるまでの処理の大筋を示す。
図5はモデル座標系、すなわち、個々の三次元オブジェクト20がもっている座標空間である。この空間で、オブジェクト20をモデリングしたときの座標を与える。通常はオブジェクト20の中心に原点をもってくる。
【0058】
図6はワールド座標系を示す。ワールド空間は、オブジェクト20や床、壁を配置してシーンが形成される広い空間である。図5のモデリングと図6のワールド座標系の確定までを「三次元データの構築」と認識できる。
【0059】
図7はカメラ座標系を示す。ワールド座標系の任意の位置から任意の方向に任意の画角でカメラ22を据えることにより、カメラ座標系への変換が行われる。カメラの位置、方向、画角がカメラパラメータである。立体表示の場合は、ふたつのカメラについてパラメータを定めるため、カメラ間隔と光軸交差位置も決める。また、ふたつのカメラの中点を原点にするために、原点移動も行われる。
【0060】
図8、図9は透視座標系を示す。まず図8のように、表示すべき空間を前方投影面30と後方投影面32でクリッピングする。後述するように、実施の形態のひとつの特徴は、近置最大視差点のある面を前方投影面30とし、遠置最大視差点のある面を後方投影面32にすることにある。クリッピングの後、このビューボリュームを図9のように直方体へ変換する。図8と図9の処理を投影処理ともよぶ。
【0061】
図10はスクリーン座標系を示す。立体表示の場合、複数のカメラそれぞれからの画像をそれぞれスクリーンのもっている座標系へ変換し、複数の二次元画像、すなわち視差画像を生成する。
【0062】
図11、図12、図13は、それぞれ一部が異なる立体画像処理装置100の構成を示す。以下、便宜上、それらの立体画像処理装置100をそれぞれ第1、第2、第3の立体画像処理装置100ともよぶ。これらの立体画像処理装置100は、装置内に一体に組み込むことも可能であるが、ここでは図の複雑を避けて3つに分けている。第1の立体画像処理装置100は描画すべきオブジェクトと空間が三次元データの段階から入手できる場合に効果的であり、したがって、主な入力を三次元データとする。第2の立体画像処理装置100はすでに視差が与えられている複数の二次元画像、すなわち既存の視差画像の視差調整に効果的であり、したがって、二次元の視差画像を入力する。第3の立体画像処理装置100はデプス情報付画像のデプス情報を操作して適正視差を実現するものであり、したがって、主に入力をデプス情報付画像とする。これら3通りの入力を総称して「オリジナルデータ」と表記している。
【0063】
第1〜第3の立体画像処理装置100を一体化して実装する場合、それらの前処理部として「画像形式判定部」を設け、三次元データ、視差画像、デプス情報付画像を判定した後、第1〜第3の立体画像処理装置100のうち最適なものを起動する構成としてもよい。
【0064】
第1の立体画像処理装置100は、立体表示に対する立体感を設定するうえで、「初期設定」および「自動調整」の機能をもつ。ユーザは立体表示された画像に対し、自分の適正視差を範囲指定すると、これがシステムで取得され、以降、別の立体画像の表示の際、予めこの適正視差が実現するよう変換処理が施されて表示される。したがって、第1の立体画像処理装置100により、ユーザは原則として一回だけ設定手続を経れば、以降、自分に合った立体表示を楽しむことができる。
【0065】
第1の立体画像処理装置100はさらに、画像の周辺部の視差を人工的に緩和する「視差補正」という副機能をもつ。既述のごとく、画像端部に近づくにしたがって複数の視点画像のずれが「二重像」として認識されやすくなる。これはパララックスバリアや表示装置のスクリーンの反りなど機構誤差が主因である。そこで、画像の周辺部で、1)近置視差と遠置視差をともに減らす、2)近置視差を減らし遠置視差はそのままにする、3)近置視差、遠置視差を問わず、全体に遠置視差のほうへシフトする、など、いろいろな方法を実施する。なお、この「視差補正」機能は第3の立体画像処理装置100にも存在するが、入力データの違いにより、処理は異なる。
【0066】
第1の立体画像処理装置100は、立体表示した画像に対するユーザからの応答をもとに立体感を調整する立体感調整部112と、立体感調整部112で特定された適正視差を保存する視差情報保持部120と、視差情報保持部120から適正視差を読みだし、オリジナルデータから適正視差を有する視差画像を生成する視差制御部114と、表示装置のハードウエア情報を取得し、また立体表示の方式を取得する機能を有する情報取得部118と、情報取得部118で取得した情報をもとに、視差制御部114で生成された視差画像の形式を変更するフォーマット変換部116を含む。オリジナルデータを単に三次元データとよぶが、厳密にはワールド座標系で記述されたオブジェクトおよび空間のデータがこれに当たる。
【0067】
情報取得部118で取得する情報の例として、立体表示の視点数、空間分割または時間分割等の立体表示装置の方式、シャッタめがねの利用があるか否か、多眼式の場合における視点画像の並び方、視差画像の中に視差が反転する視点画像の並びがあるか否か、ヘッドトラッキングの結果などがある。なお、ヘッドトラッキングの結果だけは例外的に図示しない経路を経て直接カメラ配置決定部132へ入力され、そこで処理される。
【0068】
以上の構成は、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはGUI機能、視差制御機能その他の機能をもつプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところであり、以降の構成についてもその事情は同様である。
【0069】
立体感調整部112は指示取得部122と視差特定部124を有する。指示取得部122は、立体表示された画像に対してユーザが適正視差の範囲を指定したとき、これを取得する。視差特定部124は、その範囲をもとに、ユーザがこの表示装置を用いたときの適正視差を特定する。適正視差は、表示装置のハードウエアに依存しない表現形式で表される。適正視差を実現することにより、ユーザの生理に適合した立体視が可能になる。
【0070】
視差制御部114は、まずカメラパラメータを仮設定するカメラ仮配置部130と、適正視差にしたがって仮設定されたカメラパラメータを修正するカメラ配置決定部132と、カメラパラメータが決まったとき、複数のカメラの中点を原点とすべく原点移動処理を行う原点移動部134と、前述の投影処理を行う投影処理部138と、投影処理後、スクリーン座標系への変換処理を行って視差画像を生成する二次元画像生成部142とを含む。また、必要な応じて画像周辺部の視差を緩和するために空間歪み変換(以下単に歪変換ともいう)を行う歪処理部136がカメラ仮配置部130とカメラ配置決定部132の間に設けられている。歪処理部136は補正マップ保持部140から後述の補正マップを読み出して利用する。
【0071】
なお、立体表示のために表示装置を調整する必要があれば、そのための図示しないGUIを追加してもよい。このGUIで、表示されている視差画像全体を上下左右へ微小シフトして最適表示位置を確定するなどの処理をなしてもよい。
【0072】
図12の第2の立体画像処理装置100は、複数の視差画像を入力とする。これを単に入力画像ともよぶ。第2の立体画像処理装置100は、さきに第1の立体画像処理装置100で取得された適正視差を読み込み、入力画像の視差を調整して適正視差の範囲へ収め、出力する。その意味で、第2の立体画像処理装置100は視差の「自動調整」機能を有する。ただし、それだけでなく、実際に立体表示が行われている際にユーザが立体感を変更したいとき、GUI機能を提供し、ユーザの指示にしたがって視差を変更する「手動調整」機能もあわせもつ。
【0073】
すでに生成済みの視差画像の視差は通常変更できるものではないが、第2の立体画像処理装置100によれば、視差画像を構成する視点画像の合成位置をシフトすることで十分に実用に耐えるレベルで立体感が変更できる。第2の立体画像処理装置100は、入力データが三次元データまで遡れない状況においても良好な立体感調整機能を発揮する。以下、第1の立体画像処理装置100との相違点を中心に述べる。
【0074】
立体感調整部112は手動調整に利用される。指示取得部122は例えばスクリーンで「+n」「−n」などの数値入力を実現し、その値が視差の変更量として視差特定部124で特定される。数値と指示される立体感の関係にはいくとおりか考えられる。たとえば、「+n」は立体感を強める指示、「−n」は弱める指示で、nが大きくなるほど立体感に対する変更量が大きいとしてもよい。また、「+n」は全体に近置方向へオブジェクトを移動する指示、「−n」は全体に遠置方向へオブジェクトを移動する指示としてもよい。別の方法として、nの値は指定せず、単に「+」と「−」のボタンのみ表示し、これをクリックするたびに視差が変更される構成としてもよい。
【0075】
第2の立体画像処理装置100は、視差量検出部150と視差制御部152を有する。入力画像が複数の視差画像の場合、視差量検出部150はそれらの視差画像のヘッダ領域を検査し、画素数の形で記述された視差量、とくに近置最大視差画素数と遠置最大視差画素数があればこれを取得する。視差量が記述されていなければ、マッチング部158がブロックマッチングなど既知の手法を利用して視差画像間で対応点を検出することにより視差量を特定する。マッチング部158は画像の中央部など重要領域だけに処理を施してもよいし、最も重要な近置最大視差画素数に絞って検出してもよい。検出された視差量は画素数の形で視差制御部152へ送られる。
【0076】
視差制御部152の位置シフト部160は、視点画像間の視差量が適正視差になるよう視差画像を構成する視点画像の合成位置を水平方向へシフトする。シフトは、視点画像のいずれかについて行えばよい。位置シフト部160は別の動作モードも有し、ユーザが立体感調整部112を介して視差の増加または減少を指示したとき、単純にこの指示にしたがって画像合成位置を変更する。すなわち、位置シフト部160は適正視差への自動調整機能と、ユーザによる手動調整機能のふたつを有する。
【0077】
視差書込部164は、前述の視差量検出部150のため、または別の用途のために、視差画像を構成する複数の視点画像のいずれかのヘッダ領域に視差量を画素数で書き込む。画像端調整部168は、位置シフト部160によるシフトによって画像端に生じた画素の欠落を埋める。
【0078】
図13の第3の立体画像処理装置100は、デプス情報付画像を入力とする。第3の立体画像処理装置100は、適正視差が実現するようデプスを調整する。また、前述の「視差補正」機能をもつ。視差制御部170の歪処理部174は、補正マップ保持部176に保存された補正マップにしたがい、後述の要領で歪変換を実施する。歪変換後のデプス情報と画像は二次元画像生成部178へ入力され、ここで視差画像が生成される。この二次元画像生成部178は、第1の立体画像処理装置100の二次元画像生成部142とは異なり、ここで適正視差が考慮される。デプス情報付画像も画像としては二次元であるため、二次元画像生成部178は、図示しないが内部に第2の立体画像処理装置100の位置シフト部160に似た機能をもち、デプス情報にしたがって画像内の画素を水平方向にずらし、立体感を生成する。このとき、後述の処理により、適正視差が実現される。
【0079】
以上の構成における各立体画像処理装置100の各部の処理動作とその原理は以下のとおりである。
図14(a)、図14(b)は、第1の立体画像処理装置100の立体感調整部112による適正視差の特定のプロセスにおいてそれぞれ表示された左眼画像200、右眼画像202を示す。それぞれの画像には5個の黒丸が表示されており、上にいくほど近置かつ大きな視差、下へいくほど遠置かつ大きな視差が付けられている。
【0080】
図15はこれら5個の黒丸を表示したとき、ユーザ10に感知される距離感を模式的に示す。ユーザ10はこれら5個の距離感の範囲を「適正」と応答しており、この応答を指示取得部122が取得する。同図では、視差が異なる5個の黒丸が同時に、または順に表示され、許容できる視差であるか否かをユーザ10が入力していく。一方、図16では表示自体は1個の黒丸で行うが、その視差を連続的に変更し、ユーザ10が遠置と近置それぞれの方向において許容する限界にきたとき、応答する。応答は通常のキー操作、マウス操作、音声による入力等、それ自体は既知の技術を利用すればよい。
【0081】
図15、図16のいずれの場合でも、指示取得部122は適正視差を範囲として取得でき、その近置側および遠置側の限界視差が決まる。近置最大視差は、自分に最も近い位置に見える点に許す近さに対応する視差、遠置最大視差は、自分から最も遠い位置に見える点に許す遠さに対応する視差である。ただし、一般にはユーザの生理上の問題から近置最大視差をケアすべきことが多く、以下、近置最大視差のみを限界視差とよぶ場合もある。
【0082】
図17は、立体表示される画像が三次元データから取り出される場合において、実際に2視点の視差を調整する原理を示す。まず、ユーザが決めた限界視差を仮配置されたカメラの見込み角に変換する。角度表現をとることにより、表示装置のハードウエアから独立した汎用表現になる。同図のごとく、近置と遠置の限界視差は画素数でM、Nとあらわすことができ、カメラの画角θが表示画面の水平画素数Lに相当するので、限界視差画素数の見込み角である、近置最大見込み角φと遠置最大見込み角ψがθ、M、N、Lであらわされる。
【0083】
tan(φ/2)=Mtan(θ/2)/L
tan(ψ/2)=Ntan(θ/2)/L
次にこの情報を3次元空間内での2視点画像の取り出しに適用する。図18のように、まず基本表現空間T(その奥行きもTと表記)を決める。ここでは、基本表現空間Tはオブジェクトの配置に対する制限から決めるとする。基本表現空間Tの前面である前方投影面30からカメラ配置面、すなわち視点面208までの距離をSとする。TやSはユーザが指定できる。視点は2つあり、これらの光軸交差面210の視点面208からの距離をDとする。光軸交差面210と前方投影面30までの距離をAとする。
【0084】
つぎに、基本表現空間T内での近置および遠置の限界視差をそれぞれP、Qとすると、
E:S=P:A
E:S+T=Q:T−A
が成立する。Eは視点間距離である。いま、視差の付けられていない画素である点Gは両カメラからの光軸K2が光軸交差面210上で交差する位置にあり、光軸交差面210がスクリーン面の位置となる。近置最大視差Pを生む光線K1は前方投影面30上で交差し、遠置最大視差Qを生む光線K3は後方投影面32上で交差する。
【0085】
PとQは、図19のようにφ、ψを用いて、
P=2(S+A)tan(φ/2)
Q=2(S+A)tan(ψ/2)
で表され、結果として、
E=2(S+A)tan(θ/2)・(SM+SN+TN)/(LT)
A=STM/(SM+SN+TN)
が得られる。いま、SとTは既知であるから、こうしてA及びEが自動的に決まり、したがって光軸交差距離Dとカメラ間距離Eが自動的に決まり、カメラパラメータが確定する。カメラ配置決定部132はこれらのパラメータにしたがってカメラの配置を決定すれば、以降投影処理部138、二次元画像生成部142の処理を各カメラからの画像に対して独立してなすことにより、適正視差をもった視差画像が生成および出力できる。以上のごとく、EとAはハードウエアの情報を含んでおらず、ハードウエアに依存しない表現形式が実現される。
【0086】
以降、別の画像を立体表示する際にもこのAまたはDとEを守るようカメラを配置すれば、自動的に適正視差が実現できる。適正視差の特定から理想的な立体表示までのプロセスはすべて自動化できるため、この機能をソフトウエアライブラリとして提供すれば、コンテンツやアプリケーションを作成するプログラマは立体表示のためのプログラミングを意識する必要がない。また、L、M、Nを画素数で表すと、Lは表示範囲を示すので、全画面による表示であるか、画面の一部による表示であるかをLで指示することができる。Lもハードウエアに依存しないパラメータである。
【0087】
図20は4台のカメラ22、24、26、28による4眼式のカメラ配置を示す。正確には、第1のカメラ22と第2のカメラ24の間など、隣接するカメラ間で適正視差になるよう前述のAとEを決めていくべきだが、簡易的な処理としては、より中央に近い第2のカメラ24と第3のカメラ26の間で決めたAおよびEを他のカメラ間に流用してもほぼ同様の効果が得られる。
【0088】
なお、Tはオブジェクトの配置に対する制限としたが、基本的な三次元空間の大きさとしてプログラムにより決められていてもよい。この場合、プログラム全体を通して必ずこの基本表現空間T内にのみオブジェクトを配置することもできるし、効果的な表示のために、ときどき故意にこの空間を飛び出すようにオブジェクトに視差を与えてもよい。
【0089】
別の例として、三次元空間におけるオブジェクトのうち最も近置されるものと最も遠置されるものの座標に対してTを決定してもよく、これを実時間で行えば、必ず基本表現空間Tにオブジェクトが配置できる。オブジェクトをつねに基本表現空間Tに入れることの例外として、「一定時間の位置の平均が基本表現空間T内にあればよい」という緩和条件で運用すれば、短時間の例外を作ることもできる。さらに、基本表現空間Tを定めるオブジェクトを静的なものに限ってもよく、この場合、動的なオブジェクトが基本表現空間Tからはみ出す例外的な動作を与えることができる。さらに別の例として、すでにオブジェクトを配置した空間を基本表現空間の幅Tのサイズに縮める変換を行ってもよいし、既述の操作と組み合わせてもよい。
【0090】
なお、第1の立体画像処理装置100の立体感調整部112がユーザに表示する画像として、二重像がでやすいものにすれば、限界視差は小さめに定まり、他の画像を表示したときの二重像の出現頻度を低下させることができる。二重像が出やすい画像として、オブジェクトと背景との色や明るさが対照的なものが知られており、限界視差を特定する段階、すなわち初期設定の際にはそうした画像を利用すればよい。
【0091】
図21から図36までは、第1の立体画像処理装置100の歪処理部136による処理とその原理を示す。
図21は第1の立体画像処理装置100の補正マップ保持部140に格納された補正マップの一例を概念的に示す。このマップは直接視差を補正するもので、その全体がそのまま視差画像に対応しており、周辺部にいくにしたがって小視差になる。図22はこの補正マップにしたがって歪処理部136がカメラ配置を決め、それを受けたカメラ配置決定部132によるカメラパラメータの操作の結果生じる視差の変化を示す。ふたつのカメラの左右視点位置から正面方向を見るときは「通常視差」が付けられ、一方、正面から大きく外れた方向を見るときは「小視差」が付けられる。実際には、周辺にいくにしたがって、カメラ配置決定部132はカメラ間隔を近づけていく。
【0092】
図23はカメラ配置決定部132が歪処理部136の指示にしたがってカメラの配置を変えて視差を変える別の例を示す。ここでは、ふたつのカメラのうち、左側のカメラのみを移動させながら、画像周辺に向かうにしたがって「通常視差」→「中視差」→「小視差」と視差が変化している。この方法のほうが図22に比べて計算コストが低い。
【0093】
図24は補正マップの別の例を示す。このマップも視差を変更するもので、画像の中央付近は通常視差のまま触れず、それ以外の視差補正領域において視差を徐々に小さくする。図25はカメラ配置決定部132がこのマップにしたがって変化させるカメラ位置を示す。カメラの方向が正面から大きく外れたとき、はじめて左カメラの位置が右カメラへ寄り、「小視差」が付けられている。
【0094】
図26は補正マップの別の例を概念的に示す。このマップは視点からオブジェクトまでの距離感を補正するもので、それを実現するために、カメラ配置決定部132がふたつのカメラの光軸交差距離を調整する。画像周辺に行くにしたがって光軸交差距離を小さくすれば、オブジェクトは相対的に遠置方向へ奥まって見えるため、とくに近置視差を小さくする意味で目的を達する。光軸交差距離を小さくするために、カメラ配置決定部132はカメラの光軸方向を変えればよく、いずれか一方のカメラの向きを変えればよい。図27は、図26のマップによって二次元画像を生成するときの光軸交差位置、または光軸交差面210の変化を示す。画像周辺ほど光軸交差面210がカメラに寄る。
【0095】
図28は距離感に関する別の補正マップ、図29は図28のマップにしたがってカメラ配置決定部132が歪処理部136の指示にしたがって光軸交差面210を変化させる様子を示す。この例では、画像中央領域では補正をせずにオブジェクトを通常位置に配置し、画像周辺領域でオブジェクトの位置を補正する。その目的のために、図29において画像中央付近では光軸交差面210に変化はなく、ある点を超えてから光軸交差面210がカメラへ寄ってくる。図29では、左カメラだけ向きをかえて対応している。
【0096】
図30(a)〜(f)は歪処理部136による別の歪変換を示す。いままでの例と違い、カメラ位置を変えるのではなく、カメラ座標系で三次元空間自体を直接歪ませる。図30(a)〜(f)において、長方形領域はもとの空間の上面図、斜線領域は変換後の空間の上面図を示す。例えば、図30(a)のもとの空間の点Uは、変換後点Vに移る。これはこの点が遠置方向へ移動されたことを意味する。図30(a)では、空間は周辺部へ向かうほど奥行き方向について矢印の方向に押しつぶされ、近置の場合も遠置の場合も、同図の点Wのごとく、一定の距離感に近い距離感をもたされる。その結果、画像周辺部では距離感が揃い、特別に近置されるオブジェクトもなくなり、二重像の問題を解決するとともに、ユーザの生理に適合しやすい表現となる。
【0097】
図30(b)、図30(c)、図30(d)、図30(e)はいずれも画像周辺部で距離感を一定値に近づける変換の変形例を示し、図30(f)はすべての点を遠置方向へ変換する例を示している。
【0098】
図31は、図30(a)の変換を実現するための原理を示す。直方体空間228は、第1のカメラ22と第2のカメラ24の投影処理が行われる空間を含む。第1のカメラ22のビューボリュームは、そのカメラの画角と前方投影面230および後方投影面232で定まり、第2のカメラ24のそれは、そのカメラの画角と前方投影面234および後方投影面236で定まる。歪処理部136はこの直方体空間228に歪変換を施す。原点は直方体空間228の中心とする。多眼式の場合はカメラが増えるだけで変換原理は同じである。
【0099】
図32は歪変換の一例で、Z方向の縮小変換を採用している。実際には空間内の個々のオブジェクトに対して処理を行う。図33はこの変換を視差補正マップになぞらえて表現したもので、Y軸上が通常視差であり、Xの絶対値が増えるほど視差が小さくなり、X=±Aが視差なしとなる。ここではZ方向のみの縮小変換なので、変換式は以下のとおりである。
【0100】
【数1】
変換を図34で説明する。まず、X≧0かつZ≧0の範囲を考える。点(X0,Y0,Z0)が縮小処理により点(X0,Y0,Z1)に移動したとき、縮小率Szは、
である。Cの座標は(X0,Y0,0)でDの座標は(X0,Y0,B)である。
【0101】
Eは直線と平面の交点であり、座標を(X0,Y0,Z2)とすると、Z2は下のように求めることができる。
【0102】
Z=B−X×B/A (平面)
X=X0,Y=Y0 (直線)
Z2=B−X0×B/A
したがって、
Xに対して一般に、
Sz=1−X/A
となる。XとZの他の範囲についても同様の計算を行うと、以下の結果が得られ、変換が検証できる。
【0103】
X≧0のとき、Sz=1−X/A
X<0のとき、Sz=1+X/A
図35は歪変換の別の例を示す。より厳密にはカメラから放射状に撮影が行われることを考慮し、X軸、Y軸方向の縮小処理も組み合わせている。ここでは、ふたつのカメラの中心をカメラ位置の代表として変換を行う。変換式は以下の通りである。
【0104】
【数2】
図36はこの変換を検証する。ここでも、X≧0かつZ≧0の範囲を考える。点(X0,Y0,Z0)が縮小処理により点(X1,Y1,Z1)に移動したとき、縮小率Sx、Sy、Szは、
となる。Eは平面と直線の交点なので、前述と同様Sx、Sy、Szを求めることができる。
【0105】
なお、以上のように変換後の空間を平面の集合で表すと、面同士の接線を境に処理が変化し、場合により違和感が生じうる。その場合は曲面で接続するか、曲面だけで空間を構成してもよい。計算は曲面と直線の交点Eを求めるものに変わるだけである。
【0106】
また、以上の例では、縮小率は同一直線CD上では同じとなるが、重み付けを行ってもよい。例えばSx、Sy、Szに、カメラからの距離Lに対する重み付け関数G(L)をかければよい。
【0107】
図37から図40までは、第3の立体画像処理装置100の歪処理部174による処理とその原理を示す。
図37は第3の立体画像処理装置100に入力されたデプス情報付画像のデプスマップを示し、ここではデプスの範囲がK1〜K2の値をもつとする。ここでは近置のデプスを正、遠置のデプスを負で表す。
【0108】
図38は元のデプス範囲240と変換後のデプス範囲242の関係を示す。デプスは画像周辺部に行くにしたがって一定値に近づく。歪処理部174はこの補正にしたがうようデプスマップを変換する。垂直方向に視差をもたせる場合も同様である。この変換もZ方向の縮小のみなので、以下の式で表現できる。
【0109】
【数3】
なお、SzはXの値により場合分けされ、
X≧0のとき、Sz=1−2X/L
X<0のとき、Sz=1+2X/L
となる。以上の変換により、図39に示す新たな要素をもつ新たなデプスマップが生成される。
【0110】
図40はデプスマップに対する別の歪変換の原理を示す。空間は、より厳密にはユーザ10から放射状に観察されるので、X軸、Y軸方向の縮小処理も組み合わせている。ここでは、眼間中心を観察位置としている。具体的な処理は図36の場合と同じ式になる。なお、もともとのデプスマップはZ値しか持たないが、この計算を行う場合はX値とY値も保持することになる。Z値はX方向あるいはY方向の画素シフト量に変換されるが、X値とY値はそれらに対するオフセット値として保持すればよい。
【0111】
いずれにしても、歪処理部174で変換されたデプスマップともとの画像は二次元画像生成部178へ入力され、ここで適正視差になるよう水平方向にシフトした合成処理が行われる。その詳細は後述する。
【0112】
図41〜図51は、第2の立体画像処理装置100の位置シフト部160、およびその延長と把握できる第3の立体画像処理装置100の二次元画像生成部178の処理を示す。
図41は位置シフト部160によるふたつの視差画像の合成位置のシフト原理を示す。同図のごとく、初期状態では右眼画像Rと左眼画像Lの位置は一致している。しかし、同図上部のごとく左眼画像Lを相対的に右へシフトすると、近置点の視差は増加し、遠置点の視差は減少する。逆に、同図下部のごとく左眼画像Lを相対的に左へシフトすると、近置点の視差は減少し、遠置点の視差は増加する。
【0113】
以上が視差画像のシフトによる視差調整の本質である。画像のシフトは一方であってもよいし、両方を互いに逆方向にシフトしてもよい。またこの原理から、立体表示方式は、メガネ方式やメガネなし方式を問わず、視差を利用している全ての方式に適用できることがわかる。多視点映像や垂直方向の視差に対しても同様の処理が可能である。
【0114】
図42はシフト処理を画素レベルで示す。左眼画像200と右眼画像202には、ともに第1四角形250と第2四角形252が写っている。第1四角形250には近置視差がついており、その視差量を正数であらわすと、「6画素」となる。これに対し第2四角形252は遠置視差がついており、その視差量を負数であらわすと、「−6画素」となる。ここで、この視差量をそれぞれF2、F1とする。
【0115】
一方、ユーザが保有する表示装置の適正視差がJ1〜J2であることが分かったとする。位置シフト部160は両画像の合成開始位置を互いに(J2−F2)画素シフトさせる。図43はそのシフトの終了後の状態で、いま、F1=−6、F2=6であり、また、J1=−5、J2=4であったとすると、合成開始位置は互いに−2画素、つまり遠置方向に全体がシフトする方向にずらされることになる。最終的な視差量は図43のごとく、E1=−8、E2=4となり、少なくとも近置方向に関して限界視差内に収まる。一般に遠置方向と比較して、近置方向の二重像の方が違和感が強いとされ、かつ被写体は近置方向に配置された状態で撮影されることが多いので、基本的に近置方向の視差を限界内に収めることが望ましい。以下に処理例を示す。
【0116】
1.近置点が限界視差外で、遠置点が限界視差内の場合は、近置点を限界視差点にシフトする。ただし、遠置点の視差が眼間距離に到達すれば処理をやめる。 2.近置点が限界視差外で、遠置点が限界視差外の場合は、近置点を限界視差点にシフトする。ただし、遠置点の視差が眼間距離に到達すれば処理をやめる。 3.近置点も遠置点も限界視差内の場合は処理しない。
4.近置点が限界視差内で、遠置点が限界視差外の場合は、遠置点を限界視差点にシフトするが、処理の途中で近置点が限界視差点に到達すれば処理をやめる。
【0117】
図44は合成位置のシフトによる画像端の欠落を示す。ここでは左眼画像200と右眼画像202のシフト量が1画素であり、左眼画像200の右端と右眼画像202の左端にそれぞれ1画素幅の欠落部分260が生じる。画像端調整部168はこのとき、図44のように画像端の画素列を複製して水平画素数を補償する。
【0118】
これ以外の方法として、欠落部分260は黒または白など特定の色で表示してもよいし、非表示にしてもよい。さらに初期画像のサイズと同じになるように切り出しや付け加え処理を施してもよい。また、予め初期画像のサイズを実際の表示サイズより大きくしておき、欠落部分260が表示に影響しないよう配慮してもよい。
【0119】
図45は第2の立体画像処理装置100による視差の手動調整の流れである。同図のごとく、まず視差画像として左右画像が人手で作成され(S10)、これがネットワークその他のルートで配布される(S12)。これを第2の立体画像処理装置100が受け取り(S14)、この図の例では、まずはそのままシフトなしの通常の状態で画像を合成して表示する(S16)。すなわち、ここでは適正視差がまだ取得されていない場合や位置シフト部160を動作させていない場合を考えている。つづいて、立体表示された視差画像に対してユーザが立体感調整部112を介して視差の調整を指示し、これを位置シフト部160が「手動調整モード」で受け、画像合成位置を調整して表示する(S18)。なお、S10とS12は画像クリエータの手続270、S14以降は第2の立体画像処理装置100の手続272である。また、図示しないが、このシフト量をヘッダに記録し、次回から参照して合成すれば、再調整の手間が省ける。
【0120】
図46は第2の立体画像処理装置100による自動調整の流れを示す。画像クリエータの手続270である、左右画像の生成(S30)、画像配布(S32)は図45と同じである。また、第2の立体画像処理装置100の手続272のうち、画像受取(S34)も同様である。つぎに、視差量検出部150のマッチング部158によって視差画像間に予め付けられている視差、とくに最大視差を検出し(S36)、一方、視差情報保持部120から適正視差、とくに限界視差を取得する(S38)。この後、位置シフト部160が前述の処理によって限界視差を満たすよう画像の合成位置をシフトし(S40)、視差書込部164、画像端調整部168、フォーマット変換部116による処理を経て立体表示される(S42)。
【0121】
図47は、第2の立体画像処理装置100によるさらに別の自動調整の流れを示す。画像クリエータの手続270で左右画像の生成(S50)した後、この時点で最大視差を検出して(S52)視差画像のいずれかの視点画像のヘッダへ記録しておく(S54)。この検出は対応点マッチングで実施してもよいが、クリエータが手作業で視差画像を生成したときは、その編集過程で当然に既知であるため、これを記録すればよい。この後、画像を配布する(S56)。
【0122】
一方、第2の立体画像処理装置100の手続272のうち、画像受取(S58)は図46と同様である。つぎに、視差量検出部150のヘッダ検査部156によって前述の最大視差をヘッダから読み出す(S60)。一方、視差情報保持部120から限界視差を取得し(S62)、以下の処理S64、S66は図46の処理S40、S42とそれぞれ同じである。この方法によれば、最大視差を計算する必要がない。また、画像全体に適切な立体感を実現できる。さらに、シフト量はヘッダに記録できるため、原画像自体を損なうおそれがない。なお、図示しないが、図46でも検出された最大視差をヘッダに記録すれば、つぎからは図47の手続にしたがって処理することができる。
【0123】
なお、多眼式でも同様の処理が可能で、それぞれ隣り合う視点画像間の視差量に対して同様の処理を行えばよい。ただし、実際にはそれら複数の視点画像間の視差のうちの最大の視差によって全視点画像間の「最大視差」とみなし、合成位置のシフト量を決めてもよい。
【0124】
ヘッダ情報は多視点画像の少なくともひとつにあればよいとしたが、多視点画像が1枚の画像に合成されている場合はその画像のヘッダを利用すればよい。
【0125】
さらに、すでに合成済みの画像が配布される場合もあるが、その場合はいちど逆変換処理で画像を分離し、合成位置シフト量を計算して再合成するか、それと結果が同じになるよう画素の並べ替え処理を行えばよい。
【0126】
図48〜図51は、合成位置のシフトをデプス情報付画像について行う処理を示す。これは第3の立体画像処理装置100の二次元画像生成部178にて行われる。
図48、図49はそれぞれデプス情報付画像を構成する平面画像204とデプスマップである。ここでは近置デプスを正、遠置デプスを負で表している。オブジェクトとして第1四角形250、第2四角形252、第3四角形254が存在し、第1四角形250はデプス「4」、第2四角形252は「2」、第3四角形254は「−4」である。第1四角形250は最近置点、第2四角形252は中間近置点、第3四角形254が最遠置点にある。
【0127】
二次元画像生成部178は、もとの平面画像204を基礎として、まず、各画素をデプスマップの値分だけシフトさせる処理を行い、他方の視点画像を生成する。基準を左眼画像とすると、もとの平面画像204はそのまま左眼画像となる。第1四角形250を左に4画素、第2四角形252を左に2画素、第3四角形254を右に4画素シフトし、図50のごとく、右眼画像202が作成される。画像端調整部168は、オブジェクトの移動による画素情報の欠落部分260を視差が「0」である、背景と判断される近接画素によって埋める。
【0128】
つづいて二次元画像生成部178は、適正視差を満たすデプスを計算する。デプスの範囲をK1〜K2とし、各画素のデプス値をGxyとすると、デプスマップは図37においてHxyをGxyへ変更した形になる。また、ユーザが保有する表示装置の適正視差がJ1〜J2であることが分かったとする。この場合、そのデプスマップにおいて、各画素のデプス値Gは以下のように変換され、新しいデプス値Fxyが得られる。
【0129】
Fxy=J1+(Gxy−K1)×(J2−J1)/(K2−K1)
前述の例では、K1=−4、K2=4であり、また、J1=−3、J2=2であったとすると、この変換式により、図49のデプスマップは図51のデプスマップへ変換される。すなわち、「4」は「2」へ、「2」は「1」へ、「−4」は「−3」へそれぞれ変換される。K1とK2の間の中間値は、J1とJ2の間に変換される。例えば第2四角形252はGxy=2で、Fxy=0.75となる。Fxyが整数にならない場合は、四捨五入や近置視差が小さくなるような処理を施せばよい。
【0130】
なお、上述の変換式は線形変換の例であるが、さらにGxyに対する重み付け関数F(Gxy)をかけたり、その他いろいろな非線形変換も考えられる。また、もとの平面画像204から、オブジェクトを互いに逆方向にシフトして新たに左右画像を生成することもできる。多眼式の場合は同様の処理を複数回行い、多視点画像を生成すればよい。
【0131】
以上が実施の形態に係る立体画像処理装置100の構成および動作である。 立体画像処理装置100は装置として説明したが、これはハードウエアとソフトウエアの組合せでもよく、ソフトウエアのみでも構成できる。その場合、立体画像処理装置100の任意の部分をライブラリ化して各種プログラムから呼びだし可能にすると利便性が高い。プログラマは立体表示の知識が必要となる部分のプログラミングをスキップできる。ユーザにとっては、ソフトウエアやコンテンツによらず、立体表示に関する操作、すなわちGUIが共通になり、設定した情報は他のソフトウエアでも共有できるため再設定の手間が省ける。
【0132】
なお、立体表示に関する処理ではなく、情報を複数のプログラム間で共有するだけでも有用である。各種プログラムはその情報を参照して画像の状態を決定できる。共有される情報の例は、前述の立体画像処理装置100の情報取得部118で取得される情報である。この情報を図示しない記録部または補正マップ保持部140などに保持しておけばよい。
【0133】
図52〜図54は、以上の立体画像処理装置100をライブラリとして利用する一例を示す。図52は立体表示ライブラリ300の用途を示す。立体表示ライブラリ300は複数のプログラムA302、プログラムB304、プログラムC306などから関数を呼び出す形で参照される。パラメータファイル318には前述の情報のほか、ユーザの適正視差などが格納されている。立体表示ライブラリ300はAPI(アプリケーションプログラムインタフェイス)310を介して複数の装置A312、装置B314、装置C316などで利用される。
【0134】
プログラムA302等の例として、ゲーム、いわゆるWeb3Dと呼ばれる三次元アプリケーション、三次元デスクトップ画面、三次元地図、二次元画像である視差画像のビュア、デプス情報付画像などのビュアが考えられる。ゲームの中でも、当然ながら座標の使い方が違うものがあるが、立体表示ライブラリ300はそれにも対応できる。
【0135】
一方、装置A312等の例として、2眼や多眼のパララックスバリア式、シャッタめがね方式、偏光めがね方式など、視差を利用する任意の立体表示装置である。
【0136】
図53は三次元データソフト402に立体表示ライブラリ300が組み込まれた例を示す。三次元データソフト402はプログラム本体404と、そのために適正視差を実現する立体表示ライブラリ300と、撮影指示処理部406を備える。プログラム本体404はユーザインタフェイス410を介してユーザと連絡する。撮影指示処理部406は、ユーザの指示にしたがって、プログラム本体404の動作中の所定の場面を仮想的にカメラ撮影する。撮影された画像は画像記録装置412に記録される。また、立体表示装置408へ出力される。
【0137】
たとえば三次元データソフト402がゲームソフトであるとする。その場合、ユーザはゲーム中は立体表示ライブラリ300によって適切な立体感を体験しながらゲームを実行できる。ゲーム中、ユーザが記録に残したい場合、たとえば、対戦型戦闘ゲームで完全勝利をおさめたとき、ユーザインタフェイス410を介して撮影指示処理部406へ指示を出し、その場面を記録する。その際、立体表示ライブラリ300を利用し、後に立体表示装置408で再生したときに適正視差となるよう視差画像が生成され、これが画像記録装置412の電子アルバム等へ記録される。なお、記録を視差画像という二次元画像で行うことにより、プログラム本体404の有する三次元データ自体は流出せず、著作権保護の面にも配慮することができる。
【0138】
図54は、図53の三次元データソフト402をネットワーク利用型のシステム430へ組み込んだ例を示す。
ゲーム機432は図示しないネットワークを介し、サーバ436と、ユーザ端末434に接続される。ゲーム機432は、いわゆるアーケードゲーム用で、通信部442、三次元データソフト402およびゲームをローカルに表示する立体表示装置440を備える。三次元データソフト402は図53のものである。三次元データソフト402から立体表示装置440へ表示される視差画像は立体表示装置440について予め最適設定されている。三次元データソフト402による視差の調整は、後述のように通信部442を介してユーザへ画像を送信する際に利用される。ここで利用する表示装置は、視差を調整して立体画像を生成する機能を備えていればよく、必ずしも立体表示ができる装置でなくてもよい。
【0139】
ユーザ端末434は、通信部454、立体画像を見るためのビュアプログラム452および立体画像をローカルに表示する任意のサイズおよびタイプの立体表示装置450を備える。ビュアプログラム452には立体画像処理装置100が実装されている。
【0140】
サーバ436は、通信部460、ゲームに関連してユーザが仮想的に撮影した画像を記録する画像保持部462、およびユーザの適正視差情報、ユーザのメールアドレスその他の個人情報などをユーザと対応づけて記録するユーザ情報保持部464を備える。サーバ436は例えばゲームの公式サイトとして機能し、ゲーム実行中にユーザが気に入った場面や名勝負の動画または静止画を記録する。立体表示は動画、静止画のいずれでも可能である。
【0141】
以上の構成における画像撮影の一例は以下の要領で行われる。ユーザは予めユーザ端末434の立体表示装置450で立体表示を行い、立体画像処理装置100の機能をもとに適正視差を取得し、これを通信部454を介してサーバ436へ通知し、ユーザ情報保持部464へ格納してもらう。この適正視差は、ユーザの保有する立体表示装置450のハードウエアに関係のない汎用的な記述になっている。
【0142】
ユーザは任意のタイミングでゲーム機432によってゲームをする。その間、立体表示装置440には最初に設定されていた視差、またはユーザが手動調整した視差による立体表示がなされる。ゲームのプレイ中、またはリプレイ中、ユーザが画像の記録を希望すると、ゲーム機432の三次元データソフト402に内蔵された立体表示ライブラリ300が、ふたつの通信部442、460を介してサーバ436のユーザ情報保持部464からこのユーザの適正視差を取得し、それに合わせて視差画像を生成し、再びふたつの通信部442、460を介して画像保持部462へ仮想的に撮影された画像に関する視差画像を格納する。ユーザは自宅へ帰ったのち、この視差画像をユーザ端末434へダウンロードすれば、所望の立体感で立体表示ができる。その際も、ビュアプログラム452のもつ立体画像処理装置100により、視差の手動調整は可能である。
【0143】
以上、この応用例によれば、本来、表示装置のハードウエアごと、ユーザごとに設定しなければならない立体感に関するプログラミングが立体画像処理装置100および立体表示ライブラリ300に集約されており、ゲームソフトのプログラマは立体表示に関する複雑な要件を一切気にする必要がない。これはゲームソフトに限らず、立体表示を利用する任意のソフトウエアについても同様であり、立体表示を利用するコンテンツやアプリケーションの開発の制約を解消する。したがって、これらの普及を飛躍的に促進することができる。
【0144】
とくに、もともと三次元のCGデータが存在するゲームその他のアプリケーションの場合、従来は的確な立体表示をコーディングすることが困難であることも大きな原因となって、せっかく三次元データをもちながら、それを立体表示に利用しなかったことも多い。実施の形態に係る立体画像処理装置100または立体表示ライブラリ300によれば、そうした弊害を除去でき、立体表示アプリケーションの充実化に寄与することができる。
【0145】
なお、図54ではユーザの適正視差をサーバ436に登録したが、ユーザはその情報を記録したICカードなどを持参してゲーム機432を利用してもよい。このカードに、このゲームに関する得点や気に入った画像を記録してもよい。
【0146】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、そうした例を挙げる。
【0147】
第1の立体画像処理装置100は、三次元データを入力することにより、高い精度で処理が可能である。しかし、三次元データをいったんデプス情報付画像へ落とし、これに対して第3の立体画像処理装置100を利用して視差画像を生成してもよい。場合により、そのほうが計算コストが低いことがある。同じように複数の視点画像を入力する際も、高精度の対応点マッチングを用いてデプスマップを作ることも可能で、このようにしてデプス情報付画像へ落とし、これに対して第3の立体画像処理装置100を利用して視差画像を生成してもよい。
【0148】
第1の立体画像処理装置100において、カメラ仮配置部130を立体画像処理装置100の構成としたが、これは立体画像処理装置100の前処理であってもよい。カメラの仮配置までは、適正視差に関係なく処理できるためである。同様に、第1、第2、第3の立体画像処理装置100を構成する任意の処理ユニットを立体画像処理装置100の外部へ出すことも可能であり、立体画像処理装置100の構成の自由度の高さは当業者に理解されるところである。
【0149】
実施の形態では、視差の制御を水平方向に行う場合を説明したが、同様の処理は垂直方向についても実施できる。
【0150】
立体表示ライブラリ300や立体画像処理装置100の動作中は、文字データを拡大処理するユニットを設けてもよい。たとえば水平2視点による視差画像の場合、ユーザの目に見える画像の水平解像度は1/2になる。その結果、文字の可読性が低下しうるので、水平方向へ2倍に文字を引き延ばす処理が有効である。垂直方向にも視差がある場合、同様に垂直方向へ文字を引き延ばすことも有用である。
【0151】
立体表示ライブラリ300や立体画像処理装置100の動作中は、表示している画像に「3D」などの文字やマークを入れる「動作中表示部」を設けてもよい。その場合、ユーザは視差の調整が可能な画像であるか否かを知ることができる。
【0152】
立体表示/通常表示の切替ユニットを設けてもよい。このユニットはGUIを含み、ユーザが所定のボタンをクリックすると、表示が立体表示から通常の二次元表示に切り替わり、その反対も可能な構成とすれば便利である。
【0153】
情報取得部118は必ずしもユーザ入力により情報を取得するのではなく、プラグアンドプレイなどの機能により自動的に取得できる情報があってもよい。
【0154】
実施の形態では、EとAを導出する方法をとったが、これらを固定し、他のパラメータを導出する方法であってもよく、変数の指定は自由である。
【0155】
【発明の効果】
本発明によれば、以下のような効果がある。
1.人の生理に適合しやすい立体画像を生成または表示できる。
2.表示対象画像が変わってもユーザに適切な立体画像を生成または表示できる。
3.簡単な操作で立体表示の立体感を調整できる。
4.適切な立体表示が可能なコンテンツまたはアプリケーションづくりに際し、プログラマの負担を軽減できる。
5.立体表示を最適化しようとするユーザの手間が軽減される。
6.通常、プラグアンドプレイ機能の対象にならない立体感調整やヘッドトラッキング情報を容易に実現でき、後付のパララックスバリアのように、原理上プラグアンドプレイができない装置についても同様である。
【図面の簡単な説明】
【図1】 理想的な立体視ができているユーザ、スクリーン、再生オブジェクト14の位置関係を示す図である。
【図2】 図1の状態を実現する撮影系の例を示す図である。
【図3】 図1の状態を実現する撮影系の別の例を示す図である。
【図4】 図1の状態を実現する撮影系の別の例を示す図である。
【図5】 第1の立体画像処理装置に利用するモデル座標系を示す図である。
【図6】 第1の立体画像処理装置に利用するワールド座標系を示す図である。
【図7】 第1の立体画像処理装置に利用するカメラ座標系を示す図である。
【図8】 第1の立体画像処理装置に利用するビューボリュームを示す図である。
【図9】 図8のボリュームの透視変換後の座標系を示す図である。
【図10】 第1の立体画像処理装置に利用するスクリーン座標系を示す図である。
【図11】 第1の立体画像処理装置の構成図である。
【図12】 第2の立体画像処理装置の構成図である。
【図13】 第3の立体画像処理装置の構成図である。
【図14】 図14(a)、図14(b)は、それぞれ、第1の立体画像処理装置の立体感調整部によって表示される左眼画像と右眼画像を示す図である。
【図15】 第1の立体画像処理装置の立体感調整部によって表示される、異なる視差をもつ複数のオブジェクトを示す図である。
【図16】 第1の立体画像処理装置の立体感調整部によって表示される、視差が変化するオブジェクトを示す図である。
【図17】 適正視差が実現される際のカメラ画角、画像サイズ、視差の関係を示す図である。
【図18】 図17の状態を実現する撮影系の位置関係を示す図である。
【図19】 図17の状態を実現する撮影系の位置関係を示す図である。
【図20】 多視点画像を適正視差で生成する際のカメラ配置を示す図である。
【図21】 第1の立体画像処理装置の歪処理部が利用する視差補正マップを示す図である。
【図22】 図21の視差補正マップにしたがって視差画像を生成する際のカメラ視点を示す図である。
【図23】 図21の視差補正マップにしたがって視差画像を生成する際の別のカメラ視点を示す図である。
【図24】 第1の立体画像処理装置の歪処理部が利用する視差補正マップを示す図である。
【図25】 図24の視差補正マップにしたがって視差画像を生成する際のカメラ視点を示す図である。
【図26】 第1の立体画像処理装置の歪処理部が利用する距離感補正マップを示す図である。
【図27】 図26の距離感補正マップにしたがって視差画像を生成する際のカメラ視点を示す図である。
【図28】 第1の立体画像処理装置の歪処理部が利用する別の距離感補正マップを示す図である。
【図29】 図28の距離感補正マップにしたがって視差画像を生成する際のカメラ視点を示す図である。
【図30】 図30(a)、図30(b)、図30(c)、図30(d)、図30(e)、図30(f)は、いずれも第1の立体画像処理装置の歪処理部が三次元空間に処理を施した結果得られる視差分布の上面図である。
【図31】 第1の立体画像処理装置の歪処理部による処理の原理を示す図である。
【図32】 図31の処理を具体的に示す図である。
【図33】 図31の処理を具体的に示す図である。
【図34】 図31の処理を具体的に示す図である。
【図35】 第1の立体画像処理装置の歪処理部による処理の別の例を示す図である。
【図36】 図35の処理を具体的に示す図である。
【図37】 デプスマップを示す図である。
【図38】 第3の立体画像処理装置の歪処理部による処理の例を示す図である。
【図39】 第3の立体画像処理装置の歪処理部による処理によって生成されたデプスマップを示す図である。
【図40】 第3の立体画像処理装置の歪処理部による処理の別の例を示す図である。
【図41】 第2の立体画像処理装置の二次元画像生成部による処理の例を示す図である。
【図42】 視差画像の例を示す図である。
【図43】 第2の立体画像処理装置の二次元画像生成部によって合成位置がシフトされた視差画像を示す図である。
【図44】 第2の立体画像処理装置の画像端調整部の処理を示す図である。
【図45】 第2の立体画像処理装置の処理を示す図である。
【図46】 第2の立体画像処理装置の別の処理を示す図である。
【図47】 第2の立体画像処理装置の別の処理を示す図である。
【図48】 デプスマップが付加された平面画像を示す図である。
【図49】 デプスマップを示す図である。
【図50】 第2の立体画像処理装置の二次元画像生成部でデプスマップをもとに視差画像を生成する様子を示す図である。
【図51】 第2の立体画像処理装置の二次元画像生成部で補正されたデプスマップを示す図である。
【図52】 実施の形態に係る立体画像処理装置をライブラリ化して利用する様子を示す図である。
【図53】 立体表示ライブラリを三次元データソフトに組み込んだ構成図である。
【図54】 立体表示ライブラリをネットワーク利用型のシステムで利用する様子を示す図である。
【符号の説明】
10 ユーザ、 12 スクリーン、 14 再生オブジェクト、 20 現実のオブジェクト、 22,24,26,28 カメラ、 30 前方投影面、32 後方投影面、 100 立体画像処理装置、 112 立体感調整部、114,152,170 視差制御部、 116 フォーマット変換部、 118 情報取得部、 122 指示取得部、 124 視差特定部、 132 カメラ配置決定部、 136,174 歪処理部、 140,176 補正マップ保持部、 142 二次元画像生成部、 150 視差量検出部、 156 ヘッダ検査部、 158 マッチング部、 160 位置シフト部、 164 視差書込部、 168 画像端調整部、 178 二次元画像生成部、 210光軸交差面、 300 立体表示ライブラリ、 402 三次元データソフト、 406 撮影指示処理部、 430 ネットワーク利用型のシステム、 432 ゲーム機、 434 ユーザ端末、 436 サーバ、 452 ビュアプログラム。
Claims (8)
- 立体画像を表示するための複数の視点画像間の視差を補正する視差制御部と、
前記視差制御部がその処理の際に参照すべき補正マップを保持するマップ保持部と、を含み、
前記補正マップは、前記視差の補正量が視点画像内の位置に対応して変化するよう記述されており、
前記視差制御部は、前記複数の視点画像の周辺部において視差を小さくし、または、周辺部のオブジェクトがユーザからより遠くに感知されるよう前記視差を変化させることを特徴とする立体画像処理装置。 - 前記視差制御部は、前記複数の視点画像のいずれかに選択的に処理を施すことによって前記視差を変化させることを特徴とする請求項1記載の立体画像処理装置。
- 前記複数の視点画像は三次元データを起点として生成されるものであり、
前記視差制御部は、前記複数の視点画像の生成にあたって、カメラパラメータを制御して前記視差を変化させることを特徴とする請求項1又は2記載の立体画像処理装置。 - 前記複数の視点画像は三次元データを起点として生成されるものであり、
前記視差制御部は、前記複数の視点画像の生成にあたって、三次元空間自体を歪ませることにより前記視差を変化させることを特徴とする請求項1記載の立体画像処理装置。 - 前記複数の視点画像は、デプス情報が与えられている平面画像から生成されるものであり、前記視差制御部はそのデプス情報を操作することによって前記視差を変化させることを特徴とする請求項1記載の立体画像処理装置。
- 立体画像を表示するための複数の視点画像を取得する画像取得ステップと、
取得された前記複数の視点画像間の視差を、その補正量がそれら視点画像内の位置に対応して変化するように変化させる視差補正ステップと、含み、
前記視差補正ステップにおいて、前記複数の視点画像の周辺部において視差が小さくなるような視差の補正、または、周辺部のオブジェクトがユーザからより遠くに感知されるような視差の補正を行うことを特徴とする立体画像処理方法。 - 前記の各ステップを立体表示用ライブラリの機能として実装し、複数のプログラムからこのライブラリの機能を関数として呼出可能に構成したことを特徴とする請求項6に記載の立体画像処理方法。
- 立体画像を表示するための複数の視点画像を取得する画像取得ステップと、
取得された前記複数の視点画像間の視差を、その補正量がそれら視点画像内の位置に対応して変化するように変化させる視差補正ステップと、をコンピュータに実行せしめるコンピュータプログラムであって、
前記視差補正ステップにおいて、前記複数の視点画像の周辺部において視差が小さくなるような視差の補正、または、周辺部のオブジェクトがユーザからより遠くに感知されるような視差の補正を行うことを特徴とするコンピュータプログラム。
Priority Applications (25)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002087496A JP3702243B2 (ja) | 2002-03-27 | 2002-03-27 | 立体画像処理方法および装置 |
EP11161269A EP2362670B1 (en) | 2002-03-27 | 2003-03-27 | Method and apparatus for processing three-dimensional images |
EP11161320A EP2357840A3 (en) | 2002-03-27 | 2003-03-27 | Method and apparatus for processing three-dimensional images |
KR1020047015105A KR100812905B1 (ko) | 2002-03-27 | 2003-03-27 | 입체 화상 처리 방법, 장치 및 컴퓨터 판독가능 기록 매체 |
EP20110161303 EP2381691B1 (en) | 2002-03-27 | 2003-03-27 | Method and apparatus for processing three-dimensional images |
EP11161329.5A EP2357841B1 (en) | 2002-03-27 | 2003-03-27 | Method and apparatus for processing three-dimensional images |
EP11161295.8A EP2357838B1 (en) | 2002-03-27 | 2003-03-27 | Method and apparatus for processing three-dimensional images |
PCT/JP2003/003791 WO2003081921A1 (fr) | 2002-03-27 | 2003-03-27 | Procede de traitement d'images tridimensionnelles et dispositif |
CN038071592A CN1643939B (zh) | 2002-03-27 | 2003-03-27 | 立体图像处理方法及装置 |
EP11161274A EP2357835A3 (en) | 2002-03-27 | 2003-03-27 | Method and apparatus for processing three-dimensional images |
EP20110161281 EP2357836B1 (en) | 2002-03-27 | 2003-03-27 | Method and apparatus for processing three-dimensional images |
EP11161315A EP2357839A3 (en) | 2002-03-27 | 2003-03-27 | Method and apparatus for processing three-dimensional images |
EP03715473A EP1489857B1 (en) | 2002-03-27 | 2003-03-27 | 3-dimensional image processing method and device |
EP11161340A EP2387248A3 (en) | 2002-03-27 | 2003-03-27 | Method and apparatus for processing three-dimensional images |
EP11161284A EP2357837A3 (en) | 2002-03-27 | 2003-03-27 | Method and apparatus for processing three-dimensional images |
US10/949,528 US8369607B2 (en) | 2002-03-27 | 2004-09-27 | Method and apparatus for processing three-dimensional images |
US12/976,262 US8131064B2 (en) | 2002-03-27 | 2010-12-22 | Method and apparatus for processing three-dimensional images |
US12/986,453 US8254668B2 (en) | 2002-03-27 | 2011-01-07 | Method and apparatus for processing three-dimensional images |
US12/986,491 US8879824B2 (en) | 2002-03-27 | 2011-01-07 | Method and apparatus for processing three-dimensional images |
US12/986,509 US8417024B2 (en) | 2002-03-27 | 2011-01-07 | Method and apparatus for processing three-dimensional images |
US12/986,471 US8577127B2 (en) | 2002-03-27 | 2011-01-07 | Method and apparatus for processing three-dimensional images |
US12/986,551 US8724886B2 (en) | 2002-03-27 | 2011-01-07 | Method and apparatus for processing three-dimensional images |
US12/986,530 US8577128B2 (en) | 2002-03-27 | 2011-01-07 | Method and apparatus for processing three-dimensional images |
US13/088,752 US8472702B2 (en) | 2002-03-27 | 2011-04-18 | Method and apparatus for processing three-dimensional images |
US13/283,361 US8559703B2 (en) | 2002-03-27 | 2011-10-27 | Method and apparatus for processing three-dimensional images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002087496A JP3702243B2 (ja) | 2002-03-27 | 2002-03-27 | 立体画像処理方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003284094A JP2003284094A (ja) | 2003-10-03 |
JP3702243B2 true JP3702243B2 (ja) | 2005-10-05 |
Family
ID=29233666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002087496A Expired - Fee Related JP3702243B2 (ja) | 2002-03-27 | 2002-03-27 | 立体画像処理方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3702243B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010226500A (ja) * | 2009-03-24 | 2010-10-07 | Toshiba Corp | 立体画像表示装置および立体画像表示方法 |
JP2011024635A (ja) * | 2009-07-21 | 2011-02-10 | Konami Digital Entertainment Co Ltd | ビデオゲーム装置及びゲーム画像表示制御方法 |
CN101961555B (zh) | 2009-07-21 | 2014-01-29 | 科乐美数码娱乐株式会社 | 视频游戏装置、游戏图像显示控制方法和显示模式切换控制方法 |
JP5356139B2 (ja) * | 2009-07-21 | 2013-12-04 | 株式会社コナミデジタルエンタテインメント | ビデオゲーム装置及び表示モード切替制御方法 |
JP2013214787A (ja) * | 2010-07-28 | 2013-10-17 | Panasonic Corp | 映像信号処理装置及び映像信号処理方法 |
JP5236051B2 (ja) * | 2011-08-02 | 2013-07-17 | ティディヴィジョン コーポレイション エス.エー. デ シー.ヴィ. | 3dビデオゲーム・システム |
CN114269218A (zh) * | 2019-08-29 | 2022-04-01 | 奥林巴斯株式会社 | 图像处理方法和图像处理装置 |
-
2002
- 2002-03-27 JP JP2002087496A patent/JP3702243B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003284094A (ja) | 2003-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3749227B2 (ja) | 立体画像処理方法および装置 | |
JP3857988B2 (ja) | 立体画像処理方法および装置 | |
KR100812905B1 (ko) | 입체 화상 처리 방법, 장치 및 컴퓨터 판독가능 기록 매체 | |
JP2004221700A (ja) | 立体画像処理方法および装置 | |
US8724886B2 (en) | Method and apparatus for processing three-dimensional images | |
JP2003284093A (ja) | 立体画像処理方法および装置 | |
JP2004221699A (ja) | 立体画像処理方法および装置 | |
JP4118146B2 (ja) | 立体画像処理装置 | |
JP2003284095A (ja) | 立体画像処理方法および装置 | |
JP3702243B2 (ja) | 立体画像処理方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050715 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080722 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090722 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090722 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100722 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100722 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110722 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120722 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120722 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130722 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |