JP2018500690A - 拡大３ｄ画像を生成するための方法およびシステム - Google Patents

Abstract

倍率に従って修正された視差を有する物体の拡大３次元（３Ｄ）画像を生成するための方法であって、物体の第１の画像を第１のカメラによって取得し、物体の第２の画像を第２のカメラによって取得すること、倍率パラメータを決定すること、物体を含む第１の画像の部分および物体を含む第２の画像の部分を倍率パラメータに従ってそれぞれ拡大することにより、第１の拡大画像および第２の拡大画像を生成すること、第１の拡大画像および第２の拡大画像の幾何形状を、倍率パラメータの関数として修正し、それにより、第１の修正画像および第２の修正画像を生成すること、ならびに、拡大３Ｄ画像をユーザーに対して第１の修正画像および第２の修正画像を表示することにより表示することの手順を含む。【選択図】図３

Description

本開示の技術は、一般に、立体画像の拡大に関し、具体的には、特に、拡大３次元（３Ｄ）画像を生成するために、倍率に従って拡大した立体画像を修正するための方法およびシステムに関する。

視差は、（物体と直線上に位置していない）２つの異なる点から見た物体の、見かけの変位、すなわち、見かけの方向における差異である。視差は、奥行き知覚に対する視覚的な手掛かりを提供し、立体視のために人間の脳によって採用される。具体的には、近くの物体は遠くの物体よりも大きな視差を表す。

瞳孔間距離（ＩＰＤ）は、システム、または人の瞳孔の間の距離である。異なる人々は異なるＩＰＤを有し、従って、同じ物体を、同じ距離から、若干異なる視差で見得る。

ここで、Ｓａｗａｃｈｉに対する、「Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ， Ｉｍａｇｉｎｇ Ｃａｐｔｕｒｉｎｇ Ｄｅｖｉｃｅ，ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｉｍａｇｅ」という名称の米国特許出願公開第２０１３／０１００２５３号を参照する。本公開は、画像取得部、ズーム値取得部、視差量算出部、および視差量補正部を含む、画像処理装置に関する。画像取得部は、立体画像を取得する。ズーム値取得部は、立体画像のズーム値を取得する。視差量算出部は、視点画像間の各画素の視差量を算出する。視差量算出部は、視差量算出部によって算出した視差量に従い、かつ、ズーム値取得部によって取得したズーム値に従って、立体画像（例えば、左目用画像および右目用画像）の各画素の視差量を補正するための視差量補正値を算出する。

ここで、Ｊｉｎらに対して発行され、「Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ ｗｉｔｈ Ｆｌｅｘｉｂｌｅ Ｒｅｎｄｅｒｉｎｇ ｏｆ Ｄｉｓｐａｒｉｔｙ Ｍａｐ Ａｃｃｏｒｄｉｎｇ ｔｏ Ｔｈｅ Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｆｕｓｉｎｇ Ｃａｐａｂｉｌｉｔｙ ｏｆ Ｔｈｅ Ｏｂｓｅｒｖｅｒ」という名称の米国特許第８，０９４，９２７号を参照する。本公開は、所与の立体表示のために、ユーザーに従い、場面コンテンツをカスタマイズするための方法に関する。本方法は、ユーザーに関するカスタマイズ情報を取得するステップ、場面視差マップを取得するステップ、ユーザーに対して目標視差範囲を決定するステップ、カスタマイズした視差マップを生成するステップ、およびカスタマイズした視差マップを適用するステップを含む。カスタマイズ情報は、特定のユーザー個別であり、各ユーザーに対して取得すべきである。場面視差マップは、一対の所与のステレオ画像から取得される。目標視差範囲は、ユーザーに対するカスタマイズ情報から決定される。カスタマイズした視差マップは、所与の立体表示をユーザーの融合能力と相関させるために生成される。カスタマイズした視差マップは、ステレオ画像を後続の表示用にレンダリングするために適用される。

ここで、Ｓｔａｔｅらに対する、「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｄｙｎａｍｉｃ Ｖｉｒｔｕａｌ Ｃｏｎｖｅｒｇｅｎｃｅ ａｎｄ Ｈｅａｄ Ｍｏｕｎｔａｂｌｅ Ｄｉｓｐｌａｙ」という名称の米国特許出願公開第２００４／０２３８７３２号を参照する。本公開は、近距離の物体の立体視を可能にするために、ビデオシースルー方式のヘッドマウント可能ディスプレイに対する動的仮想収束の方法に関する。本方法は、第１および第２のカメラを用いて画像をサンプリングするステップ、見る人に対して視距離を推定するステップ、フラスタムの表示（ｄｉｓｐｌａｙ ｆｒｕｓｔｕｍ）を推定した視距離で収束するように変換するステップ、カメラによってサンプリングされた画像をフラスタムの表示に再投影するステップ、および再投影した画像を表示するステップを含む。各カメラは、第１の視野を有する。再投影した画像は、（カメラの）第１の視野よりも小さい、第２の視野をもつディスプレイ上で見る人に対して表示され、それにより、近距離の物体の立体視を可能にする。

本開示の技術の目的は、倍率に従って修正された視差を有する物体の拡大３次元（３Ｄ）画像を生成するための新規の方法およびシステムを提供することである。本開示の技術によれば、従って、物体の拡大３Ｄ画像を生成するための方法が提供される。本方法は、物体の画像を取得するステップ、倍率パラメータを決定するステップ、取得した画像から倍率パラメータに従って拡大画像を生成するステップ、拡大画像の幾何形状を倍率パラメータの関数として修正するステップ、および修正した画像を３Ｄ拡大画像として表示するステップを含む。修正した画像における物体の視差は、倍率パラメータに従って修正される。

本開示の技術の別の実施形態によれば、従って、物体の拡大３Ｄ画像を生成するための方法が提供される。本方法は、物体の画像のステップ、前記物体の３Ｄモデルを生成するステップ、倍率パラメータを決定するステップ、拡大撮影距離（ｍａｇｎｉｆｉｅｄ ｏｂｊｅｃｔ ｄｉｓｔａｎｃｅ）を決定するステップ、拡大画像を生成するステップ、および拡大画像を３Ｄ拡大画像として表示するステップを含む。物体は、画像を取得するカメラから撮影距離に位置している。拡大撮影距離は、物体がその位置で倍率パラメータに従って拡大され得る、カメラからの物体のシミュレートした距離である。拡大撮影距離は、倍率パラメータに従って決定される。拡大画像は、３Ｄモデルから生成される。拡大画像は、拡大撮影距離から見え得るような物体を含む。

本開示の技術の更なる実施形態によれば、従って、物体の拡大３Ｄ画像を生成するためのシステムが提供される。本システムは、カメラ、ディスプレイ、および画像プロセッサを含む。カメラは、カメラから撮影距離に位置している物体の画像を取得する。画像プロセッサは、倍率パラメータに従って物体の拡大画像を生成する。拡大画像における物体の視差は、倍率に従って修正される。ディスプレイは拡大画像を３Ｄ画像として表示する。

本開示の技術は、図面と併せると、以下の詳細な説明から更に十分に理解されるであろう。

本開示の技術の実施形態に従って構築されて機能する、立体視を促進するための、倍率パラメータに従い拡大３Ｄ画像を生成するためのシステムの略図である。 本開示の技術の実施形態に従って構築されて機能する、立体視を促進するための、倍率パラメータに従い拡大３Ｄ画像を生成するためのシステムの略図である。 本開示の技術の実施形態に従って構築されて機能する、立体視を促進するための、倍率パラメータに従い拡大３Ｄ画像を生成するためのシステムの略図である。 本開示の技術の実施形態に従って構築されて機能する、立体視を促進するための、倍率パラメータに従い拡大３Ｄ画像を生成するためのシステムの略図である。 本開示の技術の実施形態に従って構築されて機能する、立体視を促進するための、倍率パラメータに従い拡大３Ｄ画像を生成するためのシステムの略図である。 本開示の技術の別の実施形態に従って構築されて機能する、立体視を促進するための、倍率パラメータに従い拡大３Ｄ画像を生成するためのシステムの略図である。 本開示の技術の更なる実施形態に従って機能する、立体視を促進するための、倍率パラメータに従い拡大３Ｄ画像を生成するための方法の略図である。 本開示の技術の更に別の実施形態に従って機能する、立体視を促進するための、倍率パラメータに従い拡大３Ｄ画像を生成するための方法の略図である。

本開示の技術は、倍率パラメータに従って拡大３次元（３Ｄ）画像を生成するための方法を提供することにより従来技術の欠点を克服する。左画像および右画像が、それぞれ、空間的に分離された左カメラおよび右カメラによって（または２つのチャネルを有する単一のカメラによって）取得される。左画像および右画像の各々は、物体を含む。左および右カメラの異なる視点に起因して、物体は、左画像および右画像内で異なって見える（例えば、各画像内で異なる位置に見える−視差）。

拡大システムにおいて、画像拡大は、視点（すなわち、観点）の変化と同様の効果を引き起こし、その場合、場面はより近い距離から観察される。言い換えれば、拡大画像は、物体からより近距離で取得された画像をシミュレートする。従って、ユーザーが物体をもっと近距離から見たい場合、その物体の画像が拡大できる。ユーザーは倍率パラメータを提供し、それに応じて、画像が拡大される。すなわち、その物体を含む画像の部分が拡大される。画像は、当技術分野で既知の任意の方法で（例えば、光学的に、またはデジタル処理で）拡大できる。

画像の拡大中にカメラは動いていないので、物体のそれらの視点は変わらないままである。例えば、画像内の物体の視差は変わらないままである。しかし、拡大された物体は、より短い撮影距離の印象を与える。従って、拡大画像を見ているユーザーは、矛盾する視覚的な手掛かりを受け取り、不快感を経験して、疲労、吐き気、および同様のものに悩まされ得る。従って、拡大画像の幾何形状は、ユーザーの不快感を低減する拡大３Ｄ画像を生成するために修正すべきである。

本開示の技術の一実施形態によれば、拡大３Ｄ画像を生成するための方法は、所望の倍率（または所望の視点もしくは撮影距離）を示す倍率パラメータをユーザーから受信することを伴う。左右の画像が拡大され、具体的には、少なくとも物体を含む部分が拡大される。

拡大画像の幾何形状が次いで修正される。幾何修正は、倍率パラメータの関数である。言い換えれば、幾何修正関数（すなわち、倍率パラメータの関数）が拡大画像に適用される。例えば、幾何修正は、拡大された物体の画素の変位によって、またはそうでなければ画像のワーピングによって行うことができる。拡大画像の幾何形状は、物体が、あたかもより近くの視点（すなわち、カメラの元の位置よりも近く）から撮像されたかのように見えるように修正される。言い換えれば、拡大画像は、より短い撮影距離（すなわち、本明細書では拡大撮影距離（ｍａｇｎｉｆｉｅｄ−ｏｂｊｅｃｔ ｄｉｓｔａｎｃｅ）と呼ぶ）で取得された画像をシミュレートする。

画素変位による修正の場合、画像の拡大部分は、均一に（倍率の関数として）変位できる。すなわち、画素は、画素位置に関わらず、倍率のみに応じて、直線的に変位される。すなわち、（補正後）再定義された画像は、画素全体を、垂直、水平、または回転軸方向に同じ量だけ移動させて作成される。この均一の変位は、本明細書では、零次修正、または線形修正と呼ぶ。

修正は、１次修正、２次修正など、より高次で行うことができる。より高次（すなわち、零次よりも高次）の修正の各々では、変位される画素の変位は、画像内でのその元の位置に依存する。従って、より高次の修正は、相当な奥行きの範囲をもつ画像に対してより良い結果をもたらし得る。

本開示の技術の別の実施形態によれば、拡大３Ｄ画像を生成するための方法は、物体の３次元（３Ｄ）モデルを生成することを伴う。３Ｄモデルは、物体（および場合により、画像内の他の物体）の要素の奥行きをマッピングする。ユーザーから倍率パラメータを受信した後、拡大撮影距離が決定される。拡大撮影距離は、物体が、倍率パラメータによって示されるように拡大されたように見える距離である。例えば、所望の倍率は２倍の拡大である。拡大撮影距離は、物体が元の画像内の２倍に見えるような、カメラからの物体の距離である。

その後、物体の３Ｄモデルから一対の拡大画像が生成される。拡大画像は、拡大撮影距離から取得されたであろう画像をシミュレートする。すなわち、生成された拡大画像は、物体を、あたかも拡大撮影距離から（すなわち、その物体が拡大撮影距離に位置していた場合のカメラの視点から）撮像したかのように見せる。それにより、生成された拡大画像は、物体を所望の倍率で、かつ自然な視差で見せ、その結果、立体視を促進する。生成された拡大画像は一緒に、拡大３Ｄ画像を形成する。

ここで、図１Ａ、図１Ｂ、図１Ｃ、図１Ｄおよび図１Ｅを参照すると、本開示の技術の一実施形態に従って構築されて機能する、倍率パラメータに従い拡大３Ｄ画像を生成するための、全体が１００で示される、拡大３Ｄ画像システムの略図が示されている。図１Ａは、拡大３Ｄ画像システムおよび撮像された物体を示す。図１Ｂは、拡大３Ｄ画像システムのカメラによって取得された左右の画像を示す。図１Ｃは、拡大３Ｄ画像システムおよび拡大した撮像物体の表現を示す。図１Ｄは、拡大した左画像および拡大した右画像を示す。図１Ｅは、修正した左画像および修正した右画像を示す。

拡大３Ｄ画像システム１００は、第１のカメラ１０２（例えば、左カメラ１０２）および第２のカメラ１０４（例えば、右カメラ１０４）を含み、各々が視野（ＦＯＶ）と関連付けられている。図１Ａで説明する例では、カメラ１０２のＦＯＶは、２本の点線で示されており、カメラ１０４のＦＯＶは、２本の破線で示されている。各カメラは、画像センサーおよび光学組立体（両方とも図示せず）を含む。カメラ１０２および１０４の各々は、画像プロセッサ（例えば、図２の画像プロセッサ２０６）と結合される。

カメラ１０２および１０４の各々は、カメラから距離Ｄ_ｏｂｊにある物体１０６の画像を取得する。カメラ１０２からの物体の距離は、カメラ１０４からの距離とはわずかに異なり得ることに留意されたい。しかし、これらのわずかな差は無視できるほどであり、具体的には、カメラ１０２とカメラ１０４との間の距離自体よりもはるかに小さい。従って、本明細書中以下、Ｄ_ｏｂｊは、物体１０６とカメラ１０２との間の距離として、また物体１０６とカメラ１０４との間の距離として（または単に物体とカメラとの間の距離として）関連付けられる。カメラからの物体の距離（Ｄ_ｏｂｊ）は、カメラの視点（例えば、視点は撮影距離に対応する）によっても記述できる。例えば、カメラの視点が物体から１．５メートルに置かれると、従って、撮影距離は１．５メートルである。

図１Ａから分かるように、カメラ１０２および１０４の各々は、物体のそれぞれの画像をわずかに異なる視点から取得する。カメラのＦＯＶの各々内で物体１０６の位置が異なることから分かるように、物体１０６は、各画像内でわずかに異なる位置に現れるであろう。すなわち、物体１０６は、左画像内でのその位置と、右画像内でのその位置との間で視差を表すであろう。

図１Ｂを参照すると、左画像１１０および右画像１１２が提示されている。図に示すように、左画像１１０および右画像１１２の各々は、物体１０６を含む。物体１０６は、各画像内で異なる位置に現れる（すなわち、視差を表している）。具体的には、左画像１１０では、物体１０６の中心が画像の中心の左に位置し、右画像１１２では、物体１０６の中心が画像の中心の右に位置している。画像１１０および１１２内の物体１０６の視差は、カメラ１０２および１０４の各々の位置によって、およびカメラに対する物体１０６の位置−Ｄ_ｏｂｊによって定義される。

物体１０６は拡大できる。拡大は、光学的またはデジタル的のいずれかであり得る。光学拡大は、物体１０６をユーザーが見るように、カメラで検出するように、またはディスプレイで表示するように、拡大するために、光学要素（例えば、望遠レンズ組立体またはズームレンズ組立体）を採用する。デジタル拡大は、拡大された画像部分を切り取り、画素値を潜在的に推定するための画像処理技術を採用する。物体１０６が拡大されると、物体１０６がカメラに近づくように見える。すなわち、物体１０６の拡大は、より短い撮影距離（すなわち、より近いカメラの視点）をシミュレートする。

図１Ｃを参照すると、左拡大画像１２０および右拡大画像１２２は拡大された物体１１６（およびその周囲）を示している。図１Ｃから分かるように、拡大された物体１１６は、画像１２０および１２２内で、画像１１０および１１２内の物体１０６と同じ視差を表す。言い換えれば、各画像１２０および１２２内の拡大された物体１１６の中心は、画像１１０および１１２内の物体１０６の中心と同じ位置にある。物体の拡大が、デジタル的または光学的に行われたかどうかに関わらず、撮影距離ならびにカメラ位置および向き（すなわち、カメラの視点）は変わらなかったので、視差は物体の拡大と共に変化しなかった。

しかし、物体の拡大は、拡大された物体１１６が、物体１０６よりも近くに見える（すなわち、カメラ１０２および１０４に近づく）ようにすることに留意されたい。図１Ｄを参照すると、拡大された物体１１６は、（その新しい拡大されたサイズに従って）あたかもカメラから拡大撮影距離−Ｄ_ｍａｇに位置しているかのように見え、その場合、Ｄ_ｍａｇはＤ_ｏｂｊより小さい。言い換えれば、カメラ１０２および１０４の視点は、物体１０６よりも拡大された物体１１６に近いように見える。

拡大画像１２０および１２２は、見る人に矛盾する視覚的な奥行き手掛かりを与える。一方では、拡大された物体１１６のサイズは、その物体が拡大撮影距離Ｄ_ｍａｇに位置していることを示し、他方では、画像１２０および１２２内の拡大された物体１１６の視差は、物体１１６が撮影距離Ｄ_ｏｂｊに位置していることを示す。それにより、拡大画像１２０および１２２は、見る人に視覚的不快感を引き起こし得る。本開示の技術は、かかる視覚的不快感を防ぐために、倍率に従って拡大画像を調整する。

図１Ｅを参照すると、左の調整した画像１３０および右の調整した画像１３２が示されている。拡大された物体１１６は、各画像１３０および１３２内で（画像１２０および１２２に対して）、相対する方向に変位され、変位された物体１２６として示されている。具体的には、画像１２０および１２２の画素の少なくとも一部が変位される。

本開示の技術の一実施形態によれば、拡大された物体はシフトされ、シフトは、倍率の関数として決定される。具体的には、全ての画素は、画素位置に関わらず、均一にシフトされる。かかる均一なシフトは、本明細書では、零次修正と呼ぶ。それにより、本開示の技術は、立体視を促進するために、拡大された物体の視差が物体の拡大されたサイズに対応するように、拡大画像を修正する。

例示的な変位関数は、［Ｄ_{ｄｉｓｐｌａｃｅｍｅｎｔ}＝倍率^＊ａ（ミリメートル）］によって与えられ、式中「ａ」は、０．１などの一定係数である。従って、物体を２の拡大係数で拡大する場合、変位は２ミリメートルである。別の例示的な変位関数は、［Ｄ_{ｄｉｓｐｌａｃｅｍｅｎｔ}＝倍率＊ａ^２＋ｂ（ミリメートル）］によって与えられ、式中「ａ」および「ｂ」は一定係数である。従って、ａ＝１．５およびｂ＝３に対して、選択した場面を２の拡大係数で拡大する場合、シフト量は７．５ミリメートルである。代替として、変位は、任意の他の関数による拡大に関連できる。このようにして、画像１３０および１３２の奥行きの視覚的な手掛かりが、立体視を促進するために調整される（例えば、拡大された物体１２６のサイズが画像内の物体１２６の視差に対応するように調整される）。

本開示の技術の他の実施形態によれば、異なる画素が異なって変位できる。具体的には、画素（または１組の画素）の変位が、倍率だけでなく、画素の位置にも依存する。かかる不均一な変位は、本明細書では、より高次の修正（例えば、１次修正、２次修正、３次修正など）と呼ぶ。より高次の修正は、相当な奥行きの範囲をもつ拡大画像に対してより良い結果を与え得る。

１次変位の例は、［Ｄ_{ｄｉｓｐｌａｃｅｍｅｎｔ}＝ａＸ＋ｂ］によって与えられる。２次変位の例は、［Ｄ_{ｄｉｓｐｌａｃｅｍｅｎｔ}＝ａＸ^２＋ｂＸ＋ｃ］によって与えられる。２次変位の別の例は、［Ｄ_{ｄｉｓｐｌａｃｅｍｅｎｔ}＝ａＸ＋ｂＹ＋ｃ］によって与えられる。式中、「Ｘ」はＸ軸に沿った画素座標であり、「Ｙ」はＹ軸に沿った画素座標であり、「ａ」、「ｂ」および「ｃ」は係数である。係数の少なくとも１つは、物体の倍率に依存することに留意されたい。１次修正の例は、［Ｄ_{ｄｉｓｐｌａｃｅｍｅｎｔ}＝ｆ（倍率）^＊Ｘ＋ｇ（倍率）］によって与えられ、式中「ｆ」および「ｇ」は倍率の関数である。

本開示の技術の他の実施形態によれば、拡大画像の幾何修正は、拡大画像をワーピングする他の方法を伴う。例えば、画像（または画像の異なる部分）は、引き伸ばし、縮小、回転、およびそれらの任意の組合せを行うことができる。幾何修正は、倍率パラメータの関数であり、拡大された物体が、あたかも拡大撮影距離から撮像されたかのように見えるように、画像を修正することを目的とする。

更に別の実施形態によれば、幾何修正に加えて他の修正も拡大画像に適用される。例えば、色相および色を修正するか、または色調を修正するための画素値の修正である。

本開示の技術の更に別の実施形態によれば、画像修正システムは、既に拡大された画像を修正する代わりに、拡大（および修正した）画像を生成する。画像修正システムは、所望の倍率をユーザーから受信する。画像修正システムは、物体の３次元（３Ｄ）モデルを左右の画像から生成する。場面の３Ｄモデルは、例えば、カメラの（物体に対する）実際の視点、カメラの相対位置、および２つのカメラからの画像間の相関関係の知識から作成できる。すなわち、画像修正システムは、物体の異なる要素の奥行きをマッピングする。画像修正システムは、調整した画像を、あたかも拡大撮影距離から取得したかのように、３Ｄモデルから生成する。この実施形態は、図４を参照して、本明細書で更に詳細に以下に説明する。

代替として、３Ｄモデルは、外部の供給源（例えば、別の撮像または走査装置、構造化照明（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）、飛行時間（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）など）から受信したデータ、物体の以前に取得した画像からのデータ、および同様のものなど、追加または代替データから生成できる。かかる追加の３Ｄデータが受信される場合、３Ｄモデルは、単一のカメラによって取得した単一の画像から生成できることに留意されたい。あるいは、完全な３Ｄモデルが外部の供給源から受信されて、カメラの画像からモデルを生成する必要がない。

図１Ａ〜図１Ｅで説明する例では、物体は、大きく見えるように拡大された。しかし、本開示の技術は、縮小された物体に対しても同様に適用でき（すなわち、拡大ではなく縮小）、その場合、物体は、小さく見えるようにされる。かかる場合、物体の縮小されたサイズに対応する（すなわち、それがより遠くに見える）ように視差が減少されるように、物体の視差が調整される。

ここで図２を参照すると、本開示の技術の別の実施形態に従って構築されて機能する、立体視を促進するために、倍率パラメータに従い拡大３Ｄ画像を生成するための、全体が２００で示される、システムの略図が示されている。システム２００は、左カメラ２０２、右カメラ２０４、画像プロセッサ２０６、ユーザーデータインタフェース２０８、左ディスプレイ２１０、右ディスプレイ２１２、およびユーザーインタフェース２１４を含む。カメラ２０２および２０４の各々は、画像プロセッサ２０６と結合される。画像プロセッサは更に、ユーザーデータインタフェース２０８と、左ディスプレイ２１０および右ディスプレイ２１２の各々と、ならびにユーザーインタフェース２１４と結合される。

カメラ２０２および２０４の各々は、図１Ａのカメラ１０２および１０４と実質的に同じであり、同様に置かれている。画像プロセッサ２０６は、任意のコンピュータシステムによって実装できる。例えば、コンピュータシステムは、１つの処理装置（またはいくつかの処理装置）、システムメモリ（例えば、ランダムアクセスメモリおよび読取り専用メモリ）、大容量記憶装置（例えば、ハードドライブ）、入力／出力装置（例えば、キーボード、マウス、画面、およびスピーカー）、および通信インタフェース（例えば、モデム）を含むことができる。これらの構成要素は、システムバス（または複数のバス）により、それらの間で結合される。これらの構成要素の各々は、当技術分野で知られているように構成されて操作され、従って、本明細書では更に詳述しない。プロセッサ２０６は、画像修正システム２００の構成要素の各々を制御し、追加として、拡大画像を修正する。例えば、プロセッサ２０６は、カメラ２０２および２０４を制御し、ユーザーデータインタフェース２０８およびユーザーインタフェース２１４からデータを受信し、ディスプレイ２１０および２１２用に画像をレンダリングする。

ユーザーデータインタフェース２０８は、ユーザーデータをプロセッサ２０６に提供するためのインタフェースである。ユーザーデータは、ユーザーの瞳孔間距離（ＩＰＤ）など、ユーザーの視覚特性に関連する。ユーザーデータは、ユーザーデータインタフェース２０８自体によって決定できるか、または外部の供給源から取得できる。例えば、ユーザーのＩＰＤを決定するために、ユーザーデータインタフェース２０８はＩＰＤ測定ツールを含むことができるか、または選択されたユーザーのＩＰＤ測定値を含む医療データベースにアクセスできる。左ディスプレイ２１０および右ディスプレイ２１２は、画像をユーザーに提示するための視覚的出力インタフェースである。ユーザーインタフェース２１４は、システム２００がユーザーから入力を受信するのを可能にする。例えば、ユーザーは、ズームノブを用いて、またはキーパッドインタフェースを介して、所望の倍率レベルを示すことができる。

左右のカメラ２０２および２０４の各々は、それぞれの画像を取得する。取得された画像の各々は、物体を含む。画像プロセッサ２０６は、取得された画像を受信し、その画像をディスプレイ２１０および２１２を介してユーザーに提示する。左右のカメラ（本明細書では第１および第２のカメラとも呼ぶ）は、２つのチャネルを有する単一のカメラと置き換えることができることに留意されたい。従って、本明細書での第１のカメラおよび第２のカメラに対する任意の言及は、単一のデュアルチャネルカメラも指す。単一のカメラは、２つの別個の画像センサー、または各々の画像を検出するための専用部分を有する単一の画像センサーを持つことができる。

画像プロセッサ２０６は、画像を拡大するための倍率パラメータを決定する。例えば、画像プロセッサ２０６は、倍率パラメータをユーザーから受信する。ユーザーは、倍率パラメータをユーザーインタフェース２１４を経由して提供する。例えば、ユーザーは、選択した係数で拡大された物体を見たいこと、またはもっと近い視点から見たいこと、それに応じて、選択した倍率で画像にズームしたいことを示す。

本開示の技術の一実施形態によれば、画像プロセッサ２０６は、倍率パラメータに従って、元々取得された画像の拡大画像を生成する。例えば、画像プロセッサ２０６は、カメラ２０２および２０４を操作して、カメラ２０２および２０４の焦点距離を変更することにより拡大画像を取得する。代替として、画像プロセッサは、取得された画像の選択した部分をデジタル処理で拡大する（すなわち、物体を拡大する）。物体の拡大は、場面の出現における増加、または減少（すなわち、縮小）に関連できることに留意されたい。

画像プロセッサ２０６は、ユーザーＩＰＤなどの、ユーザーデータを、ユーザーデータインタフェース２０８から取得できる。画像プロセッサ２０６は、倍率に従い、場合によっては更にユーザーデータに従って、拡大画像を修正する。画像プロセッサ２０６は、修正した拡大画像を生成し、それらを左右のディスプレイ２１０および２１２を介して、拡大３Ｄ画像として表示する。言い換えれば、画像プロセッサ２０６は、倍率パラメータに従って修正した拡大画像を生成して、修正した拡大画像内の物体の位置が物体の拡大に対応するようにする。言い換えれば、修正した画像内の拡大画像の視差が、倍率に従って（すなわち、倍率パラメータの関数として）修正されて、修正された視差が倍率に対応するようになる。

本開示の技術の別の実施形態によれば、画像プロセッサ２０６は、拡大画像を修正する代わりに、修正した拡大画像を生成する。画像プロセッサ２０６は、左右の画像から物体の３Ｄモデルを生成して、物体の異なる要素の奥行きをマッピングする。画像プロセッサ２０６は、ユーザーの倍率パラメータをユーザーインタフェース２１４から受信する。画像プロセッサ２０６は、所望の倍率でシミュレートされる拡大撮影距離を決定する。画像プロセッサ２０６は、物体の３Ｄモデルから修正した拡大画像を生成する。修正した画像は、その物体がカメラ２０２および２０４から拡大撮影距離に位置していた場合（すなわち、カメラが倍率でシミュレートされた、シミュレーション視点に位置していた場合）に取得されたであろう物体の拡大画像である。

本開示の技術の更に別の実施形態によれば、物体は、（倍率に従うことに加えて）ユーザーデータに従って調整できる。例えば、ユーザーＩＰＤは、拡大画像内の物体の調整された視差に影響を及ぼし得る。異なるユーザーは、異なるＩＰＤを有し、従って、同じ物体を、同じ距離から、異なる視差で知覚し得る。拡大画像内の拡大された物体の修正された視差は、特定ユーザーの特定ＩＰＤに対して修正でき、それにより、そのサイズに従って拡大された物体の奥行き知覚が、画像内の修正された視差に従って拡大された物体の奥行き知覚に対応するであろう。

図１Ａ〜図１Ｅおよび図２を参照して本明細書で上述した例では、画像修正システムは、２つのカメラを有する。代替として、更に多くの視点から物体の画像を取得するために、更に多くのカメラが採用できる。拡大画像は、あたかもその画像が拡大撮影距離で取得されたかのように物体が見えるように、調整される。

ここで図３を参照すると、本開示の技術の更なる実施形態に従って機能する、立体視を促進するための、倍率パラメータに従い拡大３Ｄ画像を生成するための方法の略図が示されている。手順３００では、物体の第１の画像および第２の画像が取得される。第１の画像は、第１のカメラによって取得され、第２の画像は、第２のカメラによって取得される。第１の画像内および第２の画像内の物体の位置は、異なるカメラ位置に起因した視差を表す。第１および第２のカメラは、単一のデュアルチャネルカメラで置き換えることができることに留意されたい。図１Ａおよび図１Ｂを参照すると、カメラ１０２および１０４はそれぞれ、画像１１０および１１２を取得した。画像１１０および１１２の各々は物体１０６を含む。

手順３０２では、倍率パラメータが決定される。ユーザーは取得された画像を画像ディスプレイを介して見る。ユーザーが物体をもっと近接して見たい場合、ユーザーは倍率パラメータを提供する。倍率パラメータは、ユーザーにより、ユーザーインタフェースを経由して提供される。例えば、ユーザーは、ズームイン／アウトノブを操作する（それに応じて、倍率パラメータが決定される）か、またはキーパッドを経由して倍率出力を提供する。倍率パラメータは、所望の倍率を示す。画像拡大は、視点、または撮影距離における変化（すなわち、カメラと撮像された場面との間の距離における変化）をシミュレートする。図２を参照すると、ユーザーは、ユーザーインタフェース２１４を介して倍率パラメータを提供する。

追加として、ユーザーデータも受信できる。ユーザーデータは、決定できるか、または外部の供給源から取得できる。ユーザーデータは、ユーザーのＩＰＤ、ならびに、視野角、および同様のものなど、そのユーザーの視覚特性に関連し得る。図２を参照すると、ユーザーデータインタフェース２０８は、ユーザーＩＰＤなどの、ユーザーデータを決定し、そのユーザーデータを画像プロセッサ２０６に提供する。

手順３０４では、第１の拡大画像および第２の拡大画像が生成される。第１の拡大画像は、物体を含む、第１の画像の部分を、倍率パラメータに従って（すなわち、倍率パラメータの関数として）拡大することにより生成される。第２の拡大画像は、物体を含む、第２の画像の部分を、倍率パラメータに従って拡大することにより生成される。物体は、光学的に、またはデジタル処理のいずれかで、拡大できる。拡大は、画像内の物体の位置も比率も変更しない。

拡大後、拡大された物体は、（その拡大されたサイズに起因して）カメラに近づいたように見える。しかし、各拡大画像内の物体の比率および位置（例えば、拡大画像内の物体の視差）は、撮影距離における変化、またはカメラの視点における変化を示していない。それ故、拡大画像は矛盾する奥行きの視覚的な手掛かりを与え、それは、ユーザーに不快感を引き起こし得る。図１Ｃおよび図１Ｄを参照すると、拡大画像１２０および１２２は拡大された物体１１６を示す。その拡大されたサイズに起因して、拡大された物体１１６は、カメラから距離Ｄ_ｍａｇに位置しているように見え、それは、実際の距離Ｄ_ｏｂｊよりも近い。

手順３０６では、第１の拡大画像および第２の拡大画像の幾何形状が、倍率パラメータの関数として、修正される。その結果、第１の修正画像および第２の修正画像が生成される。修正画像内の拡大された物体の視差が、倍率パラメータに従って修正される。このようにして、拡大された物体の視差は、拡大された物体の倍率に対応し、結果として、見る人の不快感を減らして、立体視を促進する。

幾何修正は、各拡大画像内の物体の画素を、相対する方向に、倍率パラメータに従って決定された変位で、変位することによって実行できる。その結果、例えば、修正された視差は倍率に対応し、見る人は、修正画像を見たときに立体視不快感を経験しない。追加として、変位は、ユーザーＩＰＤなどのユーザーデータに従って更に決定でき、そのため、調整画像はユーザーに対して特別に調整され、それにより、ユーザーの不快感を更に低減する。

拡大された物体の画素は、同じ方法で一緒に変位できる。代替として、各画素または画素の組に対して、それぞれの変位が決定される。変位は、画像内の画素位置に従って決定できる。例えば、変位は、画素のＸ座標の一次関数であるか、または画素のＸおよびＹ座標両方の二次関数である。このように、物体は、シフトされるだけでなく、ワーピングもされる。拡大された物体をワーピングすると、相当な奥行きの範囲をもつ画像をより良く修正する。このように、修正された拡大された物体を含む修正画像は、あたかも、所望の倍率でシミュレートされた拡大撮影距離から取得されたかのように見える。一般に、任意の画像幾何修正または他の方法による修正は、あたかも（実際の撮影距離よりも近い）拡大撮影距離から取得されたかのように見えるように拡大画像を修正するために、採用できる。修正画像は、一緒に拡大３Ｄ画像を形成して、ユーザーが拡大された物体の３Ｄビューを見るのを可能にする。

本開示の技術の別の実施形態によれば、各画素の変位は、その画素によって表される要素の相対的撮影距離に関連する。例えば、物体が物体のグループで、各々がカメラから異なる距離に位置している場合。より近い距離にある第１の物体を示す画素の変位は、より遠くの距離にある第２の物体を示す画素の変位よりも大きいであろう。それにより、各物体の視差が、その物体の特定の撮影距離に従って調整される。

追加として、画像は、ユーザーＩＰＤなどの、特定のユーザー特性に適合するように（例えば、画素を変位することにより）修正できる。すなわち、画像は、特定のＩＰＤを有する、特定のユーザーが、その物体をシミュレートされた視点から見ているかのように見えるように、調整される。

図２および図１Ｅを参照すると、画像プロセッサ２０６は、便利な立体視を可能にするために、倍率に従い（および場合により、ユーザーデータに従って）、拡大された選択した場面の画素を変位する。変位は、あたかも、物体が画像拡大によってシミュレートされた、拡大撮影距離に位置している場合に、取得されたかのように見えるように、拡大画像を幾何的に修正することを目的とする。画像プロセッサ２０６は、画像１３０および１３２を生成し、その画像内で、調整された物体１２６は、拡大された物体１１６の位置からシフトされ、それにより、立体視を促進するために画像１３０および１３２を幾何的に修正する。

手順３０８を参照すると、拡大３Ｄ画像がユーザーに表示される。拡大修正画像は、一緒に拡大３Ｄ画像を形成する。第１の修正画像は、ユーザーの第１の目に対して表示され、第２の修正画像は、ユーザーの第２の目に対して表示される。それにより、拡大３Ｄ画像がユーザーに対して表示される。修正画像は、立体視を促進し、ユーザーは物体の拡大３Ｄ画像を見る。図２および図１Ｅを参照すると、第１のディスプレイ２１０は第１の修正画像１３０を表示し、第２のディスプレイ２１２は第２の修正画像１３２を表示する。

ここで図４を参照すると、本開示の技術の更に別の実施形態に従って機能する、立体視を促進するための、倍率パラメータに従い拡大３Ｄ画像を生成するための方法の略図が示されている。手順４００では、物体の第１の画像および第２の画像が取得される。第１の画像は、第１のカメラによって取得され、第２の画像は、第２のカメラによって取得される。第１の画像内および第２の画像内の物体の位置は、異なるカメラ位置に起因した視差を表す。図１Ａおよび図１Ｂを参照すると、カメラ１０２および１０４はそれぞれ、画像１１０および１１２を取得した。画像１１０および１１２の各々は物体１０６を含む。

手順４０２を参照すると、第１および第２の画像から物体の３次元（３Ｄ）モデルが生成される。３Ｄモデルは、物体の各要素の奥行きをマッピングする。３Ｄモデルは、例えば、カメラの実際の視点、カメラの相対位置、および２つのカメラからの画像間の相関関係の知識から作成される。代替として、３Ｄモデルは、外部の供給源から受信したデータ、物体の以前に取得した画像からのデータ、および同様のものなど、追加または代替データから生成できる。かかる場合、３Ｄモデルは、単一の画像だけから生成できるか、または画像なしで追加のデータから完全に生成できる。図２を参照すると、画像プロセッサ２０６は、選択した場面の３Ｄモデルを左画像および右画像から生成する。

手順４０４では、倍率パラメータが決定される。手順４０４は、図３の手順３０２と同様であり、ユーザーＩＰＤなどの、ユーザーデータを受信するステップを同様に含むことができる。図２を参照すると、ユーザーは、ユーザーインタフェース２１４を介して倍率パラメータを提供する。

手順４０６では、拡大撮影距離は、倍率パラメータに従って決定される。拡大撮影距離は、カメラからの物体のシミュレートされた距離であり、その位置で物体は倍率パラメータに従って拡大されるであろう。例えば、所望の倍率が２倍である場合、拡大撮影距離は、その位置で物体が、元々取得された画像内での２倍に見えるような、距離である。図１Ｄおよび図２を参照すると、画像プロセッサ２０６は、倍率パラメータに従って、拡大撮影距離Ｄ_ｍａｇを決定する。

手順４０８では、第１の拡大画像および第２の拡大画像が３Ｄモデルから生成される。第１の拡大画像および第２の拡大画像の各々は、拡大撮影距離から見え得るような物体を含む。前述のように、画像拡大は、より短い撮影距離をシミュレートする。しかし、カメラの視点は拡大によって変わらないので、拡大画像は、より短い距離で取得された画像とは異なる。拡大修正画像は、倍率に対応する、より近い視点をシミュレートするように生成される。拡大修正画像は、物体の３Ｄモデルから生成される。拡大修正画像は一緒に、物体の拡大３Ｄ画像を形成する。

拡大撮影距離（またはシミュレートされた視点）は倍率パラメータに従って決定される。例えば、距離は、倍率に反比例する。すなわち、２倍の倍率は、元の撮影距離の半分である撮影距離に変換される。倍率と距離との間の他の関係も採用できる。本開示の技術の一実施形態によれば、カメラに対して経験テーブル（ｅｍｐｉｒｉｃ ｔａｂｌｅ）が作成される。すなわち、カメラが物体から異なる距離に置かれ、各距離での物体拡大がルックアップテーブルに格納される。前述のように、修正画像は、ＩＰＤなどの、特定の視覚特性を有する特定のユーザーに対して調整できる。

本開示の技術の別の実施形態によれば、画像は、各々がカメラから異なる距離に位置した、複数の物体（または物体が複数の要素を含む場合）を含む。この場合、拡大撮影距離は、物体の各々（または物体の各要素）に対して決定できる。拡大画像は、立体視を促進する３Ｄ画像を生成するために、各物体が、あたかもそれぞれの拡大撮影距離から撮像されたかのように見えるように、生成される。

図１Ｅおよび図２を参照すると、画像プロセッサ２０６は、画像１３０および１３２を生成し、それらの図で物体１２６は、あたかも拡大撮影距離Ｄ_ｍａｇから撮像されたかのように見える。画像プロセッサ２０６は、画像１３０および１３２をユーザーに対して、拡大３Ｄ画像としてディスプレイ２１０および２１２を介して提示する。

本開示の技術は、本明細書において上で具体的に示し記述してきたものに限定されないことが当業者によって理解されるであろう。むしろ、本開示の技術の範囲は、以下のクレームによってのみ定義される。

Claims (13)

1. 倍率に従って修正された視差を有する物体の拡大３次元（３Ｄ）画像を生成するための方法であって、以下の手順：
   前記物体の第１の画像を第１のカメラによって取得し、前記物体の第２の画像を第２のカメラによって取得することと、
   倍率パラメータを決定することと、
   前記物体を含む前記第１の画像の部分を前記倍率パラメータに従って拡大することにより第１の拡大画像を生成し、前記物体を含む前記第２の画像の部分を前記倍率パラメータに従って拡大することにより第２の拡大画像を生成することであって、前記第１および第２の拡大画像内の前記物体の視差が、前記第１および第２の画像内の前記物体の視差と同じである、第１の拡大画像および第２の拡大画像を生成することと、
   前記第１の拡大画像および前記第２の拡大画像の幾何形状を、前記倍率パラメータの関数として修正し、それにより、第１の修正画像および第２の修正画像を生成することであって、前記物体は、前記第１の修正画像および前記第２の修正画像内に修正された視差を有し、第１および第２の拡大画像によってシミュレートされた拡大シミュレーション撮影距離は前記修正された視差に対応する、前記第１の拡大画像および前記第２の拡大画像の幾何形状を修正することと、
   前記拡大３Ｄ画像をユーザーに対して前記第１の修正画像および前記第２の修正画像を表示することにより表示することと
   を含む、方法。
2. 前記幾何形状を修正する前記手順は、前記選択された物体の少なくとも１つの画素を変位することによって実行される、請求項１に記載の方法。
3. 前記少なくとも１つの画素の全ての変位が同じである、請求項２に記載の方法。
4. 前記少なくとも１つの画素の選択された１つの変位が、前記少なくとも１つの画素の前記選択された１つの位置に依存する、請求項２に記載の方法。
5. 選択されたユーザーを特性化するユーザーデータを受信する手順を更に含み、かつ、前記幾何形状を修正する前記手順は、更に前記ユーザーデータに従って実行されている、請求項１に記載の方法。
6. 倍率に従って修正された視差を有する拡大３次元（３Ｄ）画像を生成するための方法であって、以下の手順：
   物体が、第１のカメラおよび第２のカメラから撮影距離に置かれていて、前記物体の第１の画像を前記第１のカメラによって取得し、前記物体の第２の画像を前記第２のカメラによって取得することと、
   前記物体の３Ｄモデルを生成することと、
   倍率パラメータを決定することと、
   拡大シミュレーション撮影距離を前記倍率パラメータに従って決定することであって、前記拡大シミュレーション撮影距離は、前記第１のカメラおよび前記第２のカメラからの前記物体のシミュレートされた距離であり、その位置で、前記物体は、前記倍率パラメータに従って拡大されるであろう、拡大シミュレーション撮影距離を決定することと、
   第１の拡大画像および第２の拡大画像を前記３Ｄモデルから生成することであって、前記第１の拡大画像および前記第２の拡大画像の各々は、前記拡大シミュレーション撮影距離から見えるであろうように前記物体を含み、前記第１および第２の拡大画像によってシミュレートされた前記拡大シミュレーション撮影距離は前記第１および第２の拡大画像内の修正された視差に対応する、第１の拡大画像および第２の拡大画像を前記３Ｄモデルから生成することと、
   前記拡大３Ｄ画像をユーザーに対して前記第１の拡大画像および前記第２の拡大画像を表示することにより表示することと
   を含む、方法。
7. 選択されたユーザーを特性化するユーザーデータを受信する前記手順を更に含み、かつ、前記第１の拡大画像および前記第２の拡大画像を前記３Ｄモデルから生成する前記手順は、更に前記ユーザーデータに従って実行されている、請求項６に記載の方法。
8. 前記３Ｄモデルは、前記第１の画像および前記第２の画像から生成される、請求項６に記載の方法。
9. 前記３Ｄモデルは、前記第１の画像から、および外部の供給源から受信された３Ｄ物体データから生成される、請求項６に記載の方法。
10. 倍率に従って修正された視差を有する拡大３Ｄ画像を生成するためのシステムであって、
    第１のカメラから撮影距離に位置している物体の第１の画像を取得するように構成された前記第１のカメラと、
    第２のカメラから前記撮影距離に位置している前記物体の第２の画像を取得するように構成された前記第２のカメラと、
    第１の拡大画像をユーザーに対して表示するように構成された第１のディスプレイと、
    第２の拡大画像を前記ユーザーに対して表示するように構成された第２のディスプレイと、
    前記第１のカメラ、前記第２のカメラ、前記第１のディスプレイおよび前記第２のディスプレイと結合された画像プロセッサであって、前記画像プロセッサは、前記第１の拡大画像および前記第２の拡大画像を倍率パラメータに従って生成するように構成され、前記物体は、拡大シミュレーション撮影距離ならびに前記第１の拡大画像および前記第２の拡大画像内の修正された視差を有し、前記拡大シミュレーション撮影距離は、前記第１および第２の拡大画像内の前記第１のカメラおよび前記第２のカメラからの前記物体のシミュレートされた距離であり、前記拡大シミュレーション撮影距離は前記修正された視差に対応する、画像プロセッサと
    を含む、システム。
11. 前記画像プロセッサは、前記物体を含む前記第１の画像の部分を前記倍率パラメータに従って拡大することにより、前記第１の拡大画像を生成し、かつ前記物体を含む前記第２の画像の部分を前記倍率パラメータに従って拡大することにより、前記第２の拡大画像を生成するように構成され、前記画像プロセッサは、前記第１の拡大画像および前記第２の拡大画像の幾何形状を、前記倍率パラメータの関数として、修正するように更に構成されている、請求項１０に記載のシステム。
12. 前記画像プロセッサは、前記物体の３Ｄモデルを生成するように構成され、前記画像プロセッサは、拡大撮影距離を前記倍率パラメータに従って決定するように更に構成され、前記拡大撮影距離は、その位置で前記物体が前記倍率パラメータに従って拡大されたであろう、前記第１のカメラおよび前記第２のカメラからの前記物体のシミュレートされた距離であり、かつ、前記画像プロセッサは、前記第１の拡大画像および前記第２の拡大画像を前記３Ｄモデルから生成するように構成され、前記第１の拡大画像および前記第２の拡大画像の各々が、前記物体を、前記拡大撮影距離から見えるであろうように含む、請求項１０に記載のシステム。
13. 選択されたユーザーを特性化するユーザーデータを受信するように構成されたユーザーデータインタフェースを更に含み、かつ前記画像プロセッサは、前記第１の拡大画像および前記第２の拡大画像を更に前記ユーザーデータに従って生成するように更に構成されている、請求項１０に記載のシステム。

Images