JP2012133179A - 立体視装置、及び立体視装置の制御方法 - Google Patents

Abstract

【課題】既存のディスプレイ装置の表示画面に対する眼の位置が変化した場合に、それに対応した正しい立体視ができない。
【解決手段】追加型立体視装置１００は、入力された映像を左眼用と右眼用の映像に分離する立体映像分離部１１と、立体映像分離部１１で分離された左眼用と右眼用の映像のいずれか一方をディスプレイ装置１２０に表示すると共に、左眼用及び右眼用の映像の他方を単眼用のＨＭＤ装置に表示する表示対応部２と、ディスプレイ装置１２０に対する左眼または右眼の位置に応じて特定されるディスプレイ装置１２０の映像表示エリアの形状に対応して、ＨＭＤ装置に表示される他方の映像に対して変形処理を行う映像変形処理部１とを備える。
【選択図】図１

Description

本発明は、立体視を実現する立体視装置、及び立体視装置の制御方法に関する。

立体視装置の例が特許文献１に記載されている。この特許文献１の立体視装置では、左右の視差を考慮した右眼用画像及び左眼用画像のうち、例えば左眼用画像を実像としてディスプレイ装置に表示し、右眼用画像を虚像としてコード情報などから生成してヘッドマウントディスプレイ（以下、ＨＭＤディスプレイと記す）に表示する。そして、ディスプレイ装置の実像を左眼で見ている状態で同時にＨＭＤディスプレイの虚像を右眼で見ることにより立体視を実現している。

特開２００７−０８６７１６号公報

しかしながら、上記特許文献１に記載された技術は、立体視非対応型ディスプレイ装置（以下、既存ディスプレイ装置と記す）を使用して映像の立体視を実現することができるものの、既存ディスプレイ装置の表示画面に対する眼の位置が変化した場合に、それに対応した正しい立体視ができないという問題があった。

本発明の目的は、上述した課題を解決する立体視装置、及び立体視装置の制御方法を提供することにある。

上述した課題を解決するために、本発明の一態様による立体視装置は、入力された映像を左眼用と右眼用の映像に分離する立体映像分離部と、前記立体映像分離部で分離された左眼用と右眼用の映像のいずれか一方をディスプレイ装置に表示すると共に、左眼用及び右眼用の映像の他方を単眼用のヘッドマウントディスプレイ装置に表示する表示対応部と、前記ディスプレイ装置に対する左眼または右眼の位置に応じて特定される前記ディスプレイ装置の映像表示エリアの形状に対応して、前記ヘッドマウントディスプレイ装置に表示される前記他方の映像に対して変形処理を行う映像変形処理部とを備えることを特徴とする。

また、本発明の一態様による立体視装置の制御方法は、入力された映像を左眼用と右眼用の映像に分離する立体映像分離ステップと、前記立体映像分離ステップで分離された左眼用と右眼用の映像のいずれか一方をディスプレイ装置に表示すると共に、左眼用及び右眼用の映像の他方を単眼用のヘッドマウントディスプレイ装置に表示する表示対応ステップと、前記ディスプレイ装置に対する左眼または右眼の位置に応じて特定される前記ディスプレイ装置の映像表示エリアの形状に対応して、前記ヘッドマウントディスプレイ装置に表示される前記他方の映像に対して変形処理を行う映像変形処理ステップとを備えることを特徴とする。

本発明によれば、ディスプレイ装置の映像表示エリアに対する眼の位置が変化した場合でも、それに対応した正しい立体視が可能になる。

実施形態に係る追加型立体視装置の概略構成を示すブロック図である。 図１中のＨＭＤ装置の構成を示す外観図である。 実施形態に係る追加型立体視装置の使用形態を示す概念図である。 既存ディスプレイ装置の映像表示エリアの正面視外観図である。 実施形態の追加型立体視装置の動作を示すフローチャートである。 実施形態に係る追加型立体視装置の一使用形態を示す概念図である。 実施形態に係る追加型立体視装置の他の使用形態を示す概念図である。 既存ディスプレイ装置の映像表示エリアの斜視外観図である。

以下、本発明の実施形態について、図面を参照しながら説明する。
［第１の実施形態］
図１は、本発明の立体視装置の一実施形態に係る追加型立体視装置１００の概略構成を示すブロック図である。
また、図２は、図１中のＨＭＤ装置の構成を示す外観図である。
図１において、追加型立体視装置１００は、立体映像入力部１１０から入力された立体映像を処理する映像処理部１０と、利用者の頭部の片眼部分に装着する単眼用ヘッドマウントディスプレイ装置（以下、ＨＭＤ装置と記す）２０とを備えている。

また、映像処理部１０は、映像変形処理部１、表示対応部２、及び立体映像分離部１１を備えている。また、ＨＭＤ装置２０は、補正用映像入力部２１とＨＭＤディスプレイ部２２とを備えている。
補正用映像入力部２１は、図２（ａ）に示すようにＨＭＤ装置２０の表側（立体視非対応型ディスプレイ装置（以下、既存ディスプレイ装置と記す）１２０側）に設置されている。また、ＨＭＤディスプレイ部２２は、図２（ｂ）に示すようにＨＭＤ装置２０の裏側（眼球側）に設置されている。

立体映像分離部１１は、立体映像入力部１１０から入力された立体映像を左眼用と右眼用の映像Ｇ１、Ｇ２に分離する。
映像変形処理部１は、既存ディスプレイ装置１２０に対する左眼または右眼の位置に応じて特定される既存ディスプレイ装置１２０の映像表示エリアの形状に対応して、ＨＭＤディスプレイ部２２に表示される例えば右眼用の映像Ｇ２に対して変形処理を行う。例えば、映像変形処理部１は、既存ディスプレイ装置１２０の映像表示エリア１２１（図４参照）に近接して配置されている映像補正用マーカＢ１〜Ｂ４に基づいて、左眼用及び右眼用の映像Ｇ１、Ｇ２のうち、例えば右眼用の映像Ｇ２に対して変形処理を行う。ここで、映像表示エリア１２１とは、ディスプレイ画面において表示される映像部分の領域である。
また、映像変形処理部１は、映像変形用補正点検出部１２と映像変形処理実行部１３とを有している。

映像変形用補正点検出部１２（補正用マーカ検出部）は、補正用映像入力部２１から外部映像を受け取り、その外部映像から映像補正用マーカＢ１〜Ｂ４を検出する。そして、映像変形用補正点検出部１２は、補正用映像入力部２１から受け取った外部映像中の映像補正用マーカＢ１〜Ｂ４の部分の位置から映像変形補正用データＤ１を生成する。例えば、映像変形補正用データＤ１は、既存ディスプレイ装置１２０における映像補正用マーカＢ１〜Ｂ４の位置に対応した座標データである。

映像変形処理実行部１３は、映像変形用補正点検出部１２で生成された映像変形補正用データＤ１に基づいて、立体映像分離部１１で分離された左眼用及び右眼用の映像Ｇ１、Ｇ２のうち、例えば、右眼用の映像Ｇ２に対して変形処理を行う。具体的には、映像変形処理実行部１３は、既存ディスプレイ装置１２０を肉眼で見た場合の映像表示エリア１２１（図３参照）の形状と、そのときのＨＭＤディスプレイ部２２の映像表示エリア２３の形状とが同じ形状になるように、映像変形補正用データＤ１を利用して、ＨＭＤディスプレイ部２２の映像表示エリア２３の補正を行う。

表示対応部２は、立体映像分離部１１によって分離された左眼用と右眼用の映像Ｇ１、Ｇ２のうち、例えば、左眼用の映像Ｇ１を既存ディスプレイ装置１２０に表示すると共に、右眼用の映像Ｇ２の変形後の映像Ｇ２ａをＨＭＤディスプレイ部２２に表示する。また、表示対応部２は、映像同期部１４及び映像遅延部１５を備えている。この場合、図３に示すように、左眼Ａ１と右眼Ａ２に入射する映像光は通過経路が異なるため、表示対応部２では、映像同期部１４が映像遅延部１５を利用することにより左眼用と右眼用の映像Ｇ１、Ｇ２ａの同期を取る。

補正用映像入力部２１は、既存ディスプレイ装置１２０に配置された映像補正用マーカＢ１〜Ｂ４を含む外部映像を取り込む。例えば、図４に示すように、映像補正用マーカＢ１〜Ｂ４は、既存ディスプレイ装置１２０の映像表示エリア１２１の形状に対応した位置に配置される。図４に示す例では、既存ディスプレイ装置１２０の映像表示エリア１２１は四角形状である。この例の場合、映像補正用マーカＢ１〜Ｂ４は、この映像表示エリア１２１の周縁部に形成された既存ディスプレイ装置外枠部１２２における映像表示エリア１２１の四隅に接する位置にそれぞれ配置されている。

補正用映像入力部２１は、既存ディスプレイ装置１２０の映像表示エリア１２１に対応して配置された４つの映像補正用マーカＢ１〜Ｂ４を含む、既存ディスプレイ装置１２０の映像を撮影し、この撮影映像を外部映像として取り込む。

次に、本実施形態の動作について、図５等を参照して説明する。
図５は、本実施形態の追加型立体視装置１００の動作を示すフローチャートである。
はじめに、利用者は、ＨＭＤ装置２０を頭部に装着する（ステップＳ１１）。この場合、ＨＭＤディスプレイ部２２の映像表示エリア２３の表面が例えば右眼に対向するようにセットされる。

すると、補正用映像入力部２１は、既存ディスプレイ装置１２０の映像補正用マーカＢ１〜Ｂ４を含んだ外部映像を読み取り、その映像データを映像変形用補正点検出部１２に供給する（ステップＳ１２）。
次に、映像変形用補正点検出部１２では、外部映像の画像解析を行い、外部映像の中の映像補正用マーカＢ１〜Ｂ４を検出し、これを映像変形補正用座標データに変換する（ステップＳ１３）。

一方、追加型立体視装置１００の映像処理部１０には、立体映像入力部１１０から立体映像が入力されている（ステップＳ１４）。入力された立体映像は、立体映像分離部１１によって、左眼用と右眼用の映像Ｇ１、Ｇ２に分離される（ステップＳ１５）。そして、立体映像分離部１１によって分離された左眼用の映像Ｇ１は映像同期部１４に入力され、右眼用の映像Ｇ２は映像変形処理実行部１３に入力される。

映像変形処理実行部１３は、映像変形用補正点検出部１２で生成された映像変形補正用座標データを用いて、立体映像分離部１１から受け取った右眼用の映像Ｇ２の変形処理を行う（ステップＳ１６）。例えば、図６に示すように、利用者が既存ディスプレイ装置１２０の映像表示エリア１２１の正面に対峙し映像表示エリア１２１を正面から見た場合には、利用者には既存ディスプレイ装置１２０が図４に示したような長方形に見えている。これに対して、利用者が図７に示すように既存ディスプレイ装置１２０の映像表示エリア１２１を斜め方向から見た場合には、利用者には既存ディスプレイ装置１２０が図８に示す台形のように変形して見える。

このような現象を考慮して、映像変形処理実行部１３は、利用者の視覚上での、既存ディスプレイ装置１２０の映像表示エリア１２１の形状に合うように、映像変形補正用データＤ１を利用してＨＭＤディスプレイ部２２の映像表示エリア２３の形状の補正を行う。
例えば、図７は、利用者が既存ディスプレイ装置１２０の映像表示エリア１２１を右斜め方向から見た場合の一例である。この場合、映像変形処理実行部１３は、ＨＭＤディスプレイ部２２の映像表示エリア２３の形状が、図８に示すような左側の辺が右側の辺よりも短くなった台形になるように、右眼用の映像Ｇ２の変形処理を行う。ここで、ＨＭＤディスプレイ部２２の映像表示エリア２３の形状とは、ＨＭＤディスプレイ部２２の映像表示部分の形状のことである。また、図１に示した右眼用の映像Ｇ２ａは、変形処理後の右眼用の映像を示している。

その後、左眼用と右眼用の映像Ｇ１、Ｇ２ａは映像同期部１４に入力され、映像同期部１４は、映像遅延部１５を用いて左眼用と右眼用の映像Ｇ１、Ｇ２ａの同期処理を行う（ステップＳ１７）。左眼用と右眼用の映像Ｇ１、Ｇ２では通過する経路が異なっており、どちらかの映像に遅延が生じる。この同期処理は、この遅延を修正するために行う。
左眼用と右眼用の映像Ｇ１、Ｇ２ａは同期されて、右眼用の映像Ｇ２ａがＨＭＤディスプレイ部２２に出力され、左眼用の映像Ｇ１が既存ディスプレイ装置１２０に出力される（ステップＳ１８）。これによって利用者は、左眼用と右眼用の映像Ｇ１、Ｇ２ａから立体視を体感することができる。

以上のように、本実施形態によれば、追加型立体視装置１００（立体視装置）は、立体映像分離部１１と、表示対応部２と、映像変形処理部１とを備える。立体映像分離部１１が、入力された映像を左眼用と右眼用の映像Ｇ１、Ｇ２に分離する。また、表示対応部２が、立体映像分離部１１で分離された左眼用と右眼用の映像Ｇ１、Ｇ２のいずれか一方を既存ディスプレイ装置１２０に表示すると共に、左眼用及び右眼用の映像Ｇ１、Ｇ２の他方をＨＭＤディスプレイ部２２に表示する。そして、映像変形処理部１は、既存ディスプレイ装置１２０に対する左眼または右眼の位置に応じて特定されるディスプレイ装置１２０の映像表示エリア１２１の形状に対応して、ＨＭＤディスプレイ部２２に表示される他方の映像に対して変形処理を行う。

これにより、追加型立体視装置１００は、立体視非対応型ディスプレイである既存ディスプレイ装置１２０を使用して立体視を実現させることができると共に、既存ディスプレイ装置１２０に対する利用者の眼の位置（既存ディスプレイ装置１２０から見て例えば上下左右）が変わっても、正しい立体視が可能になる。すなわち、例えば、利用者が既存ディスプレイ装置１２０として立体視非対応型ディスプレイを持っている場合に、この追加型立体視装置１００を追加すれば、高品質な立体映像を低コストで視聴することができる。

また、本実施形態において、追加型立体視装置１００は、既存ディスプレイ装置１２０の映像表示エリア１２１に近接して映像補正用マーカＢ１〜Ｂ４を配置し、映像変形処理部１は、映像補正用マーカＢ１〜Ｂ４の位置に基づいて、ＨＭＤディスプレイ部２２に表示される他方の映像に対して変形処理を行う。これにより、利用者の視覚上での、既存ディスプレイ装置１２０の映像表示エリア１２１の形状に合うように、ＨＭＤディスプレイ部２２に表示される他方の映像に対して変形処理を行うことができる。

また、本実施形態において、追加型立体視装置１００は、既存ディスプレイ装置１２０に配置された映像補正用マーカＢ１〜Ｂ４を含む外部映像を入力する補正用映像入力部２１を備え、映像変形処理部１は、映像変形用補正点検出部１２と映像変形処理実行部１３とを備えている。そして、映像変形用補正点検出部１２が、外部映像から映像補正用マーカＢ１〜Ｂ４を検出し、該検出した映像補正用マーカの位置から映像変形補正用データＤ１を生成する。映像変形処理実行部１３が、映像変形補正用データＤ１に基づいて、左眼用及び右眼用の映像の他方の映像に対して変形処理を行う。

これにより、ＨＭＤディスプレイ部２２に表示される映像部分の形状が、利用者の視覚上の、既存ディスプレイ装置１２０の映像表示エリア１２１の形状に対応したものになる。そのため、追加型立体視装置１００では、既存ディスプレイ装置１２０に対する利用者の眼の位置が変わっても、より正しい立体視が可能になる。

また、本実施形態において、映像変形補正用データＤ１は、既存ディスプレイ装置１２０における映像補正用マーカＢ１〜Ｂ４の位置に対応した座標データとしたので、映像変形補正用データＤ１の生成が容易となる。

また、本実施形態において、映像補正用マーカＢ１〜Ｂ４は、既存ディスプレイ装置１２０の映像表示エリア１２１の形状に対応した位置に配置したので、映像処理部１０は、既存ディスプレイ装置１２０の映像表示エリア１２１の形状の変化を的確に検出することができる。

また、本実施形態において、既存ディスプレイ装置１２０の映像表示エリア１２１は四角形状であって、映像補正用マーカＢ１〜Ｂ４は、該映像表示エリア１２１に対応した既存ディスプレイ装置の四隅にそれぞれ配置されている。これにより、映像処理部１０は、ＨＭＤディスプレイ部２２に表示される映像部分の形状を既存ディスプレイ装置１２０の映像表示エリア１２１の形状に合わせやすくなる。

また、本実施形態において、表示対応部２は、左眼用及び右眼用の映像Ｇ１、Ｇ２ａの同期処理を行う映像同期部１４を備える。
これにより、追加型立体視装置１００は、左眼用と右眼用の映像Ｇ１、Ｇ２で通過する経路が異なることによる映像の同期ずれを防止することができる。

また、本実施形態において、立体映像分離部１１に入力される映像は、立体映像である。これにより、立体映像分離部１１は、入力された映像を立体視化処理する必要がなく、追加型立体視装置１００は、立体映像の立体視を既存ディスプレイ装置１２０で実現するごとができる。

また、本発明の実施形態によれば、追加型立体視装置１００（立体視装置）の制御方法は、立体映像分離ステップ（Ｓ１５）と、表示対応ステップ（Ｓ１７、Ｓ１８）と、映像変形処理ステップ（Ｓ１３、Ｓ１６）とを備える。立体映像分離ステップは、入力された映像を左眼用と右眼用の映像に分離する。表示対応ステップは、立体映像分離ステップで分離された左眼用と右眼用の映像のいずれか一方を既存ディスプレイ装置１２０に表示すると共に、左眼用及び右眼用の映像の他方をＨＭＤディスプレイ部２２に表示する。映像変形処理ステップは、既存ディスプレイ装置１２０に対する左眼または右眼の位置に応じて特定される既存ディスプレイ装置の映像表示エリア１２１の形状に対応して、ＨＭＤディスプレイ部２２に表示される左眼用または右眼用の映像に対して変形処理を行う。これにより、追加型立体視装置１００の制御方法では、上述の追加型立体視装置１００と同様の作用効果を奏する。

なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、映像補正用マーカＢ１〜Ｂ４は、既存ディスプレイ装置１２０の四隅に配置するようにしたが、これに限定されるものではない。これは、ＨＭＤディスプレイ部２２と既存ディスプレイ装置１２０の映像部分（映像表示エリア１２１）の形状を合わせるためのものであるので、マーカの数を増やす或いは減らす、またはマーカの位置を変更するようにした場合でも、形状を合わせることができればその方法も利用可能である。

また、上記の各実施形態において、立体映像入力部１１０から立体映像分離部１１に入力される映像が、立体映像である場合について説明したが、立体視化されていない映像が入力される形態でもよい。この場合、立体映像分離部１１は、立体映像入力部１１０から入力された映像を立体視用に変換した上で左眼用と右眼用の映像Ｇ１、Ｇ２に分離する。これにより、立体視化されていない映像を立体視することができる。
上記の各実施形態において、既存ディスプレイ装置１２０に適用する形態を説明したが、立体視対応型ディスプレイ装置に適用してもよい。この場合、上述のように立体視化されていない映像を立体視することができる。

上述の映像処理部１０の各機能は、ソフトウェアで構成してもよいし、論理回路などのハードウェアで構成してもよい。ソフトウェアで構成する場合には、映像処理部１０の内部にコンピュータシステムを備えることになる。そして、上述した映像処理部１０の処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

１ 映像変形処理部
２ 表示対応部
１０ 映像処理部
１１ 立体映像分離部
１２ 映像変形用補正点検出部
１３ 映像変形処理実行部
１４ 映像同期部
１５ 映像遅延部
２０ ＨＭＤ装置
２１ 補正用映像入力部
２２ ＨＭＤディスプレイ部
２３、１２１ 映像表示エリア
１００ 追加型立体視装置
１１０ 立体映像入力部
１２０ 既存ディスプレイ装置
１２２ 既存ディスプレイ装置外枠部
Ｇ１ 左眼用の映像
Ｇ２ 右眼用の映像
Ｂ１〜Ｂ４ 映像補正用マーカ
Ｄ１ 映像変形補正用データ

Claims (9)

1. 入力された映像を左眼用と右眼用の映像に分離する立体映像分離部と、
   前記立体映像分離部で分離された左眼用と右眼用の映像のいずれか一方をディスプレイ装置に表示すると共に、左眼用及び右眼用の映像の他方を単眼用のヘッドマウントディスプレイ装置に表示する表示対応部と、
   前記ディスプレイ装置に対する左眼または右眼の位置に応じて特定される前記ディスプレイ装置の映像表示エリアの形状に対応して、前記ヘッドマウントディスプレイ装置に表示される前記他方の映像に対して変形処理を行う映像変形処理部と
   を備えることを特徴とする立体視装置。
2. 前記映像変形処理部は、前記ディスプレイ装置の映像表示エリアに近接して配置されている映像補正用マーカの位置に基づいて、前記他方の映像に対して変形処理を行うことを特徴とする請求項１に記載の立体視装置。
3. 前記映像補正用マーカを含む外部映像を入力する補正用映像入力部を備え、
   前記映像変形処理部は、
   前記外部映像から前記映像補正用マーカを検出し、該検出した映像補正用マーカの位置から映像変形補正用データを生成する補正用マーカ検出部と、
   前記映像変形補正用データに基づいて、前記他方の映像に対して変形処理を行う映像変形処理実行部とを有することを特徴とする請求項２に記載の立体視装置。
4. 前記映像変形補正用データは、前記ディスプレイ装置に配置された前記映像補正用マーカの位置に対応した座標データであることを特徴とする請求項２又は請求項３に記載の立体視装置。
5. 前記映像補正用マーカは、前記ディスプレイ装置の映像表示エリアの形状に対応した位置に配置したことを特徴とする請求項１から請求項４のいずれか１項に記載の立体視装置。
6. 前記ディスプレイ装置の映像表示エリアは四角形状であって、前記映像補正用マーカは、該映像表示エリアに対応した前記ディスプレイ装置の四隅にそれぞれ配置されていることを特徴とする請求項５に記載の立体視装置。
7. 前記表示対応部は、
   左眼用及び右眼用の映像の同期処理を行う映像同期部を備えることを特徴とする請求項１から請求項６のいずれか１項に記載の立体視装置。
8. 前記立体映像分離部に入力される映像は、立体映像であることを特徴とする請求項１から請求項７のいずれか１項に記載の立体視装置。
9. 入力された映像を左眼用と右眼用の映像に分離する立体映像分離ステップと、
   前記立体映像分離ステップで分離された左眼用と右眼用の映像のいずれか一方をディスプレイ装置に表示すると共に、左眼用及び右眼用の映像の他方を単眼用のヘッドマウントディスプレイ装置に表示する表示対応ステップと、
   前記ディスプレイ装置に対する左眼または右眼の位置に応じて特定される前記ディスプレイ装置の映像表示エリアの形状に対応して、前記ヘッドマウントディスプレイ装置に表示される前記他方の映像に対して変形処理を行う映像変形処理ステップとを備えることを特徴とする立体視装置の制御方法。