JP2013132026A - 情報処理装置 - Google Patents

Abstract

【課題】カメラパラメータを変更させることなく眼幅調整を行い、使用者の眼幅に合った輻輳を持つ撮像画像を表示する。
【解決手段】第１及び第２の合成画像をユーザの両眼に対してそれぞれ表示する第１及び第２の表示部を備える情報処理装置であって、第１及び第２の表示部の位置を移動させる移動部と、第１及び第２の表示部の移動量を検出する検出部と、第１及び第２の撮像画像をそれぞれ取得する第１及び第２の撮像部と、移動量と対応付けられた切出し範囲で、第１及び第２の撮像画像からそれぞれ一部を切り出して第１及び第２の切出し画像を生成する切出部と、第１及び第２の切出し画像に、第１及び第２のＣＧ画像をそれぞれ合成して第１及び第２の合成画像を生成する合成画像生成部と、を備える。
【選択図】 図１

Description

本発明は、情報処理装置に関し、特に、現実世界の外界像を撮像するカメラを少なくとも２つ備えた撮像系と、３Ｄ−ＣＡＤデータ等のＣＧ（コンピュータグラフィックス）画像を当該撮像系で撮像した撮像画像に重畳して表示する表示系とを備える情報処理装置に関する。

ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術とは、ＣＧ等で描かれた物体が現実世界の中に存在しているかのように見せることができる複合現実感技術である。ＭＲ技術は、現実世界の撮像画像と、ＣＧによって生成された仮想世界のＣＧ画像とを重畳し、合成させた画像を表示することにより実現される。ＭＲ技術を実現させる画像表示装置の一つとして、ビデオシースルー型のＨＭＤ（ヘッド・マウント・ディスプレイ）が知られている。

ビデオシースルー型のＨＭＤは、現実世界の外界像を撮像する撮像系と、現実世界の撮像位置から見たような仮想世界のＣＧ画像を生成するＣＧ画像生成部と、外界像及びＣＧ画像とを合成して合成画像を生成する合成画像生成部と、合成画像を表示する表示系とを備えている。

撮像系は、使用者の瞳位置からの視線と撮像方向とを略一致させた状態で、現実世界の外界像を撮像し、撮像画像を取得する。なお、撮像系は、左右のカメラの光軸が略平行になるよう配置されている。人は物体を観察する際、左右の眼を内側に回転させて、物体に左右の眼の光軸が交わるようにして観察する。その際の眼の回転運動を輻輳と言う。撮像系により取得した撮像画像は、左右カメラの光軸が略平行であるため、輻輳がない状態の画像となっている。輻輳のない撮像画像に輻輳を持たせ自然な画像とするために、撮像画像を特定の範囲に切出す処理を行う。この切出す処理により、仮想的に２つの撮像系の光軸が、物体に交差している画像を提供できるので、使用者は輻輳を持って外界を観察しているように感じることができる。ＨＭＤは、輻輳を持つように切出す撮像画像と、ＣＧ画像とを重畳させた合成画像を使用者に提供する。ＨＭＤは、本体の位置・姿勢を計測し、該計測された位置・姿勢に合わせて、作成されたＣＧ画像を撮像画像に重畳して表示させることにより、現実世界の撮像画像と、仮想世界のＣＧ画像とを正しい位置関係で表示する。撮像画像とＣＧ画像とを正しい位置関係で表示するためには、撮像系のカメラの相対位置、焦点距離、主点位置、歪曲等の、カメラパラメータの測定が必要である。ＨＭＤの撮像系は、カメラパラメータを固定するために、２台のカメラの位置関係を固定している。撮像系の２台のカメラの光軸と、表示系の光軸とを一致させることで、使用者に自然な合成画像を表示している。

ここで、人の眼幅には、個人差がある。その為、ＨＭＤ使用者の個人差による使用感への影響を低減させるために、ＨＭＤの眼幅調整を行う方法がある。眼幅調整を行えば、使用者の眼幅に合わせた位置に撮像系、表示系を配置できるので、より多くの使用者に、ＨＭＤを提供することが可能である。

特許文献１では、撮像系および表示系を同時に動かして、使用者の眼幅に合わせる方法が開示されている。

特開２００５−３１１７５４号公報

しかしながら、特許文献１では、撮像系も表示系と同時に移動するため、左右カメラの相対位置関係等のカメラパラメータが変化してしまう。撮像系の移動によるカメラパラメータの変化により、ＣＧ画像と撮像画像とが、正しく重畳されないことがある。

また、使用者の眼幅の違いにより輻輳には個人差がある。特許文献１では、輻輳の個人差に合わせて、撮像画像が輻輳を持つように切出し範囲の変更が行われていないので、使用者に合った輻輳を持つ撮像画像が提供できないことがある。

上記の課題に鑑み、本発明は、カメラパラメータを変更させることなく眼幅調整を行い、使用者の眼幅に合った輻輳を持つ撮像画像を表示可能にすることを目的とする。

上記の目的を達成する本発明に係る情報処理装置は、
第１及び第２の合成画像をユーザの両眼に対してそれぞれ表示する第１及び第２の表示手段を備える情報処理装置であって、
前記第１及び第２の表示手段の位置を移動させる移動手段と、
前記第１及び第２の表示手段の移動量を検出する検出手段と、
第１及び第２の撮像画像をそれぞれ取得する第１及び第２の撮像手段と、
前記移動量と対応付けられた切出し範囲で、前記第１及び第２の撮像画像からそれぞれ一部を切り出して第１及び第２の切出し画像を生成する切出手段と、
前記第１及び第２の切出し画像に、第１及び第２のＣＧ画像をそれぞれ合成して前記第１及び第２の合成画像を生成する合成画像生成手段と、
を備えることを特徴とする。

本発明によれば、カメラパラメータを変更させることなく眼幅調整を行い、使用者の眼幅に合った輻輳を持つ撮像画像を表示することができる。

情報処理装置の構成例を示す図。 撮像系の対物側からユーザを観察した場合の画像表示部の正面図。 撮像画像の切出し範囲を説明するモデル図。

（第１実施形態）
まず図１を参照して、本実施形態に係る情報処理装置の全体構成を説明する。情報処理装置は、画像表示部１と、該画像表示部１に対して画像信号を出力する画像信号出力部２Ｒ、２Ｌと、を備える。

画像表示部１は、表示系４Ｒ、４Ｌ（第１及び第２の表示部）と、眼幅調整器５と、眼幅信号検出部６と、眼幅信号出力部７と、合成画像入力部８Ｒ、８Ｌと、撮像系９Ｒ、９Ｌ（第１及び第２の撮像部）と、撮像画像出力部１０Ｒ、１０Ｌとを備える。

表示系４Ｒ、４Ｌは、それぞれ、表示素子１４Ｒ、１４Ｌと、拡大光学系１５Ｒ、１５Ｌとを備え、ユーザの両眼（右眼３Ｒ、左眼３Ｌ）に対してそれぞれ画像を表示する。表示素子１４Ｒ、１４Ｌは、液晶あるいは有機ＥＬである。拡大光学系１５Ｒ、１５Ｌは、表示素子１４Ｒ、１４Ｌ上に表示された画像を拡大する。拡大光学系１５Ｒ、１５Ｌにより拡大された画像は、ユーザの右眼３Ｒ、左眼３Ｌに投影される。表示系４Ｒ、４Ｌは、眼幅調整器５によってユーザの眼幅に合わせるように位置を調整可能である。

撮像系９Ｒ、９Ｌは、それぞれ、ＣＣＤセンサ等の撮像素子１１Ｒ、１１Ｌと、撮像レンズ１２Ｒ、１２Ｌとを備える。

画像信号出力部２Ｒ、２Ｌは、それぞれ、撮像画像入力部１３Ｒ、１３Ｌと、眼幅信号入力部２３Ｒ、２３Ｌと、ＣＧ画像生成部２４Ｒ、２４Ｌと、画像処理部２５Ｒ、２５Ｌと、合成画像出力部２６Ｒ、２６Ｌとを備える。

撮像素子１１Ｒ、１１Ｌの撮像面には、それぞれ、撮像レンズ１２Ｒ、１２Ｌによって現実世界の外界像の光学像が形成され、当該光学像は撮像素子１１Ｒ、１１Ｌでの光電変換を通じて電気信号に変換されて第１及び第２の撮像画像として出力される。撮像素子１１Ｒ、１１Ｌからの出力信号は、それぞれ、撮像画像出力部１０Ｒ、１０Ｌを介して、画像信号出力部２Ｒ、２Ｌの撮像画像入力部１３Ｒ、１３Ｌに入力される。

一方、眼幅信号検出部６は、眼幅調整器５によって調整された表示素子１４Ｒ、１４Ｌの位置情報から眼幅信号を検出する。眼幅信号出力部７は、眼幅信号検出部６により検出された眼幅信号を眼幅信号入力部２３Ｒ、２３Ｌへ出力する。

画像処理部２５Ｒ、２５Ｌは、撮像画像入力部１３Ｒ、１３Ｌにより取得された第１及び第２の撮像画像を特定の範囲に切出す処理を行い、眼幅信号入力部２３Ｒ、２３Ｌによって取得された眼幅信号（眼幅データ）に基づいて、該切出し範囲を変更できる機能を有する。すなわち、画像処理部２５Ｒ、２５Ｌは、ＣＧ画像生成部２４Ｒ、２４Ｌにより生成されたＣＧ画像と、撮像画像入力部１３Ｒ、１３Ｌによって取得された第１及び第２の撮像画像と、眼幅信号入力部２３Ｒ、２３Ｌにより取得された眼幅信号（眼幅データ）とに基づいて、画像処理を実行して第１及び第２の合成画像を生成する。合成画像出力部２６Ｒ、２６Ｌは、画像処理部２５Ｒ、２５Ｌにより生成された合成画像を、合成画像入力部８Ｒ、８Ｌへ出力する。表示素子１４Ｒ、１４Ｌ上には、合成画像入力部８Ｒ、８Ｌにより取得された合成画像が表示される。拡大光学系１５Ｒ、１５Ｌは、表示素子１４Ｒ、１４Ｌ上に表示された画像を拡大し、ユーザの右眼３Ｒ、左眼３Ｌに投影される。

次に、図２を参照して、撮像系の対物側からユーザを観察した画像表示部１の正面図について説明する。

画像表示部１が有する撮像系９Ｒ、９Ｌは、固定部１６によって一体として固定されている。固定部１６は、表示系４Ｒ、４Ｌとは独立して形成されている。また画像表示部１には、表示系４Ｒ、４Ｌの移動機構として、送りネジ１７（ネジ機構）と、２つのガイドバー１８、１９（ガイド部材）が備わっている。

送りネジ１７には、表示系４Ｒ、４Ｌと螺合する（ねじ作用で嵌め合わせる）部分に、ネジ部２０Ｒ、２０Ｌが切られている。ネジ部２０Ｒ、２０Ｌは、互いに逆向きであり逆ネジの関係になっている。また、送りネジ１７には、調整用つまみ部２１が連結されている。この調整用つまみ部２１をユーザが回転させることにより、ガイドバー１８、１９に沿って、ネジ機構を通じ、矢印Ｂ、Ｃに示すように、相互に接近する方向、または離間する方向に、表示系４Ｒ、４Ｌが移動可能となっている。

２本のガイドバー１８、１９は、表示系４Ｒ、４Ｌが相対的に回転しないようにし、矢印Ｂ、Ｃ方向に精度良く移動できるようにするために取り付けられている。この移動機構により、ユーザは、自身が観察しやすいと感じる位置に表示系４Ｒ、４Ｌを移動させて調整できる。

また、送りネジ１７には、眼幅信号検出部６が備えられている。眼幅信号検出部６は、ロータリー・エンコーダ２２を有しており、ロータリー・エンコーダ２２は、送りネジ１７の回転角度を検出し、該検出結果を眼幅信号出力部７へ出力する。

眼幅信号出力部７は、メモリを有しており、当該メモリには、送りネジ１７の回転角度と眼幅との関係を示すデータテーブルが格納されている。眼幅信号出力部７は、メモリ内のデータテーブルから、ロータリー・エンコーダ２２の検出結果に対応した眼幅データを読み出し、当該眼幅データを眼幅信号入力部２３Ｒ、２３Ｌへ出力する。

図３を参照して、眼幅信号入力部２３Ｒ、２３Ｌにより取得された眼幅データを用いて、画像処理部２５Ｒ、２５Ｌが実行する撮像画像の切出しの範囲について説明する。

まず撮像系９Ｒ、９Ｌの光軸は略平行となっている。撮像画像２７Ｒ、２７Ｌは、光軸が略平行な撮像系９Ｒ、９Ｌで撮像された撮像画像を示している。第１及び第２の切出し画像２８Ｒ、２８Ｌは、第１及び第２の撮像画像２７Ｒ、２７Ｌの一部の範囲を切出した撮像画像を示している。そして第１及び第２の切出し画像２９Ｒ、２９Ｌは、仮想的に撮像系の光軸が特定の輻輳を持つように、切出し画像２８Ｒ、２８Ｌとは切出す範囲を変更した場合の撮像画像を示している。

輻輳を持った切出し画像２９Ｒ、２９Ｌの切出し範囲は、眼幅信号入力部２３Ｒ、２３Ｌにより取得された眼幅データに基づいて決定される。そのため、ユーザに合った輻輳を持つ撮像画像が提供できる。

輻輳を持った切出し画像２９Ｒ、２９Ｌの切出し範囲が、撮像系９Ｒ、９Ｌの光軸が、矢印Ｂ方向にｙ画素移動した点で交差する位置に変更されるものとする。その際の切出し範囲の移動量ｙは、以下の式（１）で表される。

ここで、ｙ：切出し範囲の移動量（ｐｉｘｃｅｌ）、Ｄ：撮像系の眼幅（ｍｍ）、Ｘ：表示系の移動量（ｍｍ）、Ａ：撮像系の水平画素数（ｐｉｘｃｅｌ）、Ｌ：撮像系の輻輳点までの距離（ｍｍ）、ω：撮像系の画角（ｄｅｇｒｅｅ）である。

ただし、表示系の移動量Ｘは、表示系を矢印Ｂ方向へ移動させた場合に負の値となり、Ｃ方向へ移動させた場合に正の値となるものとする。

式（１）に従って切出し範囲を変更することで、表示系の眼幅に合わせた輻輳を撮像画像に持たせることが可能になり、ユーザに自然な違和感のない画像を提供することが可能となる。

ＣＧ画像生成部２４Ｒ、２４Ｌは、画像表示部１の位置・姿勢情報に基づいて、視差を持った第１及び第２のＣＧ画像を生成する。画像処理部２５Ｒ、２５Ｌは、式（１）に従って切出し処理を行った撮像画像に、ＣＧ画像生成部２４Ｒ、２４Ｌにより生成された第１及び第２のＣＧ画像を重畳し、合成画像生成処理を実行する。

このように、カメラパラメータを固定することによって、撮像画像とＣＧ画像とを正しく重畳することができ、ユーザの眼幅に合う輻輳を持った撮像画像が表示できる。

なお、ユーザにとって適正な位置に眼幅調整を行う方法は、本実施形態ではユーザの判断に任せているが、ユーザの瞳を撮影して、当該撮影された瞳の画像からユーザの眼幅を計測し、適正な位置に眼幅調整を行ってもよい。

また、カメラパラメータを固定するために撮像系を固定し、表示系を移動させる構成として左右の逆ネジを持った送りネジを用いているが、ユーザの眼幅に表示系の位置を合わせることができれば他の構成であってもよい。

以上説明したように、本実施形態では、画像表示部の撮像系は固定した状態で表示系の眼幅調整を行い、撮像系を固定したことによるユーザの違和感を低減させるために、撮像画像の切出し範囲が表示系の移動量に対応付けられた範囲となるように変更を行っている。

本実施形態によれば、撮像系の間隔を固定し、表示系のみを移動して当該表示系の間隔を調整することで、カメラパラメータを変更することなく固定のまま眼幅調整ができる。また、表示系の移動量に応じて撮像画像の切出し範囲を変更することにより、ユーザに合った輻輳を持つ撮像画像を表示できるので、ユーザにとって違和感のない画像を提供することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (3)

1. 第１及び第２の合成画像をユーザの両眼に対してそれぞれ表示する第１及び第２の表示手段を備える情報処理装置であって、
   前記第１及び第２の表示手段の位置を移動させる移動手段と、
   前記第１及び第２の表示手段の移動量を検出する検出手段と、
   第１及び第２の撮像画像をそれぞれ取得する第１及び第２の撮像手段と、
   前記移動量と対応付けられた切出し範囲で、前記第１及び第２の撮像画像からそれぞれ一部を切り出して第１及び第２の切出し画像を生成する切出手段と、
   前記第１及び第２の切出し画像に、第１及び第２のＣＧ画像をそれぞれ合成して前記第１及び第２の合成画像を生成する合成画像生成手段と、
   を備えることを特徴とする情報処理装置。
2. 前記移動手段は、
   少なくとも２つのガイド部材と、
   前記ガイド部材の１つに沿って設けられたネジ機構と、
   前記ネジ機構と連結されたつまみ部と、を備え、
   前記つまみ部の回転に応じて、前記第１及び第２の表示手段の位置を前記ガイド部材に沿って前記ネジ機構により移動させることを特徴とする請求項１に記載の情報処理装置。
3. 前記ネジ機構は、前記第１及び第２の表示手段のそれぞれに対応する位置で逆向きにネジが切られており、
   前記移動手段は、相互に離間する方向または接近する方向へ前記第１及び第２の表示手段を移動させることを特徴とする請求項２に記載の情報処理装置。

Images