JP7005134B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、使用者の頭部等に装着されて画像を表示する画像表示装置の技術に関する。

近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用するものが知られている。この技術では、ＨＭＤ装着者（ユーザ）によって観察される現実空間をカメラ（撮像部）で撮像する。また、撮像部の位置と方向とに基づいて、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）によりレンダリング（描画）された仮想画像を生成する。そして、撮像画像と仮想画像とを合成した合成画像を液晶や有機ＥＬ等の表示デバイスに表示して、その合成画像をユーザが観察できるようにする。

特許文献１には、ＣＧのレンダリングにおける処理負荷を軽減する手法が開示されている。具体的には、ユーザの視線方向を検出し、ユーザが注視していると推定される領域では高解像度にレンダリング行い、それ以外の領域では低解像度にレンダリングを行うことが記載されている。

特開平９ － ３０５１５６ 号公報 特表２０１２－５１５５７９号公報

佐藤、内山、田村、"複合現実感における位置合わせ手法"、日本ＶＲ学会論文誌、ＶＯＬ．８、ＮＯ．２、ＰＰ．１７１－１８０、２００３

しかしながら、特許文献１に開示される方法のように、解像度を低解像度にしてレンダリングするだけでは、処理負荷の軽減の効果が十分でなかった。

上記課題を解決するために、本発明の画像処理装置は、生成すべき仮想画像においてユーザが注視する焦点の位置を導出する導出手段と、前記焦点の位置から予め定められた所定の距離の範囲に当該焦点を含む仮想物体の全体が収まる場合は、当該予め定められた所定の距離をそのまま設定し、前記範囲に前記仮想物体の全体が収まらない場合は、当該全体が収まるように前記所定の距離を変更して当該変更後の所定の距離を設定する設定手段と、前記焦点の位置からの距離が前記設定された所定の距離より短い画素の領域を第１のレンダリング手法によりレンダリング処理して、仮想画像を生成する第１の生成手段と、前記焦点の位置からの距離が前記設定された所定の距離より長い画素の領域を、前記第１のレンダリング手法よりも１画素あたりの処理量が低い第２のレンダリング手法によりレンダリング処理して、仮想画像を生成する第２の生成手段とを備え、前記第１の生成手段は、前記第１のレンダリング手法により生成される仮想物体の詳細度が、前記第２のレンダリング手法により生成される仮想物体の詳細度よりも高くなるようにレンダリング処理を行うことを特徴とする。

以上の構成によれば、本発明は、ＣＧのレンダリングにおける処理負荷を軽減することができるようになる。

第１の実施形態に係る画像処理システムの機能構成を示す概略ブロック図。 第１の実施形態に係る画像処理装置の処理を示すフローチャート。 第１の実施形態において複合現実感を体験している際の複合現実空間と焦点位置とを示す図。 第１の実施形態において複合現実感を体験している際に表示装置に表示される映像を示す図。

［第１の実施形態］
以下、本発明の第１の実施形態の詳細について図面を参照しつつ説明する。図１は、本実施形態に係る画像処理システムの機能構成を示す概略ブロック図である。図１に示すように、本実施形態に係るシステムは、画像処置装置１０００と、外部表示装置１３００と、撮像装置を備える頭部装着表示装置（以下、ＨＭＤ）１２００とで構成されている。

画像処理装置１０００は、撮像画像取得部１０１０、位置姿勢取得部１０２０、焦点算出部１０３０、データ記憶部１０４０、処理決定部１０５０を有する。さらに、仮想空間生成部１０６０、レンダリング実行部１０７０、画像生成部１０８０、画像出力部１０９０を有している。ここで、画像処理装置１０００とＨＭＤ１２００とは、データ通信が可能なように接続されており、その接続は有線、無線のいずれであっても構わない。また、ここでは、画像処理装置１０００とＨＭＤ１２００とが別体として構成されているが、ＨＭＤ１２００が画像処理装置１０００の各機能部の構成を備えることにより、画像処理装置１０００とＨＭＤ１２００とが一体に構成されていてもよい。

画像処理装置１０００は、情報処理装置は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等のハードウェア構成を備え、ＣＰＵがＲＯＭやＨＤ等に格納されたプログラムを実行することにより、例えば、後述する各機能構成やフローチャートの処理が実現される。ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有する。ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。ＨＤは、ＣＰＵが処理を実行する際に要する各種のプログラム、後述する各処理に必要なデータ等を含む各種のデータを格納する記憶領域を有する。

先ず、画像処理装置１０００の詳細について説明する。撮像画像取得部１０１０は、ＨＭＤ１２００の撮像装置１２２０（右目用撮像装置１２２０Ｒおよび左目用撮像装置１２２０Ｌにより構成）により撮像された右目用の現実空間の撮像画像、左目用の現実空間の撮像画像を取得する。そして、取得したそれぞれの現実空間画像を位置姿勢取得部１０２０及びデータ記憶部１０４０に送る。

位置姿勢取得部１０２０は、撮像画像取得部１０１０から取得した撮像画像から撮像装置の位置姿勢（位置および方向）を算出し、視点位置姿勢情報を取得する。このとき、撮像装置ではなく、観察者の頭の中心、撮像装置１２２０Ｌと撮像装置１２２０Ｒの中心であってもよい。視点位置姿勢情報を計測する方法に関しては、撮像画像からマーカを検出して視点位置姿勢を求める方法であってもよいし、撮像画像から抽出される自然特徴に基づいて視点位置姿勢を求める方法であってもよい。視点位置姿勢情報を計測する方法は、非特許文献１に開示される方法など種々の方法が知られており、本実施形態は特定の方法に限定されるものではない。また、撮像装置の位置姿勢を計測する具体的な構成についても、撮像画像から求めるものに限定されるものではなく、例えば、磁気式センサー、光学式センサーを利用することもできる。求められた視点位置姿勢情報は、データ記憶部１０４０に記憶される。

焦点算出部１０３０は、視線検出装置１３３０から取得した視線情報から、生成する仮想画像上の焦点（ユーザの注視している位置）の位置を算出する。焦点の算出の詳細については、後述する。そして、焦点算出部１０３０は、算出した焦点の位置に基づいて画像内の焦点領域とそれ以外の領域（焦点外領域）を特定する。特定された焦点領域と焦点外領域の報はデータ記憶部１０４０に記憶される。このように、本実施形態の焦点算出部１０３０は、焦点の位置を導出する導出手段と、導出した焦点の位置に基づいて焦点領域と焦点外領域とを特定する特定する特定手段との２つの機能部として作用する。

処理決定部１０５０は、焦点算出部１０３０により特定された焦点領域とそれ以外の領域（焦点外領域）の各領域において、仮想空間情報と仮想画像生成処理（ＣＧのレンダリング処理）とを決定する。仮想空間生成部１０６０は、処理決定部１０５０で決定された仮想空間情報に従って、仮想空間の生成を行う。なお、仮想空間情報および仮想空間の生成処理の詳細については、後述する。

次に、レンダリング実行部１０７０は、処理決定部１０５０が決定した各領域の仮想画像生成処理に従ってレンダリング処理を実行し、仮想空間生成部１０６０により作成された仮想空間の視点から見える仮想空間の画像（仮想画像）を生成する。そして、画像生成部１０８０は、レンダリング実行部１０７０により生成された仮想画像と撮像画像取得部１０１０から取得した現実空間の撮像画像とを合成することにより、合成画像を生成する。画像出力部１０９０は、画像生成部１０８０により生成された合成画像をＨＭＤ１２００に出力する
次に、ＨＭＤ１２００の詳細について説明する。ＨＭＤ１２００は、ユーザの頭部に装着されて使用される頭部装着型の表示装置であり、液晶、有機ＥＬなどで構成されている表示装置１２１０、ビデオカメラなどの撮像装置１２２０、視線検出装置１３３０を有する。表示装置１２１０Ｒ，Ｌは、画像処理装置１０００から受信した合成画像を表示することにより、ユーザにＭＲ空間の画像を観察させる。表示装置１２１０、撮像装置１２２０、視線検出装置１３３０はそれぞれ右目用と左目用とを備えているが、基本的に同じ処理内容であるため、本実施形態では敢えて分けて説明する必要が無い限り、符号のＲ、Ｌは省略して説明する。

外部表示装置１３００は、ＨＭＤ１２００を装着した以外の人間が、画像処理装置１０００により生成された合成画像を観察するための表示装置であり、具体的には液晶ディスプレイなどである。

次に、本実施形態に係る画像処理装置１０００による処理の詳細について説明する。図２は、画像処理装置１０００が合成画像を生成するための処理を示すフローチャートである。

まず、ステップＳ２０１０において、撮像画像取得部１０１０がＨＭＤ１２００の撮像装置１２２０から撮像画像を取得する。次に、ステップＳ２０２０において、位置姿勢取得部１０２０が、撮像画像から撮像装置１２２０の位置姿勢情報を計測する。撮像装置の位置姿勢を取得（推定）する方法は、上述したように、例えば非特許文献１に記載の方法を用いる。

続いて、ステップＳ２０２０において、焦点算出部１０３０は、ユーザの焦点位置（注視している位置）の算出（推定）を行う。焦点の算出は、例えば、特許文献２などの周知の方法を用いればよく、本実施形態は特定の焦点算出方法に限定されるものではない。

図３は、ユーザがＨＭＤ１２００を通して複合現実感を体験する際の複合現実空間と焦点位置とを示す図である。同図において、ユーザ２０００は、ＨＭＤ１２００を装着して複合現実感を体験している。仮想物体２１００，２２００，２３００は、ユーザ２０００が観察している仮想の物体である。視錐台２４００はユーザ２０００の視錐台であり、前方クリップ面２６００は視錐台２４００の前方クリップ面、後方クリップ面２７００は視錐台２４００の後方クリップ面である。視線２０１０はユーザ２０００の視線であり、焦点２０２０は視線２０１０と仮想物体２２００との交点、焦点２０３０は視線２０１０と前方クリップ面と交わる前方クリップ面上の点である。

ステップＳ２０２０で、焦点算出部１０３０は、視線２０１０と前方クリップ面２６００との交点（焦点２０３０）に対応する仮想空間（仮想画像）上の位置を、算出すべき焦点の位置として求める。

次に、ステップＳ２０３０において、焦点算出部１０３０が、ステップ２０２０で求めた焦点２０３０の位置に基づいて焦点領域と焦点外領域とを設定（特定）する。焦点領域および焦点外領域の設定の方法について、図４を用いて説明する。

図４は、ユーザがＨＭＤ１２００を装着して図３に示した複合現実感を体験している際に、表示装置１２１０に表示される映像を示す図である。距離Ｒは予め定められた所定の距離であり、領域４１００は焦点２０３０から所定の距離以下の領域、領域４２００は焦点２０３０から所定の距離より離れた領域である。

ステップＳ２０３０では、焦点算出部１０３０が、領域４１００のように焦点２０３０から距離Ｒ以下の領域を焦点領域、領域４２００のように焦点２０３０から距離Ｒより離れた領域を焦点外領域として設定（特定）する。なお、当該ステップにおいて、所定の距離Ｒにより焦点領域を設定すると仮想物体２２００が焦点領域に収まらない場合には、焦点算出部１０３０は、仮想物体２２００が領域４１００に収まるように距離Ｒを変更する。

ステップＳ２０４０では、ＣＰＵが、生成すべき仮想画像（描画領域）上の１ピクセルを選定し、これを描画ピクセルとして設定する。このとき、１ピクセルの設定順に関しては、描画領域の左上から順に設定してもよいし、左下から順に設定してもよい。また、モンテカルロ法等の方式により設定してもよく、その設定順は特に限定されるものではない。

次に、ステップＳ２０５０では、ＣＰＵが、ステップＳ２０４０で設定した描画ピクセルが焦点領域に含まれているかを判断する。そして、描画ピクセルが焦点領域に含まれている場合（Ｙｅｓ）には処理をステップＳ２０６０に移し、描画ピクセルが焦点領域に含まれていない場合（ＮＯ）、すなわち焦点外領域に含まれている場合には処理をステップＳ２０８０に移す。

ステップＳ２０６０では、処理決定部１０５０が焦点領域の仮想空間情報を決定し、ステップＳ２０８０では、処理決定部１０５０が焦点外領域の仮想空間情報を決定する。本実施形態では、仮想空間情報として各領域に含まれる仮想物体のポリゴン数を決定する。ステップＳ２０６０では、処理決定部１０５０が、第１の詳細度（第１のポリゴン密度）により焦点領域４１００に含まれる仮想物体２２００のポリゴン数を決定する。また、ステップＳ２０８０では、処理決定部１０５０が第２の詳細度（第２のポリゴン密度）で焦点外領域４２００に含まれる仮想物体２１００および２３００のポリゴン数を決定する。ここで、第２の詳細度は第１の詳細度よりも粗く、すなわち、第２の詳細度であるポリゴン密度は第１の詳細度であるポリゴン密度よりも低く設定されている。以上のようにして、ステップＳ２０６０、Ｓ２０８０では、処理決定部１０５０が焦点領域および焦点外領域の仮想空間情報を決定する。

なお、ここでは、焦点領域と焦点外領域それぞれに含まれる仮想物体の詳細度を異ならせるためにポリゴン密度を異ならせる例を示したが、これ以外の方法で詳細度を異ならせるようにしてもよい。例えば、バンプマッピング等の既知の手法を用いることにより、仮想物体の見た目の詳細度を異ならせるようにすることもできる。

次に、ステップ２０６５では、処理決定部１０５０が焦点領域の仮想画像生成処理を決定し、ステップＳ２０８５では、処理決定部１０５０が焦点外領域の仮想画像生成処理を決定する。本実施形態では、仮想画像生成処理としてＣＧレンダリング手法を決定する。ステップＳ２０６５では、処理決定部１０５０が焦点領域のＣＧレンダリング手法（第１のレンダリング手法）をレイトレースレンダリングに設定する。また、ステップＳ２０８５では、処理決定部１０５０が焦点外領域のＣＧレンダリング手法（第２のレンダリング手法）をラスタライゼーションに設定する。

なお、第１、第２のレンダリング手法は上述の方法に限定されるものではなく、他の既知のレンダリング手法を用いるようにしてもよい。また、ここでは、焦点領域に含まれる仮想物体が焦点外領域よりも精細に描画されるように、焦点領域と焦点外領域とでレンダリング手法を異ならせるようにしているが、本実施形態はこれに限定されない。例えば、焦点領域と焦点外領域とで、レンダリングの際にマッピングを行う、行わないで差をつけたり、シェーディングを付加するか否かで差をつけたり、影を付加するか否かで差をつけたりしてもよい。

次に、ステップＳ２０７０では、レンダリング実行部が第１の詳細度および第１のレンダリング手法でレンダリングを実行し、ステップＳ２０９０では、レンダリング実行部が第２の詳細度および第２のレンダリング手法でレンダリングを実行する。

ステップ２１００において、ＣＰＵが、描画領域内の全ての画素で処理が終了しているかを判断し、処理が終了していい画素があれば処理をステップＳ２０４０に戻す。一方、描画領域内の全ての画素で処理が終了し、仮想画像の生成が完了している場合には、処理をステップＳ２１１０に移す。

ステップＳ２１１０では、画像生成部１０８０が生成された仮想画像と、撮像装置１２２０により撮像された撮像画像と、を合成して、合成画像を生成する。なお、本実施形態では、描画領域の全画素についてレンダリングが終了してから、合成画像の生成を開始しているが、全画素のレンダリング終了する前に、レンダリングと並行して合成画像を生成するようにしてもよい。すなわち、ステップＳ２０７０とＳ２１００との間や、ステップＳ２０９０とＳ２１００との間で、レンダリングの終了した描画ピクセルと、その対応する撮像画像の画素とを順次合成していくことにより、合成画像を生成するようにしてもよい。

以上により、本実施形態の画像処理装置１０００により合成画像が生成される。生成された合成画像は、画像出力部１０９０により、ＨＭＤ１２００や外部表示装置１３００に出力される。

上述の本実施形態によれば、焦点領域に含まれる仮想物体の仮想物体生成処理（ＣＧレンダリング処理）は、焦点外領域に比べて、１画素あたりの描画のための処理量が高くなるものの、詳細で精細に仮想物体を描画することが可能となる。なお、上述の例では、仮想空間情報とＣＧレンダリング手法の両方を、焦点領域と焦点外領域とで異ならせる例を示したが、いずれか一方のみであってもよい。

［変形例］
上述の実施形態では、焦点領域を設定するための距離Ｒは予め決められた値として説明をしたが、この値ユーザにより変更可能なようにしてもよい。その際には、画像処理装置１０００に接続されたマウスやキーボードなどの入力手段を用いて、距離Ｒの値を設定できるようにすればよい。これにより、使用するユーザに合った焦点領域が設定されるようになる。

また、上述の実施形態では、ＨＭＤ１２００に視線検出装置１３３０を備え、この視線検出装置１３３０により検出された視線を用いて焦点を求めるようにしている。しかし、ＭＲ体験中のユーザは主に表示装置１２１０の中心を注視することが多いことから、ＨＭＤ１２００に視線検出装置１３３０を備えずに、常に表示装置１２１０の中心位置を焦点として設定するようにしてもよい。

また、上述の実施形態では、ＭＲ画像を生成、表示する画像処理システムを例に説明をしたが、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）画像を生成、表示する画像処理システムであってもよい。

［その他の実施形態］
画像処理装置が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上記各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

なお、この各装置が備える各部は、専用のハードウェアにより実現されるものであってもよい。または、各装置に備えられた各部はメモリおよびＣＰＵ（中央演算装置）により構成され、前記各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。

１０００ 画像処理装置
１０１０ 撮像画像取得部
１０２０ 位置姿勢取得部
１０３０ 焦点算出部
１０４０ データ記憶部
１０５０ 処理決定部
１０６０ 仮想空間生成部
１０７０ レンダリング実行部
１０８０ 画像生成部
１０９０ 画像出力部

Claims (11)

1. 生成すべき仮想画像においてユーザが注視する焦点の位置を導出する導出手段と、
   前記焦点の位置から予め定められた所定の距離の範囲に当該焦点を含む仮想物体の全体が収まる場合は、当該予め定められた所定の距離をそのまま設定し、前記範囲に前記仮想物体の全体が収まらない場合は、当該全体が収まるように前記所定の距離を変更して当該変更後の所定の距離を設定する設定手段と、
   前記焦点の位置からの距離が前記設定された所定の距離より短い画素の領域を第１のレンダリング手法によりレンダリング処理して、仮想画像を生成する第１の生成手段と、
   前記焦点の位置からの距離が前記設定された所定の距離より長い画素の領域を、前記第１のレンダリング手法よりも１画素あたりの処理量が低い第２のレンダリング手法によりレンダリング処理して、仮想画像を生成する第２の生成手段とを有し、
   前記第１の生成手段は、前記第１のレンダリング手法により生成される仮想物体の詳細度が、前記第２のレンダリング手法により生成される仮想物体の詳細度よりも高くなるようにレンダリング処理を行うことを特徴とする画像処理装置。
2. 前記第１の生成手段は、前記第１のレンダリング手法により生成される仮想物体のポリゴン密度が、前記第２のレンダリング手法により生成される仮想物体のポリゴン密度よりも高くなるようにレンダリング処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１のレンダリング手法はレイトレースレンダリングであり、前記第２のレンダリング手法はラスタライゼーションであることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１のレンダリング手法では、マッピング、シェーディングの付加、影の付加のいずれか１つを行うことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記導出手段は、視線検出装置が検出した前記ユーザの視線の情報に基づいて、前記焦点の位置を導出することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記導出手段は、前記仮想画像の中心を前記焦点の位置として導出することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
7. 撮像装置により現実空間が撮像された撮像画像を取得する第１の取得手段と、
   前記撮像装置の位置と方向に係る情報を取得する第２の取得手段と、
   前記取得された撮像画像と、前記取得した位置と方向に係る情報に基づいて前記第１及び第２の生成手段により生成された仮想画像と、に基づいて、合成画像を生成する合成手段と、を更に有することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記生成された合成画像を表示装置に出力する出力手段を更に有することを特徴とする請求項７に記載の画像処理装置。
9. 前記表示装置は前記ユーザの頭部に装着されて使用される頭部装着型の表示装置であることを特徴とする請求項８に記載の画像処理装置。
10. 生成すべき仮想画像においてユーザが注視する焦点の位置を導出するステップと、
    前記焦点の位置から予め定められた所定の距離の範囲に当該焦点を含む仮想物体の全体が収まる場合は、当該予め定められた所定の距離をそのまま設定し、前記範囲に前記仮想物体の全体が収まらない場合は、当該全体が収まるように前記所定の距離を変更して当該変更後の所定の距離を設定するステップと、
    前記焦点の位置からの距離が前記設定された所定の距離より短い画素の領域を第１のレンダリング手法によりレンダリング処理して、仮想画像を生成するステップと、
    前記焦点の位置からの距離が前記設定された所定の距離より長い画素の領域を、前記第１のレンダリング手法よりも１画素あたりの処理量が低い第２のレンダリング手法によりレンダリング処理して、仮想画像を生成するステップとを有し、
    前記第１のレンダリング手法では、当該第１のレンダリング手法により生成される仮想物体の詳細度が、前記第２のレンダリング手法により生成される仮想物体の詳細度よりも高くなるようにレンダリング処理を行うことを特徴とする画像処理方法。
11. コンピュータを請求項１から９のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images