JP2016146044A - 映像処理システム、映像処理装置及びその制御方法、並びにプログラム及び記憶媒体 - Google Patents

Abstract

【課題】ＨＭＤのディスプレイの視野角を超える範囲を参照して特定物体の形状推定を行いながらも、ＨＭＤと映像処理装置間のデータ伝送量は、ディスプレイの視野角内の映像データの伝送した場合と実質的に同じにする。
【解決手段】ＨＭＤ１００は、映像処理装置１０６から要求された画角の領域の部分映像を切り出し、所定のサイズの映像を生成し送信する撮影映像送信部並びに表示部とを有する。また、映像処理装置は、受信した映像中の、所定のＣＧとの合成対象となる、予め設定された特定物体の形状の推定処理を行うか否かを決定する設定部、受信する映像の画角を決定し、決定した画角をＨＭＤに要求する要求部、予め設定された画角の部分映像を切り出し、部分映像から所定のサイズの映像を生成する生成部、設定部の設定に基づき、生成された映像と所定のＣＧとを合成し、合成の結果の映像を表示映像としてＨＭＤに送信する表示映像送信部と、を有する。
【選択図】図１

Description

本発明は、撮影映像とコンピューターグラフィックス（以下ＣＧと呼ぶ）を合成して表示する装置に関する。

近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実技術、いわゆるMR(Mixed Reality)技術が知られている。このMR技術の１つに、ビデオシースルーHMD(Head Mounted Display)を利用して、複合現実画像を使用者に提示する技術がある。

ビデオシースルーHMDに内蔵される２台のビデオカメラは、装着する使用者の瞳と略一致する位置からの現実空間における被写体を撮像する。また、ビデオシースルーHMDに内蔵される２台のディスプレイは、使用者の瞳位置の近傍に置かれ、現実空間の撮像画像とCG(Computer Graphics)とを重畳した画像を表示する。これにより、ビデオシースルーHMDは使用者に対し複合現実空間を提供する。

撮像画像にCGを重畳する際に、使用者の手とCGとの前後関係を正しく判断することが必要な場合がある。そのためには、HMD内の２台の各カメラの映像において手の形状を推定し、２台のカメラにおける手の形状のマッチングを取り、その視差を利用して手までの距離を計測することが行われる。これにより、CGと手の前後関係を正しく表示することが可能となる（非特許文献１）。

上記の方式では、手の領域を利用してマッチングを取っているため、手の全体が左右両方のカメラに映っている必要がある。そのため、手が一方のカメラの端に映っていて、他方のカメラの視野の外になってしまうと、視点から手までの距離を計測することができず、ＣＧと手の位置関係が不定になってしまう。

これを解決するため、HMDのディスプレイで表示可能な領域よりも広い範囲を２台のカメラで撮影しておき、撮影した領域の内側を切り出してHMDの表示ディスプレイに表示する技術が提案されている（特許文献１）。これにより、手が一方の表示ディスプレイのみに表示されていたとしても、２台のカメラは共に手を撮影範囲内に収めることができ、視点から手までの正しい距離を推定できる。

特開２０１０−９２４３６号公報

林建一，加藤博一，西田正吾，"境界線ベースステレオマッチングを用いた実物体と仮想物体の前後判定"，日本バーチャルリアリティ学会論文誌，Ｖｏｌ．１０，Ｎｏ．３，ｐｐ．３７１−３８０，２００５

上記の従来の手法では、ＨＭＤは、その表示に必要な領域よりも広い領域の映像を常に映像処理装置に伝送する必要があり、効率的とは言えない。また、今後のＭＲ技術は、より解像度の高いより鮮明な映像を提供するようになるのは明らかであるので、表示する領域よりも広い領域の映像を伝送することは、伝送路の帯域を圧迫することとなり、求めるフレームレートに支障をきたす懸念もある。

本発明は係る問題に鑑みなされたものであり、ＨＭＤのディスプレイの視野角を超える範囲を参照して特定物体の形状推定を行いながらも、ＨＭＤと映像処理装置間の単位時間当たりのデータ伝送量は、ディスプレイの視野角内の映像データの伝送した場合と実質的に同じにする技術を提供する。

この課題を解決するため、例えば本発明の映像処理システムは以下の構成を備える。すなわち、
ユーザが装着するためのＨＭＤと、前記ＨＭＤに接続される映像処理装置とで構成される映像処理システムであって、
前記ＨＭＤは、
現実空間を撮像するための撮像手段と、
当該撮像手段で撮像した映像内の、前記映像処理装置から要求された画角の領域の部分映像を切り出し、当該部分映像から所定のサイズの映像を生成し、生成した映像を前記映像処理装置に送信する撮影映像送信手段と、
前記映像処理装置から供給された映像を表示する表示手段とを有し、
前記映像処理装置は、
前記ＨＭＤが送信してきた前記映像を受信する受信手段と、
前記受信手段で受信した映像中の、所定のＣＧとの合成対象となる、予め設定された特定物体の形状の推定処理を行うか否かを設定する設定手段と、
該設定手段の設定に応じて、受信する映像の画角を決定し、決定した画角を前記ＨＭＤに要求する要求手段と、
前記受信手段で受信した映像から、予め設定された画角の部分映像を切り出し、当該部分映像から前記所定のサイズの映像を生成する生成手段と、
前記設定手段の設定に基づき、該生成手段で生成された映像と前記所定のＣＧとを合成し、当該合成の結果の映像を表示映像として前記ＨＭＤに送信する表示映像送信手段とを有する。

本発明によれば、ＨＭＤのディスプレイの視野角を超える範囲を参照して特定物体の形状推定を行いながらも、ＨＭＤと映像処理装置間の単位時間当たりのデータ伝送量は、ディスプレイの視野角内の映像データの伝送した場合と実質的に同じにすることが可能になる。よって、ＨＭＤから映像処理装置に伝送する映像データにおける無駄も少なくできる。

第１の実施形態におけるブロック構成図。 第３の実施形態におけるブロック構成図。 第１の実施形態において物体の形状の推定を行わない場合のフローを表す図。 第１の実施形態において物体の形状の推定を行う場合のフローを表す図。 撮影映像と送信映像と表示映像の画角と解像度の関係を示す図。 第２の実施形態における処理フローを表す図。 第２の実施形態において送信映像の画角を決定するフローを表す図。 第２の実施形態において撮影映像と送信映像の画角を表す図。 第１の実施形態において撮影映像と送信映像の画角を表す図。 第１の実施形態の変形例におけるブロック構成図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
図１は第１の実施形態における映像処理システム（複合現実システム）のブロック構成図である。本システムは、ユーザに対して文字通り複合現実感(MR)を提供する。本システムはビデオシースルーＨＭＤ（以下単にＨＭＤ）１００と、映像処理装置１０６で構成される。

ＨＭＤ１００は使用者の左右の視点に代わって動画映像を撮像するカメラ１０１（左視点用カメラと右視点用カメラの２つ）を有する。ここで撮影された映像のことを本実施形態では「撮影映像」と呼ぶ。また、ＨＭＤ１００はディスプレイ１１１（左右の２つある）を有し、後述する処理によって作成された複合現実映像を表示する。ディスプレイ１１１は所定のレンズユニットと組み合わされてユーザの目前に配置される。ディスプレイに表示される映像のことを本実施形態では「表示映像」と呼ぶ。

また、ＨＭＤ１００は撮影映像送信部１０２を有する。この撮影映像送信部１０２は、後述する映像領域決定部１０３から指示された領域に従い、左右の撮影映像から送信映像を生成し、映像処理装置１０６に送信する。この撮影映像送信部１０２から映像処理装置１０６に送信することになる左右の映像を、本実施形態では「送信映像」と呼ぶ。

ここで実施形態における撮影映像、送信映像、表示映像における、画角と解像度（画像サイズ）の関係を図５に示し、以下にその関係を説明する。

まずは画角について説明する。説明を単純化させるため、本実施形態における３つの映像のアスペクト比は同じであるものとする。よって、画角は、その水平方向のみ定義すれば十分である。なお、実施形態におけるアスペクト比は１．３３（４：３）を例にするが、あくまで一例であることに注意されたい。

撮影映像の画角５０１はカメラ１０１のレンズユニットに依存し固定である。本実施形態では撮影映像の画角５０１は左右とも水平８０度とする。表示映像の画角５０３は、左右とも、ディスプレイ１１１の大きさやレンズユニットのレンズ仕様やディスプレイと目の距離に依存し固定である。本実施形態における表示映像の画角５０３は水平６０度とする。

上記に対し、送信映像の画角５０２は、後述するようにCGと特定物体（実施形態ではＨＭＤを装着する操作者の手）の前後関係を判断する処理を行うか否かで画角が切り替わる。具体的には、CGと特定物体の前後関係を判断する処理を行う場合、より広画角の映像を送信するため、左右とも撮影映像と同じ８０度とする。そして、CGと特定物体の前後関係を判断しない場合は、左右とも表示映像と同じ画角の６０°とする。

次に解像度について説明する。撮影映像の解像度５０４はカメラ１０１の撮像素子の解像度に依存し左右とも固定である。本実施形態における撮影映像の解像度５０４を、水平方向画素数×垂直方向画素数（ドット）で表現すると左右とも１２８０×９６０画素である。

また、送信映像の解像度５０５であるが、これはＨＭＤ１００と映像処理装置１０６を接続するUSB3.0やIEEE1394などのケーブルとプロトコルに依存する。さらに、MRシステムの場合、リアルタイム性が要求されるので、フレームレートを３０ｆｐｓなどにする必要があるので、実施形態では８００×６００画素の固定とする。詳細は後述するが、送信映像の画角が６０°の場合には、撮影映像である１２８０×９６０画素の中央の８００×６００画素の領域を切り抜き、その切り抜いた領域を送信映像とする。一方、送信映像の画角が８０°の場合、１２８０×９６０画素の送信映像全体を均等に間引き処理して８００×６００画素で構成される画像を生成し、それを送信映像とする。この間引き処理は撮影映像送信部１０２が行う。なお、間引き処理そのものは公知であるので、ここでの詳述はしない。

そして、表示映像の解像度５０６は８００×６００画素の固定である。詳細は後述するが、送信映像の画角が６０°の場合には、ＨＭＤ１００から送信されてきた左右の送信映像それぞれに、ＣＧを合成したものが、各視点の表示映像となる。一方、送信映像の画角が８０°の場合、ＨＭＤ１００から送信されてきた左右の送信映像（８００×６００画素）それぞれから、その中央の画角６０°に相当する５００×３７５画素の領域を抜き出す。そして、抜き出した２つの画像（５００×３７５画素）に対してそれぞれ補間処理（線補間）が行われ、左右の８００×６００画素の画像が生成され、ＣＧとの合成が行われる。

図１の説明に戻る。映像処理装置１０６は、映像領域決定部１０３、物体形状推定部１０４、撮影映像受信部１０５、表示映像切り出し部１０７、表示映像送信部１０８、映像合成部１０９、記憶部１１０、そして装置全体の制御を司る制御部１２０を有する。

撮影映像受信部１０５は、ＨＭＤ１０１の撮影映像送信部１０２からの送信映像を受信する。表示映像切り出し部１０７は、撮影映像受信部１０５が受信した映像から所定の領域を切り出し、補間処理を行う（詳細は後述）。物体形状推定部１０４は、撮影映像受信部１０５が受信した映像から特定物体（実施形態では、ＨＭＤ１０１を装着するユーザの手）の形状を推定する。この処理は先に示した非特許文献１などで公開されている既知の手法によって行われる。特定物体の形状を推定する処理には所定の実行時間がかかり、特定物体が映像に映っていなくても処理時間に影響がある。そのため、ユーザの指示入力に従い、特定物体の形状推定を行う／行わないが切り替わるものとした。

映像領域決定部１０３は、物体形状推定部１０４が特定物体の形状推定を行っているか否かに応じて、撮影映像送信部１０２が送信する送信映像を第１の画角（水平画角６０°）、第２の画角（水平画角８０°）にするかを決定する。そして、映像領域決定部１０３は、その指示を撮影映像送信部１０２に送信する。

記憶部１１０はハードディスク等の記憶装置で構成され、コンピュータグラフィックモデル（以下ＣＧモデル）を記憶する。そして、このコンピュータグラフィックモデルで規定されるＣＧ（仮想オブジェクト）が、現実の撮影映像にＣＧを重畳されることになる。

表示映像切り出し部１０７は、撮影映像受信部１０５が受信した映像が画角６０°の場合、その映像（左右の２つ）をそのまま映像合成部１０９に供給する。一方、撮影映像受信部１０５が受信した映像が画角８０°の場合、換言すれば、物体形状推定部１０４が特定物体の形状を推定する場合、画角８０°の送信映像（左右）における中央部分の画角６０°に相当する５００×３７５画素を切り出す。そして、表示映像切り出し部１０７は、その切り出した各領域を補間処理することで、表示映像と同じ解像度の映像（８００×６００画素）を２つ生成し、映像合成部１０９に供給する。

映像合成部１０９は、表示映像切り出し部１０７から供給された映像に、記憶部１１０に格納されたＣＧモデルで規定されるＣＧを重畳して複合現実映像を作成する。さらに映像合成部１０９は、物体形状推定部１０４が推定した合成対象の特定物体と、ＣＧモデル１１０の描画ピクセルの前後関係を比較して、ＣＧモデルを描画するかどうかを決定する。つまり、手などの物体の方がＣＧモデル１１０よりも手前にあると判定した場合は、そのピクセルにＣＧモデル１１０を描画せずに、実写映像の手を見せるようにＣＧモデル１１０の画像を加工する。映像合成部１０９が作成した映像が先に説明した表示映像となる。表示映像送信部１０８は、映像合成部１０９が生成した表示映像をＨＭＤ１００のディスプレイ１１１に送信する。

ＨＭＤ１００のカメラ１０１は３０ｆｐｓの速度で左右の視点からの映像を撮影する。そして、撮影映像送信部１０２は、映像処理装置１０６から第１の画角（画角６０°）の映像が要求された場合、撮影映像（１２８０×９６０画素）内の、第１の画角に相当する、中央の９６０×７２０画素の映像を切り出し、更にそれを均等に間引き処理をし、８００×６００画素の映像を映像処理装置１０６に送信する。また、ＨＭＤ１００の撮影映像送信部１０２は、映像処理装置１０６から第２の画角の映像が要求された場合には、第２の画角の撮影映像（１２８０×９６０画素）を均等に間引き処理し、第２の画角ではあるものの、解像度が８００×６００画素の映像を送信映像として、映像処理装置１０６に送信する。そして、ＨＭＤ１００のディスプレイ１１１は、信号処理装置１０６から受信した左右の表示映像をそれぞれ表示する。上記のように、ＨＭＤ１００の処理は単純であるので、これ以上の説明は不要であろう。

よって、以下では、映像処理装置１０６（の制御部１２０）の処理手順を図３、図４に示すフローチャートに従い、以下に説明する。

まず、映像処理装置１０６は、ステップＳ１０１にて、初期状態として物体形状推定部１０４による特定物体（ＨＭＤ１００を装着するユーザの手）の形状推定処理をＯＦＦ、すなわち、推定処理を行わないようにする。これを受けて、映像領域決定部１０３は、第１の画角（実施形態では６０°）の送信映像を、ＨＭＤ１００内の撮影映像送信部１０２に要求する（ステップＳ１０２）。この結果、ＨＭＤ１００の撮影映像送信部１０２は、カメラ１０１から得られた画角８０°の撮影映像を受信するたびに、その中央の画角６０°に相当する領域の映像（９６０×７２０画素）を切り出し、更にそれを間引き処理することで８００×６００画素の映像を送信映像として映像処理装置１０６に送信してくる。この処理は、特に変更の要求が無い限り継続する。

次のステップＳ１０３にて、映像処理装置１０６は不図示の操作部から、形状推定の切換指示があったか否かを判定する。この操作部を操作する人間は、ＨＭＤ１００を装着するユーザであっても良いし、それ以外の者であっても良い。ＨＭＤ１００を装着するユーザとする場合、ＨＭＤ１００にその切換ボタンを含む操作部を設け、その押下状態を示す信号を、送信映像のラインとは別ラインで、映像処理装置１０６に送信する構成にすればよいであろう。

さて、切換指示があったと判定した場合、処理はステップＳ１０４に進み、現在、形状推定がＯＦＦ状態であるか否かを判定する。ＯＦＦであれば、切換指示はＯＮへの切換であることになるので、ステップＳ１０５にて物体形状推定部１０４による特定物体の形状推定をＯＮに設定する。これを受けて、映像領域決定部１０３は、第２の画角（実施形態では８０°）の送信映像を、ＨＭＤ１００内の撮影映像送信部１０２に要求する（ステップＳ１０６）。ＨＭＤ１００の撮影映像送信部１０２は、この要求を受けると、カメラ１０１から得られた画角８０°の撮影映像（水平１２８０画素×垂直方向９６０画素）を受信するたびに、その画角を保ったまま、間引き処理して８００×６００画素で構成される送信映像として映像処理装置１０６に送信してくることになる。以降、特に変更指示がない限り、この処理を繰り返す。一方、ステップＳ１０４にて、現在、特定物体の形状推定がＯＮであった場合には、ＯＦＦへの切換指示であると判定し、ステップＳ１０１の処理に戻る。

上記のようにして、映像処理装置１０６は、特定物体の推定を機能させるか否かの指示があるたびに、それに応じた画角（解像度）の送信映像を、ＨＭＤ１００（の撮影映像送信部１０２）に要求することになる。そして、ＨＭＤ１００は、要求に応じた画角であるものの、固定解像度の送信映像を映像処理装置１０６に送信してくる。

さて、ステップＳ１０３にて指示入力がないと判定された場合、処理はステップＳ１０７（図４）に進み、撮影映像受信部１０５が撮影映像送信部１０２からの映像（左右の２枚の送信映像）を受信する。実施形態におけるＨＭＤ１００のカメラは３０ｆｐｓで映像を撮影するので、この受信は１秒に３０回程度行われることになる。

次のステップＳ１０８にて、映像処理装置１０６は、現在、特定物体の形状推定がＯＮになっているか否かを判定する。ＯＮになっている場合、受信した映像の画角は第２の画角（８０°）となっているので、その映像内にて物体形状推定部１０４による特定物体の形状推定処理を行わせ、特定物体の形状と、左右の視点位置から特定物体までの距離の導出処理を行う（ステップＳ１０９）。この後、ステップＳ１１０に進み、表示映像切り出し部１０７を機能させて、受信した左右の映像それぞれの中央部分の第１の画角（実施形態では水平６０°）に相当する領域（５００×３７５画素）を切り出す処理を行う。そして、切り出した２枚の映像を、水平、垂直とも１．６倍に補間処理を行い、解像度が８００×６００画素の２枚の表示映像を生成を映像合成部１０９に供給する。

一方、特定物体の形状推定がＯＦＦになっている場合、ＨＭＤ１００から受信した左右２枚の映像の画角は第１の画角となっているので、ステップＳ１０９、Ｓ１１０の処理はスキップし、そのまま映像合成部１０９に供給される。

映像合成部１０９は、ステップＳ１１１にて、記憶部１１０に記憶されやＣＧモデルに基づき、ＣＧと現実空間の映像との合成処理を行い、左右の表示映像を生成する。このとき、特定物体の形状推定がＯＮになっている場合には、左右の映像それぞれに対し、特定物体とＣＧによる仮想オブジェクトの位置関係に応じた処理も行うことになる。そして、表示映像送信部１０８は、ステップＳ１１２にて、映像合成部１０９が生成した左右の表示映像をＨＭＤ１００のディスプレイ１１１に向けて送信する。

上記を図９（ａ），（ｂ）を参照して説明する。同図の符号９０１Ｌ，９０１Ｒはカメラ１０１で撮影された第２の画角（水平画角８０°）の左右の撮影映像を示している。符号９０２Ｌ、９０２Ｒは第１の画角（水平６０°）の左右の撮影映像を示している。撮影映像９０２Ｌ、９０２Ｒに着目すると、特に左目用映像には手（特定物体）の一部分しか映っていないので、これら撮影映像９０２Ｌ、９０２Ｒからだけでは特定物体の検出することはできない、もしくは検出の精度が落ちる。しかし、物体形状推定処理がＯＮになっている場合には、物体形状推定部１０４は、間引きされているものの、表示映像の範囲を超える撮影映像９０１Ｌ，９０１Ｒを参照して特定物体の形状の検出と、カメラ１０１の視点との距離を導出することが可能となる。そして、ＨＭＤ１００のディスプレイ１１１には、図示の第１の画角の撮影映像９０２Ｌ、９０２Ｒの映像に、ＣＧが重畳した合成映像が送信されるので、ＨＭＤ１００におけるディスプレイ１１１には常に同じ画角の合成映像が表示されることになる。

以上説明したように本第１の実施形態によれば、特定物体とＣＧとの前後関係が重要な場合のみにＨＭＤ１００のディスプレイ１１１で規定される視野外の領域を参照して特定物体の形状推定処理を行うことが可能になる。しかも、ＨＭＤ１００のディスプレイに表示される映像の画角、更には、ＨＭＤ１００から映像処理装置１０６への単位時間当たりの転送量の常に一定に維持したまま行うことも可能になる。

なお、上記第１の実施形態では、物体形状推定部１０４の機能のＯＮ／ＯＦＦを、操作者からの指示入力に従って行うものとしたが、ユーザの指示入力以外のイベントをトリガに、物体形状推定部１０４の機能がＯＦＦ状態からＯＮ状態に切り替わるようにしても良い。例えば、本システムが野球ゲームに適用され、ＨＭＤ１００を装着したユーザが適当な位置（バッターボックス）まで移動したこと、或いは、ゲームを開始してから所定時間が経過したこと等をそのイベントとする。そして、係るイベントの発生をトリガにして、物体形状推定部１０４の機能をＯＦＦからＯＮにしても良い。

［第１の実施形態の変形例］
上記第１の実施形態では、映像領域決定部１０３が映像処理装置１０６に備わるように構成したが、それらがＨＭＤ１００に備わっていてもよい。この場合の構成図を図１０に示し、以下に説明する。

図１０に示すように、ＨＭＤ１００には操作部１２１が設けられ、ＨＭＤを装着したユーザはこの操作部１２１を介して、特定物体の形状の推定を行うか行わないかが指定できる。そして、特定物体の形状推定を行うことが指示された場合、映像領域決定部１０３は、カメラ１０１の撮影視野角のうち、最広角（実施形態では８０°）を撮影映像送信部１０２に設定する。また、特定物体の形状推定を行わないことが指示された場合、映像領域決定部１０３は、カメラ１０１の撮影視野角のうち、最狭角（実施形態では６０°）を撮影映像送信部１０２に設定する。撮影映像送信部１０２は、最広角（８０°）が設定された場合、カメラ１０１で得られた最広角の映像（１２８０×９６０画素）を間引き処理し、８００×６００画素の映像を生成し、生成された映像と、最広角であることを示す画角情報（もしくは映像領域決定部１０３が設定した設定内容）とを映像処理装置１０６に送信する。また、撮影映像送信部１０２は最狭角（６０°）が設定された場合には、カメラ１０１で得られた最広角の映像（１２００×９６０画素）の中央の９６０×７２０画素の部分映像を抜き出し、さらにそれを間引き処理することで８００×６００画素の映像と、部分映像が最狭角であることを示す画角情報を映像処理装置１０６に送信する。

映像処理装置１０６における撮影映像受信部１０５は、受信した映像並びに画角情報の両方を表示映像切り出し部１０７に供給すると共に、画角情報を物体形状推定部１０４に供給する。

物体形状推定部１０４は、画角情報が最広角を示している場合には、特定物体の形状推定を行う。また、表示映像切り出し部１０７は、画角情報が最狭角を示している場合には、受信した映像（８００×６００画素）をそのまま映像合成部１０９に供給し、画角情報が最広角を示している場合には受信した映像の画角が８０°であることになるので、その中央の画角６０°に相当する５００×３７５画素を切り出し、補間処理して８００×６００画素の映像を生成し、映像合成部１０９に供給する。これ以降は、先に説明したのと同じであるので、その説明は省略する。

［第２の実施形態］
上記第１の実施形態では特定物体（ＨＭＤ１００を装着したユーザの手）の形状を推定する場合は、映像処理装置１０６の表示映像切りだし部１０７は、受信した映像から常に切り出して表示映像を生成した。本第２の実施形態では映像の切り出し量を適応的（多段階）に決定する例を説明する。装置構成は図１と同じであるものとする。また、本第２の実施形態におけるＨＭＤ１００の撮影映像送信部１０２は、設定された画角が６０°、８０°の２種類ではなく、カメラ１０１により撮影映像における６０乃至８０°の範囲の例えば１°刻みに切り出し、補間処理しては８００×６００画素の画像を送信映像として生成するものとする。なお、画角６０°が設定された場合、撮影映像送信部１０２は補間量が最も少なくなるため、最も画質が高くなる。撮影映像の中央の９６０×７２０画素の映像から８００×６００画素のｓ峰真映像を生成するためである。また、表示映像切り出し部１０７も、受信した映像中に、表示映像と同じ画角の領域を切り出し＆補間処理して、表示映像と同じ解像度の映像を生成するものとする。

以下では、本第２の実施形態における映像処理装置１０６の処理を、図６のフローチャートに従って説明する。

映像処理装置１０６は、まず、ステップＳ２０１にて、初期の画角６０°を設定する。すなわち、映像領域決定部１０３は、画角６０°の領域の映像をＨＭＤ１００に要求する。この結果、撮影映像送信部１０２は、カメラ１０１で撮影された左右の視点位置における画角８０°の撮影映像を受信し、それぞれの中央の画角６０°に相当する領域を、左右視点の８００×６００画素の送信映像として、映像処理装置１０６に送信を行う。

映像処理装置１０６の撮影映像受信部１０５は、上記にようにしてＨＭＤ１００から送信されてくる映像を受信する（ステップＳ２０２）。物体形状推定部１０４は、受信した映像中に特定物体の形状があるか否か、視点位置からその特定物体までの距離を導出する（ステップＳ２０３）。

そして、ステップＳ２０４にて、映像領域決定部１０３は、物体形状推定部１０４の推定結果を受信して、画角変更処理を行う。このステップＳ２０４の処理の例を図７のフローチャートに従って説明する。

ステップＳ７０１において、映像領域決定部１０３は、受信した映像内に特定物体が映っているかどうかを判断する。映ってない場合は、ステップＳ７０２において、送信画角の画角を表示映像と同じ画角、つまり６０度に設定する。特定物体（ＨＭＤ１００を装着するユーザの手）が映っていない場合は、手とCGの前後関係の判定を行う必要がないため、より画質を優先するために表示映像と同じ画角に設定する。

図８（ａ）はこのときの様子を表している。図示の符号８０１Ｌ、８０１Ｒは左右視点の撮影映像であり水平８０°の画角の映像を表している。符号８０２Ｌ、８０２Ｒは送信映像であり、中央から水平６０度の映像を切り出した様子を表している。

一方、映像領域決定部１０３が、受信した左右の映像のいずれかに特定物体が存在する、つまり、映っていると判定した場合、ステップＳ７０３にて、その特定物体が写っている位置に応じた画角を、ＨＭＤ１００の撮影映像送信部１０２に要求する。

以下、具体例を説明する。例えば手が撮影映像の中央に映っていて、送信画角の画角を表示映像と同じ画角、つまり６０度に設定しても、手の全体が両目の送信映像に映る場合は、送信画角の画角を表示映像と同じ画角（６０度）に設定する。図８（ｂ）はこのときの様子を表している。符号８０３Ｌ，８０３Ｒは左右の撮影映像であり水平８０度の映像を表している。符号８０４Ｒ，８０４Ｌは送信映像であり、中央から水平６０度の映像を切り出したものである。手が中央に映っていれば画角を６０度にしても手は両目の送信映像に映っているため手の形状の推定には影響がない。また画質もよくなるという利点がある。

手が撮影映像の端に映っていて、送信画角の画角を表示映像と同じ画角、つまり６０度に設定すると、一方の目（例えば左目）の送信映像のみから手の一部が映らなくなってしまう場合は、送信画角の画角を手がすべて映る画角に設定する。図８（ｃ）はこのときの様子を表している。符号８０５Ｌ、８０５Ｒは撮影映像であり水平８０度の映像を表している。符号８０６Ｌ，８０６Ｒは送信映像であり、両目の送信映像に手の全体を包含するような画角（水平６０度よりも広く、水平８０度よりは狭い画角）に設定されている。送信映像の画角を６０度のままにした場合、一方の目（例えば右目）の送信映像に手の全部が映っていた場合に、もう一方の目（例えば左目）の送信映像に手の一部が映らなくなってしまい、その結果、手の形状を推定することができなくなってしまう。そのため送信映像の画角を少し広げる。

図８（ｄ）はさらに手が画面の端に寄った場合の例を表している。符号８０７Ｌ，８０７Ｒが撮影映像を示している。図示のように、手が一方の映像（この場合左目の映像）の淵に接するように映った場合は、送信映像の画角は撮影映像の画角と一致するようにする。

図６のフローチャートの説明に戻る。上記のようにして、画角変更処理を終えると、処理はステップＳ２０４からステップＳ２０５に進み、受信した映像を、その映像の画角に従った切り出し、補間処理を行う。なお、受信した映像の画角が６０°の場合、その画角は表示映像と同じ画角であるので、切り出し並びに補間処理は不要である。そして、ステップＳ２０６にて、映像合成部１０９による合成処理を行って左右の表示映像を生成する。そしてステップＳ２０７にて、表示映像送信部１０８が、生成した左右の表示製造をＨＭＤ１００のディスプレイ１１１に向けて送信する。

以上の結果、本第２の実施形態によれば、一旦、ＨＭＤ１００を装着しているユーザが見える画角内に特定物体（ユーザ自身の手）が入った場合には、たとえユーザにとっての視野（実施形態では６０°）外に特定物体が移動したとしても、カメラ１０１の撮影可能な視野角内（実施形態では画角８０°内）にある限りは、追従できることになる。

また、画角内の中央付近に特定物体が存在したり、画角内に特定物体が存在しない場合は、表示画角と同じ画角の映像を送信映像とすればよいので画質を高くすることができる。

また、本第２の実施形態でも、映像領域決定部１０３が映像処理装置１０６に備わるように構成したが、第１の実施形態と同様、ＨＭＤ１００に備わっていてもよい。この時の構成図を図１０に示す。この場合、ＨＭＤ１００に備わった操作部１２１により、物体の形状の推定を行う／行わないか設定されることになる。この場合の処理は、上記第２の実施形態、並びに、第１の実施形態の変形例から明らかであろうから、その説明は省略する。

［第３の実施形態］
図１に示した例では、画像表示装置を構成する各部は全て、ハードウェアで構成されているとして説明した。しかし、その一部をソフトウェアで構成して、残りの部分をハードウェアとして構成してもよい。本第３の実施形態ではそのように構成した例を説明する。

図２は、本第３の実施形態における映像処理装置１０６のブロック構成図である。

ＣＰＵ２００１は、ＲＡＭ２００２やＲＯＭ２００３に格納されているプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、上記各実施形態で情報表示装置が行うものとして説明した上述の各処理を実行する。ＲＡＭ２００２は、外部記憶装置２００７や記憶媒体ドライブ２００８からロードされたプログラムやデータを一時的に記憶するための領域を有する。更にＲＡＭ２００２は、Ｉ／Ｆ（インタフェース）２００９を介して外部装置から受信したデータを一時的に記憶するためのエリアを有する。このとき、外部装置とは、ＨＭＤ１００を指す。それ故、外部装置からの受信データとは、図１の場合、現実空間画像を指す。更に、ＲＡＭ２００２は、ＣＰＵ２００１が各処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ２００２は、各種エリアを適宜提供することができる。例えば、ＲＡＭ２００２は、図１に示した記憶部１１０としても機能する。ＲＯＭ２００３には、コンピュータの設定データやブートプログラムなどが格納されている。キーボード２００４、マウス２００５は、操作入力装置の一例としてのものであり、コンピュータのユーザが操作することで、各種の指示をＣＰＵ２００１に対して入力することができる。

表示部２００６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ２００１による処理結果を画像や文字などで表示することができる。表示部２００６には、図１のＨＭＤ１００のディスプレイ１１１を含む。

外部記憶装置２００７は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置２００７には、ＯＳ（オペレーティングシステム）や、情報提示装置が行うものとして説明した上述の各処理をＣＰＵ２００１に実行させるためのプログラムやデータが格納されている。係るプログラムをＣＰＵ２００１が実行することで、頭２００１が、映像領域決定部１０３、物体形状推定部１０４、撮影映像受信部１０５、表示映像切り出し部１０７、表示映像送信部１０８、映像合成部１０９として機能する。

記憶媒体ドライブ２００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されたプログラムやデータを読み出したり、係る記憶媒体にプログラムやデータを書き込んだりする。なお、外部記憶装置２００７に保存されているものとして説明したプログラムやデータの一部若しくは全部をこの記憶媒体に記録しておいても良い。記憶媒体ドライブ２００８が記憶媒体から読み出したプログラムやデータは、外部記憶装置２００７やＲＡＭ２００２に対して出力される。Ｉ／Ｆ２００９は、ＨＭＤ１００を接続するためのアナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポート、イーサネット（登録商標）ポートなどによって構成される。Ｉ／Ｆ２００９を介して受信したデータは、ＲＡＭ２００２や外部記憶装置２００７に入力される。２０１０は、上述の各部を繋ぐバスである。

上記のような構成にて、ＣＰＵ２００１がＲＡＭ２００２にロードしたアプリケーションプログラムを実行することで、本装置が図１に示す映像処理装置１０６と等価の機能を果たすことが可能となる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００…ＨＭＤ、１０１…カメラ、１０２…撮影映像送信部、１０３…映像領域決定部、１０４…物体形状推定部、１０５…撮影映像受信部、１０６…映像処理装置、１０７…表示映像切り出し部、１０８…表示映像送信部、１０９…映像合成部、１１０…記憶部、１２０…制御部

Claims (12)

1. ユーザが装着するためのＨＭＤと、前記ＨＭＤに接続される映像処理装置とで構成される映像処理システムであって、
   前記ＨＭＤは、
   現実空間を撮像するための撮像手段と、
   当該撮像手段で撮像した映像内の、前記映像処理装置から要求された画角の領域の部分映像を切り出し、当該部分映像から所定のサイズの映像を生成し、生成した映像を前記映像処理装置に送信する撮影映像送信手段と、
   前記映像処理装置から供給された映像を表示する表示手段とを有し、
   前記映像処理装置は、
   前記ＨＭＤが送信してきた前記映像を受信する受信手段と、
   前記受信手段で受信した映像中の、所定のＣＧとの合成対象となる、予め設定された特定物体の形状の推定処理を行うか否かを設定する設定手段と、
   該設定手段の設定に応じて、受信する映像の画角を決定し、決定した画角を前記ＨＭＤに要求する要求手段と、
   前記受信手段で受信した映像から、予め設定された画角の部分映像を切り出し、当該部分映像から前記所定のサイズの映像を生成する生成手段と、
   前記設定手段の設定に基づき、該生成手段で生成された映像と前記所定のＣＧとを合成し、当該合成の結果の映像を表示映像として前記ＨＭＤに送信する表示映像送信手段とを有する
   ことを特徴とする映像処理システム。
2. 前記要求手段は、前記設定手段によって前記特定物体の形状の推定処理を行うことが設定された場合、前記ＨＭＤに最広角の映像を要求することを特徴とする請求項１に記載の映像処理システム。
3. 前記設定手段は、ユーザの指示に従って、前記特定物体の形状の推定処理を行う／行わないを設定することを特徴とする請求項１又は２に記載の映像処理システム。
4. 前記要求手段は、予め設定した画角内に前記特定物体の存在を検出した以降では、前記撮像手段が撮影可能な視野角内であって、当該特定物体を包含する画角を、前記ＨＭＤに要求することを特徴とする請求項１に記載の映像処理システム。
5. ユーザが装着するためのＨＭＤと、前記ＨＭＤに接続される映像処理装置とで構成される映像処理システムであって、
   前記ＨＭＤは、
   現実空間を撮像するための撮像手段と、
   所定のＣＧとの合成対象となる、予め設定された特定物体の形状の推定処理を行うか否かを設定する設定手段と、
   前記撮像手段で撮像した映像内の、前記設定手段による設定に応じた画角の部分映像を切り出し、当該部分映像から所定のサイズの映像を生成し、生成した映像を前記映像処理装置に送信する撮影映像送信手段と、
   前記映像処理装置から供給された映像を表示する表示手段とを有し、
   前記映像処理装置は、
   前記ＨＭＤが送信してきた前記映像を受信する受信手段と、
   前記受信手段で受信した映像から、予め設定された画角の部分映像を切り出し、当該部分映像から前記所定のサイズの映像を生成する生成手段と、
   前記設定手段の設定に基づき、該生成手段で生成された映像と前記所定のＣＧとを合成し、当該合成の結果の映像を表示映像として前記ＨＭＤに送信する表示映像送信手段とを有する
   ことを特徴とする映像処理システム。
6. 前記撮影映像送信手段は、前記設定手段による設定内容を示す情報を映像と共に前記映像処理装置に送信し、
   前記生成手段は、前記受信手段が受信した前記設定内容を示す情報に基づく画角の部分映像を切り出す
   ことを特徴とする請求項５に記載の映像処理システム。
7. 現実空間を撮像するための撮像手段、当該撮像手段で撮像した映像内の、外部装置から要求された画角の領域の部分映像を切り出し、当該部分映像から所定のサイズの映像を生成し、生成した映像を前記外部装置に送信する撮影映像送信手段、並びに、前記外部装置から供給された映像を表示する表示手段とを有するＨＭＤと接続され、前記外部装置として機能する映像処理装置であって、
   前記ＨＭＤが送信してきた前記映像を受信する受信手段と、
   前記受信手段で受信した映像中の、所定のＣＧとの合成対象となる、予め設定された特定物体の形状の推定処理を行うか否かを設定する設定手段と、
   該設定手段の設定に応じて、受信する映像の画角を決定し、決定した画角を前記ＨＭＤに要求する要求手段と、
   前記受信手段で受信した映像から、予め設定された画角の部分映像を切り出し、当該部分映像から前記所定のサイズの映像を生成する生成手段と、
   前記設定手段の設定に基づき、該生成手段で生成された映像と前記所定のＣＧとを合成し、当該合成の結果の映像を表示映像として前記ＨＭＤに送信する表示映像送信手段と
   を有することを特徴とする映像処理装置。
8. 現実空間を撮像するための撮像手段、所定のＣＧとの合成対象となる、予め設定された特定物体の形状の推定処理を行うか否かを設定する設定手段、前記撮像手段で撮像した映像内の、前記設定手段による設定に応じた画角の部分映像を切り出し、当該部分映像から所定のサイズの映像を生成し、生成した映像を外部装置に送信する撮影映像送信手段、並びに、前記外部装置から供給された映像を表示する表示手段とを有するＨＭＤと接続され、前記外部装置として機能する映像処理装置であって、
   前記ＨＭＤが送信してきた前記映像を受信する受信手段と、
   前記受信手段で受信した映像から、予め設定された画角の部分映像を切り出し、当該部分映像から前記所定のサイズの映像を生成する生成手段と、
   前記設定手段の設定に基づき、該生成手段で生成された映像と前記所定のＣＧとを合成し、当該合成の結果の映像を表示映像として前記ＨＭＤに送信する表示映像送信手段と
   を有することを特徴とする映像処理装置。
9. 現実空間を撮像するための撮像手段、当該撮像手段で撮像した映像内の、外部装置から要求された画角の領域の部分映像を切り出し、当該部分映像から所定のサイズの映像を生成し、生成した映像を前記外部装置に送信する撮影映像送信手段、並びに、前記外部装置から供給された映像を表示する表示手段とを有するＨＭＤと接続され、前記外部装置として機能する映像処理装置の制御方法であって、
   受信手段が、前記ＨＭＤが送信してきた前記映像を受信する受信工程と、
   設定手段が、前記受信工程で受信した映像中の、所定のＣＧとの合成対象となる、予め設定された特定物体の形状の推定処理を行うか否かを設定する設定工程と、
   要求手段が、前記設定工程の設定に応じて、受信する映像の画角を決定し、決定した画角を前記ＨＭＤに要求する要求工程と、
   生成手段が、前記受信工程で受信した映像から、予め設定された画角の部分映像を切り出し、当該部分映像から前記所定のサイズの映像を生成する生成工程と、
   表示映像送信手段が、前記設定工程の設定に基づき、該生成工程で生成された映像と前記所定のＣＧとを合成し、当該合成の結果の映像を表示映像として前記ＨＭＤに送信する表示映像送信工程と
   を有することを特徴とする映像処理装置の制御方法。
10. 現実空間を撮像するための撮像手段、所定のＣＧとの合成対象となる、予め設定された特定物体の形状の推定処理を行うか否かを設定する設定手段、前記撮像手段で撮像した映像内の、前記設定手段による設定に応じた画角の部分映像を切り出し、当該部分映像から所定のサイズの映像を生成し、生成した映像を外部装置に送信する撮影映像送信手段、並びに、前記外部装置から供給された映像を表示する表示手段とを有するＨＭＤと接続され、前記外部装置として機能する映像処理装置の制御方法であって、
    受信手段が、前記ＨＭＤが送信してきた前記映像を受信する受信工程と、
    生成手段が、前記受信工程で受信した映像から、予め設定された画角の部分映像を切り出し、当該部分映像から前記所定のサイズの映像を生成する生成工程と、
    表示映像送信手段が、前記設定工程の設定に基づき、該生成工程で生成された映像と前記所定のＣＧとを合成し、当該合成の結果の映像を表示映像として前記ＨＭＤに送信する表示映像送信工程と
    を有することを特徴とする映像処理装置の制御方法。
11. コンピュータに読み込ませ実行させることで、前記コンピュータに、請求項９又は１０に記載の各工程として機能させるためのプログラム。
12. 請求項１１に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。

Images