JP2016146044A - 映像処理システム、映像処理装置及びその制御方法、並びにプログラム及び記憶媒体 - Google Patents
映像処理システム、映像処理装置及びその制御方法、並びにプログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2016146044A JP2016146044A JP2015022344A JP2015022344A JP2016146044A JP 2016146044 A JP2016146044 A JP 2016146044A JP 2015022344 A JP2015022344 A JP 2015022344A JP 2015022344 A JP2015022344 A JP 2015022344A JP 2016146044 A JP2016146044 A JP 2016146044A
- Authority
- JP
- Japan
- Prior art keywords
- video
- hmd
- setting
- angle
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】HMDのディスプレイの視野角を超える範囲を参照して特定物体の形状推定を行いながらも、HMDと映像処理装置間のデータ伝送量は、ディスプレイの視野角内の映像データの伝送した場合と実質的に同じにする。
【解決手段】HMD100は、映像処理装置106から要求された画角の領域の部分映像を切り出し、所定のサイズの映像を生成し送信する撮影映像送信部並びに表示部とを有する。また、映像処理装置は、受信した映像中の、所定のCGとの合成対象となる、予め設定された特定物体の形状の推定処理を行うか否かを決定する設定部、受信する映像の画角を決定し、決定した画角をHMDに要求する要求部、予め設定された画角の部分映像を切り出し、部分映像から所定のサイズの映像を生成する生成部、設定部の設定に基づき、生成された映像と所定のCGとを合成し、合成の結果の映像を表示映像としてHMDに送信する表示映像送信部と、を有する。
【選択図】図1
【解決手段】HMD100は、映像処理装置106から要求された画角の領域の部分映像を切り出し、所定のサイズの映像を生成し送信する撮影映像送信部並びに表示部とを有する。また、映像処理装置は、受信した映像中の、所定のCGとの合成対象となる、予め設定された特定物体の形状の推定処理を行うか否かを決定する設定部、受信する映像の画角を決定し、決定した画角をHMDに要求する要求部、予め設定された画角の部分映像を切り出し、部分映像から所定のサイズの映像を生成する生成部、設定部の設定に基づき、生成された映像と所定のCGとを合成し、合成の結果の映像を表示映像としてHMDに送信する表示映像送信部と、を有する。
【選択図】図1
Description
本発明は、撮影映像とコンピューターグラフィックス(以下CGと呼ぶ)を合成して表示する装置に関する。
近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実技術、いわゆるMR(Mixed Reality)技術が知られている。このMR技術の1つに、ビデオシースルーHMD(Head Mounted Display)を利用して、複合現実画像を使用者に提示する技術がある。
ビデオシースルーHMDに内蔵される2台のビデオカメラは、装着する使用者の瞳と略一致する位置からの現実空間における被写体を撮像する。また、ビデオシースルーHMDに内蔵される2台のディスプレイは、使用者の瞳位置の近傍に置かれ、現実空間の撮像画像とCG(Computer Graphics)とを重畳した画像を表示する。これにより、ビデオシースルーHMDは使用者に対し複合現実空間を提供する。
撮像画像にCGを重畳する際に、使用者の手とCGとの前後関係を正しく判断することが必要な場合がある。そのためには、HMD内の2台の各カメラの映像において手の形状を推定し、2台のカメラにおける手の形状のマッチングを取り、その視差を利用して手までの距離を計測することが行われる。これにより、CGと手の前後関係を正しく表示することが可能となる(非特許文献1)。
上記の方式では、手の領域を利用してマッチングを取っているため、手の全体が左右両方のカメラに映っている必要がある。そのため、手が一方のカメラの端に映っていて、他方のカメラの視野の外になってしまうと、視点から手までの距離を計測することができず、CGと手の位置関係が不定になってしまう。
これを解決するため、HMDのディスプレイで表示可能な領域よりも広い範囲を2台のカメラで撮影しておき、撮影した領域の内側を切り出してHMDの表示ディスプレイに表示する技術が提案されている(特許文献1)。これにより、手が一方の表示ディスプレイのみに表示されていたとしても、2台のカメラは共に手を撮影範囲内に収めることができ、視点から手までの正しい距離を推定できる。
林建一,加藤博一,西田正吾,"境界線ベースステレオマッチングを用いた実物体と仮想物体の前後判定",日本バーチャルリアリティ学会論文誌,Vol.10,No.3,pp.371−380,2005
上記の従来の手法では、HMDは、その表示に必要な領域よりも広い領域の映像を常に映像処理装置に伝送する必要があり、効率的とは言えない。また、今後のMR技術は、より解像度の高いより鮮明な映像を提供するようになるのは明らかであるので、表示する領域よりも広い領域の映像を伝送することは、伝送路の帯域を圧迫することとなり、求めるフレームレートに支障をきたす懸念もある。
本発明は係る問題に鑑みなされたものであり、HMDのディスプレイの視野角を超える範囲を参照して特定物体の形状推定を行いながらも、HMDと映像処理装置間の単位時間当たりのデータ伝送量は、ディスプレイの視野角内の映像データの伝送した場合と実質的に同じにする技術を提供する。
この課題を解決するため、例えば本発明の映像処理システムは以下の構成を備える。すなわち、
ユーザが装着するためのHMDと、前記HMDに接続される映像処理装置とで構成される映像処理システムであって、
前記HMDは、
現実空間を撮像するための撮像手段と、
当該撮像手段で撮像した映像内の、前記映像処理装置から要求された画角の領域の部分映像を切り出し、当該部分映像から所定のサイズの映像を生成し、生成した映像を前記映像処理装置に送信する撮影映像送信手段と、
前記映像処理装置から供給された映像を表示する表示手段とを有し、
前記映像処理装置は、
前記HMDが送信してきた前記映像を受信する受信手段と、
前記受信手段で受信した映像中の、所定のCGとの合成対象となる、予め設定された特定物体の形状の推定処理を行うか否かを設定する設定手段と、
該設定手段の設定に応じて、受信する映像の画角を決定し、決定した画角を前記HMDに要求する要求手段と、
前記受信手段で受信した映像から、予め設定された画角の部分映像を切り出し、当該部分映像から前記所定のサイズの映像を生成する生成手段と、
前記設定手段の設定に基づき、該生成手段で生成された映像と前記所定のCGとを合成し、当該合成の結果の映像を表示映像として前記HMDに送信する表示映像送信手段とを有する。
ユーザが装着するためのHMDと、前記HMDに接続される映像処理装置とで構成される映像処理システムであって、
前記HMDは、
現実空間を撮像するための撮像手段と、
当該撮像手段で撮像した映像内の、前記映像処理装置から要求された画角の領域の部分映像を切り出し、当該部分映像から所定のサイズの映像を生成し、生成した映像を前記映像処理装置に送信する撮影映像送信手段と、
前記映像処理装置から供給された映像を表示する表示手段とを有し、
前記映像処理装置は、
前記HMDが送信してきた前記映像を受信する受信手段と、
前記受信手段で受信した映像中の、所定のCGとの合成対象となる、予め設定された特定物体の形状の推定処理を行うか否かを設定する設定手段と、
該設定手段の設定に応じて、受信する映像の画角を決定し、決定した画角を前記HMDに要求する要求手段と、
前記受信手段で受信した映像から、予め設定された画角の部分映像を切り出し、当該部分映像から前記所定のサイズの映像を生成する生成手段と、
前記設定手段の設定に基づき、該生成手段で生成された映像と前記所定のCGとを合成し、当該合成の結果の映像を表示映像として前記HMDに送信する表示映像送信手段とを有する。
本発明によれば、HMDのディスプレイの視野角を超える範囲を参照して特定物体の形状推定を行いながらも、HMDと映像処理装置間の単位時間当たりのデータ伝送量は、ディスプレイの視野角内の映像データの伝送した場合と実質的に同じにすることが可能になる。よって、HMDから映像処理装置に伝送する映像データにおける無駄も少なくできる。
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
[第1の実施形態]
図1は第1の実施形態における映像処理システム(複合現実システム)のブロック構成図である。本システムは、ユーザに対して文字通り複合現実感(MR)を提供する。本システムはビデオシースルーHMD(以下単にHMD)100と、映像処理装置106で構成される。
図1は第1の実施形態における映像処理システム(複合現実システム)のブロック構成図である。本システムは、ユーザに対して文字通り複合現実感(MR)を提供する。本システムはビデオシースルーHMD(以下単にHMD)100と、映像処理装置106で構成される。
HMD100は使用者の左右の視点に代わって動画映像を撮像するカメラ101(左視点用カメラと右視点用カメラの2つ)を有する。ここで撮影された映像のことを本実施形態では「撮影映像」と呼ぶ。また、HMD100はディスプレイ111(左右の2つある)を有し、後述する処理によって作成された複合現実映像を表示する。ディスプレイ111は所定のレンズユニットと組み合わされてユーザの目前に配置される。ディスプレイに表示される映像のことを本実施形態では「表示映像」と呼ぶ。
また、HMD100は撮影映像送信部102を有する。この撮影映像送信部102は、後述する映像領域決定部103から指示された領域に従い、左右の撮影映像から送信映像を生成し、映像処理装置106に送信する。この撮影映像送信部102から映像処理装置106に送信することになる左右の映像を、本実施形態では「送信映像」と呼ぶ。
ここで実施形態における撮影映像、送信映像、表示映像における、画角と解像度(画像サイズ)の関係を図5に示し、以下にその関係を説明する。
まずは画角について説明する。説明を単純化させるため、本実施形態における3つの映像のアスペクト比は同じであるものとする。よって、画角は、その水平方向のみ定義すれば十分である。なお、実施形態におけるアスペクト比は1.33(4:3)を例にするが、あくまで一例であることに注意されたい。
撮影映像の画角501はカメラ101のレンズユニットに依存し固定である。本実施形態では撮影映像の画角501は左右とも水平80度とする。表示映像の画角503は、左右とも、ディスプレイ111の大きさやレンズユニットのレンズ仕様やディスプレイと目の距離に依存し固定である。本実施形態における表示映像の画角503は水平60度とする。
上記に対し、送信映像の画角502は、後述するようにCGと特定物体(実施形態ではHMDを装着する操作者の手)の前後関係を判断する処理を行うか否かで画角が切り替わる。具体的には、CGと特定物体の前後関係を判断する処理を行う場合、より広画角の映像を送信するため、左右とも撮影映像と同じ80度とする。そして、CGと特定物体の前後関係を判断しない場合は、左右とも表示映像と同じ画角の60°とする。
次に解像度について説明する。撮影映像の解像度504はカメラ101の撮像素子の解像度に依存し左右とも固定である。本実施形態における撮影映像の解像度504を、水平方向画素数×垂直方向画素数(ドット)で表現すると左右とも1280×960画素である。
また、送信映像の解像度505であるが、これはHMD100と映像処理装置106を接続するUSB3.0やIEEE1394などのケーブルとプロトコルに依存する。さらに、MRシステムの場合、リアルタイム性が要求されるので、フレームレートを30fpsなどにする必要があるので、実施形態では800×600画素の固定とする。詳細は後述するが、送信映像の画角が60°の場合には、撮影映像である1280×960画素の中央の800×600画素の領域を切り抜き、その切り抜いた領域を送信映像とする。一方、送信映像の画角が80°の場合、1280×960画素の送信映像全体を均等に間引き処理して800×600画素で構成される画像を生成し、それを送信映像とする。この間引き処理は撮影映像送信部102が行う。なお、間引き処理そのものは公知であるので、ここでの詳述はしない。
そして、表示映像の解像度506は800×600画素の固定である。詳細は後述するが、送信映像の画角が60°の場合には、HMD100から送信されてきた左右の送信映像それぞれに、CGを合成したものが、各視点の表示映像となる。一方、送信映像の画角が80°の場合、HMD100から送信されてきた左右の送信映像(800×600画素)それぞれから、その中央の画角60°に相当する500×375画素の領域を抜き出す。そして、抜き出した2つの画像(500×375画素)に対してそれぞれ補間処理(線補間)が行われ、左右の800×600画素の画像が生成され、CGとの合成が行われる。
図1の説明に戻る。映像処理装置106は、映像領域決定部103、物体形状推定部104、撮影映像受信部105、表示映像切り出し部107、表示映像送信部108、映像合成部109、記憶部110、そして装置全体の制御を司る制御部120を有する。
撮影映像受信部105は、HMD101の撮影映像送信部102からの送信映像を受信する。表示映像切り出し部107は、撮影映像受信部105が受信した映像から所定の領域を切り出し、補間処理を行う(詳細は後述)。物体形状推定部104は、撮影映像受信部105が受信した映像から特定物体(実施形態では、HMD101を装着するユーザの手)の形状を推定する。この処理は先に示した非特許文献1などで公開されている既知の手法によって行われる。特定物体の形状を推定する処理には所定の実行時間がかかり、特定物体が映像に映っていなくても処理時間に影響がある。そのため、ユーザの指示入力に従い、特定物体の形状推定を行う/行わないが切り替わるものとした。
映像領域決定部103は、物体形状推定部104が特定物体の形状推定を行っているか否かに応じて、撮影映像送信部102が送信する送信映像を第1の画角(水平画角60°)、第2の画角(水平画角80°)にするかを決定する。そして、映像領域決定部103は、その指示を撮影映像送信部102に送信する。
記憶部110はハードディスク等の記憶装置で構成され、コンピュータグラフィックモデル(以下CGモデル)を記憶する。そして、このコンピュータグラフィックモデルで規定されるCG(仮想オブジェクト)が、現実の撮影映像にCGを重畳されることになる。
表示映像切り出し部107は、撮影映像受信部105が受信した映像が画角60°の場合、その映像(左右の2つ)をそのまま映像合成部109に供給する。一方、撮影映像受信部105が受信した映像が画角80°の場合、換言すれば、物体形状推定部104が特定物体の形状を推定する場合、画角80°の送信映像(左右)における中央部分の画角60°に相当する500×375画素を切り出す。そして、表示映像切り出し部107は、その切り出した各領域を補間処理することで、表示映像と同じ解像度の映像(800×600画素)を2つ生成し、映像合成部109に供給する。
映像合成部109は、表示映像切り出し部107から供給された映像に、記憶部110に格納されたCGモデルで規定されるCGを重畳して複合現実映像を作成する。さらに映像合成部109は、物体形状推定部104が推定した合成対象の特定物体と、CGモデル110の描画ピクセルの前後関係を比較して、CGモデルを描画するかどうかを決定する。つまり、手などの物体の方がCGモデル110よりも手前にあると判定した場合は、そのピクセルにCGモデル110を描画せずに、実写映像の手を見せるようにCGモデル110の画像を加工する。映像合成部109が作成した映像が先に説明した表示映像となる。表示映像送信部108は、映像合成部109が生成した表示映像をHMD100のディスプレイ111に送信する。
HMD100のカメラ101は30fpsの速度で左右の視点からの映像を撮影する。そして、撮影映像送信部102は、映像処理装置106から第1の画角(画角60°)の映像が要求された場合、撮影映像(1280×960画素)内の、第1の画角に相当する、中央の960×720画素の映像を切り出し、更にそれを均等に間引き処理をし、800×600画素の映像を映像処理装置106に送信する。また、HMD100の撮影映像送信部102は、映像処理装置106から第2の画角の映像が要求された場合には、第2の画角の撮影映像(1280×960画素)を均等に間引き処理し、第2の画角ではあるものの、解像度が800×600画素の映像を送信映像として、映像処理装置106に送信する。そして、HMD100のディスプレイ111は、信号処理装置106から受信した左右の表示映像をそれぞれ表示する。上記のように、HMD100の処理は単純であるので、これ以上の説明は不要であろう。
よって、以下では、映像処理装置106(の制御部120)の処理手順を図3、図4に示すフローチャートに従い、以下に説明する。
まず、映像処理装置106は、ステップS101にて、初期状態として物体形状推定部104による特定物体(HMD100を装着するユーザの手)の形状推定処理をOFF、すなわち、推定処理を行わないようにする。これを受けて、映像領域決定部103は、第1の画角(実施形態では60°)の送信映像を、HMD100内の撮影映像送信部102に要求する(ステップS102)。この結果、HMD100の撮影映像送信部102は、カメラ101から得られた画角80°の撮影映像を受信するたびに、その中央の画角60°に相当する領域の映像(960×720画素)を切り出し、更にそれを間引き処理することで800×600画素の映像を送信映像として映像処理装置106に送信してくる。この処理は、特に変更の要求が無い限り継続する。
次のステップS103にて、映像処理装置106は不図示の操作部から、形状推定の切換指示があったか否かを判定する。この操作部を操作する人間は、HMD100を装着するユーザであっても良いし、それ以外の者であっても良い。HMD100を装着するユーザとする場合、HMD100にその切換ボタンを含む操作部を設け、その押下状態を示す信号を、送信映像のラインとは別ラインで、映像処理装置106に送信する構成にすればよいであろう。
さて、切換指示があったと判定した場合、処理はステップS104に進み、現在、形状推定がOFF状態であるか否かを判定する。OFFであれば、切換指示はONへの切換であることになるので、ステップS105にて物体形状推定部104による特定物体の形状推定をONに設定する。これを受けて、映像領域決定部103は、第2の画角(実施形態では80°)の送信映像を、HMD100内の撮影映像送信部102に要求する(ステップS106)。HMD100の撮影映像送信部102は、この要求を受けると、カメラ101から得られた画角80°の撮影映像(水平1280画素×垂直方向960画素)を受信するたびに、その画角を保ったまま、間引き処理して800×600画素で構成される送信映像として映像処理装置106に送信してくることになる。以降、特に変更指示がない限り、この処理を繰り返す。一方、ステップS104にて、現在、特定物体の形状推定がONであった場合には、OFFへの切換指示であると判定し、ステップS101の処理に戻る。
上記のようにして、映像処理装置106は、特定物体の推定を機能させるか否かの指示があるたびに、それに応じた画角(解像度)の送信映像を、HMD100(の撮影映像送信部102)に要求することになる。そして、HMD100は、要求に応じた画角であるものの、固定解像度の送信映像を映像処理装置106に送信してくる。
さて、ステップS103にて指示入力がないと判定された場合、処理はステップS107(図4)に進み、撮影映像受信部105が撮影映像送信部102からの映像(左右の2枚の送信映像)を受信する。実施形態におけるHMD100のカメラは30fpsで映像を撮影するので、この受信は1秒に30回程度行われることになる。
次のステップS108にて、映像処理装置106は、現在、特定物体の形状推定がONになっているか否かを判定する。ONになっている場合、受信した映像の画角は第2の画角(80°)となっているので、その映像内にて物体形状推定部104による特定物体の形状推定処理を行わせ、特定物体の形状と、左右の視点位置から特定物体までの距離の導出処理を行う(ステップS109)。この後、ステップS110に進み、表示映像切り出し部107を機能させて、受信した左右の映像それぞれの中央部分の第1の画角(実施形態では水平60°)に相当する領域(500×375画素)を切り出す処理を行う。そして、切り出した2枚の映像を、水平、垂直とも1.6倍に補間処理を行い、解像度が800×600画素の2枚の表示映像を生成を映像合成部109に供給する。
一方、特定物体の形状推定がOFFになっている場合、HMD100から受信した左右2枚の映像の画角は第1の画角となっているので、ステップS109、S110の処理はスキップし、そのまま映像合成部109に供給される。
映像合成部109は、ステップS111にて、記憶部110に記憶されやCGモデルに基づき、CGと現実空間の映像との合成処理を行い、左右の表示映像を生成する。このとき、特定物体の形状推定がONになっている場合には、左右の映像それぞれに対し、特定物体とCGによる仮想オブジェクトの位置関係に応じた処理も行うことになる。そして、表示映像送信部108は、ステップS112にて、映像合成部109が生成した左右の表示映像をHMD100のディスプレイ111に向けて送信する。
上記を図9(a),(b)を参照して説明する。同図の符号901L,901Rはカメラ101で撮影された第2の画角(水平画角80°)の左右の撮影映像を示している。符号902L、902Rは第1の画角(水平60°)の左右の撮影映像を示している。撮影映像902L、902Rに着目すると、特に左目用映像には手(特定物体)の一部分しか映っていないので、これら撮影映像902L、902Rからだけでは特定物体の検出することはできない、もしくは検出の精度が落ちる。しかし、物体形状推定処理がONになっている場合には、物体形状推定部104は、間引きされているものの、表示映像の範囲を超える撮影映像901L,901Rを参照して特定物体の形状の検出と、カメラ101の視点との距離を導出することが可能となる。そして、HMD100のディスプレイ111には、図示の第1の画角の撮影映像902L、902Rの映像に、CGが重畳した合成映像が送信されるので、HMD100におけるディスプレイ111には常に同じ画角の合成映像が表示されることになる。
以上説明したように本第1の実施形態によれば、特定物体とCGとの前後関係が重要な場合のみにHMD100のディスプレイ111で規定される視野外の領域を参照して特定物体の形状推定処理を行うことが可能になる。しかも、HMD100のディスプレイに表示される映像の画角、更には、HMD100から映像処理装置106への単位時間当たりの転送量の常に一定に維持したまま行うことも可能になる。
なお、上記第1の実施形態では、物体形状推定部104の機能のON/OFFを、操作者からの指示入力に従って行うものとしたが、ユーザの指示入力以外のイベントをトリガに、物体形状推定部104の機能がOFF状態からON状態に切り替わるようにしても良い。例えば、本システムが野球ゲームに適用され、HMD100を装着したユーザが適当な位置(バッターボックス)まで移動したこと、或いは、ゲームを開始してから所定時間が経過したこと等をそのイベントとする。そして、係るイベントの発生をトリガにして、物体形状推定部104の機能をOFFからONにしても良い。
[第1の実施形態の変形例]
上記第1の実施形態では、映像領域決定部103が映像処理装置106に備わるように構成したが、それらがHMD100に備わっていてもよい。この場合の構成図を図10に示し、以下に説明する。
上記第1の実施形態では、映像領域決定部103が映像処理装置106に備わるように構成したが、それらがHMD100に備わっていてもよい。この場合の構成図を図10に示し、以下に説明する。
図10に示すように、HMD100には操作部121が設けられ、HMDを装着したユーザはこの操作部121を介して、特定物体の形状の推定を行うか行わないかが指定できる。そして、特定物体の形状推定を行うことが指示された場合、映像領域決定部103は、カメラ101の撮影視野角のうち、最広角(実施形態では80°)を撮影映像送信部102に設定する。また、特定物体の形状推定を行わないことが指示された場合、映像領域決定部103は、カメラ101の撮影視野角のうち、最狭角(実施形態では60°)を撮影映像送信部102に設定する。撮影映像送信部102は、最広角(80°)が設定された場合、カメラ101で得られた最広角の映像(1280×960画素)を間引き処理し、800×600画素の映像を生成し、生成された映像と、最広角であることを示す画角情報(もしくは映像領域決定部103が設定した設定内容)とを映像処理装置106に送信する。また、撮影映像送信部102は最狭角(60°)が設定された場合には、カメラ101で得られた最広角の映像(1200×960画素)の中央の960×720画素の部分映像を抜き出し、さらにそれを間引き処理することで800×600画素の映像と、部分映像が最狭角であることを示す画角情報を映像処理装置106に送信する。
映像処理装置106における撮影映像受信部105は、受信した映像並びに画角情報の両方を表示映像切り出し部107に供給すると共に、画角情報を物体形状推定部104に供給する。
物体形状推定部104は、画角情報が最広角を示している場合には、特定物体の形状推定を行う。また、表示映像切り出し部107は、画角情報が最狭角を示している場合には、受信した映像(800×600画素)をそのまま映像合成部109に供給し、画角情報が最広角を示している場合には受信した映像の画角が80°であることになるので、その中央の画角60°に相当する500×375画素を切り出し、補間処理して800×600画素の映像を生成し、映像合成部109に供給する。これ以降は、先に説明したのと同じであるので、その説明は省略する。
[第2の実施形態]
上記第1の実施形態では特定物体(HMD100を装着したユーザの手)の形状を推定する場合は、映像処理装置106の表示映像切りだし部107は、受信した映像から常に切り出して表示映像を生成した。本第2の実施形態では映像の切り出し量を適応的(多段階)に決定する例を説明する。装置構成は図1と同じであるものとする。また、本第2の実施形態におけるHMD100の撮影映像送信部102は、設定された画角が60°、80°の2種類ではなく、カメラ101により撮影映像における60乃至80°の範囲の例えば1°刻みに切り出し、補間処理しては800×600画素の画像を送信映像として生成するものとする。なお、画角60°が設定された場合、撮影映像送信部102は補間量が最も少なくなるため、最も画質が高くなる。撮影映像の中央の960×720画素の映像から800×600画素のs峰真映像を生成するためである。また、表示映像切り出し部107も、受信した映像中に、表示映像と同じ画角の領域を切り出し&補間処理して、表示映像と同じ解像度の映像を生成するものとする。
上記第1の実施形態では特定物体(HMD100を装着したユーザの手)の形状を推定する場合は、映像処理装置106の表示映像切りだし部107は、受信した映像から常に切り出して表示映像を生成した。本第2の実施形態では映像の切り出し量を適応的(多段階)に決定する例を説明する。装置構成は図1と同じであるものとする。また、本第2の実施形態におけるHMD100の撮影映像送信部102は、設定された画角が60°、80°の2種類ではなく、カメラ101により撮影映像における60乃至80°の範囲の例えば1°刻みに切り出し、補間処理しては800×600画素の画像を送信映像として生成するものとする。なお、画角60°が設定された場合、撮影映像送信部102は補間量が最も少なくなるため、最も画質が高くなる。撮影映像の中央の960×720画素の映像から800×600画素のs峰真映像を生成するためである。また、表示映像切り出し部107も、受信した映像中に、表示映像と同じ画角の領域を切り出し&補間処理して、表示映像と同じ解像度の映像を生成するものとする。
以下では、本第2の実施形態における映像処理装置106の処理を、図6のフローチャートに従って説明する。
映像処理装置106は、まず、ステップS201にて、初期の画角60°を設定する。すなわち、映像領域決定部103は、画角60°の領域の映像をHMD100に要求する。この結果、撮影映像送信部102は、カメラ101で撮影された左右の視点位置における画角80°の撮影映像を受信し、それぞれの中央の画角60°に相当する領域を、左右視点の800×600画素の送信映像として、映像処理装置106に送信を行う。
映像処理装置106の撮影映像受信部105は、上記にようにしてHMD100から送信されてくる映像を受信する(ステップS202)。物体形状推定部104は、受信した映像中に特定物体の形状があるか否か、視点位置からその特定物体までの距離を導出する(ステップS203)。
そして、ステップS204にて、映像領域決定部103は、物体形状推定部104の推定結果を受信して、画角変更処理を行う。このステップS204の処理の例を図7のフローチャートに従って説明する。
ステップS701において、映像領域決定部103は、受信した映像内に特定物体が映っているかどうかを判断する。映ってない場合は、ステップS702において、送信画角の画角を表示映像と同じ画角、つまり60度に設定する。特定物体(HMD100を装着するユーザの手)が映っていない場合は、手とCGの前後関係の判定を行う必要がないため、より画質を優先するために表示映像と同じ画角に設定する。
図8(a)はこのときの様子を表している。図示の符号801L、801Rは左右視点の撮影映像であり水平80°の画角の映像を表している。符号802L、802Rは送信映像であり、中央から水平60度の映像を切り出した様子を表している。
一方、映像領域決定部103が、受信した左右の映像のいずれかに特定物体が存在する、つまり、映っていると判定した場合、ステップS703にて、その特定物体が写っている位置に応じた画角を、HMD100の撮影映像送信部102に要求する。
以下、具体例を説明する。例えば手が撮影映像の中央に映っていて、送信画角の画角を表示映像と同じ画角、つまり60度に設定しても、手の全体が両目の送信映像に映る場合は、送信画角の画角を表示映像と同じ画角(60度)に設定する。図8(b)はこのときの様子を表している。符号803L,803Rは左右の撮影映像であり水平80度の映像を表している。符号804R,804Lは送信映像であり、中央から水平60度の映像を切り出したものである。手が中央に映っていれば画角を60度にしても手は両目の送信映像に映っているため手の形状の推定には影響がない。また画質もよくなるという利点がある。
手が撮影映像の端に映っていて、送信画角の画角を表示映像と同じ画角、つまり60度に設定すると、一方の目(例えば左目)の送信映像のみから手の一部が映らなくなってしまう場合は、送信画角の画角を手がすべて映る画角に設定する。図8(c)はこのときの様子を表している。符号805L、805Rは撮影映像であり水平80度の映像を表している。符号806L,806Rは送信映像であり、両目の送信映像に手の全体を包含するような画角(水平60度よりも広く、水平80度よりは狭い画角)に設定されている。送信映像の画角を60度のままにした場合、一方の目(例えば右目)の送信映像に手の全部が映っていた場合に、もう一方の目(例えば左目)の送信映像に手の一部が映らなくなってしまい、その結果、手の形状を推定することができなくなってしまう。そのため送信映像の画角を少し広げる。
図8(d)はさらに手が画面の端に寄った場合の例を表している。符号807L,807Rが撮影映像を示している。図示のように、手が一方の映像(この場合左目の映像)の淵に接するように映った場合は、送信映像の画角は撮影映像の画角と一致するようにする。
図6のフローチャートの説明に戻る。上記のようにして、画角変更処理を終えると、処理はステップS204からステップS205に進み、受信した映像を、その映像の画角に従った切り出し、補間処理を行う。なお、受信した映像の画角が60°の場合、その画角は表示映像と同じ画角であるので、切り出し並びに補間処理は不要である。そして、ステップS206にて、映像合成部109による合成処理を行って左右の表示映像を生成する。そしてステップS207にて、表示映像送信部108が、生成した左右の表示製造をHMD100のディスプレイ111に向けて送信する。
以上の結果、本第2の実施形態によれば、一旦、HMD100を装着しているユーザが見える画角内に特定物体(ユーザ自身の手)が入った場合には、たとえユーザにとっての視野(実施形態では60°)外に特定物体が移動したとしても、カメラ101の撮影可能な視野角内(実施形態では画角80°内)にある限りは、追従できることになる。
また、画角内の中央付近に特定物体が存在したり、画角内に特定物体が存在しない場合は、表示画角と同じ画角の映像を送信映像とすればよいので画質を高くすることができる。
また、本第2の実施形態でも、映像領域決定部103が映像処理装置106に備わるように構成したが、第1の実施形態と同様、HMD100に備わっていてもよい。この時の構成図を図10に示す。この場合、HMD100に備わった操作部121により、物体の形状の推定を行う/行わないか設定されることになる。この場合の処理は、上記第2の実施形態、並びに、第1の実施形態の変形例から明らかであろうから、その説明は省略する。
[第3の実施形態]
図1に示した例では、画像表示装置を構成する各部は全て、ハードウェアで構成されているとして説明した。しかし、その一部をソフトウェアで構成して、残りの部分をハードウェアとして構成してもよい。本第3の実施形態ではそのように構成した例を説明する。
図1に示した例では、画像表示装置を構成する各部は全て、ハードウェアで構成されているとして説明した。しかし、その一部をソフトウェアで構成して、残りの部分をハードウェアとして構成してもよい。本第3の実施形態ではそのように構成した例を説明する。
図2は、本第3の実施形態における映像処理装置106のブロック構成図である。
CPU2001は、RAM2002やROM2003に格納されているプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、上記各実施形態で情報表示装置が行うものとして説明した上述の各処理を実行する。RAM2002は、外部記憶装置2007や記憶媒体ドライブ2008からロードされたプログラムやデータを一時的に記憶するための領域を有する。更にRAM2002は、I/F(インタフェース)2009を介して外部装置から受信したデータを一時的に記憶するためのエリアを有する。このとき、外部装置とは、HMD100を指す。それ故、外部装置からの受信データとは、図1の場合、現実空間画像を指す。更に、RAM2002は、CPU2001が各処理を実行する際に用いるワークエリアも有する。即ち、RAM2002は、各種エリアを適宜提供することができる。例えば、RAM2002は、図1に示した記憶部110としても機能する。ROM2003には、コンピュータの設定データやブートプログラムなどが格納されている。キーボード2004、マウス2005は、操作入力装置の一例としてのものであり、コンピュータのユーザが操作することで、各種の指示をCPU2001に対して入力することができる。
表示部2006は、CRTや液晶画面などにより構成されており、CPU2001による処理結果を画像や文字などで表示することができる。表示部2006には、図1のHMD100のディスプレイ111を含む。
外部記憶装置2007は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置2007には、OS(オペレーティングシステム)や、情報提示装置が行うものとして説明した上述の各処理をCPU2001に実行させるためのプログラムやデータが格納されている。係るプログラムをCPU2001が実行することで、頭2001が、映像領域決定部103、物体形状推定部104、撮影映像受信部105、表示映像切り出し部107、表示映像送信部108、映像合成部109として機能する。
記憶媒体ドライブ2008は、CD−ROMやDVD−ROMなどの記憶媒体に記録されたプログラムやデータを読み出したり、係る記憶媒体にプログラムやデータを書き込んだりする。なお、外部記憶装置2007に保存されているものとして説明したプログラムやデータの一部若しくは全部をこの記憶媒体に記録しておいても良い。記憶媒体ドライブ2008が記憶媒体から読み出したプログラムやデータは、外部記憶装置2007やRAM2002に対して出力される。I/F2009は、HMD100を接続するためのアナログビデオポートあるいはIEEE1394等のデジタル入出力ポート、イーサネット(登録商標)ポートなどによって構成される。I/F2009を介して受信したデータは、RAM2002や外部記憶装置2007に入力される。2010は、上述の各部を繋ぐバスである。
上記のような構成にて、CPU2001がRAM2002にロードしたアプリケーションプログラムを実行することで、本装置が図1に示す映像処理装置106と等価の機能を果たすことが可能となる。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
100…HMD、101…カメラ、102…撮影映像送信部、103…映像領域決定部、104…物体形状推定部、105…撮影映像受信部、106…映像処理装置、107…表示映像切り出し部、108…表示映像送信部、109…映像合成部、110…記憶部、120…制御部
Claims (12)
- ユーザが装着するためのHMDと、前記HMDに接続される映像処理装置とで構成される映像処理システムであって、
前記HMDは、
現実空間を撮像するための撮像手段と、
当該撮像手段で撮像した映像内の、前記映像処理装置から要求された画角の領域の部分映像を切り出し、当該部分映像から所定のサイズの映像を生成し、生成した映像を前記映像処理装置に送信する撮影映像送信手段と、
前記映像処理装置から供給された映像を表示する表示手段とを有し、
前記映像処理装置は、
前記HMDが送信してきた前記映像を受信する受信手段と、
前記受信手段で受信した映像中の、所定のCGとの合成対象となる、予め設定された特定物体の形状の推定処理を行うか否かを設定する設定手段と、
該設定手段の設定に応じて、受信する映像の画角を決定し、決定した画角を前記HMDに要求する要求手段と、
前記受信手段で受信した映像から、予め設定された画角の部分映像を切り出し、当該部分映像から前記所定のサイズの映像を生成する生成手段と、
前記設定手段の設定に基づき、該生成手段で生成された映像と前記所定のCGとを合成し、当該合成の結果の映像を表示映像として前記HMDに送信する表示映像送信手段とを有する
ことを特徴とする映像処理システム。 - 前記要求手段は、前記設定手段によって前記特定物体の形状の推定処理を行うことが設定された場合、前記HMDに最広角の映像を要求することを特徴とする請求項1に記載の映像処理システム。
- 前記設定手段は、ユーザの指示に従って、前記特定物体の形状の推定処理を行う/行わないを設定することを特徴とする請求項1又は2に記載の映像処理システム。
- 前記要求手段は、予め設定した画角内に前記特定物体の存在を検出した以降では、前記撮像手段が撮影可能な視野角内であって、当該特定物体を包含する画角を、前記HMDに要求することを特徴とする請求項1に記載の映像処理システム。
- ユーザが装着するためのHMDと、前記HMDに接続される映像処理装置とで構成される映像処理システムであって、
前記HMDは、
現実空間を撮像するための撮像手段と、
所定のCGとの合成対象となる、予め設定された特定物体の形状の推定処理を行うか否かを設定する設定手段と、
前記撮像手段で撮像した映像内の、前記設定手段による設定に応じた画角の部分映像を切り出し、当該部分映像から所定のサイズの映像を生成し、生成した映像を前記映像処理装置に送信する撮影映像送信手段と、
前記映像処理装置から供給された映像を表示する表示手段とを有し、
前記映像処理装置は、
前記HMDが送信してきた前記映像を受信する受信手段と、
前記受信手段で受信した映像から、予め設定された画角の部分映像を切り出し、当該部分映像から前記所定のサイズの映像を生成する生成手段と、
前記設定手段の設定に基づき、該生成手段で生成された映像と前記所定のCGとを合成し、当該合成の結果の映像を表示映像として前記HMDに送信する表示映像送信手段とを有する
ことを特徴とする映像処理システム。 - 前記撮影映像送信手段は、前記設定手段による設定内容を示す情報を映像と共に前記映像処理装置に送信し、
前記生成手段は、前記受信手段が受信した前記設定内容を示す情報に基づく画角の部分映像を切り出す
ことを特徴とする請求項5に記載の映像処理システム。 - 現実空間を撮像するための撮像手段、当該撮像手段で撮像した映像内の、外部装置から要求された画角の領域の部分映像を切り出し、当該部分映像から所定のサイズの映像を生成し、生成した映像を前記外部装置に送信する撮影映像送信手段、並びに、前記外部装置から供給された映像を表示する表示手段とを有するHMDと接続され、前記外部装置として機能する映像処理装置であって、
前記HMDが送信してきた前記映像を受信する受信手段と、
前記受信手段で受信した映像中の、所定のCGとの合成対象となる、予め設定された特定物体の形状の推定処理を行うか否かを設定する設定手段と、
該設定手段の設定に応じて、受信する映像の画角を決定し、決定した画角を前記HMDに要求する要求手段と、
前記受信手段で受信した映像から、予め設定された画角の部分映像を切り出し、当該部分映像から前記所定のサイズの映像を生成する生成手段と、
前記設定手段の設定に基づき、該生成手段で生成された映像と前記所定のCGとを合成し、当該合成の結果の映像を表示映像として前記HMDに送信する表示映像送信手段と
を有することを特徴とする映像処理装置。 - 現実空間を撮像するための撮像手段、所定のCGとの合成対象となる、予め設定された特定物体の形状の推定処理を行うか否かを設定する設定手段、前記撮像手段で撮像した映像内の、前記設定手段による設定に応じた画角の部分映像を切り出し、当該部分映像から所定のサイズの映像を生成し、生成した映像を外部装置に送信する撮影映像送信手段、並びに、前記外部装置から供給された映像を表示する表示手段とを有するHMDと接続され、前記外部装置として機能する映像処理装置であって、
前記HMDが送信してきた前記映像を受信する受信手段と、
前記受信手段で受信した映像から、予め設定された画角の部分映像を切り出し、当該部分映像から前記所定のサイズの映像を生成する生成手段と、
前記設定手段の設定に基づき、該生成手段で生成された映像と前記所定のCGとを合成し、当該合成の結果の映像を表示映像として前記HMDに送信する表示映像送信手段と
を有することを特徴とする映像処理装置。 - 現実空間を撮像するための撮像手段、当該撮像手段で撮像した映像内の、外部装置から要求された画角の領域の部分映像を切り出し、当該部分映像から所定のサイズの映像を生成し、生成した映像を前記外部装置に送信する撮影映像送信手段、並びに、前記外部装置から供給された映像を表示する表示手段とを有するHMDと接続され、前記外部装置として機能する映像処理装置の制御方法であって、
受信手段が、前記HMDが送信してきた前記映像を受信する受信工程と、
設定手段が、前記受信工程で受信した映像中の、所定のCGとの合成対象となる、予め設定された特定物体の形状の推定処理を行うか否かを設定する設定工程と、
要求手段が、前記設定工程の設定に応じて、受信する映像の画角を決定し、決定した画角を前記HMDに要求する要求工程と、
生成手段が、前記受信工程で受信した映像から、予め設定された画角の部分映像を切り出し、当該部分映像から前記所定のサイズの映像を生成する生成工程と、
表示映像送信手段が、前記設定工程の設定に基づき、該生成工程で生成された映像と前記所定のCGとを合成し、当該合成の結果の映像を表示映像として前記HMDに送信する表示映像送信工程と
を有することを特徴とする映像処理装置の制御方法。 - 現実空間を撮像するための撮像手段、所定のCGとの合成対象となる、予め設定された特定物体の形状の推定処理を行うか否かを設定する設定手段、前記撮像手段で撮像した映像内の、前記設定手段による設定に応じた画角の部分映像を切り出し、当該部分映像から所定のサイズの映像を生成し、生成した映像を外部装置に送信する撮影映像送信手段、並びに、前記外部装置から供給された映像を表示する表示手段とを有するHMDと接続され、前記外部装置として機能する映像処理装置の制御方法であって、
受信手段が、前記HMDが送信してきた前記映像を受信する受信工程と、
生成手段が、前記受信工程で受信した映像から、予め設定された画角の部分映像を切り出し、当該部分映像から前記所定のサイズの映像を生成する生成工程と、
表示映像送信手段が、前記設定工程の設定に基づき、該生成工程で生成された映像と前記所定のCGとを合成し、当該合成の結果の映像を表示映像として前記HMDに送信する表示映像送信工程と
を有することを特徴とする映像処理装置の制御方法。 - コンピュータに読み込ませ実行させることで、前記コンピュータに、請求項9又は10に記載の各工程として機能させるためのプログラム。
- 請求項11に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015022344A JP2016146044A (ja) | 2015-02-06 | 2015-02-06 | 映像処理システム、映像処理装置及びその制御方法、並びにプログラム及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015022344A JP2016146044A (ja) | 2015-02-06 | 2015-02-06 | 映像処理システム、映像処理装置及びその制御方法、並びにプログラム及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016146044A true JP2016146044A (ja) | 2016-08-12 |
Family
ID=56686206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015022344A Pending JP2016146044A (ja) | 2015-02-06 | 2015-02-06 | 映像処理システム、映像処理装置及びその制御方法、並びにプログラム及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016146044A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019107513A1 (ja) * | 2017-11-29 | 2019-06-06 | 株式会社近江デジタルファブリケーションズ | 配信画像生成方法 |
CN112511768A (zh) * | 2020-11-27 | 2021-03-16 | 上海网达软件股份有限公司 | 多画面合成方法、装置、设备及存储介质 |
US11983959B2 (en) | 2019-04-18 | 2024-05-14 | Beckman Coulter, Inc. | Securing data of objects in a laboratory environment |
US12001600B2 (en) | 2018-11-09 | 2024-06-04 | Beckman Coulter, Inc. | Service glasses with selective data provision |
-
2015
- 2015-02-06 JP JP2015022344A patent/JP2016146044A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019107513A1 (ja) * | 2017-11-29 | 2019-06-06 | 株式会社近江デジタルファブリケーションズ | 配信画像生成方法 |
US12001600B2 (en) | 2018-11-09 | 2024-06-04 | Beckman Coulter, Inc. | Service glasses with selective data provision |
US11983959B2 (en) | 2019-04-18 | 2024-05-14 | Beckman Coulter, Inc. | Securing data of objects in a laboratory environment |
CN112511768A (zh) * | 2020-11-27 | 2021-03-16 | 上海网达软件股份有限公司 | 多画面合成方法、装置、设备及存储介质 |
CN112511768B (zh) * | 2020-11-27 | 2024-01-02 | 上海网达软件股份有限公司 | 多画面合成方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7051457B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
EP2812756B1 (en) | Method and system for automatic 3-d image creation | |
JP5887267B2 (ja) | 3次元画像補間装置、3次元撮像装置および3次元画像補間方法 | |
WO2017183346A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US9767611B2 (en) | Information processing apparatus and method for estimating depth values using an approximate plane | |
JP2011090400A (ja) | 画像表示装置および方法、並びにプログラム | |
JP5387905B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP5942195B2 (ja) | 3次元画像処理装置、3次元撮像装置および3次元画像処理方法 | |
US8451321B2 (en) | Image processing apparatus, image processing method, and program | |
JP2000354257A (ja) | 画像処理装置、画像処理方法、およびプログラム提供媒体 | |
JP2013005259A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US9118894B2 (en) | Image processing apparatus and image processing method for shifting parallax images | |
JP2011166264A (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
US20190045125A1 (en) | Virtual reality video processing | |
JP2019083402A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
CN113383370B (zh) | 信息处理装置和方法以及程序 | |
JP5953916B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP2016146044A (ja) | 映像処理システム、映像処理装置及びその制御方法、並びにプログラム及び記憶媒体 | |
US20170069107A1 (en) | Image processing apparatus, image synthesizing apparatus, image processing system, image processing method, and storage medium | |
JP2022522504A (ja) | 画像の奥行きマップの処理 | |
JP6021489B2 (ja) | 撮像装置、画像処理装置およびその方法 | |
JP6768416B2 (ja) | 画像処理装置、画像合成装置、画像処理システム、画像処理方法、及びプログラム | |
JP2017046065A (ja) | 情報処理装置 | |
JP2012080294A (ja) | 電子機器、映像処理方法、及びプログラム | |
JP5562122B2 (ja) | 画像処理装置及びその制御方法 |