JP2019120853A - Image processing apparatus, image processing method and program - Google Patents
Image processing apparatus, image processing method and program Download PDFInfo
- Publication number
- JP2019120853A JP2019120853A JP2018001741A JP2018001741A JP2019120853A JP 2019120853 A JP2019120853 A JP 2019120853A JP 2018001741 A JP2018001741 A JP 2018001741A JP 2018001741 A JP2018001741 A JP 2018001741A JP 2019120853 A JP2019120853 A JP 2019120853A
- Authority
- JP
- Japan
- Prior art keywords
- image
- mask
- display device
- movement
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims 7
- 230000003287 optical effect Effects 0.000 claims abstract description 132
- 230000000873 masking effect Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 88
- 230000008569 process Effects 0.000 claims description 76
- 238000001514 detection method Methods 0.000 claims description 14
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 81
- 210000003128 head Anatomy 0.000 description 63
- 238000004364 calculation method Methods 0.000 description 47
- 239000011295 pitch Substances 0.000 description 26
- 238000006243 chemical reaction Methods 0.000 description 22
- 230000004886 head movement Effects 0.000 description 14
- 230000004075 alteration Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000003702 image correction Methods 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 101100347655 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) NAB3 gene Proteins 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Abstract
Description
本発明は、表示光学系を有した表示装置に表示する画像を処理する技術に関する。 The present invention relates to a technology for processing an image to be displayed on a display device having a display optical system.
近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の一つに、ビデオシースルーＨＭＤを装着したユーザの瞳位置から観察される被写体と略一致する被写体をビデオカメラ等で撮像し、その撮像画像にＣＧを重畳した映像を、ＨＭＤ内の表示パネルを通してユーザに提示する技術が知られている。なお、ＨＭＤはＨｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙの略称であり、ＣＧはＣｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓの略称である。 In recent years, so-called MR (Mixed Reality) technology is known as a technology for seamlessly fusing the real world and the virtual world in real time. One of the MR techniques, a video camera etc. picks up an object that almost matches the subject observed from the pupil position of the user wearing the video see-through HMD, and displays the image in which CG is superimposed on the picked up image in the HMD Techniques are known for presenting to users through panels. HMD is an abbreviation for Head Mounted Display, and CG is an abbreviation for Computer Graphics.
これらＨＭＤとビデオカメラからなるシステムでは、ビデオカメラで撮影した撮像画像に対して描画するＣＧをレンダリングにより生成し、その生成したＣＧを撮像画像に重畳した映像を、ＨＭＤ内の表示パネルに表示するようになされている。ただし、このようなシステムでは、撮影からＣＧレンダリング、さらに重畳等までの一連の処理を行う演算時間が必要になるため、画像が撮影された時間と、演算後の画像がＨＭＤに表示されるまでの時間との間に、遅延（レイテンシ）が生じる。このため、例えばＨＭＤを装着したユーザが頭を動かしたような場合、頭を動かした瞬間ではＨＭＤを通してユーザが観ている画像に変化はみられず、演算による遅延時間が経過した後に、ＨＭＤの表示パネル上の表示画像が動き出すことになる。このような映像の遅延は、ＨＭＤを通して映像を観ているユーザにとって大きな違和感となる。 In a system consisting of these HMDs and video cameras, CG to be drawn on an image captured by a video camera is generated by rendering, and an image in which the generated CG is superimposed on the captured image is displayed on a display panel in the HMD. It is done like that. However, since such a system requires an operation time for performing a series of processes from shooting to CG rendering and further superposition, etc., the time when the image was shot and the image after the operation are displayed on the HMD. There is a delay (latency) between the time of. Therefore, for example, when the user wearing the HMD moves his head, no change is seen in the image viewed by the user through the HMD at the moment the head is moved, and the delay time due to the calculation elapses. The display image on the display panel starts to move. Such video delay is a great discomfort for the user viewing the video through the HMD.
この問題に対し、遅延時間とＨＭＤの動作予測値とを基に、現実世界と表示映像とのずれを補正する技術が提案されている。例えば特許文献１では、フレームメモリに記憶された広画角の撮像映像から、回転角センサで検出されたユーザの頭部情報に基づいて、ユーザが観るべき表示画像をフレームメモリから切り出し、ディスプレイに表示するＨＭＤが開示されている。また、特許文献２においては、表示部を有した頭部装着型装置において、ユーザの頭部動作に応じて表示部に表示する映像を移動するＨＭＤが開示されている。
To address this problem, a technique has been proposed for correcting the deviation between the real world and the display image based on the delay time and the motion prediction value of the HMD. For example, according to
ここで、表示光学系を有するＨＭＤの場合、その表示光学系により生ずる歪み等を補正可能な処理を施した画像を、ＨＭＤ内の表示パネルに表示するような光学系画像補正が行われることがある。しかしながら、表示光学系を有するＨＭＤにおいて、前述した遅延時間に対する補正処理によって画像の切り出しや移動等が行われると、本来表示すべきではない画像が、ＨＭＤ内の表示パネルに表示されてしまうことがある。この場合、ＨＭＤを通して映像を観ているユーザに違和感のある映像が提示されてしまうことになる。 Here, in the case of an HMD having a display optical system, optical system image correction may be performed such that an image subjected to processing capable of correcting distortion or the like caused by the display optical system is displayed on a display panel in the HMD. is there. However, in the HMD having a display optical system, when clipping or moving of an image is performed by the correction processing for the delay time described above, an image that should not be displayed originally may be displayed on the display panel in the HMD. is there. In this case, the user who is watching the video through the HMD will be presented with a video having a sense of discomfort.
そこで、本発明は、ユーザにとって違和感の少ない映像を提供可能にすることを目的とする。 Then, an object of the present invention is to make it possible to provide an image with less discomfort to the user.
本発明に係る画像処理装置は、表示装置の動きと前記表示装置が有する表示光学系の光学特性とに基づいて、画像をマスクするためのマスク領域を決定する決定手段と、入力された画像に対し、前記表示装置の動きに応じた第１の補正処理を行う第１の補正手段と、前記第１の補正処理がなされた画像に対して前記マスク領域に応じたマスク処理を行った後、前記表示光学系の光学特性に応じた第２の補正処理を行う第２の補正手段と、を有することを特徴とする。 An image processing apparatus according to the present invention comprises: determining means for determining a mask area for masking an image based on the movement of the display device and the optical characteristics of the display optical system possessed by the display device; On the other hand, first correction means for performing a first correction process according to the movement of the display device, and a mask process for the image subjected to the first correction process according to the mask area And second correction means for performing a second correction process according to the optical characteristics of the display optical system.
本発明によれば、ユーザにとって違和感の少ない映像の提供が可能となる。 According to the present invention, it is possible to provide an image with less discomfort to the user.
以下、添付図面を参照して本発明の好適な実施形態について説明する。
＜第１実施形態＞
図１は、第１実施形態の画像表示装置と画像処理装置からなる表示システムの概略的な構成例を示した図である。
本実施形態のシステムは、画像表示装置（１）と画像処理装置１５を有して構成されている。本実施形態の場合、画像表示装置（１）は頭部装着型画像表示装置（ヘッドマウントディスプレイ、以下、ＨＭＤ１とする。）であり、使用者であるユーザの頭部に装着される。画像処理装置１５は、ケーブル又は無線によりＨＭＤ１と接続可能となされており、受信により入力された画像に対して後述する画像処理を行ってＨＭＤ１に送信する。なお、本実施形態では、ＨＭＤ１と画像処理装置１５が別々の構成となされた例を挙げているが、これらＨＭＤ１と画像処理装置１５は一体化されて一つの頭部装着型画像表示装置を構成していても良い。
Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.
First Embodiment
FIG. 1 is a view showing a schematic configuration example of a display system including an image display device and an image processing device according to the first embodiment.
The system of the present embodiment is configured to include an image display device (1) and an
ＨＭＤ１は、表示部１１、光学特性記憶部１２、動作検知部１３、演算部１４を有して構成されている。表示部１１は、表示光学系１１１と表示素子１１２とを含む。ＨＭＤ１を装着しているユーザ（装着者）は、表示部１１の表示素子１１２に表示される画像を、表示光学系１１１を通して観ることにより映像を観察可能となる。表示光学系１１１は、レンズや複数の反射面を有するプリズム型の光学素子等によって構成されている。表示光学系１１１は、表示素子１１２に表示された画像を光学的に拡大等させることにより、ＨＭＤとして最適な表示画像を、ＨＭＤ１のユーザに提示する。
The HMD 1 is configured to include a
光学特性記憶部１２は、表示部１１の光学特性を表す情報を記憶する。光学特性を表す情報とは、例えば表示光学系１１１の歪みや収差、Ｆ値などの光学系単体の性能を示す値や、表示光学系１１１と表示素子１１２との相対関係で決まる焦点や倍率の値である。本実施形態の場合、光学特性記憶部１２に記憶されている光学特性を表す情報には、後述するアスペクト比、解像度、マスク幅（Ｖｔ，Ｖｂ，Ｈｌ，Ｈｒ）などの値も含まれる。光学特性記憶部１２に記憶された光学特性の情報は、後述する表示光学系補正処理などに使用される。
The optical
動作検知部１３は、現実世界に存在するＨＭＤ１の、三次元空間内における位置や向き、姿勢等を検知することによって、ＨＭＤ１を装着しているユーザの頭部の位置や向き、姿勢を検出し、またそれらの変化から動きを検出する。以下、ＨＭＤ１を装着しているユーザの頭部の位置、向き、姿勢等の動きを、単に、ユーザの頭部の動作と表記する。動作検知部１３は、加速度センサ、角速度センサなどを用いて構成される。
The
図２には、ＨＭＤ１を装着しているユーザ２の頭部の動作を説明する概念図を示す。
本実施形態では、ＨＭＤ１がユーザ２の頭部に装着されている場合の、当該ユーザ２の頭部に対して、図２に示すような、ロール（Ｒｏｌｌ）軸Ｒ、ピッチ（Ｐｉｔｃｈ）軸Ｐ、ヨー（Ｙａｗ）軸Ｙをそれぞれ定義する。ロール軸Ｒは、ユーザ２が顔を向けている方向（例えば視線方向）に対応した軸である。本実施形態では、ユーザ２がロール軸Ｒを回転軸として頭部を傾ける動作をロール動作と定義する。ピッチ軸Ｐは、ユーザ２が頭部を縦に振る（頭部を垂直方向に上下に振る、例えばうなずく動作）場合の回転軸に相当する。本実施形態では、ユーザ２がピッチ軸Ｐを回転軸として頭部を縦に振る動作をピッチ動作と定義する。ヨー軸Ｙは、ユーザ２が頭部を横に振る（頭部を水平方向に左右に振る、例えば首を横に振る動作）場合の回転軸に相当する。本実施形態では、ユーザ２がヨー軸Ｙを回転軸として頭部を横に振る動作をヨー動作と定義する。
FIG. 2 is a conceptual diagram illustrating the operation of the head of the
In the present embodiment, when the
動作検知部１３は、ＨＭＤ１を装着したユーザ２の頭部がロール動作、ピッチ動作、ヨー動作する場合に、ロール軸Ｒ、ピッチ軸Ｐ、ヨー軸Ｙの各軸方向の加速度や回転の加速度などのデータを検知し、その検知結果をＨＭＤ１の動作検知データとして出力する。
When the head of the
演算部１４は、動作検知部１３で検出したＨＭＤ１の動きに応じて、画像のフレーム間で、画像をどの程度移動させるかを表す画像移動量を計算し、また、画像をどの程度変形させるかを表す画像変形量を計算する。なお、本実施形態において、画像の変形には画像の拡大・縮小、回転も含まれるとする。そして、演算部１４は、それら画像移動量と画像変形量の情報を疑似遅延補正部１５２へと出力する。また、演算部１４は、光学特性記憶部１２より読み込んだ光学特性情報を基に表示光学系補正量を計算して表示光学系補正部１５１へと出力する。なお、図１では、ＨＭＤ１の中に演算部１４が設けられている例を挙げたが、演算部１４は画像処理装置１５の中に設けられていても良い。演算部１４の詳細な動作については後述する。
画像処理装置１５は、画像受信部１５３、疑似遅延補正部１５２、表示光学系補正部１５１を有しており、表示素子１１２に表示するための画像を生成する。
画像受信部１５３は、画像データを受信する。本実施形態において、画像受信部１５３が受信する画像データは、例えば、不図示のビデオカメラにより撮像された撮像画像に、同じく不図示のパーソナルコンピュータ（以下、ＰＣとする。）にてＣＧ画像が重畳等された画像データであるとする。また本実施形態において、ビデオカメラは、ＨＭＤ１を装着しているユーザ２の瞳位置から観察される被写体と略一致する被写体を撮影しているとする。したがって、本実施形態において、画像受信部１５３は、ビデオカメラが撮像した撮像画像に対してＣＧ画像等が重畳されたＭＲ体験画像の画像データを受信する。
The
The
疑似遅延補正部１５２は、システムで生ずる画像遅延（システムレイテンシ）を、ＨＭＤ１の演算部１４による演算結果に基づいて疑似的に補正する疑似遅延補正処理を行う。表示光学系補正部１５１は、ＨＭＤ１の表示光学系１１１における後述する収差や周辺光量低下等の光学特性に対応した画像補正処理を行う。
The pseudo
ここで、一般的に、光学系を介して得られる画像は、光学系の光軸中心付近と周辺付近とで結像倍率が異なったり、光の波長によって結像倍率が異なったりするため、歪曲収差や倍率色収差、周辺光量低下といった影響を受けて画質が低下することがある。表示光学系補正部１５１は、こういった光学系を介して発生する画質への影響を補正するための画像補正処理を行う機能を有している。画像補正の内容としては、シェーディング補正や歪曲収差補正、アスペクト変換、解像度変換などがある。表示光学系補正部１５１は、ＨＭＤ１の光学特性記憶部１２より読み込んだ表示光学系１１１の光学特性情報を基に画像補正処理を行う。これにより、ユーザ２がＨＭＤ１を通して観察する画像は、光学系により発生する画質低下が補正された画像となる。
Here, in general, the image obtained through the optical system is distorted because the imaging magnification differs between the vicinity of the optical axis center and the periphery of the optical system or the imaging magnification differs depending on the wavelength of light. Image quality may be degraded under the influence of aberration, lateral chromatic aberration, and peripheral light amount reduction. The display optical
本実施形態では、表示光学系１１１は、アナモルフィック光学系を使用した前提で説明する。表示光学系１１１に使用されるアナモルフィック光学系は、当該表示光学系１１１の光軸に対する垂直方向と水平方向とで焦点距離が異なる光学系であり、水平方向の焦点距離が短くなされている。このため、アナモルフィック光学系を介した画像は、水平方向が広く拡大された画像となり、これによりＨＭＤ１を装着しているユーザは、臨場感のある画像を観察できる。
In the present embodiment, the display optical system 111 will be described on the premise that an anamorphic optical system is used. The anamorphic optical system used for the display optical system 111 is an optical system having different focal lengths in the vertical direction and the horizontal direction with respect to the optical axis of the display optical system 111, and the focal length in the horizontal direction is made short. . For this reason, the image through the anamorphic optical system is an image in which the horizontal direction is enlarged widely, whereby a user wearing the
またアナモルフィック光学系を使用した場合、表示素子１１２のアスペクト比とユーザが観察する画像のアスペクト比とは異なるため、表示光学系補正部１５１は、画像のアスペクト変換を行う。
アスペクト変換の様子を図３（ａ）〜図３（ｃ）を用いて説明する。図３（ａ）は、表示素子１１２のアスペクト比が例えば４：３である場合に、表示光学系補正部１５１に供給される入力画像３０１の一例を示している。このときの入力画像３０１は、表示素子１１２と同じアスペクト比４：３である。表示光学系補正部１５１は、この入力画像を光学特性記憶部１２の光学特性情報に基づいてアスペクト変換し、図３（ｂ）のように垂直方向にのみ拡大した画像３０２を生成する。そして、この図３（ｂ）の画像３０２を表示素子１１２に表示して、アナモルフィック光学系である表示光学系１１１を介した画像は、図３（ｃ）のような１６：１０の画像３０３となる。したがって、ＨＭＤ１を装着しているユーザは、図３（ｃ）のような１６：１０の画像３０３を観察できることになる。このように、アナモルフィック光学系を使用する場合は、縦長の画像を表示素子１１２に表示させることによって、ＨＭＤ１のユーザに対して適切なアスペクト比の体験画像を提示することができる。
When an anamorphic optical system is used, the display optical
Aspects of aspect conversion will be described using FIGS. 3A to 3C. FIG. 3A shows an example of the
次に、表示光学系１１１の歪曲収差補正処理について、図４（ａ）〜図４（ｃ）を用いて説明する。ここでは、表示光学系１１１が歪曲収差を有する場合を例に挙げて説明する。
表示素子１１２に例えば図４（ａ）のような画像４０１を表示し、歪曲収差を有する表示光学系１１１を介して観察した場合、図４（ｂ）のように糸巻き型に歪んだ画像４０２が見えることになる。これは、表示光学系１１１が歪曲収差を有するためである。このような歪みを改善するため、表示光学系補正部１５１は、光学特性記憶部１２の光学特性情報に基づいて、画像４０２の糸巻き型の歪みとは逆に歪ませた画像、つまり図４（ｃ）に示すような画像４０３を作成する。この図４（ｃ）の画像４０３を表示素子１１２に表示し、さらに表示光学系１１１を介して観察すると、歪みが低減された画像が観察されることになる。
Next, distortion aberration correction processing of the display optical system 111 will be described with reference to FIGS. 4 (a) to 4 (c). Here, a case where the display optical system 111 has distortion will be described as an example.
For example, when an
次に、表示光学系１１１がアナモルフィック光学系であり、且つ歪曲収差特性を持つ光学系であった場合の画像補正について、図５（ａ）〜図５（ｃ）を用いて説明する。このように表示光学系１１１がアナモルフィック光学系で且つ歪曲収差特性を持つ光学系である場合、画像補正としては、アスペクト変換と歪曲収差補正を行う必要がある。 Next, image correction when the display optical system 111 is an anamorphic optical system and an optical system having distortion aberration characteristics will be described using FIGS. 5A to 5C. As described above, when the display optical system 111 is an anamorphic optical system and an optical system having distortion characteristics, it is necessary to perform aspect conversion and distortion correction as image correction.
図５（ａ）は入力画像５０１の一例を示している。ここで、図５（ａ）の入力画像５０１に対してアスペクト変換処理と歪曲収差補正処理を行った場合、当該入力画像５０１は図５（ｂ）のような画像５０２となる。この図５（ｂ）の画像５０２を表示素子１１２に表示し、表示光学系１１１を通して観察した場合、図５（ｃ）のような画像５０３が観察されることになり、この画像５０３は入力画像５０１のような矩形ではない歪んだ画像となる。このように、アスペクト変換処理と歪曲収差補正処理の両処理を行った場合、入力画像５０１が矩形であるのに対して、観察される画像５０３は、境界部分の形状が矩形にならず歪んだ形状になり、ユーザにとって違和感のある画像になってしまう。またこの場合、図３（ｂ）のようにアスペクト変換を実施する際に観察領域内には表示されないはずの画像が、観察領域内に表示されてしまうことがある。
FIG. 5A shows an example of the
このため、表示光学系１１１がアナモルフィック光学系であり、且つ歪曲収差特性を持つ光学系である場合、図６（ａ）〜図６（ｄ）で示すような画像補正が行われる。 For this reason, when the display optical system 111 is an anamorphic optical system and an optical system having distortion aberration characteristics, the image correction as shown in FIGS. 6A to 6D is performed.
図６（ａ）は入力画像６０１の一例を示しており、図５（ａ）の入力画像５０１と同じ画像であるとする。この図６（ａ）の入力画像６０１に対しては、アスペクト変換と歪曲収差補正を実施する前に、図６（ｂ）のように上下に黒画像を重畳し、画像として表示する必要のない領域をマスクする処理が行われることより画像６０２が生成される。そして、マスクされた画像６０２に対して、アスペクト変換と歪曲収差補正が実施される。これにより、図６（ｂ）に示した画像６０２は、図６（ｃ）のような画像６０３として表示素子１１２に表示され、さらに表示光学系１１１を通して観察されることになる。その結果、表示光学系１１１を通して観察される画像は、図６（ｄ）のような画像６０４になる。すなわち、ユーザにより観察される画像６０４は、境界部分が矩形の画像として観察されることになる。
FIG. 6A shows an example of the
図１の例では、ＨＭＤ１の表示部１１が一つであることを前提として説明したが、ＨＭＤ１の構成はこの例には限定されず、表示部１１は複数から構成されても良い。例えば、ＨＭＤのような頭部装着型装置の場合は、表示部１１は両目に合わせて二つにより構成されていることが多い。また、前述の例では、アスペクト変換と歪曲収差補正を例に挙げたが、解像度変換の場合には、表示光学系補正部１５１において光学特性に基づく解像度変換が行われる。
Although the example of FIG. 1 is described on the assumption that the
次に、疑似遅延補正部１５２について詳細に説明する。
疑似遅延補正部１５２は、システムにより生ずる遅延（システムレイテンシ）を疑似的に補正するために、演算部１４より入力された画像移動量と画像変形量の情報を基に、画像受信部１５３より入力された画像に画像変換を行う。システムレイテンシの疑似的補正のための画像変換は、例えば水平方向の移動、垂直方向の移動、画像の回転、画像の拡大縮小などである。画像変換の方法としては、フレームバッファやラインバッファを用い、画像変換アルゴリズム（バイリニアやバイキュービックなど）などの計算を行う方法や、映像の同期信号をずらすことで疑似的に映像をずらす方法などが該当する。このような画像変換を行い、システムレイテンシによる画像遅延を疑似的に補正することによって、ＨＭＤ１を装着しているユーザが画像を観る際に感ずる違和感を低減（緩和）することが可能になる。
Next, the pseudo
The pseudo
以下、図７（ａ）〜図７（ｅ）を参照しながら、例えばビデオシースルー方式のＨＭＤ１を用いた場合における疑似遅延補正部１５２による疑似遅延補正処理の効果について説明する。
図７（ａ）はＨＭＤ１を装着したユーザ２が頭部を動かす動作を行っていない頭部動作なしの場合における、画像と現実世界及びユーザの状態とを表した図である。図７（ａ）において、画像７０１ａは表示部１１を介してユーザ２が観察している画像を示している。状態７０２ａは画像７０１ａを観察中のユーザ２を頭上から見た現実世界の様子を、状態７０３ａは画像７０１ａを観察中のユーザ２を横から見た様子、状態７０４ａは画像７０１ａを観察中のユーザ２を正面から見た様子をそれぞれ示している。
図７（ｂ）はＨＭＤ１を装着したユーザ２が頭部をヨー動作した場合の、画像と現実世界及びユーザの状態とを表した図である。以下同様に、図７（ｃ）はユーザ２が頭部をピッチ動作した場合、図７（ｄ）はユーザ２が頭部をロール動作した場合、図７（ｅ）はユーザ２が頭部を前後に動作した場合の、各画像と現実世界及びユーザ２の状態とを表した図である。これら図７（ｂ）〜図７（ｅ）において、画像７０１ｂ〜７０１ｅ、状態７０２ｂ〜７０２ｅ、状態７０３ｂ〜７０３ｅ、状態７０４ｂ〜７０４ｅは、それぞれ図７（ａ）の画像７０１ａ、状態７０２ａ、状態７０３ａ、状態７０４ａと同様に表されている。
Hereinafter, with reference to FIGS. 7A to 7E, the effect of the pseudo delay correction process by the pseudo
FIG. 7A is a view showing the image, the real world, and the state of the user in the case where there is no head movement in which the
FIG. 7B is a diagram showing an image and a state of the real world and the user when the
ここで、図７（ａ）で示すようにユーザ２が頭部を動かしていない頭部動作なしの場合、ＨＭＤ１の表示部１１には、撮像画角Ａθの範囲内の画像７０１ａが、解像度Ｈ×Ｖの範囲内に表示されている。なお、図７（ａ）において、解像度Ｈ×ＶのＨは水平方向の表示画素数、Ｖは垂直方向の表示画素数を表している。
Here, as shown in FIG. 7A, when there is no head movement in which the
図７（ｂ）に示すようにユーザ２が頭部をヨー動作（頭部の横振り動作）した場合、演算部１４は、ヨー動作時の角速度Ｙωとシステムの遅延量Ｄｔとから、ヨー角Ｙθを求める。つまり、ヨー動作がシステムの遅延時間分続いたことにより生ずる水平方向の角度変化分を表すヨー角Ｙθを求める。さらに、演算部１４は、ヨー角Ｙθと基準となる距離Ｌとの関係から、画像の水平移動量Ｈｄを求める。この場合、疑似遅延補正部１５２は、水平移動量Ｈｄに基づいて、画像を水平方向にずらすような遅延補正処理を行う。これにより、表示部１１には、水平移動量Ｈｄに応じた分だけ水平方向にずれた画像７０１ｂが表示される。したがって、ユーザ２に対しては、頭部のヨー動作（横振り動作）に略々リアルタイムに応答した違和感のない（少ない）画像７０１ｂを提示することが可能となる。なお、基準となる距離Ｌは、例えば、予め決められた距離や、撮像されている被写体までの距離のような計測可能な距離などを用いることができる。
As shown in FIG. 7 (b), when the
図７（ｃ）に示すようにユーザ２が頭部をピッチ動作（頭部の縦振り動作）した場合、演算部１４は、ピッチ動作時の角速度Ｐωとシステムの遅延量Ｄｔとからピッチ角Ｐθを求める。さらに、演算部１４は、ピッチ角Ｐθと基準となる距離Ｌとの関係から、画像の垂直移動量Ｖｄを求める。この場合、疑似遅延補正部１５２は、垂直移動量Ｖｄに基づいて、画像を垂直方向にずらすような遅延補正処理を行う。これにより、表示部１１には、垂直移動量Ｖｄに応じた分だけ垂直方向にずれた画像７０１ｃが表示される。したがって、ユーザ２に対しては、頭部のピッチ動作（縦振り動作）に略々リアルタイムに応答した違和感のない（少ない）画像７０１ｃを提示することが可能となる。
As shown in FIG. 7C, when the
図７（ｄ）に示すようにユーザ２が頭部をロール動作した場合、演算部１４は、ロール動作時の角速度Ｒωと遅延量Ｄｔとからロール角Ｒθを求める。さらに、演算部１４は、ロール角Ｒθから画像の回転角Θｄを求める。この場合、疑似遅延補正部１５２は、この回転角Θｄに基づいて画像を回転させるような遅延補正処理を行う。これにより、表示部１１には画像７０１ｄが表示される。したがって、ユーザ２に対しては、頭部のロール動作に略々リアルタイムに応答した違和感のない（少ない）画像７０１ｄを提示することが可能となる。
As shown in FIG. 7D, when the
図７（ｅ）に示すようにユーザ２が頭部を前後に移動する動作（ロール軸方向への移動動作）を行った場合、演算部１４は、ロール軸方向の加速度Ｒａと遅延量Ｄｔとからロール軸方向の移動量ＲＭを求める。さらに、演算部１４は、ロール軸方向の移動量ＲＭと撮像画角Ａθの関係から画像の拡大率Ｅｄを求める。なお、拡大率Ｅｄが１より大きい場合には画像が拡大され、拡大率Ｅｄが１未満である場合には画像が縮小されることになる。この場合、疑似遅延補正部１５２は、この拡大率Ｅｄに基づいて画像を拡大又は縮小させるような遅延補正処理を行う。これにより、表示部１１には画像７０１ｅが表示される。したがって、ユーザ２に対しては、頭部を前後に移動させる動作に略々リアルタイムに応答した違和感のない（少ない）画像７０１ｅを提示することが可能となる。
When the
以上説明したように、画像処理装置１５では、ＨＭＤ１の動作検知部１３により検知された動作に基づく疑似遅延補正処理が行われることによって、システムの遅延（システムレイテンシ）で生ずる画像遅延を疑似的に補正する。これにより、ユーザに対して違和感が少ない画像を提示することが可能となる。
As described above, in the
次に、疑似遅延補正部１５２と表示光学系補正部１５１の両処理を実行した場合の動作について説明する。
本実施形態のようなＨＭＤ１の使用例としては、例えばＰＣ上で起動したアプリケーションソフトウェアが生成したＭＲ体験画像を表示部１１に表示することで、ユーザ２にＭＲ体験を提供するというような使われ方が一般的である。また本実施形態の場合、ＭＲ体験画像は、ＨＭＤ１を装着しているユーザ２の瞳位置から観察される被写体と略一致する被写体をビデオカメラで撮像し、さらにＰＣが当該撮像画像にＣＧ画像等を重畳して生成されるとする。以下、このような体験画像生成アプリケーションソフトウェアを、体験画像生成アプリと呼ぶことにする。
Next, an operation when both processing of the pseudo
As an example of use of the
ここで、体験画像生成アプリによっては、ＨＭＤ１の表示部１１に適したアスペクト比の画像を生成することで、ＨＭＤ１のパフォーマンスを最適化するようなものも存在する。図８（ａ）はアスペクト比が例えば４：３の一般的なＰＣのデスクトップ画面８０１を示した図である。体験画像生成アプリは、ＨＭＤ１に適したＭＲ体験画像として、アスペクト比１６：１０の画像８０２を生成する。すなわち、体験画像生成アプリは、図８（ｂ）に示すように、アスペクト比４：３の一般的なＰＣのデスクトップ画面８０１上に、ＨＭＤ１に適したアスペクト比１６：１０の画像８０２を描画する。画像処理装置１５の画像受信部１５３は、図８（ｂ）に示すように、ＰＣのデスクトップ画面８０１上にアスペクト比１６：１０の画像８０２が描画された画像データを受信する。
Here, some experience image generation applications may optimize the performance of the
以下、図８（ｂ）に示した画像が画像処理装置１５に入力されてからＨＭＤ１で表示されてユーザにより観察されるまでの画像処理について、図９（ａ）〜図９（ｃ）を用いて説明する。
図９（ａ）は、ＨＭＤ１を装着したユーザが頭部を動かす動作を行っていない頭部動作なしの場合において、ＰＣにて生成される画像９０１ａからＨＭＤ１に表示される画像９０４ａまでを表した図である。図９（ａ）において、画像９０１ａは、画像受信部１５３で受信されて疑似遅延補正部１５２に入力し、当該疑似遅延補正部１５２から出力される画像を示している。画像９０２ａは、疑似遅延補正部１５２から出力された画像９０１ａに対し、表示光学系補正部１５１によって前述したように上下に黒画像を重畳するマスク処理を行った後の画像を示している。画像９０３ａは、表示光学系補正部１５１において、画像９０２ａに対してアスペクト変換及び歪曲収差補正を行った後の画像を示している。そして、画像９０４ａは、画像９０３ａの画像を、ＨＭＤの表示素子１１２に表示し、さらに表示光学系１１１を介することでユーザに提示される画像を示している。
Hereinafter, the image processing shown in FIG. 8 (b) is input to the
FIG. 9A shows an
また、図９（ｂ）は、ＨＭＤ１を装着したユーザが頭部を例えばピッチ動作した場合において、ＰＣにて生成される画像９０１ｂからＨＭＤ１に表示される画像９０４ｂまでを表した図である。同様に、図９（ｃ）は、ＨＭＤ１を装着したユーザが頭部を例えばピッチ動作した場合において、ＰＣにて生成される画像９０１ｃからＨＭＤ１に表示される画像９０４ｃまでを表した図である。ただし、図９（ｃ）は、本実施形態において、後述するように、黒画像でマスク処理される領域（マスク領域とする。）を可変することにより、ユーザに対して違和感の少ない画像を提供可能にする場合の例を示している。一方、図９（ｂ）は、本実施形態のように黒画像でマスク処理されるマスク領域を可変しない従来の手法の場合の例を示している。なお、図９（ｂ）と図９（ｃ）において、画像９０１ｂと９０１ｃ、画像９０２ｂと９０２ｃ、画像９０３ｂと９０３ｃ、画像９０４ｂと９０４ｃは、それぞれ図９（ａ）の画像９０１ａ、画像９０２ａ、画像９０３ａ、画像９０４ａと同様に表されている。
FIG. 9B is a diagram showing an
図９（ａ）に示したように、ＨＭＤ１を装着したユーザが頭部を動かしていない頭部動作なしの場合、ここまでで説明した通り、ユーザに対しては違和感のない体験画像を提示できる。
一方、ユーザが頭部を例えばピッチ動作した場合において、後述するようなマスク領域の可変を行わない場合、ピッチ動作に応じて画像を垂直方向にずらすと、図９（ｂ）の画像９０２ｂに示すように、マスク領域外に不必要な画像９０５が現れることになる。マスク領域外に現れる不必要な画像９０５は、例えばＰＣ画面（デスクトップ画像）の一部などである。当該不必要な画像９０５が現れている場合、表示光学系補正部１５１の処理後の画像９０３ｂにも不必要な画像９０５が残り、さらには表示部１１の画像９０４ｂにも不必要な画像９０５が残り、ユーザにとって違和感のある画像が提示されてしまう。
As shown in FIG. 9A, when the user wearing the
On the other hand, when the user performs a pitch operation on the head, for example, when the mask area is not changed as described later, the image is vertically shifted according to the pitch operation, as shown in an
そこで、本実施形態においては、ＨＭＤ１を装着しているユーザの頭部の動作に応じて、黒画像によるマスク領域を可変することにより、不必要な画像が表示されてしまうことを防止し、ユーザに違和感の無い画像を提示可能とする。すなわちユーザが頭部を例えばピッチ動作した場合、疑似遅延補正処理により画像を垂直方向にずらすとマスク領域外に不必要な画像９０５が現れるが、本実施形態では、図９（ｃ）の画像９０２ｃのように、マスク領域を可変して不必要な画像９０５を隠す。これにより、図９（ｃ）に示すように、表示光学系補正部１５１の処理後の画像９０３ｃ、さらには表示部１１の画像９０４ｃにも不必要な画像９０５は現れず、ユーザにとって違和感の少ない画像を提示可能となる。なお、この例では、ＨＭＤ１を装着したユーザ２が頭部をピッチ動作した場合を挙げているが、ヨー動作等の他の動作の場合も前述同様に、その動作に応じてマスク領域を可変することにより、ユーザにとって違和感の少ない画像の提示が可能となる。例えばヨー動作の場合には、マスク領域を横方向（水平方向）に可変すれば良い。
Therefore, in the present embodiment, by changing the mask area by the black image according to the operation of the head of the user wearing the
以下、本実施形態において、ユーザの頭部の動作に応じて黒画像のマスク領域を可変できるようにする処理について、図１０のフローチャートを用いて説明する。図１０に示すフローチャートの処理は、演算部１４により行われる。なお、以下の説明では、図１０のフローチャートの各処理ステップＳ１０１〜ステップＳ１１５をＳ１０１〜Ｓ１１５と略記する。この図１０のフローチャートの処理は、ソフトウェア構成により実行されても良いし、ハードウェア構成により実現されてもよく、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェア構成により処理が実行される場合、例えばＲＯＭ等に記憶されている本実施形態に係るプログラムをＣＰＵ等が実行することにより実現される。本実施形態に係るプログラムは、ＲＯＭ等に予め用意されていてもよく、着脱可能な半導体メモリ等から読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりしてもよい。これらのことは、後述する他のフローチャートにおいても同様であるとする。
Hereinafter, in the present embodiment, processing for enabling the mask area of the black image to be variable according to the operation of the head of the user will be described using the flowchart of FIG. The processing of the flowchart illustrated in FIG. 10 is performed by the
先ずＳ１０１において、演算部１４は、ＨＭＤ１を装着しているユーザ２の頭部の動きを動作検知部１３が検知した頭部動作情報（Ｑ）を取得する。前述したように、頭部動作情報（Ｑ）は、加速度センサ、角速度センサなどのセンサを用いて計測されるセンサデータであり、頭部の動き（首ふりや移動）を数値化した動作検知データである。
First, in S101, the
次にＳ１０２において、演算部１４は、システムの遅延量Ｄｔを取得する。システムの遅延量Ｄｔとは、例えば現実空間を撮像した画像を、表示光学系１１１を介してユーザが観察するまでの間の各種演算や処理等により生ずる遅延（レイテンシ）分に相当する値である。遅延量Ｄｔは、固定値として保存されている値を使用しても良いし、リアルタイムに変動する遅延量を反映した値であっても良い。
Next, in S102, the
次にＳ１０３において、演算部１４は、頭部動作情報（Ｑ）から頭部の動作はピッチ動作（縦振り動作）若しくはヨー動作（横振り動作）であるかを判定する処理を行う。本実施形態では、頭部のピッチ動作若しくはヨー動作を判定する方法の一例として、水平方向（横方向、ヨー方向）の角速度と垂直方向（縦方向、ピッチ方向）の角速度を基に判定する方法を用いる。ここで、演算部１４は、水平方向の角速度Ｙωが一定値以上の場合には頭部のヨー動作であると判定し、垂直方向の角速度Ｐωが一定値以上の場合には頭部のピッチ動作であると判定する。そして、演算部１４は、頭部のピッチ動作若しくはヨー動作であると判定した場合にはＳ１０４に処理を進める。一方、演算部１４は、頭部のピッチ動作若しくはヨー動作の何れでもないと判定した場合にはＳ１０５に処理を進める。
Next, in S103, the
Ｓ１０４に進んだ場合、演算部１４は、頭部動作情報（Ｑ）と遅延量（Ｄｔ）とを基に画像の水平移動量（Ｈｄ）と垂直移動量（Ｖｄ）を算出する。一方、Ｓ１０５に進んだ場合、演算部１４は、画像の水平移動量（Ｈｄ）と垂直移動量（Ｖｄ）をそれぞれ０に設定する。これらＳ１０４又はＳ１０５の後、演算部１４は、Ｓ１０６に処理を進める。
When the process proceeds to S104, the
Ｓ１０６に進むと、演算部１４は、頭部動作情報（Ｑ）から頭部の傾きを判定する処理を行う。本実施形態では、頭部の傾きを判定する方法の一例として、ロール方向の角速度を基に判定する方法を用いる。そして、演算部１４は、ロール方向の角速度Ｒωが一定値以上の場合には頭部を傾けたと判定してＳ１０７に処理を進め、ロール方向の角速度Ｒωが一定値以上でない場合（一定値未満の場合）には頭部の傾きではないと判定してＳ１０８に処理を進める。
In S106, the
Ｓ１０７に進んだ場合、演算部１４は、頭部動作情報（Ｑ）と遅延量（Ｄｔ）とを基に画像の回転角（Θｄ）を算出する。一方、Ｓ１０８に進んだ場合、演算部１４は、画像の回転角（Θｄ）を０に設定する。これらＳ１０７、Ｓ１０８の後、演算部１４は、Ｓ１０９に処理を進める。
When the process proceeds to S107, the
Ｓ１０９において、演算部１４は、頭部動作情報（Ｑ）から頭部の前後移動（ロール軸Ｒ方向への移動）を判定する処理を行う。本実施形態では、頭部の前後移動を判定する手法の一例として、ロール軸方向の加速度情報から判定する方法を用いる。演算部１４は、ロール軸方向の加速度Ｒａが一定値以上の場合には頭部が前後移動をしたと判定してＳ１１０に処理を進め、ロール軸方向の加速度Ｒａが一定値以上でない（一定値未満）の場合には頭部が前後移動していないと判定してＳ１１１に処理を進める。
In S109, the
Ｓ１１０に進んだ場合、演算部１４は、頭部動作情報（Ｑ）と遅延量（Ｄｔ）とを基に画像の倍率（Ｅｄ）を算出する。一方、Ｓ１１１に進んだ場合、演算部１４は、画像の拡大率（Ｅｄ）を０に設定する。これらＳ１１０、Ｓ１１１の後、演算部１４は、Ｓ１１２に処理を進める。
When the process proceeds to S110, the
Ｓ１１２に進むと、演算部１４は、光学特性記憶部１２からの光学特性情報であるマスク幅（Ｖｔ，Ｖｂ，Ｈｌ，Ｈｒ）を取得する。マスク幅Ｖｔは画像の上側に黒画像を重畳するマスク領域の幅であり、以下同様に、マスク幅Ｖｂは画像の下側のマスク領域の幅、マスク幅Ｈｌは画像の左側のマスク領域の幅、マスク幅Ｈｒは画像の右側のマスク領域の幅である。本実施形態において、それぞれのマスク幅（Ｖｔ，Ｖｂ，Ｈｌ，Ｈｒ）は、図６（ｂ）に示すように、光学特性によって変化するアスペクト変換の変換量によって決定される。
In step S112, the
次にＳ１１３において、演算部１４は、光学特性記憶部１２から読み出されたマスク幅（Ｖｔ，Ｖｂ，Ｈｌ，Ｈｒ）、前述の水平移動量（Ｈｄ）、垂直移動量（Ｖｄ）、画像の回転角（Θｄ）、画像の拡大率（Ｅｄ）を基に、マスク領域（Ｂ）を決定する。演算部１４は、水平移動・垂直移動の場合には移動量のオフセットを考慮してマスク領域（Ｂ）を決定し、回転・拡大・縮小の場合には回転角・拡大率の変形分を考慮してマスク領域（Ｂ）を決定する。
Next, in S113, the
次に、Ｓ１１４において、演算部１４は、前述のように計算した画像の水平移動量（Ｈｄ）、垂直移動量（Ｖｄ）、回転角（Θｄ）、拡大率（Ｅｄ）の情報を疑似遅延補正部１５２に送る。また、Ｓ１１５において、演算部１４は、マスク領域（Ｂ）の情報を表示光学系補正部１５１へ送る。このようにして、演算部１４は、光学特性記憶部１２と動作検知部１３より受信した情報から、表示光学系補正部１５１と疑似遅延補正部１５２においてそれぞれ補正処理を行う際に用いられる補正値を生成して送信する。
Next, in S114, the
前述した図９（ｂ）の例のように、マスク領域を可変しない場合、ＨＭＤ１を装着しているユーザ２の頭部の例えばピッチ動作に応じて画像を垂直方向にずらした影響で、マスク領域外に不必要な画像が表示されてしまうことがある。これに対し、本実施形態の場合、演算部１４は、Ｓ１０４において頭部の例えばピッチ動作に応じて垂直移動量（Ｖｄ）を決定している。その後、演算部１４は、Ｓ１１３において、垂直移動量Ｖｄとマスク幅Ｖｔを考慮して、上側のマスク幅Ｖｔ'をＶｔ＋Ｖｄ＝Ｖｔ'の演算により求め、また、下側のマスク幅Ｖｂ'を本来のマスク幅Ｖｂから求めて、マスク領域（Ｂ）を決定する。これにより、表示光学系補正部１５１では、演算部１４にて決定されたマスク領域（Ｂ）により、疑似遅延補正部１５２から入力される画像９０１ｃに対し、図９（ｃ）の画像９０２ｃのようにマスクする処理を行う。なお、図９（ｂ）のようにマスク領域を可変しない場合には、画像９０２ｂに示すように、この段階で不必要な画像９０５（デスクトップ画像の一部）が残ってしまうが、図９（ｃ）の画像９０２ｃでは不必要な画像を含めてマスクされている。このように、本実施形態においては、ＨＭＤ１を装着しているユーザ２に対し、図９（ｃ）の画像９０４ｃのように、不必要な画像９０５を含めてマスクがなされた違和感のないＭＲ体験画像を提供できる。すなわち本実施形態によれば、表示光学系１１１を有するＨＭＤ１において、表示光学系の補正と共に、遅延補正のための映像移動や変形、切り出し等を行った場合においても、不要な画像を生じることなく、ユーザに違和感のない映像を提供することができる。
As in the example of FIG. 9 (b) described above, when the mask area is not varied, the mask area is affected by shifting the image in the vertical direction according to, for example, the pitch movement of the head of the
＜第２実施形態＞
次に、第２実施形態について説明する。
図１１は第２実施形態におけるシステム構成例を示した図である。図１１の構成において、前述の図１と同じ参照符号が付されている各構成要素では概ね前述同様の動作・処理が行われ、以降では異なる処理・動作について説明する。第２実施形態のシステム構成では、マスク処理を２段階に分けて行うことにより、演算部１４の負荷を低減可能とする。
Second Embodiment
Next, a second embodiment will be described.
FIG. 11 is a diagram showing an example of a system configuration in the second embodiment. In the configuration of FIG. 11, the same operations and processes as described above are generally performed on the components given the same reference numerals as those of FIG. 1 described above, and different processes and operations will be described hereinafter. In the system configuration of the second embodiment, the load on the
第２実施形態において、第１実施形態と異なるのは、２段階に分けられたマスク処理のうち、前段のマスク処理を行うための構成としてのマスク処理部１１０１が、画像受信部１５３と疑似遅延補正部１５２との間に実装されている点である。第２実施形態の場合、演算部１４は、光学特性記憶部１２から読み出されたマスク幅（Ｖｔ，Ｖｂ，Ｈｌ，Ｈｒ）の情報を、表示光学系補正部１５１とマスク処理部１１０１へと送る。マスク処理部１１０１は、画像受信部１５３から出力された画像に対し、マスク幅に応じたマスク処理を行った後、疑似遅延補正部１５２に送る。したがって、疑似遅延補正部１５２では、マスク処理部１１０１によりマスク処理がなされた後の画像に対し、移動・回転・変形などの補正処理を行う。そして、表示光学系補正部１５１では、マスク幅に応じたマスク処理が再度行われることになる。
The second embodiment differs from the first embodiment in that, of the two stages of mask processing, the
このように、第２実施形態の場合、疑似遅延補正部１５２による画像の移動・回転・変形より前にマスク処理を行うことによって、マスクされた画像が移動・回転・変形処理されることになる。第２実施形態では、ユーザにより観察される領域以外の画像を予めマスクすることによって、第１の実施形態と同様の効果を得ることができる。
As described above, in the case of the second embodiment, the masked image is moved / rotated / deformed by performing the mask processing prior to the movement / rotation / deformation of the image by the pseudo
前述した第２実施形態における演算部１４の動作について図１２のフローチャートを用いて説明する。図１２のフローチャートにおいて、図１１のフローチャートと同じ処理には同じ参照符号を付している。Ｓ１０１〜Ｓ１１２までは図１１と同様の処理であり、ここではＳ１２１以降の処理についてのみ説明する。
The operation of the
図１２のフローチャートにおいて、Ｓ１１２の処理後、演算部１４は、Ｓ１２１に処理を進める。すなわち、演算部１４は、疑似遅延補正部１５２による移動・回転・拡大量を計算し、マスク幅（Ｖｔ，Ｖｂ，Ｈｌ，Ｈｒ）を読み込んだ後は、Ｓ１２１に処理を進める。
In the flowchart of FIG. 12, after the process of S112, the
Ｓ１２１に進むと、演算部１４は、マスク幅（Ｖｔ，Ｖｂ，Ｈｌ，Ｈｒ）の情報をマスク処理部１１０１に送る。これにより、マスク処理部１１０１では、画像受信部１５３から出力された画像に対し、マスク幅に応じたマスク処理が行われる。
その後、演算部１４は、Ｓ１１４において画像の水平移動量（Ｈｄ）、垂直移動量（Ｖｄ）、回転角（Θｄ）、拡大率（Ｅｄ）の情報を疑似遅延補正部１５２に送る。さらに、演算部１４は、Ｓ１１５において、マスク幅（Ｖｔ，Ｖｂ，Ｈｌ，Ｈｒ）の情報を表示光学系補正部１５１へ送る。この場合の表示光学系補正部１５１は、マスク幅（Ｖｔ，Ｖｂ，Ｈｌ，Ｈｒ）の情報を基に再度マスク処理を行う。
In step S121, the
After that, the
第２実施形態の場合、演算部１４は、前述の図１０のＳ１１３のようなマスク領域を決定する処理を行わず、マスク幅の情報を出力する。したがって、演算部１４の負荷は、前述の第１の実施形態の場合よりも低減されている。このように、第２の実施形態によれば、演算部１４の負荷を最小にしつつ、疑似遅延補正部１５２の前後で同じマスク処理を２段階に分けて行うことで、ユーザへの違和感のない画像の提供を実現している。
In the case of the second embodiment, the
＜第３実施形態＞
次に、第３実施形態について説明する。
図１３は第３実施形態におけるシステム構成例を示した図である。図１３の構成において、前述の図１と同じ参照符号が付されている各構成要素では概ね前述同様の動作・処理が行われ、以降では異なる処理・動作について説明する。第３実施形態のシステム構成は、生成された画像に応じてマスク処理の実行／非実行（マスク処理の有無）を切り替えることで、演算部１４の負荷を低減可能とする。
Third Embodiment
Next, a third embodiment will be described.
FIG. 13 is a diagram showing an example of a system configuration in the third embodiment. In the configuration of FIG. 13, the same operation and processing as described above are generally performed in each component having the same reference numeral as that of FIG. 1 described above, and different processing and operation will be described hereinafter. The system configuration of the third embodiment can reduce the load on the
第３実施形態において、第１実施形態と異なるのは、コンピュータ１６を有しており、このコンピュータ１６の内部には画像生成部１６１とＣＧ生成部１６２が含まれている点である。画像生成部１６１とＣＧ生成部１６２は、ＨＭＤ１を装着するユーザ２が体験する画像を生成する体験画像生成アプリをコンピュータ１６内のＣＰＵが実行することにより実現される機能部である。ＣＧ生成部１６２は画像生成部１６１の命令に応じてＣＧ画像をレンダリングし、画像生成部１６１は、ＨＭＤ１を装着するユーザ２が体験する画像を生成する。なお、体験画像生成アプリにより画像生成部１６１が形成され、ＣＧ生成部１６２は別のＣＧ生成アプリケーションソフトウェア等により形成されてもよく、体験画像やＣＧ画像はＣＰＵだけでなくＧＰＵなどにより生成されてもよい。
The third embodiment is different from the first embodiment in that a
画像生成部１６１が生成する画像としては、例えば予め用意されたＣＧデータを、頭部の動きに応じてレンダリングして提供する際のＶＲ画像であるとか、カメラで撮像した現実映像の上にＣＧ画像が重畳されるＭＲ画像などである。なお、画像生成部１６１は、コンピュータ１６の負荷を低減するために、図８（ｂ）に示したように、ＨＭＤ１の表示部１１に表示可能な範囲の画像のみを生成してもよい。この場合、第１実施形態及び第２実施形態ですでに説明した構成を用いることで、ユーザ２に違和感のない画像を提供できることは前述同様である。
The image generated by the
一方で、コンピュータ１６のスペック（処理能力やメモリ容量等）が十分である場合は、画像生成部１６１において、ＨＭＤ１に表示可能な範囲の画像を予めマスクしておくことで、演算部１４の処理負荷を低減することができる。この場合、コンピュータ１６は、画像生成部１６１においてＨＭＤ１に表示可能な範囲外をマスクする場合にはその旨を演算部１４に通知する。そして、その通知を受けた演算部１４は、マスク処理をスキップする（マスク処理を非実行とする）ことによって負荷を低減させることが可能となる。
On the other hand, when the specifications (processing capacity, memory capacity, and the like) of the
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation for practicing the present invention, and the technical scope of the present invention should not be interpreted limitedly by these. That is, the present invention can be implemented in various forms without departing from the technical concept or the main features thereof.
１ ＨＭＤ、１１：表示部、１２：光学特性記憶部、１３：動作検知部、１４：演算部、１５：画像処理装置、１１１：表示光学系、１１２：表示素子、１５１：表示光学系補正部、１５２：疑似遅延補正部、１５３：画像受信部
DESCRIPTION OF
Claims (12)
入力された画像に対し、前記表示装置の動きに応じた第１の補正処理を行う第１の補正手段と、
前記第１の補正処理がなされた画像に対して前記マスク領域に応じたマスク処理を行った後、前記表示光学系の光学特性に応じた第２の補正処理を行う第２の補正手段と、
を有することを特徴とする画像処理装置。 Determining means for determining a mask area for masking an image based on the movement of the display device and the optical characteristics of the display optical system of the display device;
First correction means for performing a first correction process according to the movement of the display device on the input image;
A second correction unit that performs a second correction process according to an optical characteristic of the display optical system after performing a mask process according to the mask area on the image subjected to the first correction process;
An image processing apparatus comprising:
入力された画像に対し、前記マスク幅に応じたマスク処理を行う処理手段と、
前記マスク処理が行われた画像に対し、前記表示装置の動きに応じた第１の補正処理を行う第１の補正手段と、
前記第１の補正処理が行われた画像に対して、前記マスク幅に応じたマスク処理を更に行った後、前記表示光学系の光学特性に応じた第２の補正処理を行う第２の補正手段と、
を有することを特徴とする画像処理装置。 A determination unit that determines a mask width at the time of masking an image based on the movement of the display device and the optical characteristic of the display optical system that the display device has;
Processing means for performing mask processing according to the mask width on the input image;
First correction means for performing a first correction process according to the movement of the display device on the image subjected to the mask process;
A second correction process is performed on the image on which the first correction process has been performed, after the mask process according to the mask width is further performed, and then the second correction process according to the optical characteristics of the display optical system is performed. Means,
An image processing apparatus comprising:
請求項１から７のいずれか１項に記載の画像処理装置と、を有することを特徴とする表示システム。 The display device;
A display system comprising: the image processing apparatus according to any one of claims 1 to 7;
前記決定手段は、前記検知手段により検知された表示装置の動きに基づいて前記マスク領域を決定することを特徴とする請求項８に記載の表示システム。 The display device has detection means for detecting the movement of the display device.
9. The display system according to claim 8, wherein the determination unit determines the mask area based on the movement of the display device detected by the detection unit.
表示装置の動きと前記表示装置が有する表示光学系の光学特性とに基づいて、画像をマスクするためのマスク領域を決定する決定工程と、
入力された画像に対し、前記表示装置の動きに応じた第１の補正処理を行う第１の補正工程と、
前記第１の補正処理がなされた画像に対して前記マスク領域に応じたマスク処理を行った後、前記表示光学系の光学特性に応じた第２の補正処理を行う第２の補正工程と、
を有することを特徴とする画像処理方法。 An image processing method performed by an image processing apparatus that processes an image to be displayed on a display device, the image processing method comprising:
A determining step of determining a mask area for masking an image based on a movement of the display device and an optical characteristic of a display optical system of the display device;
A first correction step of performing a first correction process according to the movement of the display device on the input image;
A second correction process of performing a second correction process according to an optical characteristic of the display optical system after performing a mask process according to the mask area on the image subjected to the first correction process;
An image processing method comprising:
表示装置の動きと前記表示装置が有する表示光学系の光学特性とに基づいて、画像をマスクする際のマスク幅を決定する決定工程と、
入力された画像に対し、前記マスク幅に応じたマスク処理を行う処理工程と、
前記マスク処理が行われた画像に対し、前記表示装置の動きに応じた第１の補正処理を行う第１の補正工程と、
前記第１の補正処理が行われた画像に対して、前記マスク幅に応じたマスク処理を更に行った後、前記表示光学系の光学特性に応じた第２の補正処理を行う第２の補正工程と、
を有することを特徴とする画像処理方法。 An image processing method performed by an image processing apparatus that processes an image to be displayed on a display device, the image processing method comprising:
A determining step of determining a mask width at the time of masking an image based on a movement of a display device and an optical characteristic of a display optical system of the display device;
A processing step of performing mask processing according to the mask width on the input image;
A first correction process of performing a first correction process according to the movement of the display device on the image subjected to the mask process;
A second correction process is performed on the image on which the first correction process has been performed, after the mask process according to the mask width is further performed, and then the second correction process according to the optical characteristics of the display optical system is performed. Process,
An image processing method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018001741A JP7066414B2 (en) | 2018-01-10 | 2018-01-10 | Image processing equipment, display system, image processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018001741A JP7066414B2 (en) | 2018-01-10 | 2018-01-10 | Image processing equipment, display system, image processing method and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019120853A true JP2019120853A (en) | 2019-07-22 |
| JP2019120853A5 JP2019120853A5 (en) | 2021-02-18 |
| JP7066414B2 JP7066414B2 (en) | 2022-05-13 |
Family
ID=67306191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018001741A Active JP7066414B2 (en) | 2018-01-10 | 2018-01-10 | Image processing equipment, display system, image processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7066414B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008216343A (en) * | 2007-02-28 | 2008-09-18 | Canon Inc | Image display apparatus, program and storage medium |
| JP2009156992A (en) * | 2007-12-25 | 2009-07-16 | Canon Inc | Controller, display, control method therefor, augmented reality system, and computer program |
| WO2014069090A1 (en) * | 2012-11-02 | 2014-05-08 | ソニー株式会社 | Image display device, image display method, and computer program |
| US20140268356A1 (en) * | 2013-03-15 | 2014-09-18 | University Of Southern California | Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments |
| US20150379772A1 (en) * | 2014-06-30 | 2015-12-31 | Samsung Display Co., Ltd. | Tracking accelerator for virtual and augmented reality displays |
-
2018
- 2018-01-10 JP JP2018001741A patent/JP7066414B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008216343A (en) * | 2007-02-28 | 2008-09-18 | Canon Inc | Image display apparatus, program and storage medium |
| JP2009156992A (en) * | 2007-12-25 | 2009-07-16 | Canon Inc | Controller, display, control method therefor, augmented reality system, and computer program |
| WO2014069090A1 (en) * | 2012-11-02 | 2014-05-08 | ソニー株式会社 | Image display device, image display method, and computer program |
| US20140268356A1 (en) * | 2013-03-15 | 2014-09-18 | University Of Southern California | Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments |
| US20150379772A1 (en) * | 2014-06-30 | 2015-12-31 | Samsung Display Co., Ltd. | Tracking accelerator for virtual and augmented reality displays |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7066414B2 (en) | 2022-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6353214B2 (en) | Image generating apparatus and image generating method | |
| JP4578294B2 (en) | Stereoscopic image display device, stereoscopic image display method, and computer program | |
| WO2018201652A1 (en) | Real-time virtual reality acceleration method and device | |
| JP3450833B2 (en) | Image processing apparatus and method, program code, and storage medium | |
| US10754420B2 (en) | Method and device for displaying image based on virtual reality (VR) apparatus | |
| EP3572916B1 (en) | Apparatus, system, and method for accelerating positional tracking of head-mounted displays | |
| JP7358448B2 (en) | Image generation device, head mounted display, and image generation method | |
| JP2015231106A (en) | Device and system for head-mounted display | |
| WO2020003860A1 (en) | Information processing device, information processing method, and program | |
| JP7150134B2 (en) | Head-mounted display and image display method | |
| JP7134060B2 (en) | Image generation device and image generation method | |
| CN111652959B (en) | Image processing method, near-to-eye display device, computer device, and storage medium | |
| JP6971590B2 (en) | Image processing equipment, image processing methods and programs | |
| JP6862210B2 (en) | Image processing equipment, image processing system, image processing method and program | |
| US10553164B1 (en) | Display latency calibration for liquid crystal display | |
| CN112887646B (en) | Image processing method and device, augmented reality system, computer device and medium | |
| JP5645255B2 (en) | Image processing apparatus and image processing method | |
| JP2019176402A (en) | Image processor | |
| JP7066414B2 (en) | Image processing equipment, display system, image processing method and program | |
| JP2017188757A (en) | Information processing apparatus, image display apparatus, image display system, and information processing method | |
| JP2013005393A (en) | Image processing method having wide-angle distortion correction processing, image processing apparatus and imaging apparatus | |
| JP5682473B2 (en) | Image processing method having wide-angle distortion correction processing, image processing apparatus, and imaging apparatus | |
| JPWO2020170456A1 (en) | Display device and image display method | |
| CN115616776A (en) | Virtual reality simulator and computer-readable recording medium | |
| JP2020106655A (en) | Information processor, information processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210106 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210106 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220310 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220329 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220427 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7066414 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |