JP2013030059A - Image synthesizing device and image synthesizing method - Google Patents
Image synthesizing device and image synthesizing method Download PDFInfo
- Publication number
- JP2013030059A JP2013030059A JP2011166774A JP2011166774A JP2013030059A JP 2013030059 A JP2013030059 A JP 2013030059A JP 2011166774 A JP2011166774 A JP 2011166774A JP 2011166774 A JP2011166774 A JP 2011166774A JP 2013030059 A JP2013030059 A JP 2013030059A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- display area
- line
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 title description 14
- 239000000203 mixture Substances 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 19
- 239000002131 composite material Substances 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims 2
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 13
- 238000013500 data storage Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
この発明は、操作者の視線方向に応じて、例えば、現実世界の映像とCG画像などが重畳されている合成画像をHMD(Head Mounted Display)などの透過式表示装置に表示する画像合成装置及び画像合成方法に関するものである。 The present invention relates to an image composition device that displays a composite image in which, for example, a real-world image and a CG image are superimposed on a transmissive display device such as an HMD (Head Mounted Display) according to the line-of-sight direction of the operator, The present invention relates to an image composition method.
例えば、医療の分野では、手術風景の映像に、手術に関する付加情報(例えば、手術の手順を示す情報)が重畳されている合成画像を透過式表示装置に表示する画像合成装置などが想定される。
また、産業の分野では、工業製品の組み立て風景の映像に、作業内容などを示す情報が重畳されている合成画像を透過式表示装置に表示する画像合成装置などが想定される。
For example, in the medical field, an image composition device or the like that displays a composite image in which additional information related to surgery (for example, information indicating the procedure of surgery) is superimposed on a surgical scene image on a transmissive display device is assumed. .
Also, in the industrial field, an image composition device or the like that displays a composite image in which information indicating work content or the like is superimposed on an image of an assembly view of an industrial product is displayed on a transmissive display device.
このとき、一般的な画像合成装置では、現実世界の映像にCG画像を重畳する際、CG画像を重畳する領域を指定する機能を備えていないため、操作者が注目している領域にCG画像が重畳されてしまって、注目している領域の映像が見難くなることがある。
以下の特許文献1には、操作者が注目する領域を非表示領域に設定する手段を備え、非表示領域内にはCG画像が重畳されないようにしている画像合成装置が開示されている。
例えば、操作者が注目する領域として、操作者の作業に影響を及ぼす領域(例えば、計器類が存在している領域)などが想定され、このような領域にはCG画像が重畳されなくなる。
At this time, since a general image composition device does not have a function of designating a region to superimpose a CG image when superimposing a CG image on a real-world image, the CG image is displayed in a region that is being watched by the operator. May be superposed, making it difficult to see the video in the area of interest.
Patent Document 1 below discloses an image composition device that includes means for setting a region of interest to an operator as a non-display region, and prevents a CG image from being superimposed in the non-display region.
For example, a region that affects the work of the operator (for example, a region where instruments exist) is assumed as a region that the operator pays attention to, and a CG image is not superimposed on such a region.
従来の画像合成装置は以上のように構成されているので、設定された非表示領域にはCG画像が重畳されず、CG画像の重畳によって注目している領域の映像が見難くなることを防止することができる。しかし、操作者が認識する必要がある物体が非表示領域に存在していても、その物体の存在を操作者に知らせることができないなどの課題があった。 Since the conventional image synthesizing apparatus is configured as described above, the CG image is not superimposed on the set non-display area, and it is possible to prevent the CG image from becoming difficult to see the video of the area of interest. can do. However, there is a problem that even if an object that the operator needs to recognize exists in the non-display area, the operator cannot be notified of the presence of the object.
この発明は上記のような課題を解決するためになされたもので、操作者が認識する必要がある物体が非表示領域に存在していれば、その旨を操作者に知らせることができる画像合成装置及び画像合成方法を得ることを目的とする。 The present invention has been made in order to solve the above-described problems. If an object that needs to be recognized by the operator is present in the non-display area, the image composition can notify the operator to that effect. An object is to obtain an apparatus and an image composition method.
この発明に係る画像合成装置は、操作者の位置と視線方向を示す位置視線情報を取得する位置視線情報取得手段と、透過式表示装置内で画像を表示しない非表示領域を設定する非表示領域設定手段と、位置視線情報取得手段により取得された位置視線情報が示す操作者の位置を視点として、蓄積されている表示画像データから位置視線情報が示す視線方向の表示画像を生成する表示画像生成手段と、表示画像生成手段により生成された表示画像における非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していれば、上記物体が存在している旨を知らせるCG画像を生成するCG画像生成手段とを設け、画像合成手段が、表示画像生成手段により生成された表示画像から非表示領域内の画像を削除し、CG画像生成手段によりCG画像が生成されていなければ、非表示領域内の画像を削除した表示画像を透過式表示装置に表示し、CG画像生成手段によりCG画像が生成されていれば、非表示領域内の画像を削除した表示画像に上記CG画像を合成し、その合成画像を透過式表示装置に表示するようにしたものである。 An image composition device according to the present invention includes position line-of-sight information acquisition means for acquiring position line-of-sight information indicating the position and line-of-sight direction of an operator, and a non-display area for setting a non-display area that does not display an image in a transmissive display device Display image generation for generating a display image in the line-of-sight direction indicated by the position line-of-sight information from the stored display image data with the viewpoint of the operator's position indicated by the position line-of-sight information acquired by the setting means and the position line-of-sight information acquisition means And if there is an object that the operator needs to recognize in the image in the non-display area in the display image generated by the display image generating means, the fact that the object is present is notified. CG image generation means for generating a CG image is provided, and the image composition means deletes the image in the non-display area from the display image generated by the display image generation means, and the CG image generation means If a CG image is not generated, a display image from which the image in the non-display area is deleted is displayed on the transmissive display device. If a CG image is generated by the CG image generation means, the image in the non-display area is displayed. The CG image is synthesized with the deleted display image, and the synthesized image is displayed on the transmissive display device.
この発明によれば、操作者の位置と視線方向を示す位置視線情報を取得する位置視線情報取得手段と、透過式表示装置内で画像を表示しない非表示領域を設定する非表示領域設定手段と、位置視線情報取得手段により取得された位置視線情報が示す操作者の位置を視点として、蓄積されている表示画像データから位置視線情報が示す視線方向の表示画像を生成する表示画像生成手段と、表示画像生成手段により生成された表示画像における非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していれば、上記物体が存在している旨を知らせるCG画像を生成するCG画像生成手段とを設け、画像合成手段が、表示画像生成手段により生成された表示画像から非表示領域内の画像を削除し、CG画像生成手段によりCG画像が生成されていなければ、非表示領域内の画像を削除した表示画像を透過式表示装置に表示し、CG画像生成手段によりCG画像が生成されていれば、非表示領域内の画像を削除した表示画像に上記CG画像を合成し、その合成画像を透過式表示装置に表示するように構成したので、操作者が認識する必要がある物体が非表示領域に存在していれば、その旨を操作者に知らせることができる効果がある。 According to this invention, the position line-of-sight information acquisition means for acquiring position line-of-sight information indicating the position and line-of-sight direction of the operator, and the non-display area setting means for setting a non-display area that does not display an image in the transmissive display device Display image generation means for generating a display image in the line-of-sight direction indicated by the position line-of-sight information from the stored display image data, with the position of the operator indicated by the position-line-of-sight information acquired by the position line-of-sight information acquisition means as a viewpoint; If there is an object that needs to be recognized by the operator among the images in the non-display area in the display image generated by the display image generating means, a CG image notifying that the object is present is displayed. CG image generating means for generating the image, and the image synthesizing means deletes the image in the non-display area from the display image generated by the display image generating means, and the CG image generating means generates the CG image. If not, the display image from which the image in the non-display area is deleted is displayed on the transmissive display device, and if the CG image is generated by the CG image generating means, the display in which the image in the non-display area is deleted is displayed. Since the CG image is combined with the image and the combined image is displayed on the transmissive display device, if there is an object that needs to be recognized by the operator in the non-display area, the operation is performed. There is an effect that can be notified to the person.
実施の形態1.
図1はこの発明の実施の形態1による画像合成装置を示す構成図である。
図1において、透過式表示装置1は例えばHMD(Head Mounted Display)などが該当し、画像合成装置4により生成された合成画像等を表示する表示機器である。
位置・姿勢計測装置2は透過式表示装置1に内蔵されており、操作者の位置と視線方向を検出して、操作者の位置と視線方向を示す位置視線情報を画像合成装置4に出力する装置である。
位置・姿勢計測装置2は、例えば、地磁気センサ、ジャイロや光学式のセンサなどから構成されている。
Embodiment 1 FIG.
FIG. 1 is a block diagram showing an image composition apparatus according to Embodiment 1 of the present invention.
In FIG. 1, the transmissive display device 1 corresponds to, for example, an HMD (Head Mounted Display), and is a display device that displays a composite image generated by the image composition device 4.
The position / posture measuring device 2 is built in the transmissive display device 1, detects the operator's position and line-of-sight direction, and outputs position line-of-sight information indicating the operator's position and line-of-sight direction to the image composition device 4. Device.
The position / orientation measurement apparatus 2 includes, for example, a geomagnetic sensor, a gyroscope, an optical sensor, and the like.
表示画像データ蓄積部3は例えばRAMやハードディスクなどの記憶装置から構成されており、画像合成装置4が表示画像を生成する際に用いる表示画像データ(例えば、CGの3次元データ、複数のカメラにより撮影された操作者を中心とする全周囲画像データなど)を蓄積している。
画像合成装置4は操作者の視線方向の表示画像を生成し、その表示画像を透過式表示装置1に表示する装置である。
The display image data storage unit 3 is composed of a storage device such as a RAM or a hard disk, for example. The display image data used when the image composition device 4 generates a display image (for example, CG three-dimensional data, a plurality of cameras). All-around image data centered on the photographed operator).
The image composition device 4 is a device that generates a display image in the line of sight of the operator and displays the display image on the transmissive display device 1.
画像合成装置4の位置視線情報取得部11は外部から情報を入手するインタフェース(例えば、USBポート)を備えており、位置・姿勢計測装置2から出力された位置視線情報を取得する処理を実施する。なお、位置視線情報取得部11は位置視線情報取得手段を構成している。
The position line-of-sight
非表示領域設定部12は例えばキーボードやマウスなどのマンマシンインタフェースなどから構成されており、操作者の設定操作にしたがって透過式表示装置1内で画像を表示しない非表示領域の設定を受け付け、非表示領域の位置を示す座標情報を非表示領域算出部14に出力する処理を実施する。なお、非表示領域設定部12は非表示領域設定手段を構成している。
この実施の形態1では、非表示領域設定部12が、キーボードやマウスなどのマンマシンインタフェースなどから構成されているものを想定しているが、外部から送信された設定情報を受信する通信インタフェースなどから構成されていてもよく、この場合には、その設定情報にしたがって透過式表示装置1内で画像を表示しない非表示領域の設定処理を実施する。
The non-display
In the first embodiment, it is assumed that the non-display
表示画像生成部13は例えばGPU(Graphics Processing Unit)などから構成されており、位置視線情報取得部11により取得された位置視線情報が示す操作者の位置を視点として、表示画像データ蓄積部3により蓄積されている表示画像データから上記位置視線情報が示す視線方向の表示画像を生成する処理を実施する。なお、表示画像生成部13は表示画像生成手段を構成している。
The display
非表示領域算出部14は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、位置視線情報取得部11により取得された位置視線情報と非表示領域設定部12により設定された座標情報から、透過式表示装置1の非表示領域を算出する処理を実施する。
非表示領域内情報検索部15は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、表示画像生成部13より生成された表示画像における非表示領域内の画像の中に、操作者が認識する必要がある物体が存在しているか否かを判別する処理を実施する。
The non-display
The non-display area
CG画像生成部16は例えばGPUなどから構成されており、非表示領域内情報検索部15により操作者が認識する必要がある物体が存在していると判別された場合、上記物体が存在している旨を知らせるCG画像を生成する処理を実施する。
なお、非表示領域算出部14、非表示領域内情報検索部15及びCG画像生成部16からCG画像生成手段が構成されている。
The CG
The non-display
画像合成部17は例えばGPU、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、表示画像生成部13により生成された表示画像から非表示領域算出部14により算出された非表示領域内の画像を削除し、CG画像生成部16によりCG画像が生成されていなければ、非表示領域内の画像を削除した表示画像を透過式表示装置1に表示する処理を実施する。CG画像生成部16によりCG画像が生成されていれば、非表示領域内の画像を削除した表示画像に上記CG画像を合成し、その合成画像を透過式表示装置1に表示する処理を実施する。なお、画像合成部17は画像合成手段を構成している。
The
図1の例では、画像合成装置4の構成要素である位置視線情報取得部11、非表示領域設定部12、表示画像生成部13、非表示領域算出部14、非表示領域内情報検索部15、CG画像生成部16及び画像合成部17のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像合成装置4の全部又は一部がコンピュータで構成されていてもよい。
画像合成装置4の全部がコンピュータで構成されている場合、位置視線情報取得部11、非表示領域設定部12、表示画像生成部13、非表示領域算出部14、非表示領域内情報検索部15、CG画像生成部16及び画像合成部17の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
図2はこの発明の実施の形態1による画像合成装置の処理内容(画像合成方法)を示すフローチャートである。
In the example of FIG. 1, the position line-of-sight
When the entire image composition device 4 is configured by a computer, the position / gaze
FIG. 2 is a flowchart showing the processing contents (image composition method) of the image composition apparatus according to Embodiment 1 of the present invention.
次に動作について説明する。
位置・姿勢計測装置2は、操作者の位置と視線方向を検出して、操作者の位置と視線方向を示す位置視線情報を画像合成装置4に出力する。
位置・姿勢計測装置2における位置と視線方向の検出処理自体は公知の技術であるため詳細な説明を省略する。
画像合成装置4の位置視線情報取得部11は、位置・姿勢計測装置2から出力された位置視線情報を取得し、その位置視線情報を表示画像生成部13及び非表示領域算出部14に出力する(ステップST1)。
Next, the operation will be described.
The position / posture measurement apparatus 2 detects the operator's position and line-of-sight direction, and outputs position line-of-sight information indicating the operator's position and line-of-sight direction to the image composition apparatus 4.
Since the position and gaze direction detection processing itself in the position / orientation measurement apparatus 2 is a known technique, a detailed description thereof will be omitted.
The position line-of-sight
非表示領域設定部12は、例えば、操作者の設定操作にしたがって透過式表示装置1内で画像を表示しない非表示領域の設定を受け付け、非表示領域の位置を示す座標情報を非表示領域算出部14に出力する(ステップST2)。
図2の例では、位置視線情報取得部11が、位置・姿勢計測装置2から出力された位置視線情報を取得してから、非表示領域設定部12が、非表示領域の設定を受け付けるようにしているが、位置視線情報取得部11が、位置・姿勢計測装置2から出力された位置視線情報を取得する前に、非表示領域設定部12が、非表示領域の設定を受け付けるようにしてもよい。
For example, the non-display
In the example of FIG. 2, after the position / line-of-sight
表示画像生成部13は、位置視線情報取得部11から位置視線情報を受けると、その位置視線情報が示す操作者の位置を視点として、表示画像データ蓄積部3により蓄積されている表示画像データから、その位置視線情報が示す視線方向の表示画像を生成する(ステップST3)。
操作者の位置を視点とする視線方向の表示画像を生成する処理自体は公知の技術であるが、例えば、表示画像データ蓄積部3により蓄積されている表示画像データがCGの3次元データであれば、操作者の位置と視線方向をCGの3次元データに設定することで、操作者の位置を視点とする視線方向の表示画像を生成することができる。
また、表示画像データ蓄積部3により蓄積されている表示画像データが、複数のカメラにより撮影された操作者を中心とする全周囲画像データであれば、操作者の位置を視点として、その全周囲画像データから視線方向の画像を切り出すことで、操作者の位置を視点とする視線方向の表示画像を生成することができる。
When receiving the position line-of-sight information from the position line-of-sight
The processing itself for generating a display image in the line-of-sight direction with the operator's position as the viewpoint is a known technique. For example, if the display image data stored in the display image data storage unit 3 is CG three-dimensional data. For example, by setting the operator's position and line-of-sight direction in CG three-dimensional data, a display image in the line-of-sight direction with the operator's position as the viewpoint can be generated.
In addition, if the display image data stored by the display image data storage unit 3 is all-around image data centered on an operator photographed by a plurality of cameras, the entire periphery of the operator's position is used as a viewpoint. By cutting out the image in the line of sight from the image data, it is possible to generate a display image in the line of sight with the position of the operator as the viewpoint.
非表示領域算出部14は、位置視線情報取得部11から位置視線情報を受け、非表示領域設定部12から座標情報を受けると、その位置視線情報と座標情報から、透過式表示装置1の非表示領域を算出する。
例えば、非表示領域設定部12が非表示領域を設定する際の操作者の位置及び視線方向(非表示領域設定時の操作者の位置及び視線方向は、例えば、位置・姿勢計測装置2から非表示領域の設定時に計測された位置視線情報を取得することで把握することができる)が、位置視線情報取得部11から出力された位置視線情報が示す操作者の位置及び視線方向と同じであれば(非表示領域設定時の操作者の位置及び視線方向と、位置・姿勢計測装置2による計測時の位置及び視線方向とが一致している場合)、非表示領域設定部12から出力された座標情報が示す位置が、透過式表示装置1の非表示領域の位置となるので、その座標情報が示す位置を透過式表示装置1の非表示領域を示す位置として非表示領域内情報検索部15及び画像合成部17に出力する。
When the non-display
For example, the position and line-of-sight direction of the operator when the non-display
一方、非表示領域設定部12が非表示領域を設定する際の操作者の位置及び視線方向が、位置視線情報取得部11から出力された位置視線情報が示す操作者の位置及び視線方向と異なれば(非表示領域設定時の操作者の位置及び視線方向と、位置・姿勢計測装置2による計測時の位置及び視線方向とが一致していない場合)、位置視線情報取得部11から出力された位置視線情報にしたがって、非表示領域設定部12から出力された座標情報を補正する。
例えば、位置視線情報取得部11から出力された位置視線情報が示す位置と非表示領域設定時の操作者の位置との差分に応じて、非表示領域設定部12から出力された座標情報を平行移動させる処理や、その位置視線情報が示す視線方向と非表示領域設定時の操作者の視線方向との差分に応じて、その座標情報を回転させる処理などを実施することで、非表示領域設定部12から出力された座標情報を補正する。
On the other hand, the position and line-of-sight direction of the operator when the non-display
For example, the coordinate information output from the non-display
非表示領域内情報検索部15は、表示画像生成部13が視線方向の表示画像を生成し、非表示領域算出部14が非表示領域を算出すると、その表示画像における非表示領域内の画像の中に、操作者が認識する必要がある物体が存在しているか否かを判別する(ステップST4)。
例えば、表示画像データ蓄積部3により蓄積されている表示画像データがCGの3次元データであれば、その3次元データを参照して、表示画像内にあるN個のオブジェクトの位置を特定し(Nは0以上の整数)、N個のオブジェクトの中に、非表示領域内に位置しているオブジェクトがあれば、そのオブジェクトは操作者が認識する必要がある物体であると考え、非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していると判断する。
When the display
For example, if the display image data stored by the display image data storage unit 3 is CG three-dimensional data, the positions of N objects in the display image are specified with reference to the three-dimensional data ( N is an integer greater than or equal to 0), and if there is an object located within the non-display area among the N objects, the object is considered to be an object that the operator needs to recognize, and the non-display area It is determined that there is an object that the operator needs to recognize in the image inside.
例えば、表示画像データ蓄積部3により蓄積されている表示画像データが複数のカメラにより撮影された操作者を中心とする全周囲画像データであれば、最新の全周囲画像データと1フレーム前の全周囲画像データとを比較することで移動物体等を検出し、非表示領域内に移動物体等が現れていれば、その移動物体等は操作者が認識する必要がある物体であると考え、非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していると判断する。
なお、図3は非表示領域内に操作者が認識する必要がある物体が存在している場合の一例を示す説明図である。
For example, if the display image data stored in the display image data storage unit 3 is all-around image data centered on an operator photographed by a plurality of cameras, the latest all-around image data and all the frames before one frame are obtained. A moving object is detected by comparing the surrounding image data. If a moving object appears in the non-display area, the moving object is considered an object that the operator needs to recognize. It is determined that an object that the operator needs to recognize exists in the image in the display area.
FIG. 3 is an explanatory diagram showing an example in the case where an object that the operator needs to recognize exists in the non-display area.
CG画像生成部16は、非表示領域内情報検索部15により操作者が認識する必要がある物体が存在していると判別された場合、物体が存在している旨を知らせるCG画像を生成する(ステップST5)。
例えば、物体が存在している旨を知らせるCG画像として、その物体が存在している位置を中心とする円の画像を生成する。
ここで、図4は操作者が認識する必要がある物体が非表示領域内にある例を示す説明図であり、図4の例では、操作者が認識する必要がある物体が、点線の○の位置に存在していることを表している。ただし、点線の○は、説明の便宜上、図4の中に表しているが、表示画像として描画されることはない。
図5は物体が存在している位置を中心とする円の画像の一例を示す説明図であり、図5の例では、点線の○の位置を中心とする円の画像が、非表示領域以外の領域に描画されている。
The CG
For example, as a CG image notifying that an object exists, a circle image centering on the position where the object exists is generated.
Here, FIG. 4 is an explanatory diagram showing an example in which an object that the operator needs to recognize is in the non-display area. In the example of FIG. 4, the object that the operator needs to recognize is a dotted line ○ It is present at the position of. However, for the convenience of explanation, the dotted line ◯ is shown in FIG. 4 but is not drawn as a display image.
FIG. 5 is an explanatory diagram showing an example of a circle image centered on the position where the object exists. In the example of FIG. 5, the circle image centered on the position of the dotted line ○ is other than the non-display area. It is drawn in the area.
ここでは、物体が存在している旨を知らせるCG画像として、その物体が存在している位置を中心とする円の画像を生成する例を示したが、物体が存在している旨を知らせることが可能なCG画像であれば、円の画像に限るものではない。
例えば、図6に示すように、非表示領域内にある物体が存在している位置で交差する複数の直線(図6の例では、2本の直線)の画像を生成するようにしてもよい。
図6の例では、物体が存在している位置で交差する複数の直線の画像が、非表示領域以外の領域に描画されている。
Here, an example of generating a circle image centered on the position where the object exists is shown as a CG image notifying that the object exists, but notifying that the object exists The CG image is not limited to a circle image.
For example, as shown in FIG. 6, an image of a plurality of straight lines (two straight lines in the example of FIG. 6) that intersect at a position where an object in the non-display area exists may be generated. .
In the example of FIG. 6, a plurality of straight line images that intersect at a position where an object exists are drawn in a region other than the non-display region.
画像合成部17は、表示画像生成部13が視線方向の表示画像を生成し、非表示領域算出部14が非表示領域を算出すると、視線方向の表示画像から非表示領域内の画像を削除する(ステップST6,ST8)。以下、視線方向の表示画像から非表示領域内の画像を削除した画像を「削除後表示画像」と称する。
なお、非表示領域内の画像を削除する場合、例えば、非表示領域を黒で塗りつぶすなどの処理を実施する。
When the display
When deleting an image in the non-display area, for example, processing such as filling the non-display area with black is performed.
画像合成部17は、CG画像生成部16によりCG画像が生成されている場合(非表示領域内の画像の中に、操作者が認識する必要がある物体が存在している場合)、その削除後表示画像とCG画像を合成し(ステップST7)、図5又は図6に示すように、その合成画像を透過式表示装置1に表示する(ステップST9)。
一方、CG画像生成部16によりCG画像が生成されていない場合(非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していない場合)、その削除後表示画像を透過式表示装置1に表示する(ステップST9)。
なお、非表示領域内の画像は、上記の通り、透過式表示装置1に表示されないが、透過式表示装置1は透過式の表示機器であるため、非表示領域内の物体が透けて見えることはある。ただし、他の物体等に隠れているなどの状況化では確認することができない。
When the CG image is generated by the CG image generation unit 16 (when an object that the operator needs to recognize exists in the image in the non-display area), the
On the other hand, when the CG image is not generated by the CG image generation unit 16 (when there is no object that the operator needs to recognize in the image in the non-display area), the display image after the deletion is displayed. The image is displayed on the transmissive display device 1 (step ST9).
Note that the image in the non-display area is not displayed on the transmissive display device 1 as described above, but since the transmissive display device 1 is a transmissive display device, an object in the non-display area can be seen through. There is. However, it cannot be confirmed in a situation such as being hidden behind another object.
以上で明らかなように、この実施の形態1によれば、操作者の位置と視線方向を示す位置視線情報を取得する位置視線情報取得部11と、透過式表示装置1内で画像を表示しない非表示領域を設定する非表示領域設定部12と、位置視線情報取得部11により取得された位置視線情報が示す操作者の位置を視点として、表示画像データ蓄積部3により蓄積されている表示画像データから位置視線情報が示す視線方向の表示画像を生成する表示画像生成部13と、表示画像生成部13により生成された表示画像における非表示領域内の画像の中に、操作者が認識する必要がある物体が存在しているか否かを判別する非表示領域内情報検索部15と、非表示領域内情報検索部15により操作者が認識する必要がある物体が存在していると判別された場合、物体が存在している旨を知らせるCG画像を生成するCG画像生成部16とを設け、画像合成部17が、表示画像生成部13により生成された表示画像から非表示領域内の画像を削除し、CG画像生成部16によりCG画像が生成されていなければ、非表示領域内の画像を削除した表示画像を透過式表示装置1に表示し、CG画像生成部16によりCG画像が生成されていれば、非表示領域内の画像を削除した表示画像に上記CG画像を合成し、その合成画像を透過式表示装置1に表示するように構成したので、操作者が認識する必要がある物体が非表示領域に存在していれば、その旨を操作者に知らせることができる効果を奏する。
As is apparent from the above, according to the first embodiment, the position line-of-sight
また、この実施の形態1によれば、CG画像生成部16が、物体が存在している旨を知らせるCG画像として、上記物体が存在している位置を中心とする円の画像を生成し、画像合成部17が、CG画像生成部16により生成された円の画像を非表示領域以外の領域で表示画像と合成するように構成したので、非表示領域内に存在している物体の位置を操作者に知らせることができる効果を奏する。
Further, according to the first embodiment, the CG
また、この実施の形態1によれば、CG画像生成部16が、物体が存在している旨を知らせるCG画像として、上記物体が存在している位置で交差する複数の直線の画像を生成し、画像合成部17が、CG画像生成部16により生成された複数の直線の画像を非表示領域以外の領域で表示画像と合成するように構成したので、非表示領域内に存在している物体の位置を操作者に知らせることができる効果を奏する。
Further, according to the first embodiment, the CG
なお、この実施の形態1では、非表示領域算出部14が、3次元的な情報(位置視線情報取得部11により取得された位置視線情報、非表示領域設定部12により設定された座標情報)を用いて、透過式表示装置1の非表示領域を算出するものを示したが、操作者が非表示としたい領域にマーカーを設置し、HMDである透過式表示装置1にカメラを装着して、画像処理的に非表示領域の視野方向を求めるようにしてもよい。
In the first embodiment, the non-display
実施の形態2.
上記実施の形態1では、CG画像生成部16が、物体が存在している旨を知らせるCG画像として、上記物体が存在している位置を中心とする円の画像(または、上記物体が存在している位置で交差する複数の直線の画像)を生成するものを示したが、上記物体の大きさを把握可能なCG画像を生成するようにしてもよい。
Embodiment 2. FIG.
In the first embodiment, the CG
図7は物体の大きさを把握可能なCG画像の一例を示す説明図である。
図7の例では、非表示領域内に存在している物体の水平方向(図中、横方向)の長さと一致する幅を有する矩形を非表示領域の上下に表示し、その物体の垂直方向(図中、縦方向)の長さと一致する高さを有する矩形を非表示領域の左右に表示している。
なお、4つの矩形は、非表示領域内に存在している物体の位置に対応する位置に配置されており、上下にある矩形の幅と、左右にある矩形の高さから、非表示領域内に存在している物体の大きさを把握することができる。
FIG. 7 is an explanatory diagram showing an example of a CG image capable of grasping the size of an object.
In the example of FIG. 7, a rectangle having a width that matches the horizontal length (horizontal direction in the figure) of an object existing in the non-display area is displayed above and below the non-display area, and the vertical direction of the object A rectangle having a height that matches the length (vertical direction in the figure) is displayed on the left and right sides of the non-display area.
The four rectangles are arranged at positions corresponding to the positions of the objects existing in the non-display area. From the width of the upper and lower rectangles and the height of the left and right rectangles, The size of an object existing in
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .
1 透過式表示装置、2 位置・姿勢計測装置、3 表示画像データ蓄積部、4 画像合成装置、11 位置視線情報取得部(位置視線情報取得手段)、12 非表示領域設定部(非表示領域設定手段)、13 表示画像生成部(表示画像生成手段)、14 非表示領域算出部(CG画像生成手段)、15 非表示領域内情報検索部(CG画像生成手段)、16 CG画像生成部(CG画像生成手段)、17 画像合成部(画像合成手段)。 DESCRIPTION OF SYMBOLS 1 Transmission type display apparatus, 2 Position / attitude measurement apparatus, 3 Display image data storage part, 4 Image composition apparatus, 11 Position gaze information acquisition part (position gaze information acquisition means), 12 Non-display area setting part (Non-display area setting) Means), 13 display image generation section (display image generation means), 14 non-display area calculation section (CG image generation means), 15 non-display area information search section (CG image generation means), 16 CG image generation section (CG Image generation means), 17 image composition section (image composition means).
Claims (5)
画像合成手段は、上記CG画像生成手段により生成された円の画像を非表示領域以外の領域で表示画像と合成する
ことを特徴とする請求項1記載の画像合成装置。 The CG image generation means generates a circle image centered on the position where the object exists, as a CG image notifying that the object exists,
The image synthesizing apparatus according to claim 1, wherein the image synthesizing unit synthesizes the circle image generated by the CG image generating unit with a display image in an area other than the non-display area.
画像合成手段は、上記CG画像生成手段により生成された複数の直線の画像を非表示領域以外の領域で表示画像と合成する
ことを特徴とする請求項1記載の画像合成装置。 The CG image generation means generates a plurality of straight line images intersecting at the position where the object exists as a CG image notifying that the object exists,
The image synthesizing device according to claim 1, wherein the image synthesizing unit synthesizes the plurality of straight line images generated by the CG image generating unit with a display image in an area other than the non-display area.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011166774A JP5683402B2 (en) | 2011-07-29 | 2011-07-29 | Image composition apparatus and image composition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011166774A JP5683402B2 (en) | 2011-07-29 | 2011-07-29 | Image composition apparatus and image composition method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013030059A true JP2013030059A (en) | 2013-02-07 |
JP5683402B2 JP5683402B2 (en) | 2015-03-11 |
Family
ID=47787030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011166774A Active JP5683402B2 (en) | 2011-07-29 | 2011-07-29 | Image composition apparatus and image composition method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5683402B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004178554A (en) * | 2002-09-30 | 2004-06-24 | Canon Inc | Video compositing apparatus and method |
JP2005010998A (en) * | 2003-06-18 | 2005-01-13 | Olympus Corp | Information presentation device and method |
JP2006012042A (en) * | 2004-06-29 | 2006-01-12 | Canon Inc | Image generating method and device |
JP2006085375A (en) * | 2004-09-15 | 2006-03-30 | Canon Inc | Image processing method and image processor |
JP2008131405A (en) * | 2006-11-21 | 2008-06-05 | Sony Corp | Imaging unit, image processing unit, image processing methods for the units, and program making computer execute the method |
-
2011
- 2011-07-29 JP JP2011166774A patent/JP5683402B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004178554A (en) * | 2002-09-30 | 2004-06-24 | Canon Inc | Video compositing apparatus and method |
JP2005010998A (en) * | 2003-06-18 | 2005-01-13 | Olympus Corp | Information presentation device and method |
JP2006012042A (en) * | 2004-06-29 | 2006-01-12 | Canon Inc | Image generating method and device |
JP2006085375A (en) * | 2004-09-15 | 2006-03-30 | Canon Inc | Image processing method and image processor |
JP2008131405A (en) * | 2006-11-21 | 2008-06-05 | Sony Corp | Imaging unit, image processing unit, image processing methods for the units, and program making computer execute the method |
Also Published As
Publication number | Publication date |
---|---|
JP5683402B2 (en) | 2015-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9684169B2 (en) | Image processing apparatus and image processing method for viewpoint determination | |
US10095458B2 (en) | Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system | |
JP4533087B2 (en) | Image processing method and image processing apparatus | |
JP4227561B2 (en) | Image processing method and image processing apparatus | |
US9767611B2 (en) | Information processing apparatus and method for estimating depth values using an approximate plane | |
US9696543B2 (en) | Information processing apparatus and information processing method | |
US20060050070A1 (en) | Information processing apparatus and method for presenting image combined with virtual image | |
JP5709440B2 (en) | Information processing apparatus and information processing method | |
US20150199850A1 (en) | Information processing apparatus and information processing method | |
JP2011028309A5 (en) | ||
JP2009025918A (en) | Image processor and image processing method | |
JP6698972B2 (en) | Virtual object display control device, virtual object display system, virtual object display control method, and virtual object display control program | |
US20190243461A1 (en) | Cable movable region display device, cable movable region display method, and cable movable region display program | |
KR20200003719A (en) | Image processing apparatus, image processing method, and storage medium | |
US20210368152A1 (en) | Information processing apparatus, information processing method, and program | |
JP2006318095A (en) | Image processing method and image processor | |
JP2007004713A (en) | Image processing method and image processor | |
JP2006252468A (en) | Image processing method and image processing system | |
JP2005339377A (en) | Image processing method and image processor | |
JP4689344B2 (en) | Information processing method and information processing apparatus | |
JP4889036B2 (en) | Image processing apparatus and image processing method | |
JP2008217119A (en) | System, image processor and image processing method | |
WO2019163128A1 (en) | Virtual object display control device, virtual object display system, virtual object display control method, and virtual object display control program | |
JP5683402B2 (en) | Image composition apparatus and image composition method | |
JP2009055332A (en) | Video composition and display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141007 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150113 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5683402 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |