JP2013030059A - 画像合成装置及び画像合成方法 - Google Patents
画像合成装置及び画像合成方法 Download PDFInfo
- Publication number
- JP2013030059A JP2013030059A JP2011166774A JP2011166774A JP2013030059A JP 2013030059 A JP2013030059 A JP 2013030059A JP 2011166774 A JP2011166774 A JP 2011166774A JP 2011166774 A JP2011166774 A JP 2011166774A JP 2013030059 A JP2013030059 A JP 2013030059A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- display area
- line
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 title description 14
- 239000000203 mixture Substances 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 19
- 239000002131 composite material Substances 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims 2
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 13
- 238000013500 data storage Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【解決手段】非表示領域内情報検索部15により操作者が認識する必要がある物体が存在していると判別された場合、物体が存在している旨を知らせるCG画像を生成するCG画像生成部16を設け、画像合成部17が、表示画像生成部13により生成された表示画像から非表示領域内の画像を削除し、CG画像生成部16によりCG画像が生成されていれば、非表示領域内の画像を削除した表示画像に当該CG画像を合成し、その合成画像を透過式表示装置1に表示する。
【選択図】図1
Description
また、産業の分野では、工業製品の組み立て風景の映像に、作業内容などを示す情報が重畳されている合成画像を透過式表示装置に表示する画像合成装置などが想定される。
以下の特許文献1には、操作者が注目する領域を非表示領域に設定する手段を備え、非表示領域内にはCG画像が重畳されないようにしている画像合成装置が開示されている。
例えば、操作者が注目する領域として、操作者の作業に影響を及ぼす領域(例えば、計器類が存在している領域)などが想定され、このような領域にはCG画像が重畳されなくなる。
図1はこの発明の実施の形態1による画像合成装置を示す構成図である。
図1において、透過式表示装置1は例えばHMD(Head Mounted Display)などが該当し、画像合成装置4により生成された合成画像等を表示する表示機器である。
位置・姿勢計測装置2は透過式表示装置1に内蔵されており、操作者の位置と視線方向を検出して、操作者の位置と視線方向を示す位置視線情報を画像合成装置4に出力する装置である。
位置・姿勢計測装置2は、例えば、地磁気センサ、ジャイロや光学式のセンサなどから構成されている。
画像合成装置4は操作者の視線方向の表示画像を生成し、その表示画像を透過式表示装置1に表示する装置である。
この実施の形態1では、非表示領域設定部12が、キーボードやマウスなどのマンマシンインタフェースなどから構成されているものを想定しているが、外部から送信された設定情報を受信する通信インタフェースなどから構成されていてもよく、この場合には、その設定情報にしたがって透過式表示装置1内で画像を表示しない非表示領域の設定処理を実施する。
非表示領域内情報検索部15は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、表示画像生成部13より生成された表示画像における非表示領域内の画像の中に、操作者が認識する必要がある物体が存在しているか否かを判別する処理を実施する。
なお、非表示領域算出部14、非表示領域内情報検索部15及びCG画像生成部16からCG画像生成手段が構成されている。
画像合成装置4の全部がコンピュータで構成されている場合、位置視線情報取得部11、非表示領域設定部12、表示画像生成部13、非表示領域算出部14、非表示領域内情報検索部15、CG画像生成部16及び画像合成部17の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
図2はこの発明の実施の形態1による画像合成装置の処理内容(画像合成方法)を示すフローチャートである。
位置・姿勢計測装置2は、操作者の位置と視線方向を検出して、操作者の位置と視線方向を示す位置視線情報を画像合成装置4に出力する。
位置・姿勢計測装置2における位置と視線方向の検出処理自体は公知の技術であるため詳細な説明を省略する。
画像合成装置4の位置視線情報取得部11は、位置・姿勢計測装置2から出力された位置視線情報を取得し、その位置視線情報を表示画像生成部13及び非表示領域算出部14に出力する(ステップST1)。
図2の例では、位置視線情報取得部11が、位置・姿勢計測装置2から出力された位置視線情報を取得してから、非表示領域設定部12が、非表示領域の設定を受け付けるようにしているが、位置視線情報取得部11が、位置・姿勢計測装置2から出力された位置視線情報を取得する前に、非表示領域設定部12が、非表示領域の設定を受け付けるようにしてもよい。
操作者の位置を視点とする視線方向の表示画像を生成する処理自体は公知の技術であるが、例えば、表示画像データ蓄積部3により蓄積されている表示画像データがCGの3次元データであれば、操作者の位置と視線方向をCGの3次元データに設定することで、操作者の位置を視点とする視線方向の表示画像を生成することができる。
また、表示画像データ蓄積部3により蓄積されている表示画像データが、複数のカメラにより撮影された操作者を中心とする全周囲画像データであれば、操作者の位置を視点として、その全周囲画像データから視線方向の画像を切り出すことで、操作者の位置を視点とする視線方向の表示画像を生成することができる。
例えば、非表示領域設定部12が非表示領域を設定する際の操作者の位置及び視線方向(非表示領域設定時の操作者の位置及び視線方向は、例えば、位置・姿勢計測装置2から非表示領域の設定時に計測された位置視線情報を取得することで把握することができる)が、位置視線情報取得部11から出力された位置視線情報が示す操作者の位置及び視線方向と同じであれば(非表示領域設定時の操作者の位置及び視線方向と、位置・姿勢計測装置2による計測時の位置及び視線方向とが一致している場合)、非表示領域設定部12から出力された座標情報が示す位置が、透過式表示装置1の非表示領域の位置となるので、その座標情報が示す位置を透過式表示装置1の非表示領域を示す位置として非表示領域内情報検索部15及び画像合成部17に出力する。
例えば、位置視線情報取得部11から出力された位置視線情報が示す位置と非表示領域設定時の操作者の位置との差分に応じて、非表示領域設定部12から出力された座標情報を平行移動させる処理や、その位置視線情報が示す視線方向と非表示領域設定時の操作者の視線方向との差分に応じて、その座標情報を回転させる処理などを実施することで、非表示領域設定部12から出力された座標情報を補正する。
例えば、表示画像データ蓄積部3により蓄積されている表示画像データがCGの3次元データであれば、その3次元データを参照して、表示画像内にあるN個のオブジェクトの位置を特定し(Nは0以上の整数)、N個のオブジェクトの中に、非表示領域内に位置しているオブジェクトがあれば、そのオブジェクトは操作者が認識する必要がある物体であると考え、非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していると判断する。
なお、図3は非表示領域内に操作者が認識する必要がある物体が存在している場合の一例を示す説明図である。
例えば、物体が存在している旨を知らせるCG画像として、その物体が存在している位置を中心とする円の画像を生成する。
ここで、図4は操作者が認識する必要がある物体が非表示領域内にある例を示す説明図であり、図4の例では、操作者が認識する必要がある物体が、点線の○の位置に存在していることを表している。ただし、点線の○は、説明の便宜上、図4の中に表しているが、表示画像として描画されることはない。
図5は物体が存在している位置を中心とする円の画像の一例を示す説明図であり、図5の例では、点線の○の位置を中心とする円の画像が、非表示領域以外の領域に描画されている。
例えば、図6に示すように、非表示領域内にある物体が存在している位置で交差する複数の直線(図6の例では、2本の直線)の画像を生成するようにしてもよい。
図6の例では、物体が存在している位置で交差する複数の直線の画像が、非表示領域以外の領域に描画されている。
なお、非表示領域内の画像を削除する場合、例えば、非表示領域を黒で塗りつぶすなどの処理を実施する。
一方、CG画像生成部16によりCG画像が生成されていない場合(非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していない場合)、その削除後表示画像を透過式表示装置1に表示する(ステップST9)。
なお、非表示領域内の画像は、上記の通り、透過式表示装置1に表示されないが、透過式表示装置1は透過式の表示機器であるため、非表示領域内の物体が透けて見えることはある。ただし、他の物体等に隠れているなどの状況化では確認することができない。
上記実施の形態1では、CG画像生成部16が、物体が存在している旨を知らせるCG画像として、上記物体が存在している位置を中心とする円の画像(または、上記物体が存在している位置で交差する複数の直線の画像)を生成するものを示したが、上記物体の大きさを把握可能なCG画像を生成するようにしてもよい。
図7の例では、非表示領域内に存在している物体の水平方向(図中、横方向)の長さと一致する幅を有する矩形を非表示領域の上下に表示し、その物体の垂直方向(図中、縦方向)の長さと一致する高さを有する矩形を非表示領域の左右に表示している。
なお、4つの矩形は、非表示領域内に存在している物体の位置に対応する位置に配置されており、上下にある矩形の幅と、左右にある矩形の高さから、非表示領域内に存在している物体の大きさを把握することができる。
Claims (5)
- 操作者の位置と視線方向を示す位置視線情報を取得する位置視線情報取得手段と、透過式表示装置内で画像を表示しない非表示領域を設定する非表示領域設定手段と、上記位置視線情報取得手段により取得された位置視線情報が示す操作者の位置を視点として、蓄積されている表示画像データから上記位置視線情報が示す視線方向の表示画像を生成する表示画像生成手段と、上記表示画像生成手段により生成された表示画像における上記非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していれば、上記物体が存在している旨を知らせるCG画像を生成するCG画像生成手段と、上記表示画像生成手段により生成された表示画像から上記非表示領域内の画像を削除し、上記CG画像生成手段によりCG画像が生成されていなければ、上記非表示領域内の画像を削除した表示画像を上記透過式表示装置に表示し、上記CG画像生成手段によりCG画像が生成されていれば、上記非表示領域内の画像を削除した表示画像に上記CG画像を合成し、その合成画像を上記透過式表示装置に表示する画像合成手段とを備えた画像合成装置。
- CG画像生成手段は、物体が存在している旨を知らせるCG画像として、上記物体が存在している位置を中心とする円の画像を生成し、
画像合成手段は、上記CG画像生成手段により生成された円の画像を非表示領域以外の領域で表示画像と合成する
ことを特徴とする請求項1記載の画像合成装置。 - CG画像生成手段は、物体が存在している旨を知らせるCG画像として、上記物体が存在している位置で交差する複数の直線の画像を生成し、
画像合成手段は、上記CG画像生成手段により生成された複数の直線の画像を非表示領域以外の領域で表示画像と合成する
ことを特徴とする請求項1記載の画像合成装置。 - CG画像生成手段は、物体の大きさを把握可能なCG画像を生成することを特徴とする請求項1記載の画像合成装置。
- 位置視線情報取得手段が、操作者の位置と視線方向を示す位置視線情報を取得する位置視線情報取得処理ステップと、表示画像生成手段が、透過式表示装置内で画像を表示しない非表示領域を設定する非表示領域設定処理ステップと、表示画像生成手段が、上記位置視線情報取得処理ステップで取得された位置視線情報が示す操作者の位置を視点として、蓄積されている表示画像データから上記位置視線情報が示す視線方向の表示画像を生成する表示画像生成処理ステップと、CG画像生成手段が、上記表示画像生成処理ステップで生成された表示画像における上記非表示領域内の画像の中に、操作者が認識する必要がある物体が存在していれば、上記物体が存在している旨を知らせるCG画像を生成するCG画像生成処理ステップと、画像合成手段が、上記表示画像生成処理ステップで生成された表示画像から上記非表示領域内の画像を削除し、上記CG画像生成処理ステップでCG画像が生成されていなければ、上記非表示領域内の画像を削除した表示画像を上記透過式表示装置に表示し、上記CG画像生成処理ステップでCG画像が生成されていれば、上記非表示領域内の画像を削除した表示画像に上記CG画像を合成し、その合成画像を上記透過式表示装置に表示する画像合成処理ステップとを備えた画像合成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011166774A JP5683402B2 (ja) | 2011-07-29 | 2011-07-29 | 画像合成装置及び画像合成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011166774A JP5683402B2 (ja) | 2011-07-29 | 2011-07-29 | 画像合成装置及び画像合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013030059A true JP2013030059A (ja) | 2013-02-07 |
JP5683402B2 JP5683402B2 (ja) | 2015-03-11 |
Family
ID=47787030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011166774A Active JP5683402B2 (ja) | 2011-07-29 | 2011-07-29 | 画像合成装置及び画像合成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5683402B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004178554A (ja) * | 2002-09-30 | 2004-06-24 | Canon Inc | 映像合成装置及び映像合成方法 |
JP2005010998A (ja) * | 2003-06-18 | 2005-01-13 | Olympus Corp | 情報呈示装置及び情報呈示方法 |
JP2006012042A (ja) * | 2004-06-29 | 2006-01-12 | Canon Inc | 画像生成方法及び装置 |
JP2006085375A (ja) * | 2004-09-15 | 2006-03-30 | Canon Inc | 画像処理方法、画像処理装置 |
JP2008131405A (ja) * | 2006-11-21 | 2008-06-05 | Sony Corp | 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム |
-
2011
- 2011-07-29 JP JP2011166774A patent/JP5683402B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004178554A (ja) * | 2002-09-30 | 2004-06-24 | Canon Inc | 映像合成装置及び映像合成方法 |
JP2005010998A (ja) * | 2003-06-18 | 2005-01-13 | Olympus Corp | 情報呈示装置及び情報呈示方法 |
JP2006012042A (ja) * | 2004-06-29 | 2006-01-12 | Canon Inc | 画像生成方法及び装置 |
JP2006085375A (ja) * | 2004-09-15 | 2006-03-30 | Canon Inc | 画像処理方法、画像処理装置 |
JP2008131405A (ja) * | 2006-11-21 | 2008-06-05 | Sony Corp | 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5683402B2 (ja) | 2015-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9684169B2 (en) | Image processing apparatus and image processing method for viewpoint determination | |
US10095458B2 (en) | Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system | |
JP4533087B2 (ja) | 画像処理方法、画像処理装置 | |
JP4227561B2 (ja) | 画像処理方法、画像処理装置 | |
US9767611B2 (en) | Information processing apparatus and method for estimating depth values using an approximate plane | |
US9696543B2 (en) | Information processing apparatus and information processing method | |
US20060050070A1 (en) | Information processing apparatus and method for presenting image combined with virtual image | |
JP5709440B2 (ja) | 情報処理装置、情報処理方法 | |
US20150199850A1 (en) | Information processing apparatus and information processing method | |
JP2011028309A5 (ja) | ||
JP2005049996A (ja) | 画像表示方法及び装置 | |
JP2009025918A (ja) | 画像処理装置、画像処理方法 | |
JP6698972B2 (ja) | 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム | |
US20190243461A1 (en) | Cable movable region display device, cable movable region display method, and cable movable region display program | |
US20210368152A1 (en) | Information processing apparatus, information processing method, and program | |
JP2006318095A (ja) | 画像処理方法、画像処理装置 | |
JP2007004713A (ja) | 画像処理方法、画像処理装置 | |
KR20200003719A (ko) | 화상 처리장치, 화상 처리방법, 및 기억매체 | |
JP2006252468A (ja) | 画像処理方法、画像処理装置 | |
JP2005339377A (ja) | 画像処理方法、画像処理装置 | |
JP4889036B2 (ja) | 画像処理装置、画像処理方法 | |
JP2008217119A (ja) | システム、画像処理装置、画像処理方法 | |
JP4689344B2 (ja) | 情報処理方法、情報処理装置 | |
WO2019163128A1 (ja) | 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム | |
JP5683402B2 (ja) | 画像合成装置及び画像合成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141007 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150113 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5683402 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |