JP2018022242A - 複合システム及びターゲットマーカ - Google Patents
複合システム及びターゲットマーカ Download PDFInfo
- Publication number
- JP2018022242A JP2018022242A JP2016151485A JP2016151485A JP2018022242A JP 2018022242 A JP2018022242 A JP 2018022242A JP 2016151485 A JP2016151485 A JP 2016151485A JP 2016151485 A JP2016151485 A JP 2016151485A JP 2018022242 A JP2018022242 A JP 2018022242A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- coordinate system
- mixed reality
- information processing
- hmd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003550 marker Substances 0.000 title claims abstract description 160
- 239000002131 composite material Substances 0.000 title claims abstract description 15
- 230000010365 information processing Effects 0.000 claims abstract description 62
- 238000005259 measurement Methods 0.000 claims abstract description 37
- 239000000523 sample Substances 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000006073 displacement reaction Methods 0.000 abstract 1
- 239000002184 metal Substances 0.000 description 24
- 229910052751 metal Inorganic materials 0.000 description 24
- 238000012545 processing Methods 0.000 description 23
- 238000000034 method Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 239000011324 bead Substances 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
複合現実感装置2は、いわゆるMRシステムであって、図2に示すように、HMD(ヘッドマウントディスプレイ)21と、情報処理部22と、コントローラ23と、を備えている。HMD21は、人の頭部に装着する映像端末であって、現実空間を撮像するカメラ21aと、HMD21の位置・姿勢を検知するためのマーカ21bと、を有している。情報処理部22は、CPUやメモリを備えるコンピュータPC及びソフトウェアで構成され、コンピュータPCとHMD21とが通信可能に接続されている。HDM21は、位置姿勢センサ(図示せず)を備えていても良い。コントローラ23は、情報処理部22と通信可能に接続されており、ユーザが持ち歩くことができ、ユーザの操作に応じて、HMD21での表示画像を変える等の操作を可能とする。複合現実感装置2は、公知のMRシステムであって、後に特開2004−355131号公報及び特開2015−125641号公報の記載を引用して添付し、詳細説明は省略する。
本実施形態の3次元位置計測装置3は、図2に示すように、複数のカメラ31と、プローブ32と、演算部33と、を備えている。なお、カメラ31及び演算部33については、公知の装置であるため、詳細な説明は省略する。カメラ31は、画像を撮像する撮像部311と、赤外線を照射する照射部312と、を備えている。カメラ31は、例えばカメラセンサや光学式カメラである。カメラ31は、例えば部屋の壁面(天井等)に固定されている。なお、各カメラ31は、単独で移動可能なスタンド式(例えば三脚式)でも良い。複数のカメラ31により、撮像対象スペースSが形成されている。
ターゲットマーカ4は、複合システム1で用いられる3次元の座標系を作成(設定)するための部材であり、キャリブレーション用の部材といえる。具体的に、ターゲットマーカ4は、図4に示すように、第一マーカ41と、第一マーカ41上に配置された第二マーカ42と、を備えている。
本発明は、上記実施形態に限られない。例えば、図5に示すように、ターゲットマーカ4の第二マーカ42は、第一マーカ41の台座である連結部40に固定されても良い。連結部40は、ブロック状、シート状、又は棒状でも良い。連結部40は、第一マーカ41と第二マーカ42との間の位置関係を固定している。この例では、第二マーカ42の原点を表す球状反射部材421が、第一マーカ41の読み取り面411上に配置されている。なお、連結部40は、第二マーカ42の台座であっても良い。また、連結部40は、複数の棒状部材であっても良く、当該棒状部材の各先端に球状反射部材421が固定され、当該棒状部材の末端が第一マーカ41に固定されても良い。また、第二マーカ42は、球状の反射マーカに限らず、例えば円盤状の反射マーカでも良い。また、第一マーカ41は、白黒に限らず、HMD21で識別可能な配色が為されたベース部とマーク部(又はマーク部と枠部)とで構成されても良い。また、本実施形態は、ターゲットマーカ4を用いたキャリブレーション方法としても記載できる。また、第二マーカ42を円盤状又は第一マーカ41と同一平面上に配置された円状シールとすることで、読み取りのみで両座標系の原点を一致させることもできる。ターゲットマーカ4による第一座標系と第二座標系の所定のずれは、補正の容易さの観点から、回転ずれを除くもの、すなわちX軸同士、Y軸同士、及びZ軸同士は平行であることが好ましい。
(特開2004−355131号公報からの引用)
複合現実感提示装置(複合現実感装置に相当する)は、現実空間の映像を撮影するための現実映像撮影装置(たとえばビデオカメラ)と、現実映像撮影装置の撮影位置、方向で見たようにCG映像を作り出すCG映像生成装置(例えばコンピュータ)と、両者を合成して表示することのできる映像表示装置(たとえばHMD(ヘッドマウントディスプレイ)またはモニタ)を有する装置である。
また、例えば特開2015−125641号公報に記載のように、MRシステムは、複合現実感(MR)をユーザに提供するシステムである。以下、上記実施形態のHMD21をHMD102とし、カメラ21aを赤外線カメラ104とし、マーカ21bをオプティカルマーカとし、情報処理部22を情報処理装置101として説明する。
22、101:情報処理部、
3:3次元位置計測装置、
Claims (3)
- ユーザに複合現実感を提示する複合現実感装置と、
対象物の3次元座標を計測する3次元位置計測装置と、
ターゲットマーカと、
を備え、
前記複合現実感装置は、ヘッドマウントディスプレイと、前記ヘッドマウントディスプレイを介してユーザに重畳画像である複合現実感を提示する情報処理部と、を有し、
前記3次元位置計測装置は、赤外線照射可能な複数のカメラと、基部、前記基部に設けられた複数の反射マーカ、及び前記基部に設けられた位置特定部を有するプローブと、前記複数のカメラから取得した前記複数の反射マーカに関する撮像データに基づいて、三角測量の原理により、3次元座標における前記位置特定部の位置を演算する演算部と、を有し、
前記ターゲットマーカは、第一マーカと、前記第一マーカ又は前記第一マーカが固定された連結部に固定された第二マーカと、を有し、
前記第一マーカは、前記ヘッドマウントディスプレイを介して前記情報処理部で読み取り可能に構成され、且つ前記複合現実感装置で用いられる座標系である第一座標系の原点及び座標軸を示し、
前記第二マーカは、前記カメラを介して前記演算部で読み取り可能に構成され、且つ前記3次元位置計測装置で用いられる座標系である第二座標系の原点及び座標軸を示し、
前記ターゲットマーカは、前記第一座標系と前記第二座標系とが一致するように、又は前記第一座標系と前記第二座標系とが所定のズレを有するように形成されている複合システム。 - 前記第一マーカは、前記ヘッドマウントディスプレイで読み取る読み取り面を備えたシート状部材であり、
前記第二マーカは、前記読み取り面上に固定されている請求項1に記載の複合システム。 - ヘッドマウントディスプレイ、及び前記ヘッドマウントディスプレイを介してユーザに重畳画像である複合現実感を提示する情報処理部を有し、ユーザに複合現実感を提示する複合現実感装置と、
赤外線照射可能な複数のカメラと、基部、前記基部に設けられた複数の反射マーカ、及び前記基部に設けられた位置特定部を有するプローブと、前記複数のカメラから取得した前記複数の反射マーカに関する撮像データに基づいて、三角測量の原理により、3次元座標における前記位置特定部の位置を演算する演算部と、を有し、対象物の3次元座標を計測する3次元位置計測装置と、
を備えるシステムのキャリブレーションに用いられるターゲットマーカであって、
前記ターゲットマーカは、第一マーカと、前記第一マーカ又は前記第一マーカが固定された連結部に固定された第二マーカと、を有し、
前記第一マーカは、前記ヘッドマウントディスプレイを介して前記情報処理部で読み取り可能に構成され、且つ前記複合現実感装置で用いられる座標系である第一座標系の原点及び座標軸を示し、
前記第二マーカは、前記カメラを介して前記演算部で読み取り可能に構成され、且つ前記3次元位置計測装置で用いられる座標系である第二座標系の原点及び座標軸を示し、
前記ターゲットマーカは、前記第一座標系と前記第二座標系とが一致するように、又は前記第一座標系と前記第二座標系とが所定のズレを有するように形成されているターゲットマーカ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016151485A JP6295296B2 (ja) | 2016-08-01 | 2016-08-01 | 複合システム及びターゲットマーカ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016151485A JP6295296B2 (ja) | 2016-08-01 | 2016-08-01 | 複合システム及びターゲットマーカ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018022242A true JP2018022242A (ja) | 2018-02-08 |
JP6295296B2 JP6295296B2 (ja) | 2018-03-14 |
Family
ID=61164478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016151485A Active JP6295296B2 (ja) | 2016-08-01 | 2016-08-01 | 複合システム及びターゲットマーカ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6295296B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111857364A (zh) * | 2019-04-28 | 2020-10-30 | 广东虚拟现实科技有限公司 | 交互装置、虚拟内容的处理方法、装置以及终端设备 |
WO2021130982A1 (ja) * | 2019-12-26 | 2021-07-01 | 日本電気株式会社 | 情報処理装置、制御方法及び記憶媒体 |
CN114485427A (zh) * | 2022-01-20 | 2022-05-13 | 上汽大众汽车有限公司 | 一种用于车身尺寸测量的测量基准构建方法及*** |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7242229B2 (ja) | 2018-09-27 | 2023-03-20 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002032784A (ja) * | 2000-07-19 | 2002-01-31 | Atr Media Integration & Communications Res Lab | 仮想対象物操作装置および仮想対象物操作方法 |
JP2006048484A (ja) * | 2004-08-06 | 2006-02-16 | Advanced Telecommunication Research Institute International | デザイン支援装置 |
JP2009276996A (ja) * | 2008-05-14 | 2009-11-26 | Canon Inc | 情報処理装置、情報処理方法 |
JP2010259497A (ja) * | 2009-04-30 | 2010-11-18 | Osaka Univ | 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法 |
JP2014056450A (ja) * | 2012-09-13 | 2014-03-27 | Casio Comput Co Ltd | 画像処理装置及びプログラム |
-
2016
- 2016-08-01 JP JP2016151485A patent/JP6295296B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002032784A (ja) * | 2000-07-19 | 2002-01-31 | Atr Media Integration & Communications Res Lab | 仮想対象物操作装置および仮想対象物操作方法 |
JP2006048484A (ja) * | 2004-08-06 | 2006-02-16 | Advanced Telecommunication Research Institute International | デザイン支援装置 |
JP2009276996A (ja) * | 2008-05-14 | 2009-11-26 | Canon Inc | 情報処理装置、情報処理方法 |
JP2010259497A (ja) * | 2009-04-30 | 2010-11-18 | Osaka Univ | 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法 |
JP2014056450A (ja) * | 2012-09-13 | 2014-03-27 | Casio Comput Co Ltd | 画像処理装置及びプログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111857364A (zh) * | 2019-04-28 | 2020-10-30 | 广东虚拟现实科技有限公司 | 交互装置、虚拟内容的处理方法、装置以及终端设备 |
CN111857364B (zh) * | 2019-04-28 | 2023-03-28 | 广东虚拟现实科技有限公司 | 交互装置、虚拟内容的处理方法、装置以及终端设备 |
WO2021130982A1 (ja) * | 2019-12-26 | 2021-07-01 | 日本電気株式会社 | 情報処理装置、制御方法及び記憶媒体 |
JPWO2021130982A1 (ja) * | 2019-12-26 | 2021-07-01 | ||
JP7388451B2 (ja) | 2019-12-26 | 2023-11-29 | 日本電気株式会社 | 情報処理装置、制御方法及びプログラム |
CN114485427A (zh) * | 2022-01-20 | 2022-05-13 | 上汽大众汽车有限公司 | 一种用于车身尺寸测量的测量基准构建方法及*** |
CN114485427B (zh) * | 2022-01-20 | 2023-09-22 | 上汽大众汽车有限公司 | 一种用于车身尺寸测量的测量基准构建方法及*** |
Also Published As
Publication number | Publication date |
---|---|
JP6295296B2 (ja) | 2018-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11928838B2 (en) | Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display | |
KR102255031B1 (ko) | 부정합 검출 시스템, 복합 현실 시스템, 프로그램 및 부정합 검출 방법 | |
JP4739002B2 (ja) | 画像処理方法、画像処理装置 | |
US10229539B2 (en) | Component assembly work support system and component assembly method | |
EP1708139B1 (en) | Calibration method and apparatus | |
JP4677281B2 (ja) | 画像処理方法、画像処理装置 | |
JP6295296B2 (ja) | 複合システム及びターゲットマーカ | |
JP2015125641A (ja) | 情報処理装置、その制御方法、及びプログラム | |
US10410419B2 (en) | Laser projection system with video overlay | |
JP2002092647A (ja) | 情報呈示システム及びモデル誤差検出システム | |
TW201335888A (zh) | Ar影像處理裝置及方法 | |
WO2018113759A1 (zh) | 基于定位***和ar/mr的探测***及探测方法 | |
JP7005224B2 (ja) | 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体 | |
JP2007064684A (ja) | マーカ配置補助方法及び装置 | |
JP2019008623A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
JP2018106661A (ja) | 不整合検出システム、複合現実システム、プログラム及び不整合検出方法 | |
JP2020052790A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2016122392A (ja) | 情報処理装置、情報処理システム、その制御方法及びプログラム | |
JP6364389B2 (ja) | 検査方法及び検査システム | |
JP2022058753A (ja) | 情報処理装置、情報処理方法及びプログラム | |
US9348542B2 (en) | Display processing apparatus, display processing method, and computer-readable recording medium | |
JP6800599B2 (ja) | 情報処理装置、方法及びプログラム | |
JP5300645B2 (ja) | 三次元温度分布表示装置、テクスチャ作成装置および三次元温度分布表示方法 | |
JP6929037B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2015121892A (ja) | 画像処理装置、画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6295296 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |