JP2015194975A - Electronic device, display method, program and communication system - Google Patents
Electronic device, display method, program and communication system Download PDFInfo
- Publication number
- JP2015194975A JP2015194975A JP2014073431A JP2014073431A JP2015194975A JP 2015194975 A JP2015194975 A JP 2015194975A JP 2014073431 A JP2014073431 A JP 2014073431A JP 2014073431 A JP2014073431 A JP 2014073431A JP 2015194975 A JP2015194975 A JP 2015194975A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- imaging unit
- virtual
- marker
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、電子機器、表示方法、プログラム及び通信システムに関する。 The present invention relates to an electronic device, a display method, a program, and a communication system.
近年、AR(augmented reality)が注目を集めている。ARとは、現実世界に何らかの情報を追加することで、目の前にある現実以上の情報を提示する技術や、その技術によって表される環境そのものを含めた状態をいう。 In recent years, AR (augmented reality) has attracted attention. AR refers to a state that includes a technique for presenting information beyond the reality in front of the eyes by adding some information to the real world and an environment itself represented by the technique.
また、ARは、付加情報を重畳する位置の算出方法により、ロケーションベース型とビジョンベース型に分類される。ロケーションベース型は、GPS等から取得可能な位置情報を利用して情報提示を行うものをいう。ビジョンベース型とは、画像認識や空間認識等の技術を応用して直接目の前にある環境を認識し、解析することで情報提示を行うものをいう。 The AR is classified into a location-based type and a vision-based type according to a method for calculating a position where additional information is superimposed. The location-based type refers to information presentation using position information obtainable from GPS or the like. The vision-based type refers to a system that presents information by recognizing and analyzing the environment directly in front of the eyes by applying techniques such as image recognition and space recognition.
また、ビジョンベース型は、マーカーと呼ばれる決まった形の図形を認識することによって情報を提示するマーカー型と、決まった形の図形ではなく、現実の環境に実在する物体や空間そのものを認識、識別して、それに基づいて提示位置を特定し情報を出現させるマーカーレス型に分類される。
精度や室内利用の観点からビジョンベースが優位であるとされている。
The vision-based type recognizes and identifies objects and spaces that exist in the real environment, not marker types that present information by recognizing fixed shapes called markers. Then, based on this, the presentation position is specified, and it is classified into a markerless type in which information appears.
The vision base is said to be superior in terms of accuracy and indoor use.
しかし、マーカー型は、カメラ撮影画像にマーカーが入ることが必須となるが、設備によっては情報の重畳先近辺にマーカーを用意できない場合が課題となる。一方、マーカーレス型は、空間認識や物体の認識において、計算量が多くなり、ハードウェア的な能力の要求が高くなる等の課題がある。
本発明は、上記課題を解決し、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる電子機器、表示方法、プログラム及び通信システムを提供することを目的とする。
However, in the marker type, it is indispensable that a marker is included in a camera-captured image, but there is a problem that a marker cannot be prepared in the vicinity of an information superimposition destination depending on equipment. On the other hand, the markerless type has problems such as an increase in calculation amount and a demand for hardware capability in space recognition and object recognition.
The present invention solves the above-described problems, and has an advantage of a marker type, and an electronic device, a display method, a program, and a communication system capable of presenting information without being limited to the marker installation position, which is an advantage of a markerless type The purpose is to provide.
本発明に係る電子機器は、撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得部と、前記撮像画像取得部で取得された前記撮像画像を表示する表示部と、前記撮像画像取得部で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出部と、前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出部と、前記位置算出部による算出結果に基づいて、前記撮像部の内部パラメータ(例えば、焦点距離、画像サイズ、歪係数等)により設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置部と、現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部と、前記手順を選択する選択部と、前記選択部により選択されている手順に基づいて、前記記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出部と、前記読出部により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング部と、前記表示部に表示されている前記撮像画像に前記レンダリング部で撮像した結果を重畳する重畳部と、を備える構成である。 An electronic apparatus according to the present invention includes a captured image acquisition unit that acquires a captured image obtained by imaging a real space by an imaging unit, a display unit that displays the captured image acquired by the captured image acquisition unit, A detection unit that detects and identifies a predetermined marker included in the captured image acquired by the captured image acquisition unit; and a relative position between the imaging unit and the predetermined marker in the real space; Based on the calculation result of the position calculation unit for calculating the posture and the position calculation unit, the virtual imaging unit set by the internal parameters of the imaging unit (for example, focal length, image size, distortion coefficient, etc.) A virtual imaging unit arrangement unit arranged at a predetermined location, each procedure for operating a predetermined device arranged in the real space, a virtual object to be displayed for each procedure, and the virtual object A storage unit having a table associated with arrangement information; a selection unit that selects the procedure; and a virtual object corresponding to the storage unit based on the procedure selected by the selection unit, A reading unit that reads out the position information; a rendering unit that arranges the virtual object read out by the reading unit in the virtual space according to the position information; and the virtual imaging unit images the inside of the virtual space; and the display unit And a superimposing unit that superimposes a result captured by the rendering unit on the captured image displayed on the screen.
かかる構成によれば、電子機器は、手順ごとに異なる仮想オブジェクトを表示部に表示される撮像画像に重畳して表示できるので、所定の機器(例えば、放送設備)の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。 According to such a configuration, the electronic device can display different virtual objects for each procedure by superimposing them on the captured image displayed on the display unit. Therefore, the operation of a predetermined device (for example, broadcasting equipment) It can be assisted by the object and can be used to reduce operational errors.
電子機器では、前記撮像部は、第1撮像部と第2撮像部とによって構成されており、前記第1撮像部は、前記所定のマーカーを撮像し、前記第2撮像部は、前記所定の機器を撮像し、前記表示部は、前記第2撮像部によって撮像された撮像画像を表示し、前記検出部は、前記第1撮像部によって撮像された撮像画像に含まれている所定のマーカーを検出し、前記位置算出部は、前記現実空間において、前記第1撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、当該算出結果と、前記第1撮像部及び前記第2撮像部の相対的な位置及び姿勢とに基づいて、前記第2撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、前記仮想撮像部配置部は、前記位置算出部による算出結果に基づいて、前記第2撮像部の内部パラメータ(例えば、焦点距離、画像サイズ、歪係数等)により設定される仮想撮像部を仮想空間内の所定の場所に配置する構成でもよい。 In the electronic device, the imaging unit includes a first imaging unit and a second imaging unit, the first imaging unit images the predetermined marker, and the second imaging unit includes the predetermined imaging unit. The device captures an image, the display unit displays a captured image captured by the second image capturing unit, and the detection unit displays a predetermined marker included in the captured image captured by the first image capturing unit. And the position calculating unit calculates a relative position and orientation of the first imaging unit and the predetermined marker in the real space, and calculates the calculation result, the first imaging unit, and the second imaging unit. Based on the relative position and orientation of the imaging unit, the relative position and orientation of the second imaging unit and the predetermined marker are calculated, and the virtual imaging unit arrangement unit is calculated by the position calculation unit Based on the result, an internal parameter of the second imaging unit is determined. Meter (e.g., focal length, image size, distortion factor, etc.) may be configured to place the virtual image pickup section to a predetermined location in the virtual space set by.
かかる構成によれば、電子機器は、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる。さらに、電子機器は、互いの位置関係を既知とした撮像部(カメラ)を複数台用意し、情報重畳先を撮影する第2撮像部にマーカーが映ってない場合でも、第1撮像部で撮影しているマーカーから、第2撮像部の位置及び姿勢が計算できるので、所定の機器(例えば、放送設備)の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。 According to this configuration, the electronic device can present information without being limited to the marker installation position, which is an advantage of the markerless type, while having the advantage of the marker type. Furthermore, the electronic apparatus prepares a plurality of imaging units (cameras) whose positional relationships are known, and the first imaging unit captures images even when no marker is displayed on the second imaging unit that captures the information superimposition destination. Since the position and orientation of the second imaging unit can be calculated from the marker that is being operated, the operation of a predetermined device (for example, broadcasting equipment) can be assisted by a virtual object in each procedure, and operation errors can be reduced. Can be useful.
本発明に係る表示方法は、撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得工程と、前記撮像画像取得工程で取得された前記撮像画像を表示部に表示する表示工程と、前記撮像画像取得工程で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出工程と、前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出工程と、前記位置算出工程による算出結果に基づいて、前記撮像部の内部パラメータ(例えば、焦点距離、画像サイズ、歪係数等)により設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置工程と、現実空間に配置されている所定の機器を操作するための各手順を選択する選択工程と、前記選択工程により選択されている手順に基づいて、前記各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出工程と、前記読出工程により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング工程と、前記表示部に表示されている前記撮像画像に前記レンダリング工程で撮像した結果を重畳する重畳工程と、を備える構成である。 The display method according to the present invention includes a captured image acquisition step of acquiring a captured image obtained by imaging a real space by an imaging unit, and a display for displaying the captured image acquired in the captured image acquisition step on the display unit. A detection step of detecting and identifying a predetermined marker included in the captured image acquired in the captured image acquisition step, and a relative relationship between the imaging unit and the predetermined marker in the real space A virtual image capturing unit set by an internal parameter (for example, focal length, image size, distortion coefficient, etc.) of the image capturing unit based on a position calculation step for calculating a correct position and orientation and a calculation result of the position calculating step. A virtual imaging unit placement step for placing in a predetermined place in the virtual space, a selection step for selecting each procedure for operating a predetermined device placed in the real space, and the selection step Based on the selected procedure, the corresponding virtual object is referred to by referring to a storage unit having a table in which each procedure, the virtual object to be displayed for each procedure, and the placement information of the virtual object are associated with each other. A reading step of reading out the position information, a rendering step of arranging the virtual object read out in the reading step in the virtual space according to the position information, and imaging the virtual space by the virtual imaging unit, and the display And a superimposing step of superimposing a result captured in the rendering step on the captured image displayed in the section.
かかる構成によれば、表示方法は、手順ごとに異なる仮想オブジェクトを表示部に表示される撮像画像に重畳して表示できるので、所定の機器(例えば、放送設備)の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。 According to such a configuration, since the display method can display different virtual objects for each procedure in a superimposed manner on the captured image displayed on the display unit, the operation of a predetermined device (for example, broadcasting equipment) It can be assisted by the object and can be used to reduce operational errors.
本発明に係るプログラムは、コンピュータにより、撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得工程と、前記撮像画像取得工程で取得された前記撮像画像を表示部に表示する表示工程と、前記撮像画像取得工程で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出工程と、前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出工程と、前記位置算出工程による算出結果に基づいて、前記撮像部の内部パラメータ(例えば、焦点距離、画像サイズ、歪係数等)により設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置工程と、現実空間に配置されている所定の機器を操作するための各手順を選択する選択工程と、前記選択工程により選択されている手順に基づいて、前記各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出工程と、前記読出工程により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング工程と、前記表示部に表示されている前記撮像画像に前記レンダリング工程で撮像した結果を重畳する重畳工程と、を実行するためのものである。 The program according to the present invention includes a captured image acquisition step of acquiring a captured image obtained by imaging a real space by an imaging unit by a computer and displaying the captured image acquired in the captured image acquisition step on a display unit. A detecting step for detecting and identifying a predetermined marker included in the captured image acquired in the captured image acquisition step, and the imaging unit and the predetermined marker in the real space A virtual imaging set by a position calculation step for calculating a relative position and orientation, and internal parameters (for example, focal length, image size, distortion coefficient, etc.) of the imaging unit based on the calculation result of the position calculation step A virtual imaging unit placement step for placing a part at a predetermined location in the virtual space, and a selection step for selecting each procedure for operating a predetermined device placed in the real space Based on the procedure selected in the selection step, refer to a storage unit having a table in which each procedure, a virtual object to be displayed for each procedure, and arrangement information of the virtual object are associated with each other. A reading process for reading out the corresponding virtual object and its position information, and a rendering in which the virtual object read in the reading process is arranged in the virtual space according to the position information, and the virtual imaging unit captures an image in the virtual space And a superimposing step of superimposing a result captured in the rendering step on the captured image displayed on the display unit.
かかる構成によれば、プログラムは、手順ごとに異なる仮想オブジェクトを表示部に表示される撮像画像に重畳して表示できるので、所定の機器(例えば、放送設備)の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。 According to such a configuration, the program can display different virtual objects for each procedure by superimposing them on the captured image displayed on the display unit. Therefore, for each operation of a predetermined device (for example, broadcasting equipment), the virtual object is displayed in each procedure. Can help to reduce operational errors and the like.
本発明に係る通信システムは、第1電子機器と第2電子機器とがネットワークを介して接続される通信システムにおいて、前記第1電子機器は、第3撮像部により現実空間を撮像して得られた撮像画像を取得する第1撮像画像取得部と、前記第1撮像画像取得部で取得された前記撮像画像に含まれている第1マーカーを検出し、識別する第1検出部と、前記第2電子機器に備えられている第4撮像部と、当該第4撮像部に固定されている第2マーカーとの相対的な位置及び姿勢が記憶されている第1記憶部と、前記第1記憶部から前記第4撮像部と前記第2マーカーとの相対的な位置及び姿勢を読み出す第1読出部と、前記第3撮像部と、前記第2電子機器に備えられている第4撮像部に固定されている第2マーカーとの相対的な位置及び姿勢の逆行列を算出し、前記第3撮像部と前記第1マーカーとの相対的な位置及び姿勢を算出する第1位置算出部と、前記第1位置算出部による算出結果と、前記第1読出部で読み出した前記第4撮像部と前記第2マーカーとの相対的な位置及び姿勢を位置関係情報とし、前記第1検出部で検出した前記第1マーカーの識別結果とともに前記第2電子機器に送信する第1送受信部とを備え、前記第2電子機器は、前記第1送受信部から送信されてきた前記位置関係情報と前記第1マーカーの識別結果を受信する第2送受信部と、前記第2マーカーが固定されている第4撮像部と、前記第4撮像部で取得された撮像画像を表示する第2表示部と、前記位置関係情報に基づいて、前記第4撮像部の内部パラメータ(例えば、焦点距離、画像サイズ、歪係数等)により設定される仮想撮像部を仮想空間内の所定の場所に配置する第2仮想撮像部配置部と、現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する第2記憶部と、前記手順を選択する第2選択部と、前記第2送受信部で受信した前記第1マーカーの識別結果と前記第2選択部により選択されている手順に基づいて、前記第2記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す第2読出部と、前記第2読出部により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像する第2レンダリング部と、前記第2表示部に表示されている前記撮像画像に前記第2レンダリング部で撮像した結果を重畳する第2重畳部と、を備える構成である。 The communication system according to the present invention is a communication system in which a first electronic device and a second electronic device are connected via a network, and the first electronic device is obtained by imaging a real space with a third imaging unit. A first captured image acquisition unit that acquires the captured image, a first detection unit that detects and identifies a first marker included in the captured image acquired by the first captured image acquisition unit, and the first A first storage unit storing relative positions and orientations of a fourth imaging unit provided in the two electronic devices and a second marker fixed to the fourth imaging unit; and the first storage A first reading unit that reads a relative position and orientation of the fourth imaging unit and the second marker from the unit, a third imaging unit, and a fourth imaging unit provided in the second electronic device. Position and figure relative to the fixed second marker , A first position calculation unit that calculates a relative position and orientation of the third imaging unit and the first marker, a calculation result by the first position calculation unit, and the first reading The relative position and orientation of the fourth imaging unit and the second marker read by the unit are used as positional relationship information, together with the identification result of the first marker detected by the first detection unit, in the second electronic device A first transmitting / receiving unit that transmits the second electronic device, the second transmitting / receiving unit receiving the positional relationship information transmitted from the first transmitting / receiving unit and the identification result of the first marker; A second imaging unit in which two markers are fixed; a second display unit that displays a captured image acquired by the fourth imaging unit; and an internal parameter of the fourth imaging unit based on the positional relationship information ( For example, focal length, image size, A second virtual imaging unit arrangement unit that arranges a virtual imaging unit set by a coefficient or the like at a predetermined location in the virtual space, each procedure for operating a predetermined device arranged in the real space, and a procedure Received by the second storage unit having a table in which the virtual object to be displayed for each and the placement information of the virtual object are associated with each other, the second selection unit for selecting the procedure, and the second transmission / reception unit Based on the identification result of the first marker and the procedure selected by the second selection unit, the second storage unit refers to the second storage unit and reads out the corresponding virtual object and its position information; A second rendering unit that arranges the virtual object read by the two reading unit in the virtual space according to the position information, and images the virtual space by the virtual imaging unit; and the second display A second superimposing unit that superimposes a result captured by the second rendering unit on the captured image displayed on the unit.
かかる構成によれば、通信システムは、ネットワークを介して第1電子機器と第2電子機器との間において、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる。さらに、通信システムは、手順ごとに異なる仮想オブジェクトを表示部に表示される撮像画像に重畳して表示できるので、所定の機器(例えば、放送設備)の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。 According to such a configuration, the communication system is not limited to the marker installation position, which is an advantage of the markerless type, while having the advantage of the marker type between the first electronic device and the second electronic device via the network. Information can be presented with. Furthermore, since the communication system can display different virtual objects for each procedure in a superimposed manner on the captured image displayed on the display unit, the operation of a predetermined device (for example, broadcasting equipment) is assisted by the virtual object in each procedure. Can be used to reduce operational errors and the like.
本発明によれば、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる。 According to the present invention, it is possible to present information without being limited to the marker installation position, which is an advantage of the markerless type, while having the advantage of the marker type.
放送設備の保守は、電波の安定確保に対する重要な業務の一つである。操作を誤ると放送事故につながるおそれがある。そのため、保守の実施にあたり操作時のダブルチェック等により誤認識等のミスを低減させている。しかし、誤認識等は、人間の性質でもあるため、その防止が難しい。 Maintenance of broadcasting facilities is one of the important tasks for ensuring stable radio waves. Incorrect operation may lead to a broadcast accident. Therefore, mistakes such as misrecognition are reduced by performing a double check during operation when performing maintenance. However, it is difficult to prevent misrecognition and the like because it is human nature.
一方、現実空間に位置及び姿勢を整合させながら情報を画面に重畳するAR技術は、その直感的な情報提示方法により、誤認等によるミスを防ぐツールに活用できると考えられる。 On the other hand, the AR technology that superimposes information on the screen while matching the position and orientation in the real space can be used as a tool for preventing mistakes due to misidentification and the like by the intuitive information presentation method.
本発明に係る電子機器1は、ARを活用し、誤認識等のミスを低減させる構成を有する。以下に、電子機器1の具体的な構成と動作について説明する。
The
電子機器1は、図1に示すように、撮像部11と、撮像画像取得部12と、表示部13と、検出部14と、位置算出部15と、仮想撮像部配置部16と、レンダリング部17と、重畳部18と、記憶部19と、選択部20と、読出部21と、を備える。電子機器1は、スマートフォン又はタブレットのような機器が該当するが、これに限られず、使用者の身体に装着して利用することができる端末(ウェアラブルデバイス)であってもよい。また、電子機器1がヘッドマウントディスプレイとPCの構成で実現される場合には、ヘッドマウントディスプレイは、使用者に装着され、PCは、リュック等に入れて使用者に携行される形態が考えられる。
As illustrated in FIG. 1, the
撮像画像取得部12は、撮像部11(カメラ)により現実空間を撮像して得られた撮像画像を取得する。なお、本実施例に係る現実空間には、図1に示すように、所定の機器2と、所定の機器2の前面に所定のマーカーM(以下、マーカーMという)が固定されていることを想定している。よって、撮像画像には、所定の機器2とマーカーMが含まれている。なお、以下では、所定の機器2を放送機2とも呼ぶが、放送機に限定されない。
また、マーカーMは、例えば、後述する非特許文献1に示されているような中抜きの黒縁正方形により形成されている。内部の四隅は、各マーカーを識別するためのパターンとして利用される。
The captured
In addition, the marker M is formed by a black square with a hollow as shown in
表示部13は、撮像画像取得部12で取得された撮像画像を表示する。表示部13は、表示画面の前面にタッチパネルが配置されている。ユーザは、タッチパネルを操作することにより、様々な指示を電子機器1に送ることができる。
The
検出部14は、撮像画像取得部12で取得された撮像画像に含まれているマーカーMを検出し、識別する。マーカーMは、複数種類存在する。検出部14は、その種類を識別する。
The
位置算出部15は、現実空間において、撮像部11とマーカーMとの相対的な位置及び姿勢を算出する。なお、以下では、位置とは、平行移動成分を意味し、姿勢とは、回転成分を意味する。
The
仮想撮像部配置部16は、位置算出部15による算出結果に基づいて、撮像部11の内部パラメータ(例えば、焦点距離、画像サイズ、歪係数等)により設定される仮想撮像部(仮想カメラ)を仮想空間内の所定の場所に配置する。
なお、内部パラメータは、検出部14及び位置算出部15においても、後述する非特許文献1に記載の手法により利用される。
The virtual imaging
The internal parameters are also used in the
記憶部19は、現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する。仮想オブジェクトの配置情報とは、仮想オブジェクトを仮想空間において配置する位置及び姿勢、スケール等の情報である。なお、記憶部19に記憶されているテーブルの一例として、後述する図16に手順−仮想オブジェクト関連付けマトリックスを示す。
選択部20は、手順を選択する。
読出部21は、選択部20により選択されている手順に基づいて、記憶部19を参照し、対応する仮想オブジェクト及びその位置情報を読み出す。
レンダリング部17は、読出部21により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、仮想撮像部により仮想空間内を撮像する。
重畳部18は、表示部13に表示されている撮像画像にレンダリング部17で撮像した結果を重畳する。
The
The
The
The
The superimposing
ここで、現実空間において、撮像部11とマーカーMとの相対的な位置及び姿勢を求め、仮想空間内に仮想撮像部を配置し、マーカーMに基づく仮想オブジェクトが仮想空間内で配置される位置及び姿勢を算出する手順について図2を参照しながら説明する。
Here, the relative position and orientation of the
撮像部11の座標系Cは、撮像部11とマーカーMとの相対的な位置及び姿勢をTcmとし、これにマーカーMの座標系を乗算することにより算出することができる。なお、Tcmは、マーカー座標系をカメラ座標系に変換するための変換行列である。
(非特許文献1)
マーカー追跡に基づく拡張現実感システムとそのキャリブレーション、加藤博一,Mark Billinghurst,浅野浩一,橘啓八郎、日本バーチャルリアリティ学会論文誌 巻:4号:607−616(発行年:1999年12月31日)
The coordinate system C of the
(Non-Patent Document 1)
Augmented Reality System Based on Marker Tracking and Its Calibration, Hirokazu Kato, Mark Billinghurst, Koichi Asano, Keihachi Tachibana, Transactions of the Virtual Reality Society of Japan Volume: 4 Issue: 607-616 (Published: December 31, 1999) Day)
表示部13のスクリーン座標系は、射影行列Pを用いて、TcmとマーカーMの座標系を乗算することにより算出することができる。なお、射影行列Pは、事前にカメラキャリブレーションにより求まっている行列である。
電子機器1は、撮像部11により撮像された現実空間のマーカーMを基準にして、所定の位置及び姿勢に仮想オブジェクトを表示部13に重畳して表示することができる。
The
ここで、選択部20と読出部21の動作について説明する。
ユーザは、図3に示すように、表示部13に表示されている「手順」(図3中のA1)をタップ操作し、手順表示機能を起動して「手順リスト」(図3中のA2)を表示させ、「手順リスト」の中から所望の手順をタップ操作する。選択部20は、タップ操作された手順が選択されたものとして認識する。なお、手順リストに表示される各手順は、それぞれ具体的な機器の操作方法を表示してもよい。
Here, operations of the
As shown in FIG. 3, the user taps the “procedure” (A1 in FIG. 3) displayed on the
読出部21は、選択された手順(図3に示す例の場合「手順(4)」が選択された)に基づいて、操作禁止の仮想オブジェクト(図3中のAR1)と手順(4)の仮想オブジェクト(図3中のAR2)を読み出す。
Based on the selected procedure (“procedure (4)” in the example shown in FIG. 3 is selected), the
なお、「手順リスト」の各手順は、手順の番号と、位置及び姿勢の計算を行うときに用いるマーカーを示す情報と、重畳する仮想オブジェクトの情報と、完了フラグ(チェックの有無)と、選択フラグ(選択の有無)等の値を持っている。
よって、電子機器1は、「手順リスト」の中の一の手順が選択された場合、選択された手順が有している各種値に基づいて、処理を実行する。
Each procedure in the “procedure list” includes a procedure number, information indicating a marker used when calculating the position and orientation, information on the virtual object to be superimposed, a completion flag (checked / not checked), and a selection. Has a value such as a flag (presence / absence of selection).
Therefore, when one procedure in the “procedure list” is selected, the
また、表示部13に表示されている「系統」(図3中のA3)をタップ操作すると、系統表示機能が起動し、表示部13に系統図(図3中のA4)が表示されてもよい。また、系統図には、現在、表示部13に表示されている仮想オブジェクトに対応する表示も重畳して行われ、操作の意味と本線系統を操作者に意識させることができる。なお、図3中に示す系統図は、一例であって、これに限られない。
Further, when the “system” (A3 in FIG. 3) displayed on the
かかる構成によれば、電子機器1は、手順ごとに異なる仮想オブジェクトを表示部13に表示される撮像画像に重畳して表示できるので、放送機2の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。
According to such a configuration, the
上述では、一台の撮像部11によって、放送機2とマーカーMを撮影できた場合の一例について説明したが、これに限られず、撮像部11は、図4に示すように、第1撮像部11aと第2撮像部11bとによって構成されていてもよい。なお、撮像部11(第1撮像部11a及び第2撮像部11b)は、電子機器1に固定されている構成でもよく、また、図4に示すように、電子機器1に固定されず自由に角度を調整できる構成でもよい。
In the above description, an example in which the
第1撮像部11aは、マーカーMを撮像する。
第2撮像部11bは、放送機2を撮像する。
表示部13は、第2撮像部11bによって撮像された撮像画像を表示する。
検出部14は、第1撮像部11aによって撮像された撮像画像に含まれているマーカーMを検出する。
The
The
The
The
位置算出部15は、現実空間において、第1撮像部11aとマーカーMとの相対的な位置及び姿勢を算出し、当該算出結果と、第1撮像部11a及び第2撮像部11bの相対的な位置及び姿勢とに基づいて、第2撮像部11bとマーカーMとの相対的な位置及び姿勢を算出する。
The
仮想撮像部配置部16は、位置算出部15による算出結果に基づいて、第2撮像部11bの内部パラメータ(例えば、焦点距離、画像サイズ、歪係数等)により設定される仮想撮像部を仮想空間内の所定の場所に配置する。
Based on the calculation result by the
ここで、現実空間において、第1撮像部11aとマーカーMとの相対的な位置及び姿勢を求め、第1撮像部11aと第2撮像部11bとの相対的な位置及び姿勢と、マーカーMの座標から第2撮像部11bの位置及び姿勢を算出する手順について図4を参照しながら説明する。
Here, in the real space, the relative position and orientation of the
第2撮像部11bの位置及び姿勢C2は、第1撮像部11aとマーカーMとの相対的な位置及び姿勢をTcmとし、これに第1撮像部11aと第2撮像部11bとの相対的な位置及び姿勢Tccと、マーカーMの位置及び姿勢とを乗算することにより算出することができる。
C2=TccTcmM ・・・(3)
なお、C2は、カメラ座標系を示し、Mは、マーカー座標系を示し、TccとTcmは、マーカー座標系をカメラ座標系に変換するための変換行列である。
また、Tccは、既知であるものとするが、以下のように算出することができる。なお、以下では、第1撮像部11aで撮像するマーカーをマーカーM1とし、第2撮像部11bで撮像するマーカーをマーカーM2として説明する。
Position and orientation C 2 of the
C 2 = T cc T cm M (3)
C 2 represents a camera coordinate system, M represents a marker coordinate system, and T cc and T cm are conversion matrices for converting the marker coordinate system to the camera coordinate system.
Further, T cc is assumed to be known, but can be calculated as follows. In the following, a marker for imaging by the
第1撮像部11aの位置及び姿勢C1は、第1撮像部11aとマーカーM1との相対的な位置及び姿勢Tcm1と、マーカーM1を乗算することにより算出することができる。
C1=Tcm1M1 ・・・(4)
なお、C1は、カメラ座標系を示し、M1は、マーカー座標系を示し、Tcm1は、マーカー座標系をカメラ座標系に変換するための変換行列である。
Position and orientation C 1 of the
C 1 = T cm1 M 1 (4)
C 1 indicates a camera coordinate system, M 1 indicates a marker coordinate system, and T cm1 is a conversion matrix for converting the marker coordinate system to the camera coordinate system.
また、第2撮像部11bの位置及び姿勢C2は、第2撮像部11bとマーカーM2との相対的な位置及び姿勢Tcm2と、マーカーM2を乗算することにより算出することができる。
C2=Tcm2M2 ・・・(5)
なお、M2は、マーカー座標系を示し、Tcm2は、マーカー座標系をカメラ座標系に変換するための変換行列である。
また、マーカーM2は、マーカーM1とマーカーM2との相対的な位置及び姿勢Tmmと、マーカーM1を乗算することにより算出することができる。なお、Tmmは、マーカーM1とマーカーM2の配置により事前に既知となっている。
M2=TmmM1 ・・・(6)
なお、Tmmは、変換行列である。
また、第2撮像部11bの位置及び姿勢C2は、第1撮像部11aと第2撮像部11bとの相対的な位置及び姿勢Tccと第1撮像部11aを乗算することにより算出することができる。
C2=TccC1 ・・・(7)
(3)式〜(7)式に基づいて、Tccは、(8)式により算出することができる。
Tcc=Tcm2TmmTcm1 −1 ・・・(8)
The position and orientation C 2 of the
C 2 = T cm2 M 2 (5)
M 2 indicates a marker coordinate system, and T cm2 is a conversion matrix for converting the marker coordinate system to the camera coordinate system.
Further, the marker M 2 has a relative position and orientation T mm between markers M 1 and the marker M 2, can be calculated by multiplying the marker M 1. Incidentally, T mm is already known in advance the arrangement of markers M 1 and the marker M 2.
M 2 = T mm M 1 (6)
T mm is a transformation matrix.
The position and orientation C 2 of the
C 2 = T cc C 1 (7)
Tcc can be calculated by the equation (8) based on the equations (3) to (7).
T cc = T cm2 T mm T cm1 −1 (8)
なお、上述では、第1撮像部11aと第2撮像部11bとを固定し、位置及び姿勢が変わらないことを前提にしたが、第1撮像部11aと第2撮像部11bをサーボ等で駆動し、駆動したときの制御情報に基づいて位置及び姿勢(Tcc)を算出することもでき、第1撮像部11aと第2撮像部11bとを固定にしなくてもよい。例えば、サーボ等で動かしうる第1撮像部11aと第2撮像部11bの位置及び姿勢について、事前にそれぞれの位置及び姿勢でTccを取得してサーボの制御情報を対応付けしておくことにより、位置及び姿勢を算出する。
In the above description, it is assumed that the
かかる構成によれば、電子機器1は、互いの位置及び姿勢を既知とした撮像部(カメラ)を複数台用意し、情報重畳先を撮影する第2撮像部11bにマーカーMが映ってない場合でも、第1撮像部11aで撮影しているマーカーMから、第2撮像部11bの位置及び姿勢が計算できるので、放送機2の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。
According to such a configuration, when the
上述では、一の電子機器1によって、マーカーの設置位置に制限されずに情報提示を行う実施例について説明したが、これに限られず、複数の電子機器(例えば、第1電子機器1aと第2電子機器1b)がネットワークを介して接続される通信システム100において、マーカーの設置位置に制限されずに情報提示を行う構成でもよい。
In the above description, the embodiment in which information is presented by one
具体的には、通信システム100は、監督者側の第1電子機器1aと操作者側の第2電子機器1bとを同期させ、監督者側の環境に固定されているマーカーと第1電子機器1aとの相対的な位置及び姿勢を第1電子機器1aから第2電子機器1bに送信することにより、操作者側の環境にマーカーが固定されていなくても、情報提示を行うことができる。
Specifically, the communication system 100 synchronizes the first
このように構成される通信システム100は、図5に示すように、監督者と操作者の役割分担を明確化でき、監督者が進行管理を行うことにより、操作者は、放送機2の操作の作業に集中できるメリットがある。例えば、第1電子機器1aと第2電子機器1bを同期させておき、第1電子機器1aを利用して監督者が手順(1)と手順(2)に操作が完了したことを示すチェックを行い、手順(3)に操作中であることを示すチェックを行うと、第2電子機器1bの表示部には、手順(1)と手順(2)には操作が完了したことを示すチェックが表示され、手順(3)には操作中を示すチェックが表示される。
As shown in FIG. 5, the communication system 100 configured as described above can clarify the division of roles between the supervisor and the operator, and the supervisor can manage the progress of the
以下に、通信システム100の具体的な構成と動作について説明する。なお、第1電子機器1aと第2電子機器1bは、基本的に同じ構成である。
Hereinafter, a specific configuration and operation of the communication system 100 will be described. The first
第1電子機器1aは、図6に示すように、第3撮像部11cと、第1撮像画像取得部12aと、第1表示部13aと、第1検出部14aと、第1位置算出部15aと、第1仮想撮像部配置部16aと、第1レンダリング部17aと、第1重畳部18aと、第1記憶部19aと、第1選択部20aと、第1読出部21aと、第1送受信部22aと、を備える。
As shown in FIG. 6, the first
第1撮像画像取得部12aは、第3撮像部11cにより現実空間を撮像して得られた撮像画像を取得する。なお、本実施例に係る現実空間には、図6に示すように、監督者側の環境にマーカーM1が配置されており、操作者側の環境には放送機2が配置されていることを想定している。
The first captured
第1表示部13aは、第1撮像画像取得部12aで取得された撮像画像を表示する。
第1検出部14aは、第1撮像画像取得部12aで取得された撮像画像に含まれている第1マーカーM1を検出し、識別する。
第1記憶部19aは、第2電子機器1bに備えられている第4撮像部11dと、当該第4撮像部11dに固定されている第2マーカーM2との相対的な位置及び姿勢(例えば、後述するTcc2)が記憶されている。また、第1記憶部19aには、他に、現実空間に配置されている放送機(図6に示す例では、監督者側の環境には放送機は配置されていない)を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する。仮想オブジェクトの配置情報とは、仮想オブジェクトを仮想空間において配置する位置及び姿勢、スケール等の情報である。
The
The
The
第1読出部21aは、第1記憶部19aから第4撮像部11dと第2マーカーM2との相対的な位置及び姿勢を読み出す。読み出された第4撮像部11dと第2マーカーM2との相対的な位置及び姿勢は、第1位置算出部15aを介して、第1送受信部22aに供給される。また、第1読出部21aは、第3撮像部11cの内部パラメータ(射影行列P)を第1記憶部19aから読み出して、第1仮想撮像部配置部16aに供給する。
第1位置算出部15aは、第3撮像部11cと、第4撮像部11dに固定されている第2マーカーM2との相対的な位置及び姿勢(例えば、後述するTcm2)の逆行列(例えば、後述するTcm2 −1)を算出する。また、第1位置算出部15aは、第3撮像部11cと第1マーカーM1との相対的な位置及び姿勢(例えば、後述するTccTcm)を算出する。
The
The first
第1送受信部22aは、第1位置算出部15aによる算出結果と、第1読出部21aで読み出した第4撮像部11dと第2マーカーM2との相対的な位置及び姿勢を位置関係情報(例えば、後述するTcc2Tcm2 −1TccTcm)とし、第1検出部14aで検出した第1マーカーM1の識別結果(例えば、マーカー番号)とともに第2電子機器1bに送信する。
The first transmission /
第2電子機器1bは、図6に示すように、第4撮像部11dと、第2撮像画像取得部12bと、第2表示部13bと、第2検出部14bと、第2位置算出部15bと、第2仮想撮像部配置部16bと、第2レンダリング部17bと、第2重畳部18bと、第2記憶部19bと、第2選択部20bと、第2読出部21bと、第2送受信部22bと、を備える。
As shown in FIG. 6, the second
第2送受信部22bは、第1送受信部22aから送信されてきた位置関係情報と第1マーカーの識別結果を受信する。
第4撮像部11dは、第2マーカーM2が固定されている。
第2撮像画像取得部12bは、第4撮像部11dにより現実空間を撮像して得られた撮像画像を取得する。
第2表示部13bは、第4撮像部11dで取得された撮像画像を表示する。
第2仮想撮像部配置部16bは、位置関係情報に基づいて、第4撮像部11dの内部パラメータ(例えば、焦点距離、画像サイズ、歪係数等)により設定される仮想撮像部を仮想空間内の所定の場所に配置する。
The second transmitter /
In the
The second captured
The
Based on the positional relationship information, the second virtual imaging
第2記憶部19bは、現実空間に配置されている放送機2を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、仮想オブジェクトの配置情報とが対応付けられているテーブルを有する。仮想オブジェクトの配置情報とは、仮想オブジェクトを仮想空間において配置する位置及び姿勢、スケール等の情報である。なお、記憶部19に記憶されているテーブルの一例として、後述する図16に手順−仮想オブジェクト関連付けマトリックスを示す。
第2選択部20bは、手順を選択する。
第2読出部21bは、第2送受信部22bで受信した第1マーカーM1の識別結果と第2選択部20bにより選択されている手順に基づいて、第2記憶部19bを参照し、対応する仮想オブジェクト及びその位置及び姿勢を読み出す。また、第2読出部21bは、第4撮像部11dの内部パラメータ(射影行列P)を第2記憶部19bから読み出して、第2仮想撮像部配置部16bに供給する。
The
The
The
第2レンダリング部17bは、第2読出部21bにより読み出された仮想オブジェクトをその位置及び姿勢にしたがって仮想空間内に配置し、仮想撮像部により仮想空間内を撮像する。
第2重畳部18bは、第2表示部13bに表示されている撮像画像に第2レンダリング部17bで撮像した結果を重畳する。
The
The
かかる構成によれば、通信システム100は、ネットワークを介して第1電子機器1aと第2電子機器1bとの間において、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる。さらに、通信システム100は、環境の問題で操作者側にマーカーを固定できない場合でも、監督者側に固定されているマーカーに基づいて、手順ごとに異なる仮想オブジェクトを操作者側の第2電子機器1bの撮像画像に重畳して表示できる。よって、通信システム100は、放送機2の操作について、各手順において仮想オブジェクトにより補助することにより、操作者による操作の誤り等を低減することができる。
According to this configuration, the communication system 100 has the marker-type advantage between the first
ここで、第4撮像部11dとマーカーM1との相対的な位置及び姿勢を算出する手順について図7を参照しながら以下に説明する。なお、以下では、第3撮像部11cは、放送機2を撮像する撮像部11c1と、マーカーM1を撮像する撮像部11c2とにより構成されるものとして説明するが、これに限られない。
Here, a procedure for calculating the relative position and orientation of the
撮像部11c2の位置及び姿勢Cs2は、撮像部11c1と撮像部11c2の相対的な位置及び姿勢Tccと、撮像部11c1とマーカーM1の相対的な位置及び姿勢Tcmと、マーカーM1の位置及び姿勢Msとを乗算することにより算出することができる。
Cs2=TccTcmMs ・・・(9)
なお、Cs2は、カメラ座標系を示し、Msは、マーカー座標系を示し、TccとTcmは、変換行列である。
Position and orientation C s2 of the imaging unit 11c 2 has a relative position and orientation T cc of the imaging unit 11c 1 and the imaging unit 11c 2, and relative position and orientation T cm of the imaging unit 11c 1 and the marker M1, it can be calculated by multiplying the position and orientation M s of the marker M1.
C s2 = T cc T cm M s (9)
C s2 represents a camera coordinate system, M s represents a marker coordinate system, and T cc and T cm are transformation matrices.
また、撮像部11c2の位置及び姿勢Cs2は、撮像部11c2とマーカーM2の位置及び姿勢Moとの相対的な位置及び姿勢Tcm2と、マーカーM2の位置及び姿勢Moとを乗算することにより算出することができる。
Cs2=Tcm2Mo ・・・(10)
なお、Moは、マーカー座標系を示し、Tcm2は、マーカー座標系をカメラ座標系に変換するための変換行列である。
The position and orientation C s2 of the imaging unit 11c 2 is multiplied by the relative position and orientation T cm @ 2 of the position and orientation M o of the imaging unit 11c 2 and the marker M2, the position and orientation M o markers M2 This can be calculated.
Cs 2 = T cm2 M o ··· (10)
M o indicates a marker coordinate system, and T cm2 is a conversion matrix for converting the marker coordinate system to the camera coordinate system.
(9)式と(10)式に基づいて、Moは、(11)式により算出することができる。
Mo=Tcm2 −1TccTcmMs ・・・(11)
また、第4撮像部11dの位置及び姿勢Co2は、第4撮像部11dとマーカーM2の相対的な位置及び姿勢Tcc2と、マーカーM2の位置及び姿勢Moとを乗算することにより算出することができる。
Co2=Tcc2Mo ・・・(12)
なお、Co2は、カメラ座標系を示し、Tcc2は、マーカー座標系をカメラ座標系に変換するための変換行列である。
Mo can be calculated by the equation (11) based on the equations (9) and (10).
M o = T cm 2 −1 T cc T cm M s (11)
The position and orientation C o2 of the
C o2 = T cc2 M o (12)
Note that C o2 indicates a camera coordinate system, and T cc2 is a conversion matrix for converting the marker coordinate system to the camera coordinate system.
よって、(11)式と(12)式に基づいて、Co2は、(13)式により算出することができる。
Co2=Tcc2Tcm2 −1TccTcmMs ・・・(13)
このようにして、第2電子機器1bは、第1電子機器1aから位置関係情報(Tcc2Tcm2 −1TccTcm)を受信することにより、第4撮像部11dのマーカーM1に対する相対的な位置及び姿勢を算出することができる。
Therefore, Co2 can be calculated by the equation (13) based on the equations (11) and (12).
C o2 = T cc2 T cm2 -1 T cc T cm M s ··· (13)
In this way, the second
つぎに、Tcc2の導出(キャリブレーション)の手順について図8を参照しながら説明する。なお、以下では、Tcc2を導出するために必要な撮像部11eと、マーカーM3を追加して説明する。また、マーカーM3の位置及び姿勢は、Mcとする。
Next, a procedure for derivation (calibration) of T cc2 will be described with reference to FIG. In the following description, the
第4撮像部11dの位置及び姿勢Co2は、第4撮像部11dとマーカーM3の相対的な位置及び姿勢T3と、マーカーM3の位置及び姿勢Mcとを乗算することにより算出することができる。
Co2=T3Mc ・・・(14)
Position and orientation C o2 of the
C o2 = T 3 M c ··· (14)
また、第4撮像部11dの位置及び姿勢Co2は、第4撮像部11dとマーカーM2の相対的な位置及び姿勢Tcc2と、マーカーM2の位置及び姿勢Moとを乗算することにより算出することができる。
Co2=Tcc2Mo ・・・(15)
The position and orientation C o2 of the
C o2 = T cc2 M o (15)
(14)式と(15)式に基づいて、Tcc2は、(16)式により算出することができる。
Tcc2=T3McMo −1 ・・・(16)
Based on the equations (14) and (15), T cc2 can be calculated by the equation (16).
T cc2 = T 3 M c M o -1 ··· (16)
撮像部11eの位置及び姿勢Ccは、撮像部11eとマーカーM2の相対的な位置及び姿勢T2と、マーカーM2の位置及び姿勢Moとを乗算することにより算出することができる。
Cc=T2Mo ・・・(17)
Position and orientation C c of the
C c = T 2 M o (17)
また、撮像部11eの位置及び姿勢Ccは、撮像部11eとマーカーM3の相対的な位置及び姿勢T1と、マーカーM3の位置及び姿勢Mcとを乗算することにより算出することができる。
Cc=T1Mc ・・・(18)
The position and orientation C c of the
C c = T 1 M c (18)
(17)式と(18)式に基づいて、Mcは、(19)式により算出することができる。
Mc=T1 −1T2Mo ・・・(19)
(17) based on equation (18), M c can be calculated by (19).
M c = T 1 −1 T 2 M o (19)
また、(16)式と(19)式に基づいて、Tcc2を導出することができる。
Tcc2=T3T1 −1T2 ・・・(20)
Further, T cc2 can be derived based on the equations (16) and (19).
T cc2 = T 3 T 1 -1 T 2 (20)
つぎに、通信システム100による処理の流れについて、図9に示すフローチャートを参照しながら説明する。なお、以下では、操作者側の第2電子機器1bの動作を主体に説明する。
ステップS1において、第2電子機器1bは、手順リストを表示部43に表示するかどうかを判断する。例えば、第2電子機器1bは、ユーザにより表示部43に表示されている「手順」(図3中のA1)がタップ操作されたかどうかによって判断する。
Next, the flow of processing by the communication system 100 will be described with reference to the flowchart shown in FIG. Hereinafter, the operation of the second
In step S <b> 1, the second
手順リストを表示部43に表示すると判断した場合(Yes)には、ステップS2に進み、手順リストを表示部43に表示しないと判断した場合(No)には、ステップS5に進む。 When it is determined that the procedure list is displayed on the display unit 43 (Yes), the process proceeds to step S2, and when it is determined that the procedure list is not displayed on the display unit 43 (No), the process proceeds to step S5.
ステップS2において、第2電子機器1bは、手順の選択と、表示処理を行う。なお、ステップS2の工程の詳細については、後述する。
ステップS3において、第2電子機器1bは、マーカーの検出処理を行う。なお、ステップS3の工程の詳細については、後述する。
ステップS4において、第2電子機器1bは、仮想オブジェクト(ARオブジェクト)の表示処理を行う。なお、ステップS4の工程の詳細については、後述する。
In step S2, the second
In step S3, the second
In step S4, the second
ステップS5において、第2電子機器1bは、系統図を表示部43に表示するかどうかを判断する。例えば、第2電子機器1bは、ユーザにより表示部43に表示されている「系統」(図3中のA3)がタップ操作されたかどうかによって判断する。
In step S <b> 5, the second
系統を表示部43に表示すると判断した場合(Yes)には、ステップS6に進み、系統を表示部43に表示しないと判断した場合(No)には、処理を終了する。 When it is determined that the system is displayed on the display unit 43 (Yes), the process proceeds to step S6, and when it is determined that the system is not displayed on the display unit 43 (No), the process ends.
<ステップS2の工程について>
ステップS2の工程の詳細について、図10を参照しながら説明する。
ステップS21において、第2電子機器1bは、割り込み処理によって、表示されている手順リストの中から手順や完了フラグの操作が行われたとき、当該操作を行った者が操作者であるかどうかを判断する。操作者によって操作されたと判断された場合(Yes)には、ステップS22に進み、操作者によって操作されなかったと判断、すなわち、監督者(第1電子機器1a)によって操作されたと判断された場合(Yes)には、ステップS23に進む。
<About Step S2>
Details of the step S2 will be described with reference to FIG.
In step S21, when the procedure or the completion flag is operated from the displayed procedure list by the interrupt process, the second
ステップS22において、第2電子機器1bは、ロックの解除を行うかどうかを判断する。本実施例では、第1電子機器1aと第2電子機器1bとは、同期していることが前提であるが、ロックの解除によりこの同期が解除される。ロックの解除を行ったと判断した場合(Yes)には、ステップS23に進み、ロックの解除を行っていないと判断した場合(No)には、ステップS25に進む。
In step S22, the second
ステップS23において、第2電子機器1bは、割り込み処理によって、管理者(第1電子機器1a)から送信されてきた手順の番号や完了フラグを受信し、送信されてきた手順の番号や完了フラグの選択状況を取得する。
In step S23, the second
ステップS24において、第2電子機器1bは、手順の番号や完了フラグをグローバル変数へ代入する。グローバル変数は、選択手順番号と、完了フラグ(配列)によって構成されている。選択手順番号は、例えば、手順が何も選択されていない場合には「0」が代入され、手順(1)が選択されている場合には「1」が代入され、手順(2)が選択されている場合には「2」が代入される。完了フラグは、手順番号ごとに代入していき、図10に示す例では、手順(1)及び手順(2)は、完了しているため「1:完了」が代入され、手順(3)以降は完了していないため「0:未」が代入される。
In step S24, the second
ステップS25において、第2電子機器1bは、グローバル変数に応じた手順表示画面を描画する。例えば、第2電子機器1bは、図3に示すような画面を表示部43に描画する。
In step S25, the second
<ステップS3の工程について>
ステップS3の工程の詳細について、図11を参照しながら説明する。
ステップS31において、第2電子機器1bは、グローバル変数より手順番号を読み込む。例えば、グローバル変数が「1」の場合には、手順(1)が選択されていることになる。
<About Step S3>
Details of the step S3 will be described with reference to FIG.
In step S31, the second
ステップS32において、第2電子機器1bは、手順−仮想オブジェクト関連付けマトリックスを参照し、ステップS31の工程で読み込んだ手順番号に対応するマーカー番号とその優先度を取得する。なお、手順−仮想オブジェクト関連付けマトリックスについては、後述する。また、第2電子機器1bは、選択されている手順番号に対応する完了フラグの状態に応じて、参照するテーブルを変えてもよい。
In step S32, the second
ステップS33において、第2電子機器1bは、該当するマーカーの検出処理を実行する。未検出であった場合には、戻り値を「−1」にする。マーカーを一つ検出した場合には、検出したマーカーの番号を戻り値にする。また、複数のマーカーを検出した場合には、ステップS34に進む。
In step S33, the second
ステップS34において、第2電子機器1bは、複数のマーカーの中から優先度の高いマーカーの番号を選択し、選択したマーカーの番号を戻り値にする。
In step S34, the second
ここで、ステップS33の工程におけるマーカーの検出手順について、図12を用いて詳述する。なお、以下では、図13に示すように、監督者側に設置される第3撮像部11cは、主にマーカーを撮像する撮像部11c1と、主に放送機を撮像する撮像部11c2とにより構成されており、一方、操作者側に設置される第4撮像部11dは、主にマーカーを撮像する撮像部11d1と、主に放送機を撮像する撮像部11d2とにより構成されているものとする。また、図13に示す例では、監督者側(第1電子機器1a)によって該当マーカーが検出されたケースを示している。
Here, the marker detection procedure in step S33 will be described in detail with reference to FIG. In the following, as shown in FIG. 13, the third imaging unit 11 c installed on the supervisor side is an imaging unit 11 c 1 that mainly images a marker, and an imaging unit 11 c 2 that mainly images a broadcaster. It is constituted by, while the
ステップS301において、第2電子機器1bは、撮像部11d2によって該当マーカーを検出したかどうかを判断する。検出した場合には、ステップS304に進み、未検出の場合には、ステップS302に進む。
In step S301, the second
ステップS302において、第2電子機器1bは、撮像部11d1によって該当マーカーを検出したかどうかを判断する。検出した場合には、ステップS304に進み、未検出の場合には、ステップS303に進む。
In step S302, the second
ステップS303において、第2電子機器1bは、監督者側(第1電子機器1a側の撮像部11c1又は撮像部11c2)によって該当マーカーを検出できたかどうかを判断する。検出した場合には、ステップS304に進み、未検出の場合には、戻り値を「−1」にする。
In step S303, the second
ステップS304において、第2電子機器1bは、マーカー情報を出力する。例えば、第2電子機器1bは、撮像部で撮像された画像からマーカーを検出し、登録されている全マーカーと比較し、一致した場合には、「1:検出」とし、一致しなかった場合には、「0:無」として、図14に示すテーブルに代入する。第2電子機器1bは、テーブルを参照して、該当マーカーの有無を判断する。
In step S304, the second
<ステップS4の工程について>
ステップS4の工程の詳細について、図15を参照しながら説明する。
ステップS41において、第2電子機器1bは、該当マーカーを検出できたかどうかを判断する。検出できたと判断した場合(Yes)には、ステップS42に進み、検出できなかったと判断した場合(No)には、処理を終了する。
<About Step S4>
Details of the step S4 will be described with reference to FIG.
In step S41, the second
ステップS42において、第2電子機器1bは、検出したマーカー情報に基づいて、座標変換処理を行う。
ステップS43において、第2電子機器1bは、検出したマーカー番号と選択されている手順番号に基づいて、手順−仮想オブジェクト関連付けマトリックスを参照し、表示部43に表示する仮想(AR)オブジェクトと表示する座標を取得する。
ステップS44において、第2電子機器1bは、ステップS43の工程で取得した座標に基づいて、仮想オブジェクトを表示部43に表示する処理を行う。
In step S42, the second
In step S43, the second
In step S44, the second
ここで、ステップS32及びステップS43の工程で用いる手順−仮想オブジェクト関連付けマトリックスについて、図16を参照しながら説明する。
手順−仮想オブジェクト関連付けマトリックスは、手順ごとにテーブル化されている。各テーブルには、各マーカー番号に対して、マーカー優先度と、表示すべき仮想(AR)オブジェクトの番号と、仮想オブジェクトの表示座標が対応付けられている。なお、一度に、複数のマーカーを使用する場合もあるので、マーカー優先度は同じでもよい。また、同じ仮想オブジェクトを複数箇所に使用する場合もあるので、表示座標は、ひとつのマスに対して、複数個設定することもできる。
なお、上述した手順−仮想オブジェクト関連付けマトリックスは、一例であって、これに限られない。例えば、手順−仮想オブジェクト関連付けマトリックスには、他に、スケール(大きさ)、姿勢等が含まれてもよい。
Here, the procedure-virtual object association matrix used in the steps S32 and S43 will be described with reference to FIG.
The procedure-virtual object association matrix is tabulated for each procedure. In each table, the marker priority, the number of the virtual (AR) object to be displayed, and the display coordinates of the virtual object are associated with each marker number. Since a plurality of markers may be used at a time, the marker priority may be the same. In addition, since the same virtual object may be used in a plurality of places, a plurality of display coordinates can be set for one square.
Note that the above-described procedure-virtual object association matrix is an example, and is not limited thereto. For example, the procedure-virtual object association matrix may include a scale (size), a posture, and the like.
また、本実施例では、主に、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行う電子機器と通信システムの構成と動作について説明したが、これに限られず、各構成要素を備え、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うための方法、及びプログラムとして構成されてもよい。 In addition, in this embodiment, the configuration and operation of the electronic device and the communication system that provide information without being limited to the marker installation position, which is an advantage of the markerless type, while having the advantage of the marker type, have been described. However, the present invention is not limited thereto, and each component may be configured as a method and program for providing information without being limited to the marker installation position, which is an advantage of the markerless type, while having the advantages of the marker type. Good.
さらに、電子機器及び通信システムの機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。 Further, the present invention is realized by recording a program for realizing the functions of the electronic device and the communication system on a computer-readable recording medium, causing the computer system to read and execute the program recorded on the recording medium. Also good.
ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 The “computer system” here includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a hard disk built in the computer system.
さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。 Furthermore, “computer-readable recording medium” means that a program is dynamically held for a short time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. It is also possible to include one that holds a program for a certain time, such as a volatile memory inside a computer system that becomes a server or client in that case. Further, the program may be for realizing a part of the above-described functions, and may be capable of realizing the above-described functions in combination with a program already recorded in the computer system. .
1 電子機器
1a 第1電子機器
1b 第2電子機器
2 所定の機器(放送機)
11 撮像部
12 撮像画像取得部
12a 第1撮像画像取得部
12b 第2撮像画像取得部
13 表示部
13a 第1表示部
13b 第2表示部
14 検出部
14a 第1検出部
14b 第2検出部
15 位置算出部
15a 第1位置算出部
15b 第2位置算出部
16 仮想撮像部配置部
16a 第1仮想撮像部配置部
16b 第2仮想撮像部配置部
17 レンダリング部
17a 第1レンダリング部
17b 第2レンダリング部
18 重畳部
18a 第1重畳部
18b 第2重畳部
19 記憶部
19a 第1記憶部
19b 第2記憶部
20 選択部
20a 第1選択部
20b 第2選択部
21 読出部
21a 第1読出部
21b 第2読出部
22a 第1送受信部
22b 第2送受信部
100 通信システム
DESCRIPTION OF
11
Claims (5)
前記撮像画像取得部で取得された前記撮像画像を表示する表示部と、
前記撮像画像取得部で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出部と、
前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出部と、
前記位置算出部による算出結果に基づいて、前記撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置部と、
現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部と、
前記手順を選択する選択部と、
前記選択部により選択されている手順に基づいて、前記記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出部と、
前記読出部により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング部と、
前記表示部に表示されている前記撮像画像に前記レンダリング部で撮像した結果を重畳する重畳部と、を備える電子機器。 A captured image acquisition unit that acquires a captured image obtained by imaging a real space by the imaging unit;
A display unit for displaying the captured image acquired by the captured image acquisition unit;
A detection unit that detects and identifies a predetermined marker included in the captured image acquired by the captured image acquisition unit;
A position calculator that calculates a relative position and orientation of the imaging unit and the predetermined marker in the real space;
A virtual imaging unit arrangement unit that arranges a virtual imaging unit set by an internal parameter of the imaging unit at a predetermined location in a virtual space, based on a calculation result by the position calculation unit;
A storage unit having a table in which each procedure for operating a predetermined device arranged in the real space, a virtual object to be displayed for each procedure, and placement information of the virtual object are associated with each other;
A selection unit for selecting the procedure;
Based on the procedure selected by the selection unit, a reading unit that refers to the storage unit and reads the corresponding virtual object and its position information;
A rendering unit that arranges a virtual object read by the reading unit in a virtual space according to the position information, and images the virtual space by the virtual imaging unit;
An electronic device comprising: a superimposing unit that superimposes a result captured by the rendering unit on the captured image displayed on the display unit.
前記第1撮像部は、前記所定のマーカーを撮像し、
前記第2撮像部は、前記所定の機器を撮像し、
前記表示部は、前記第2撮像部によって撮像された撮像画像を表示し、
前記検出部は、前記第1撮像部によって撮像された撮像画像に含まれている所定のマーカーを検出し、
前記位置算出部は、前記現実空間において、前記第1撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、当該算出結果と、前記第1撮像部及び前記第2撮像部の相対的な位置及び姿勢とに基づいて、前記第2撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、
前記仮想撮像部配置部は、前記位置算出部による算出結果に基づいて、前記第2撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する請求項1記載の電子機器。 The imaging unit includes a first imaging unit and a second imaging unit,
The first imaging unit images the predetermined marker,
The second imaging unit images the predetermined device,
The display unit displays a captured image captured by the second imaging unit,
The detection unit detects a predetermined marker included in a captured image captured by the first imaging unit,
The position calculating unit calculates a relative position and orientation between the first imaging unit and the predetermined marker in the real space, and calculates the calculation results and the first imaging unit and the second imaging unit. Based on the relative position and orientation, the relative position and orientation of the second imaging unit and the predetermined marker are calculated,
The virtual imaging unit arranging unit arranges a virtual imaging unit set by an internal parameter of the second imaging unit at a predetermined location in a virtual space based on a calculation result by the position calculating unit. Electronics.
前記撮像画像取得工程で取得された前記撮像画像を表示部に表示する表示工程と、
前記撮像画像取得工程で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出工程と、
前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出工程と、
前記位置算出工程による算出結果に基づいて、前記撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置工程と、
現実空間に配置されている所定の機器を操作するための各手順を選択する選択工程と、
前記選択工程により選択されている手順に基づいて、前記各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出工程と、
前記読出工程により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング工程と、
前記表示部に表示されている前記撮像画像に前記レンダリング工程で撮像した結果を重畳する重畳工程と、を備える表示方法。 A captured image acquisition step of acquiring a captured image obtained by imaging the real space by the imaging unit;
A display step of displaying the captured image acquired in the captured image acquisition step on a display unit;
A detection step of detecting and identifying a predetermined marker included in the captured image acquired in the captured image acquisition step;
A position calculating step of calculating a relative position and orientation between the imaging unit and the predetermined marker in the real space;
A virtual imaging unit arrangement step of arranging a virtual imaging unit set by an internal parameter of the imaging unit at a predetermined location in a virtual space based on a calculation result of the position calculation step;
A selection step of selecting each procedure for operating a predetermined device arranged in the real space;
Based on the procedure selected in the selection step, refer to the storage unit having a table in which each procedure, the virtual object to be displayed for each procedure, and the placement information of the virtual object are associated with each other, A reading process of reading the corresponding virtual object and its position information;
A rendering step of arranging the virtual object read by the reading step in a virtual space according to the position information, and imaging the virtual space by the virtual imaging unit;
And a superimposing step of superimposing a result captured in the rendering step on the captured image displayed on the display unit.
撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得工程と、
前記撮像画像取得工程で取得された前記撮像画像を表示部に表示する表示工程と、
前記撮像画像取得工程で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出工程と、
前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出工程と、
前記位置算出工程による算出結果に基づいて、前記撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置工程と、
現実空間に配置されている所定の機器を操作するための各手順を選択する選択工程と、
前記選択工程により選択されている手順に基づいて、前記各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出工程と、
前記読出工程により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング工程と、
前記表示部に表示されている前記撮像画像に前記レンダリング工程で撮像した結果を重畳する重畳工程と、を実行するためのプログラム。 By computer
A captured image acquisition step of acquiring a captured image obtained by imaging the real space by the imaging unit;
A display step of displaying the captured image acquired in the captured image acquisition step on a display unit;
A detection step of detecting and identifying a predetermined marker included in the captured image acquired in the captured image acquisition step;
A position calculating step of calculating a relative position and orientation between the imaging unit and the predetermined marker in the real space;
A virtual imaging unit arrangement step of arranging a virtual imaging unit set by an internal parameter of the imaging unit at a predetermined location in a virtual space based on a calculation result of the position calculation step;
A selection step of selecting each procedure for operating a predetermined device arranged in the real space;
Based on the procedure selected in the selection step, refer to the storage unit having a table in which each procedure, the virtual object to be displayed for each procedure, and the placement information of the virtual object are associated with each other, A reading process of reading the corresponding virtual object and its position information;
A rendering step of arranging the virtual object read by the reading step in a virtual space according to the position information, and imaging the virtual space by the virtual imaging unit;
A superposition process for superimposing a result captured in the rendering process on the captured image displayed on the display unit.
前記第1電子機器は、
第3撮像部により現実空間を撮像して得られた撮像画像を取得する第1撮像画像取得部と、
前記第1撮像画像取得部で取得された前記撮像画像に含まれている第1マーカーを検出し、識別する第1検出部と、
前記第2電子機器に備えられている第4撮像部と、当該第4撮像部に固定されている第2マーカーとの相対的な位置及び姿勢が記憶されている第1記憶部と、
前記第1記憶部から前記第4撮像部と前記第2マーカーとの相対的な位置及び姿勢を読み出す第1読出部と、
前記第3撮像部と、前記第2電子機器に備えられている第4撮像部に固定されている第2マーカーとの相対的な位置及び姿勢の逆行列を算出し、前記第3撮像部と前記第1マーカーとの相対的な位置及び姿勢を算出する第1位置算出部と、
前記第1位置算出部による算出結果と、前記第1読出部で読み出した前記第4撮像部と前記第2マーカーとの相対的な位置及び姿勢を位置関係情報とし、前記第1検出部で検出した前記第1マーカーの識別結果とともに前記第2電子機器に送信する第1送受信部とを備え、
前記第2電子機器は、
前記第1送受信部から送信されてきた前記位置関係情報と前記第1マーカーの識別結果を受信する第2送受信部と、
前記第2マーカーが固定されている第4撮像部と、
前記第4撮像部で取得された撮像画像を表示する第2表示部と、
前記位置関係情報に基づいて、前記第4撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する第2仮想撮像部配置部と、
現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する第2記憶部と、
前記手順を選択する第2選択部と、
前記第2送受信部で受信した前記第1マーカーの識別結果と前記第2選択部により選択されている手順に基づいて、前記第2記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す第2読出部と、
前記第2読出部により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像する第2レンダリング部と、
前記第2表示部に表示されている前記撮像画像に前記第2レンダリング部で撮像した結果を重畳する第2重畳部と、を備える通信システム。 In a communication system in which a first electronic device and a second electronic device are connected via a network,
The first electronic device is
A first captured image acquisition unit that acquires a captured image obtained by imaging a real space by the third imaging unit;
A first detection unit that detects and identifies a first marker included in the captured image acquired by the first captured image acquisition unit;
A first storage unit storing relative positions and orientations of a fourth imaging unit provided in the second electronic device and a second marker fixed to the fourth imaging unit;
A first reading unit that reads a relative position and orientation of the fourth imaging unit and the second marker from the first storage unit;
An inverse matrix of a relative position and orientation between the third imaging unit and a second marker fixed to a fourth imaging unit provided in the second electronic device is calculated, and the third imaging unit A first position calculation unit for calculating a relative position and orientation with respect to the first marker;
The calculation result by the first position calculation unit and the relative position and orientation of the fourth imaging unit and the second marker read by the first reading unit are used as positional relationship information, and are detected by the first detection unit. A first transmitter / receiver for transmitting to the second electronic device together with the identification result of the first marker,
The second electronic device is
A second transceiver for receiving the positional relationship information transmitted from the first transceiver and the identification result of the first marker;
A fourth imaging unit to which the second marker is fixed;
A second display unit for displaying a captured image acquired by the fourth imaging unit;
A second virtual imaging unit arrangement unit that arranges a virtual imaging unit set by an internal parameter of the fourth imaging unit based on the positional relationship information at a predetermined location in a virtual space;
A second storage unit having a table in which each procedure for operating a predetermined device arranged in the real space, a virtual object to be displayed for each procedure, and arrangement information of the virtual object are associated with each other; ,
A second selection unit for selecting the procedure;
Based on the identification result of the first marker received by the second transmission / reception unit and the procedure selected by the second selection unit, the corresponding virtual object and its position information are read by referring to the second storage unit. A second reading unit;
A second rendering unit that arranges a virtual object read by the second reading unit in a virtual space according to the position information, and images the virtual space by the virtual imaging unit;
And a second superimposing unit that superimposes a result captured by the second rendering unit on the captured image displayed on the second display unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014073431A JP6348750B2 (en) | 2014-03-31 | 2014-03-31 | Electronic device, display method, program, and communication system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014073431A JP6348750B2 (en) | 2014-03-31 | 2014-03-31 | Electronic device, display method, program, and communication system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015194975A true JP2015194975A (en) | 2015-11-05 |
JP6348750B2 JP6348750B2 (en) | 2018-06-27 |
Family
ID=54433900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014073431A Expired - Fee Related JP6348750B2 (en) | 2014-03-31 | 2014-03-31 | Electronic device, display method, program, and communication system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6348750B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112053451A (en) * | 2019-06-05 | 2020-12-08 | 北京外号信息技术有限公司 | Method for superimposing virtual objects based on optical communication means and corresponding electronic device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002059147A (en) * | 2000-08-11 | 2002-02-26 | Ricoh Co Ltd | Regeneration work support system and method of supporting regeneration work |
JP2011245792A (en) * | 2010-05-28 | 2011-12-08 | Riso Kagaku Corp | Image forming system |
JP2013109624A (en) * | 2011-11-22 | 2013-06-06 | Hitachi Plant Technologies Ltd | Image processing device and image processing method |
JP2013254399A (en) * | 2012-06-08 | 2013-12-19 | Sharp Corp | Input system and electronic meeting system |
-
2014
- 2014-03-31 JP JP2014073431A patent/JP6348750B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002059147A (en) * | 2000-08-11 | 2002-02-26 | Ricoh Co Ltd | Regeneration work support system and method of supporting regeneration work |
JP2011245792A (en) * | 2010-05-28 | 2011-12-08 | Riso Kagaku Corp | Image forming system |
JP2013109624A (en) * | 2011-11-22 | 2013-06-06 | Hitachi Plant Technologies Ltd | Image processing device and image processing method |
JP2013254399A (en) * | 2012-06-08 | 2013-12-19 | Sharp Corp | Input system and electronic meeting system |
Non-Patent Citations (3)
Title |
---|
仲谷善雄: ""拡張現実感の産業分野への応用事例"", 第37回人工知能セミナー講演テキスト, JPN6018006706, 18 December 1998 (1998-12-18), JP, pages 8 - 19, ISSN: 0003746328 * |
加藤博一, 外3名: ""マーカー追跡に基づく拡張現実感システムとそのキャリブレーション"", 日本バーチャルリアリティ学会論文誌, vol. 第4巻, 第4号, JPN6018006704, 31 December 1999 (1999-12-31), JP, pages 607 - 616, ISSN: 0003746327 * |
北原格, 外2名: ""気の利いた視点位置からの観戦が可能な自由視点サッカー映像生成手法"", 画像ラボ, vol. 第19巻, 第2号, JPN6018006703, 1 February 2008 (2008-02-01), JP, pages 20 - 26, ISSN: 0003746326 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112053451A (en) * | 2019-06-05 | 2020-12-08 | 北京外号信息技术有限公司 | Method for superimposing virtual objects based on optical communication means and corresponding electronic device |
Also Published As
Publication number | Publication date |
---|---|
JP6348750B2 (en) | 2018-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11796309B2 (en) | Information processing apparatus, information processing method, and recording medium | |
JP5762892B2 (en) | Information display system, information display method, and information display program | |
CN105959625B (en) | Method and device for controlling unmanned aerial vehicle to track and shoot | |
US20160269631A1 (en) | Image generation method, system, and apparatus | |
JP5255595B2 (en) | Terminal location specifying system and terminal location specifying method | |
JP6230113B2 (en) | Video instruction synchronization method, system, terminal, and program for synchronously superimposing instruction images on captured moving images | |
JP7109395B2 (en) | WORK SUPPORT SYSTEM, WORK SUPPORT DEVICE, AND WORK SUPPORT METHOD | |
US20170220105A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2005256232A (en) | Method, apparatus and program for displaying 3d data | |
CN105260008A (en) | Position locating method and device | |
JP2007098555A (en) | Position indicating method, indicator and program for achieving the method | |
JP6348750B2 (en) | Electronic device, display method, program, and communication system | |
JP6146869B2 (en) | Video instruction display method, system, terminal, and program for superimposing instruction image on photographing moving image synchronously | |
CN106989730A (en) | A kind of system and method that diving under water device control is carried out based on binocular flake panoramic vision | |
US20130155211A1 (en) | Interactive system and interactive device thereof | |
KR20160023362A (en) | System and Method for realtime 3D tactical intelligence display | |
US20200242797A1 (en) | Augmented reality location and display using a user-aligned fiducial marker | |
JP6839137B2 (en) | Support devices and programs | |
JP6689492B2 (en) | Terminal device, data processing system and program | |
KR101964227B1 (en) | Apparatus and method for control military strategy | |
JP4673861B2 (en) | Information display system and information display method | |
WO2023149118A1 (en) | Program, information processing device, and information processing method | |
JP2020177490A (en) | Ar space image projection system, ar space image projection method, and user terminal | |
JP2019175294A (en) | Display control program, apparatus therefor, and method thereof | |
JP6433015B2 (en) | Navigation device and navigation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6348750 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |