JP2015194975A - Electronic device, display method, program and communication system - Google Patents
Electronic device, display method, program and communication system Download PDFInfo
- Publication number
- JP2015194975A JP2015194975A JP2014073431A JP2014073431A JP2015194975A JP 2015194975 A JP2015194975 A JP 2015194975A JP 2014073431 A JP2014073431 A JP 2014073431A JP 2014073431 A JP2014073431 A JP 2014073431A JP 2015194975 A JP2015194975 A JP 2015194975A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- imaging unit
- virtual
- marker
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、電子機器、表示方法、プログラム及び通信システムに関する。 The present invention relates to an electronic device, a display method, a program, and a communication system.
近年、ＡＲ（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）が注目を集めている。ＡＲとは、現実世界に何らかの情報を追加することで、目の前にある現実以上の情報を提示する技術や、その技術によって表される環境そのものを含めた状態をいう。 In recent years, AR (augmented reality) has attracted attention. AR refers to a state that includes a technique for presenting information beyond the reality in front of the eyes by adding some information to the real world and an environment itself represented by the technique.
また、ＡＲは、付加情報を重畳する位置の算出方法により、ロケーションベース型とビジョンベース型に分類される。ロケーションベース型は、ＧＰＳ等から取得可能な位置情報を利用して情報提示を行うものをいう。ビジョンベース型とは、画像認識や空間認識等の技術を応用して直接目の前にある環境を認識し、解析することで情報提示を行うものをいう。 The AR is classified into a location-based type and a vision-based type according to a method for calculating a position where additional information is superimposed. The location-based type refers to information presentation using position information obtainable from GPS or the like. The vision-based type refers to a system that presents information by recognizing and analyzing the environment directly in front of the eyes by applying techniques such as image recognition and space recognition.
また、ビジョンベース型は、マーカーと呼ばれる決まった形の図形を認識することによって情報を提示するマーカー型と、決まった形の図形ではなく、現実の環境に実在する物体や空間そのものを認識、識別して、それに基づいて提示位置を特定し情報を出現させるマーカーレス型に分類される。
精度や室内利用の観点からビジョンベースが優位であるとされている。
The vision-based type recognizes and identifies objects and spaces that exist in the real environment, not marker types that present information by recognizing fixed shapes called markers. Then, based on this, the presentation position is specified, and it is classified into a markerless type in which information appears.
The vision base is said to be superior in terms of accuracy and indoor use.
しかし、マーカー型は、カメラ撮影画像にマーカーが入ることが必須となるが、設備によっては情報の重畳先近辺にマーカーを用意できない場合が課題となる。一方、マーカーレス型は、空間認識や物体の認識において、計算量が多くなり、ハードウェア的な能力の要求が高くなる等の課題がある。
本発明は、上記課題を解決し、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる電子機器、表示方法、プログラム及び通信システムを提供することを目的とする。
However, in the marker type, it is indispensable that a marker is included in a camera-captured image, but there is a problem that a marker cannot be prepared in the vicinity of an information superimposition destination depending on equipment. On the other hand, the markerless type has problems such as an increase in calculation amount and a demand for hardware capability in space recognition and object recognition.
The present invention solves the above-described problems, and has an advantage of a marker type, and an electronic device, a display method, a program, and a communication system capable of presenting information without being limited to the marker installation position, which is an advantage of a markerless type The purpose is to provide.
本発明に係る電子機器は、撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得部と、前記撮像画像取得部で取得された前記撮像画像を表示する表示部と、前記撮像画像取得部で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出部と、前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出部と、前記位置算出部による算出結果に基づいて、前記撮像部の内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置部と、現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部と、前記手順を選択する選択部と、前記選択部により選択されている手順に基づいて、前記記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出部と、前記読出部により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング部と、前記表示部に表示されている前記撮像画像に前記レンダリング部で撮像した結果を重畳する重畳部と、を備える構成である。 An electronic apparatus according to the present invention includes a captured image acquisition unit that acquires a captured image obtained by imaging a real space by an imaging unit, a display unit that displays the captured image acquired by the captured image acquisition unit, A detection unit that detects and identifies a predetermined marker included in the captured image acquired by the captured image acquisition unit; and a relative position between the imaging unit and the predetermined marker in the real space; Based on the calculation result of the position calculation unit for calculating the posture and the position calculation unit, the virtual imaging unit set by the internal parameters of the imaging unit (for example, focal length, image size, distortion coefficient, etc.) A virtual imaging unit arrangement unit arranged at a predetermined location, each procedure for operating a predetermined device arranged in the real space, a virtual object to be displayed for each procedure, and the virtual object A storage unit having a table associated with arrangement information; a selection unit that selects the procedure; and a virtual object corresponding to the storage unit based on the procedure selected by the selection unit, A reading unit that reads out the position information; a rendering unit that arranges the virtual object read out by the reading unit in the virtual space according to the position information; and the virtual imaging unit images the inside of the virtual space; and the display unit And a superimposing unit that superimposes a result captured by the rendering unit on the captured image displayed on the screen.
かかる構成によれば、電子機器は、手順ごとに異なる仮想オブジェクトを表示部に表示される撮像画像に重畳して表示できるので、所定の機器（例えば、放送設備）の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。 According to such a configuration, the electronic device can display different virtual objects for each procedure by superimposing them on the captured image displayed on the display unit. Therefore, the operation of a predetermined device (for example, broadcasting equipment) It can be assisted by the object and can be used to reduce operational errors.
電子機器では、前記撮像部は、第１撮像部と第２撮像部とによって構成されており、前記第１撮像部は、前記所定のマーカーを撮像し、前記第２撮像部は、前記所定の機器を撮像し、前記表示部は、前記第２撮像部によって撮像された撮像画像を表示し、前記検出部は、前記第１撮像部によって撮像された撮像画像に含まれている所定のマーカーを検出し、前記位置算出部は、前記現実空間において、前記第１撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、当該算出結果と、前記第１撮像部及び前記第２撮像部の相対的な位置及び姿勢とに基づいて、前記第２撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、前記仮想撮像部配置部は、前記位置算出部による算出結果に基づいて、前記第２撮像部の内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する構成でもよい。 In the electronic device, the imaging unit includes a first imaging unit and a second imaging unit, the first imaging unit images the predetermined marker, and the second imaging unit includes the predetermined imaging unit. The device captures an image, the display unit displays a captured image captured by the second image capturing unit, and the detection unit displays a predetermined marker included in the captured image captured by the first image capturing unit. And the position calculating unit calculates a relative position and orientation of the first imaging unit and the predetermined marker in the real space, and calculates the calculation result, the first imaging unit, and the second imaging unit. Based on the relative position and orientation of the imaging unit, the relative position and orientation of the second imaging unit and the predetermined marker are calculated, and the virtual imaging unit arrangement unit is calculated by the position calculation unit Based on the result, an internal parameter of the second imaging unit is determined. Meter (e.g., focal length, image size, distortion factor, etc.) may be configured to place the virtual image pickup section to a predetermined location in the virtual space set by.
かかる構成によれば、電子機器は、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる。さらに、電子機器は、互いの位置関係を既知とした撮像部（カメラ）を複数台用意し、情報重畳先を撮影する第２撮像部にマーカーが映ってない場合でも、第１撮像部で撮影しているマーカーから、第２撮像部の位置及び姿勢が計算できるので、所定の機器（例えば、放送設備）の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。 According to this configuration, the electronic device can present information without being limited to the marker installation position, which is an advantage of the markerless type, while having the advantage of the marker type. Furthermore, the electronic apparatus prepares a plurality of imaging units (cameras) whose positional relationships are known, and the first imaging unit captures images even when no marker is displayed on the second imaging unit that captures the information superimposition destination. Since the position and orientation of the second imaging unit can be calculated from the marker that is being operated, the operation of a predetermined device (for example, broadcasting equipment) can be assisted by a virtual object in each procedure, and operation errors can be reduced. Can be useful.
本発明に係る表示方法は、撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得工程と、前記撮像画像取得工程で取得された前記撮像画像を表示部に表示する表示工程と、前記撮像画像取得工程で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出工程と、前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出工程と、前記位置算出工程による算出結果に基づいて、前記撮像部の内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置工程と、現実空間に配置されている所定の機器を操作するための各手順を選択する選択工程と、前記選択工程により選択されている手順に基づいて、前記各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出工程と、前記読出工程により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング工程と、前記表示部に表示されている前記撮像画像に前記レンダリング工程で撮像した結果を重畳する重畳工程と、を備える構成である。 The display method according to the present invention includes a captured image acquisition step of acquiring a captured image obtained by imaging a real space by an imaging unit, and a display for displaying the captured image acquired in the captured image acquisition step on the display unit. A detection step of detecting and identifying a predetermined marker included in the captured image acquired in the captured image acquisition step, and a relative relationship between the imaging unit and the predetermined marker in the real space A virtual image capturing unit set by an internal parameter (for example, focal length, image size, distortion coefficient, etc.) of the image capturing unit based on a position calculation step for calculating a correct position and orientation and a calculation result of the position calculating step. A virtual imaging unit placement step for placing in a predetermined place in the virtual space, a selection step for selecting each procedure for operating a predetermined device placed in the real space, and the selection step Based on the selected procedure, the corresponding virtual object is referred to by referring to a storage unit having a table in which each procedure, the virtual object to be displayed for each procedure, and the placement information of the virtual object are associated with each other. A reading step of reading out the position information, a rendering step of arranging the virtual object read out in the reading step in the virtual space according to the position information, and imaging the virtual space by the virtual imaging unit, and the display And a superimposing step of superimposing a result captured in the rendering step on the captured image displayed in the section.
かかる構成によれば、表示方法は、手順ごとに異なる仮想オブジェクトを表示部に表示される撮像画像に重畳して表示できるので、所定の機器（例えば、放送設備）の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。 According to such a configuration, since the display method can display different virtual objects for each procedure in a superimposed manner on the captured image displayed on the display unit, the operation of a predetermined device (for example, broadcasting equipment) It can be assisted by the object and can be used to reduce operational errors.
本発明に係るプログラムは、コンピュータにより、撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得工程と、前記撮像画像取得工程で取得された前記撮像画像を表示部に表示する表示工程と、前記撮像画像取得工程で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出工程と、前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出工程と、前記位置算出工程による算出結果に基づいて、前記撮像部の内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置工程と、現実空間に配置されている所定の機器を操作するための各手順を選択する選択工程と、前記選択工程により選択されている手順に基づいて、前記各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出工程と、前記読出工程により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング工程と、前記表示部に表示されている前記撮像画像に前記レンダリング工程で撮像した結果を重畳する重畳工程と、を実行するためのものである。 The program according to the present invention includes a captured image acquisition step of acquiring a captured image obtained by imaging a real space by an imaging unit by a computer and displaying the captured image acquired in the captured image acquisition step on a display unit. A detecting step for detecting and identifying a predetermined marker included in the captured image acquired in the captured image acquisition step, and the imaging unit and the predetermined marker in the real space A virtual imaging set by a position calculation step for calculating a relative position and orientation, and internal parameters (for example, focal length, image size, distortion coefficient, etc.) of the imaging unit based on the calculation result of the position calculation step A virtual imaging unit placement step for placing a part at a predetermined location in the virtual space, and a selection step for selecting each procedure for operating a predetermined device placed in the real space Based on the procedure selected in the selection step, refer to a storage unit having a table in which each procedure, a virtual object to be displayed for each procedure, and arrangement information of the virtual object are associated with each other. A reading process for reading out the corresponding virtual object and its position information, and a rendering in which the virtual object read in the reading process is arranged in the virtual space according to the position information, and the virtual imaging unit captures an image in the virtual space And a superimposing step of superimposing a result captured in the rendering step on the captured image displayed on the display unit.
かかる構成によれば、プログラムは、手順ごとに異なる仮想オブジェクトを表示部に表示される撮像画像に重畳して表示できるので、所定の機器（例えば、放送設備）の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。 According to such a configuration, the program can display different virtual objects for each procedure by superimposing them on the captured image displayed on the display unit. Therefore, for each operation of a predetermined device (for example, broadcasting equipment), the virtual object is displayed in each procedure. Can help to reduce operational errors and the like.
本発明に係る通信システムは、第１電子機器と第２電子機器とがネットワークを介して接続される通信システムにおいて、前記第１電子機器は、第３撮像部により現実空間を撮像して得られた撮像画像を取得する第１撮像画像取得部と、前記第１撮像画像取得部で取得された前記撮像画像に含まれている第１マーカーを検出し、識別する第１検出部と、前記第２電子機器に備えられている第４撮像部と、当該第４撮像部に固定されている第２マーカーとの相対的な位置及び姿勢が記憶されている第１記憶部と、前記第１記憶部から前記第４撮像部と前記第２マーカーとの相対的な位置及び姿勢を読み出す第１読出部と、前記第３撮像部と、前記第２電子機器に備えられている第４撮像部に固定されている第２マーカーとの相対的な位置及び姿勢の逆行列を算出し、前記第３撮像部と前記第１マーカーとの相対的な位置及び姿勢を算出する第１位置算出部と、前記第１位置算出部による算出結果と、前記第１読出部で読み出した前記第４撮像部と前記第２マーカーとの相対的な位置及び姿勢を位置関係情報とし、前記第１検出部で検出した前記第１マーカーの識別結果とともに前記第２電子機器に送信する第１送受信部とを備え、前記第２電子機器は、前記第１送受信部から送信されてきた前記位置関係情報と前記第１マーカーの識別結果を受信する第２送受信部と、前記第２マーカーが固定されている第４撮像部と、前記第４撮像部で取得された撮像画像を表示する第２表示部と、前記位置関係情報に基づいて、前記第４撮像部の内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する第２仮想撮像部配置部と、現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する第２記憶部と、前記手順を選択する第２選択部と、前記第２送受信部で受信した前記第１マーカーの識別結果と前記第２選択部により選択されている手順に基づいて、前記第２記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す第２読出部と、前記第２読出部により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像する第２レンダリング部と、前記第２表示部に表示されている前記撮像画像に前記第２レンダリング部で撮像した結果を重畳する第２重畳部と、を備える構成である。 The communication system according to the present invention is a communication system in which a first electronic device and a second electronic device are connected via a network, and the first electronic device is obtained by imaging a real space with a third imaging unit. A first captured image acquisition unit that acquires the captured image, a first detection unit that detects and identifies a first marker included in the captured image acquired by the first captured image acquisition unit, and the first A first storage unit storing relative positions and orientations of a fourth imaging unit provided in the two electronic devices and a second marker fixed to the fourth imaging unit; and the first storage A first reading unit that reads a relative position and orientation of the fourth imaging unit and the second marker from the unit, a third imaging unit, and a fourth imaging unit provided in the second electronic device. Position and figure relative to the fixed second marker , A first position calculation unit that calculates a relative position and orientation of the third imaging unit and the first marker, a calculation result by the first position calculation unit, and the first reading The relative position and orientation of the fourth imaging unit and the second marker read by the unit are used as positional relationship information, together with the identification result of the first marker detected by the first detection unit, in the second electronic device A first transmitting / receiving unit that transmits the second electronic device, the second transmitting / receiving unit receiving the positional relationship information transmitted from the first transmitting / receiving unit and the identification result of the first marker; A second imaging unit in which two markers are fixed; a second display unit that displays a captured image acquired by the fourth imaging unit; and an internal parameter of the fourth imaging unit based on the positional relationship information ( For example, focal length, image size, A second virtual imaging unit arrangement unit that arranges a virtual imaging unit set by a coefficient or the like at a predetermined location in the virtual space, each procedure for operating a predetermined device arranged in the real space, and a procedure Received by the second storage unit having a table in which the virtual object to be displayed for each and the placement information of the virtual object are associated with each other, the second selection unit for selecting the procedure, and the second transmission / reception unit Based on the identification result of the first marker and the procedure selected by the second selection unit, the second storage unit refers to the second storage unit and reads out the corresponding virtual object and its position information; A second rendering unit that arranges the virtual object read by the two reading unit in the virtual space according to the position information, and images the virtual space by the virtual imaging unit; and the second display A second superimposing unit that superimposes a result captured by the second rendering unit on the captured image displayed on the unit.
かかる構成によれば、通信システムは、ネットワークを介して第１電子機器と第２電子機器との間において、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる。さらに、通信システムは、手順ごとに異なる仮想オブジェクトを表示部に表示される撮像画像に重畳して表示できるので、所定の機器（例えば、放送設備）の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。 According to such a configuration, the communication system is not limited to the marker installation position, which is an advantage of the markerless type, while having the advantage of the marker type between the first electronic device and the second electronic device via the network. Information can be presented with. Furthermore, since the communication system can display different virtual objects for each procedure in a superimposed manner on the captured image displayed on the display unit, the operation of a predetermined device (for example, broadcasting equipment) is assisted by the virtual object in each procedure. Can be used to reduce operational errors and the like.
本発明によれば、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる。 According to the present invention, it is possible to present information without being limited to the marker installation position, which is an advantage of the markerless type, while having the advantage of the marker type.
放送設備の保守は、電波の安定確保に対する重要な業務の一つである。操作を誤ると放送事故につながるおそれがある。そのため、保守の実施にあたり操作時のダブルチェック等により誤認識等のミスを低減させている。しかし、誤認識等は、人間の性質でもあるため、その防止が難しい。 Maintenance of broadcasting facilities is one of the important tasks for ensuring stable radio waves. Incorrect operation may lead to a broadcast accident. Therefore, mistakes such as misrecognition are reduced by performing a double check during operation when performing maintenance. However, it is difficult to prevent misrecognition and the like because it is human nature.
一方、現実空間に位置及び姿勢を整合させながら情報を画面に重畳するＡＲ技術は、その直感的な情報提示方法により、誤認等によるミスを防ぐツールに活用できると考えられる。 On the other hand, the AR technology that superimposes information on the screen while matching the position and orientation in the real space can be used as a tool for preventing mistakes due to misidentification and the like by the intuitive information presentation method.
本発明に係る電子機器１は、ＡＲを活用し、誤認識等のミスを低減させる構成を有する。以下に、電子機器１の具体的な構成と動作について説明する。
The
電子機器１は、図１に示すように、撮像部１１と、撮像画像取得部１２と、表示部１３と、検出部１４と、位置算出部１５と、仮想撮像部配置部１６と、レンダリング部１７と、重畳部１８と、記憶部１９と、選択部２０と、読出部２１と、を備える。電子機器１は、スマートフォン又はタブレットのような機器が該当するが、これに限られず、使用者の身体に装着して利用することができる端末（ウェアラブルデバイス）であってもよい。また、電子機器１がヘッドマウントディスプレイとＰＣの構成で実現される場合には、ヘッドマウントディスプレイは、使用者に装着され、ＰＣは、リュック等に入れて使用者に携行される形態が考えられる。
As illustrated in FIG. 1, the
撮像画像取得部１２は、撮像部１１（カメラ）により現実空間を撮像して得られた撮像画像を取得する。なお、本実施例に係る現実空間には、図１に示すように、所定の機器２と、所定の機器２の前面に所定のマーカーＭ（以下、マーカーＭという）が固定されていることを想定している。よって、撮像画像には、所定の機器２とマーカーＭが含まれている。なお、以下では、所定の機器２を放送機２とも呼ぶが、放送機に限定されない。
また、マーカーＭは、例えば、後述する非特許文献１に示されているような中抜きの黒縁正方形により形成されている。内部の四隅は、各マーカーを識別するためのパターンとして利用される。
The captured
In addition, the marker M is formed by a black square with a hollow as shown in
表示部１３は、撮像画像取得部１２で取得された撮像画像を表示する。表示部１３は、表示画面の前面にタッチパネルが配置されている。ユーザは、タッチパネルを操作することにより、様々な指示を電子機器１に送ることができる。
The
検出部１４は、撮像画像取得部１２で取得された撮像画像に含まれているマーカーＭを検出し、識別する。マーカーＭは、複数種類存在する。検出部１４は、その種類を識別する。
The
位置算出部１５は、現実空間において、撮像部１１とマーカーＭとの相対的な位置及び姿勢を算出する。なお、以下では、位置とは、平行移動成分を意味し、姿勢とは、回転成分を意味する。
The
仮想撮像部配置部１６は、位置算出部１５による算出結果に基づいて、撮像部１１の内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部（仮想カメラ）を仮想空間内の所定の場所に配置する。
なお、内部パラメータは、検出部１４及び位置算出部１５においても、後述する非特許文献１に記載の手法により利用される。
The virtual imaging
The internal parameters are also used in the
記憶部１９は、現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する。仮想オブジェクトの配置情報とは、仮想オブジェクトを仮想空間において配置する位置及び姿勢、スケール等の情報である。なお、記憶部１９に記憶されているテーブルの一例として、後述する図１６に手順−仮想オブジェクト関連付けマトリックスを示す。
選択部２０は、手順を選択する。
読出部２１は、選択部２０により選択されている手順に基づいて、記憶部１９を参照し、対応する仮想オブジェクト及びその位置情報を読み出す。
レンダリング部１７は、読出部２１により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、仮想撮像部により仮想空間内を撮像する。
重畳部１８は、表示部１３に表示されている撮像画像にレンダリング部１７で撮像した結果を重畳する。
The
The
The
The
The superimposing
ここで、現実空間において、撮像部１１とマーカーＭとの相対的な位置及び姿勢を求め、仮想空間内に仮想撮像部を配置し、マーカーＭに基づく仮想オブジェクトが仮想空間内で配置される位置及び姿勢を算出する手順について図２を参照しながら説明する。
Here, the relative position and orientation of the
撮像部１１の座標系Ｃは、撮像部１１とマーカーＭとの相対的な位置及び姿勢をＴｃｍとし、これにマーカーＭの座標系を乗算することにより算出することができる。なお、Ｔｃｍは、マーカー座標系をカメラ座標系に変換するための変換行列である。
（非特許文献１）
マーカー追跡に基づく拡張現実感システムとそのキャリブレーション、加藤博一，Ｍａｒｋ Ｂｉｌｌｉｎｇｈｕｒｓｔ，浅野浩一，橘啓八郎、日本バーチャルリアリティ学会論文誌 巻：４号：６０７−６１６（発行年：１９９９年１２月３１日）
The coordinate system C of the
(Non-Patent Document 1)
Augmented Reality System Based on Marker Tracking and Its Calibration, Hirokazu Kato, Mark Billinghurst, Koichi Asano, Keihachi Tachibana, Transactions of the Virtual Reality Society of Japan Volume: 4 Issue: 607-616 (Published: December 31, 1999) Day)
表示部１３のスクリーン座標系は、射影行列Ｐを用いて、ＴｃｍとマーカーＭの座標系を乗算することにより算出することができる。なお、射影行列Ｐは、事前にカメラキャリブレーションにより求まっている行列である。
電子機器１は、撮像部１１により撮像された現実空間のマーカーＭを基準にして、所定の位置及び姿勢に仮想オブジェクトを表示部１３に重畳して表示することができる。
The
ここで、選択部２０と読出部２１の動作について説明する。
ユーザは、図３に示すように、表示部１３に表示されている「手順」（図３中のＡ１）をタップ操作し、手順表示機能を起動して「手順リスト」（図３中のＡ２）を表示させ、「手順リスト」の中から所望の手順をタップ操作する。選択部２０は、タップ操作された手順が選択されたものとして認識する。なお、手順リストに表示される各手順は、それぞれ具体的な機器の操作方法を表示してもよい。
Here, operations of the
As shown in FIG. 3, the user taps the “procedure” (A1 in FIG. 3) displayed on the
読出部２１は、選択された手順（図３に示す例の場合「手順（４）」が選択された）に基づいて、操作禁止の仮想オブジェクト（図３中のＡＲ１）と手順（４）の仮想オブジェクト（図３中のＡＲ２）を読み出す。
Based on the selected procedure (“procedure (4)” in the example shown in FIG. 3 is selected), the
なお、「手順リスト」の各手順は、手順の番号と、位置及び姿勢の計算を行うときに用いるマーカーを示す情報と、重畳する仮想オブジェクトの情報と、完了フラグ（チェックの有無）と、選択フラグ（選択の有無）等の値を持っている。
よって、電子機器１は、「手順リスト」の中の一の手順が選択された場合、選択された手順が有している各種値に基づいて、処理を実行する。
Each procedure in the “procedure list” includes a procedure number, information indicating a marker used when calculating the position and orientation, information on the virtual object to be superimposed, a completion flag (checked / not checked), and a selection. Has a value such as a flag (presence / absence of selection).
Therefore, when one procedure in the “procedure list” is selected, the
また、表示部１３に表示されている「系統」（図３中のＡ３）をタップ操作すると、系統表示機能が起動し、表示部１３に系統図（図３中のＡ４）が表示されてもよい。また、系統図には、現在、表示部１３に表示されている仮想オブジェクトに対応する表示も重畳して行われ、操作の意味と本線系統を操作者に意識させることができる。なお、図３中に示す系統図は、一例であって、これに限られない。
Further, when the “system” (A3 in FIG. 3) displayed on the
かかる構成によれば、電子機器１は、手順ごとに異なる仮想オブジェクトを表示部１３に表示される撮像画像に重畳して表示できるので、放送機２の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。
According to such a configuration, the
上述では、一台の撮像部１１によって、放送機２とマーカーＭを撮影できた場合の一例について説明したが、これに限られず、撮像部１１は、図４に示すように、第１撮像部１１ａと第２撮像部１１ｂとによって構成されていてもよい。なお、撮像部１１（第１撮像部１１ａ及び第２撮像部１１ｂ）は、電子機器１に固定されている構成でもよく、また、図４に示すように、電子機器１に固定されず自由に角度を調整できる構成でもよい。
In the above description, an example in which the
第１撮像部１１ａは、マーカーＭを撮像する。
第２撮像部１１ｂは、放送機２を撮像する。
表示部１３は、第２撮像部１１ｂによって撮像された撮像画像を表示する。
検出部１４は、第１撮像部１１ａによって撮像された撮像画像に含まれているマーカーＭを検出する。
The
The
The
The
位置算出部１５は、現実空間において、第１撮像部１１ａとマーカーＭとの相対的な位置及び姿勢を算出し、当該算出結果と、第１撮像部１１ａ及び第２撮像部１１ｂの相対的な位置及び姿勢とに基づいて、第２撮像部１１ｂとマーカーＭとの相対的な位置及び姿勢を算出する。
The
仮想撮像部配置部１６は、位置算出部１５による算出結果に基づいて、第２撮像部１１ｂの内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する。
Based on the calculation result by the
ここで、現実空間において、第１撮像部１１ａとマーカーＭとの相対的な位置及び姿勢を求め、第１撮像部１１ａと第２撮像部１１ｂとの相対的な位置及び姿勢と、マーカーＭの座標から第２撮像部１１ｂの位置及び姿勢を算出する手順について図４を参照しながら説明する。
Here, in the real space, the relative position and orientation of the
第２撮像部１１ｂの位置及び姿勢Ｃ２は、第１撮像部１１ａとマーカーＭとの相対的な位置及び姿勢をＴｃｍとし、これに第１撮像部１１ａと第２撮像部１１ｂとの相対的な位置及び姿勢Ｔｃｃと、マーカーＭの位置及び姿勢とを乗算することにより算出することができる。
Ｃ２＝ＴｃｃＴｃｍＭ ・・・（３）
なお、Ｃ２は、カメラ座標系を示し、Ｍは、マーカー座標系を示し、ＴｃｃとＴｃｍは、マーカー座標系をカメラ座標系に変換するための変換行列である。
また、Ｔｃｃは、既知であるものとするが、以下のように算出することができる。なお、以下では、第１撮像部１１ａで撮像するマーカーをマーカーＭ１とし、第２撮像部１１ｂで撮像するマーカーをマーカーＭ２として説明する。
Position and orientation C 2 of the
C 2 = T cc T cm M (3)
C 2 represents a camera coordinate system, M represents a marker coordinate system, and T cc and T cm are conversion matrices for converting the marker coordinate system to the camera coordinate system.
Further, T cc is assumed to be known, but can be calculated as follows. In the following, a marker for imaging by the
第１撮像部１１ａの位置及び姿勢Ｃ１は、第１撮像部１１ａとマーカーＭ１との相対的な位置及び姿勢Ｔｃｍ１と、マーカーＭ１を乗算することにより算出することができる。
Ｃ１＝Ｔｃｍ１Ｍ１ ・・・（４）
なお、Ｃ１は、カメラ座標系を示し、Ｍ１は、マーカー座標系を示し、Ｔｃｍ１は、マーカー座標系をカメラ座標系に変換するための変換行列である。
Position and orientation C 1 of the
C 1 = T cm1 M 1 (4)
C 1 indicates a camera coordinate system, M 1 indicates a marker coordinate system, and T cm1 is a conversion matrix for converting the marker coordinate system to the camera coordinate system.
また、第２撮像部１１ｂの位置及び姿勢Ｃ２は、第２撮像部１１ｂとマーカーＭ２との相対的な位置及び姿勢Ｔｃｍ２と、マーカーＭ２を乗算することにより算出することができる。
Ｃ２＝Ｔｃｍ２Ｍ２ ・・・（５）
なお、Ｍ２は、マーカー座標系を示し、Ｔｃｍ２は、マーカー座標系をカメラ座標系に変換するための変換行列である。
また、マーカーＭ２は、マーカーＭ１とマーカーＭ２との相対的な位置及び姿勢Ｔｍｍと、マーカーＭ１を乗算することにより算出することができる。なお、Ｔｍｍは、マーカーＭ１とマーカーＭ２の配置により事前に既知となっている。
Ｍ２＝ＴｍｍＭ１ ・・・（６）
なお、Ｔｍｍは、変換行列である。
また、第２撮像部１１ｂの位置及び姿勢Ｃ２は、第１撮像部１１ａと第２撮像部１１ｂとの相対的な位置及び姿勢Ｔｃｃと第１撮像部１１ａを乗算することにより算出することができる。
Ｃ２＝ＴｃｃＣ１ ・・・（７）
（３）式〜（７）式に基づいて、Ｔｃｃは、（８）式により算出することができる。
Ｔｃｃ＝Ｔｃｍ２ＴｍｍＴｃｍ１ −１ ・・・（８）
The position and orientation C 2 of the
C 2 = T cm2 M 2 (5)
M 2 indicates a marker coordinate system, and T cm2 is a conversion matrix for converting the marker coordinate system to the camera coordinate system.
Further, the marker M 2 has a relative position and orientation T mm between markers M 1 and the marker M 2, can be calculated by multiplying the marker M 1. Incidentally, T mm is already known in advance the arrangement of markers M 1 and the marker M 2.
M 2 = T mm M 1 (6)
T mm is a transformation matrix.
The position and orientation C 2 of the
C 2 = T cc C 1 (7)
Tcc can be calculated by the equation (8) based on the equations (3) to (7).
T cc = T cm2 T mm T cm1 −1 (8)
なお、上述では、第１撮像部１１ａと第２撮像部１１ｂとを固定し、位置及び姿勢が変わらないことを前提にしたが、第１撮像部１１ａと第２撮像部１１ｂをサーボ等で駆動し、駆動したときの制御情報に基づいて位置及び姿勢（Ｔｃｃ）を算出することもでき、第１撮像部１１ａと第２撮像部１１ｂとを固定にしなくてもよい。例えば、サーボ等で動かしうる第１撮像部１１ａと第２撮像部１１ｂの位置及び姿勢について、事前にそれぞれの位置及び姿勢でＴｃｃを取得してサーボの制御情報を対応付けしておくことにより、位置及び姿勢を算出する。
In the above description, it is assumed that the
かかる構成によれば、電子機器１は、互いの位置及び姿勢を既知とした撮像部（カメラ）を複数台用意し、情報重畳先を撮影する第２撮像部１１ｂにマーカーＭが映ってない場合でも、第１撮像部１１ａで撮影しているマーカーＭから、第２撮像部１１ｂの位置及び姿勢が計算できるので、放送機２の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。
According to such a configuration, when the
上述では、一の電子機器１によって、マーカーの設置位置に制限されずに情報提示を行う実施例について説明したが、これに限られず、複数の電子機器（例えば、第１電子機器１ａと第２電子機器１ｂ）がネットワークを介して接続される通信システム１００において、マーカーの設置位置に制限されずに情報提示を行う構成でもよい。
In the above description, the embodiment in which information is presented by one
具体的には、通信システム１００は、監督者側の第１電子機器１ａと操作者側の第２電子機器１ｂとを同期させ、監督者側の環境に固定されているマーカーと第１電子機器１ａとの相対的な位置及び姿勢を第１電子機器１ａから第２電子機器１ｂに送信することにより、操作者側の環境にマーカーが固定されていなくても、情報提示を行うことができる。
Specifically, the communication system 100 synchronizes the first
このように構成される通信システム１００は、図５に示すように、監督者と操作者の役割分担を明確化でき、監督者が進行管理を行うことにより、操作者は、放送機２の操作の作業に集中できるメリットがある。例えば、第１電子機器１ａと第２電子機器１ｂを同期させておき、第１電子機器１ａを利用して監督者が手順（１）と手順（２）に操作が完了したことを示すチェックを行い、手順（３）に操作中であることを示すチェックを行うと、第２電子機器１ｂの表示部には、手順（１）と手順（２）には操作が完了したことを示すチェックが表示され、手順（３）には操作中を示すチェックが表示される。
As shown in FIG. 5, the communication system 100 configured as described above can clarify the division of roles between the supervisor and the operator, and the supervisor can manage the progress of the
以下に、通信システム１００の具体的な構成と動作について説明する。なお、第１電子機器１ａと第２電子機器１ｂは、基本的に同じ構成である。
Hereinafter, a specific configuration and operation of the communication system 100 will be described. The first
第１電子機器１ａは、図６に示すように、第３撮像部１１ｃと、第１撮像画像取得部１２ａと、第１表示部１３ａと、第１検出部１４ａと、第１位置算出部１５ａと、第１仮想撮像部配置部１６ａと、第１レンダリング部１７ａと、第１重畳部１８ａと、第１記憶部１９ａと、第１選択部２０ａと、第１読出部２１ａと、第１送受信部２２ａと、を備える。
As shown in FIG. 6, the first
第１撮像画像取得部１２ａは、第３撮像部１１ｃにより現実空間を撮像して得られた撮像画像を取得する。なお、本実施例に係る現実空間には、図６に示すように、監督者側の環境にマーカーＭ１が配置されており、操作者側の環境には放送機２が配置されていることを想定している。
The first captured
第１表示部１３ａは、第１撮像画像取得部１２ａで取得された撮像画像を表示する。
第１検出部１４ａは、第１撮像画像取得部１２ａで取得された撮像画像に含まれている第１マーカーＭ１を検出し、識別する。
第１記憶部１９ａは、第２電子機器１ｂに備えられている第４撮像部１１ｄと、当該第４撮像部１１ｄに固定されている第２マーカーＭ２との相対的な位置及び姿勢（例えば、後述するＴｃｃ２）が記憶されている。また、第１記憶部１９ａには、他に、現実空間に配置されている放送機（図６に示す例では、監督者側の環境には放送機は配置されていない）を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する。仮想オブジェクトの配置情報とは、仮想オブジェクトを仮想空間において配置する位置及び姿勢、スケール等の情報である。
The
The
The
第１読出部２１ａは、第１記憶部１９ａから第４撮像部１１ｄと第２マーカーＭ２との相対的な位置及び姿勢を読み出す。読み出された第４撮像部１１ｄと第２マーカーＭ２との相対的な位置及び姿勢は、第１位置算出部１５ａを介して、第１送受信部２２ａに供給される。また、第１読出部２１ａは、第３撮像部１１ｃの内部パラメータ（射影行列Ｐ）を第１記憶部１９ａから読み出して、第１仮想撮像部配置部１６ａに供給する。
第１位置算出部１５ａは、第３撮像部１１ｃと、第４撮像部１１ｄに固定されている第２マーカーＭ２との相対的な位置及び姿勢（例えば、後述するＴｃｍ２）の逆行列（例えば、後述するＴｃｍ２ −１）を算出する。また、第１位置算出部１５ａは、第３撮像部１１ｃと第１マーカーＭ１との相対的な位置及び姿勢（例えば、後述するＴｃｃＴｃｍ）を算出する。
The
The first
第１送受信部２２ａは、第１位置算出部１５ａによる算出結果と、第１読出部２１ａで読み出した第４撮像部１１ｄと第２マーカーＭ２との相対的な位置及び姿勢を位置関係情報（例えば、後述するＴｃｃ２Ｔｃｍ２ −１ＴｃｃＴｃｍ）とし、第１検出部１４ａで検出した第１マーカーＭ１の識別結果（例えば、マーカー番号）とともに第２電子機器１ｂに送信する。
The first transmission /
第２電子機器１ｂは、図６に示すように、第４撮像部１１ｄと、第２撮像画像取得部１２ｂと、第２表示部１３ｂと、第２検出部１４ｂと、第２位置算出部１５ｂと、第２仮想撮像部配置部１６ｂと、第２レンダリング部１７ｂと、第２重畳部１８ｂと、第２記憶部１９ｂと、第２選択部２０ｂと、第２読出部２１ｂと、第２送受信部２２ｂと、を備える。
As shown in FIG. 6, the second
第２送受信部２２ｂは、第１送受信部２２ａから送信されてきた位置関係情報と第１マーカーの識別結果を受信する。
第４撮像部１１ｄは、第２マーカーＭ２が固定されている。
第２撮像画像取得部１２ｂは、第４撮像部１１ｄにより現実空間を撮像して得られた撮像画像を取得する。
第２表示部１３ｂは、第４撮像部１１ｄで取得された撮像画像を表示する。
第２仮想撮像部配置部１６ｂは、位置関係情報に基づいて、第４撮像部１１ｄの内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する。
The second transmitter /
In the
The second captured
The
Based on the positional relationship information, the second virtual imaging
第２記憶部１９ｂは、現実空間に配置されている放送機２を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、仮想オブジェクトの配置情報とが対応付けられているテーブルを有する。仮想オブジェクトの配置情報とは、仮想オブジェクトを仮想空間において配置する位置及び姿勢、スケール等の情報である。なお、記憶部１９に記憶されているテーブルの一例として、後述する図１６に手順−仮想オブジェクト関連付けマトリックスを示す。
第２選択部２０ｂは、手順を選択する。
第２読出部２１ｂは、第２送受信部２２ｂで受信した第１マーカーＭ１の識別結果と第２選択部２０ｂにより選択されている手順に基づいて、第２記憶部１９ｂを参照し、対応する仮想オブジェクト及びその位置及び姿勢を読み出す。また、第２読出部２１ｂは、第４撮像部１１ｄの内部パラメータ（射影行列Ｐ）を第２記憶部１９ｂから読み出して、第２仮想撮像部配置部１６ｂに供給する。
The
The
The
第２レンダリング部１７ｂは、第２読出部２１ｂにより読み出された仮想オブジェクトをその位置及び姿勢にしたがって仮想空間内に配置し、仮想撮像部により仮想空間内を撮像する。
第２重畳部１８ｂは、第２表示部１３ｂに表示されている撮像画像に第２レンダリング部１７ｂで撮像した結果を重畳する。
The
The
かかる構成によれば、通信システム１００は、ネットワークを介して第１電子機器１ａと第２電子機器１ｂとの間において、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる。さらに、通信システム１００は、環境の問題で操作者側にマーカーを固定できない場合でも、監督者側に固定されているマーカーに基づいて、手順ごとに異なる仮想オブジェクトを操作者側の第２電子機器１ｂの撮像画像に重畳して表示できる。よって、通信システム１００は、放送機２の操作について、各手順において仮想オブジェクトにより補助することにより、操作者による操作の誤り等を低減することができる。
According to this configuration, the communication system 100 has the marker-type advantage between the first
ここで、第４撮像部１１ｄとマーカーＭ１との相対的な位置及び姿勢を算出する手順について図７を参照しながら以下に説明する。なお、以下では、第３撮像部１１ｃは、放送機２を撮像する撮像部１１ｃ１と、マーカーＭ１を撮像する撮像部１１ｃ２とにより構成されるものとして説明するが、これに限られない。
Here, a procedure for calculating the relative position and orientation of the
撮像部１１ｃ２の位置及び姿勢Ｃｓ２は、撮像部１１ｃ１と撮像部１１ｃ２の相対的な位置及び姿勢Ｔｃｃと、撮像部１１ｃ１とマーカーＭ１の相対的な位置及び姿勢Ｔｃｍと、マーカーＭ１の位置及び姿勢Ｍｓとを乗算することにより算出することができる。
Ｃｓ２＝ＴｃｃＴｃｍＭｓ ・・・（９）
なお、Ｃｓ２は、カメラ座標系を示し、Ｍｓは、マーカー座標系を示し、ＴｃｃとＴｃｍは、変換行列である。
Position and orientation C s2 of the imaging unit 11c 2 has a relative position and orientation T cc of the imaging unit 11c 1 and the imaging unit 11c 2, and relative position and orientation T cm of the imaging unit 11c 1 and the marker M1, it can be calculated by multiplying the position and orientation M s of the marker M1.
C s2 = T cc T cm M s (9)
C s2 represents a camera coordinate system, M s represents a marker coordinate system, and T cc and T cm are transformation matrices.
また、撮像部１１ｃ２の位置及び姿勢Ｃｓ２は、撮像部１１ｃ２とマーカーＭ２の位置及び姿勢Ｍｏとの相対的な位置及び姿勢Ｔｃｍ２と、マーカーＭ２の位置及び姿勢Ｍｏとを乗算することにより算出することができる。
Ｃｓ２＝Ｔｃｍ２Ｍｏ ・・・（１０）
なお、Ｍｏは、マーカー座標系を示し、Ｔｃｍ２は、マーカー座標系をカメラ座標系に変換するための変換行列である。
The position and orientation C s2 of the imaging unit 11c 2 is multiplied by the relative position and orientation T cm @ 2 of the position and orientation M o of the imaging unit 11c 2 and the marker M2, the position and orientation M o markers M2 This can be calculated.
Cs 2 = T cm2 M o ··· (10)
M o indicates a marker coordinate system, and T cm2 is a conversion matrix for converting the marker coordinate system to the camera coordinate system.
（９）式と（１０）式に基づいて、Ｍｏは、（１１）式により算出することができる。
Ｍｏ＝Ｔｃｍ２ −１ＴｃｃＴｃｍＭｓ ・・・（１１）
また、第４撮像部１１ｄの位置及び姿勢Ｃｏ２は、第４撮像部１１ｄとマーカーＭ２の相対的な位置及び姿勢Ｔｃｃ２と、マーカーＭ２の位置及び姿勢Ｍｏとを乗算することにより算出することができる。
Ｃｏ２＝Ｔｃｃ２Ｍｏ ・・・（１２）
なお、Ｃｏ２は、カメラ座標系を示し、Ｔｃｃ２は、マーカー座標系をカメラ座標系に変換するための変換行列である。
Mo can be calculated by the equation (11) based on the equations (9) and (10).
M o = T cm 2 −1 T cc T cm M s (11)
The position and orientation C o2 of the
C o2 = T cc2 M o (12)
Note that C o2 indicates a camera coordinate system, and T cc2 is a conversion matrix for converting the marker coordinate system to the camera coordinate system.
よって、（１１）式と（１２）式に基づいて、Ｃｏ２は、（１３）式により算出することができる。
Ｃｏ２＝Ｔｃｃ２Ｔｃｍ２ −１ＴｃｃＴｃｍＭｓ ・・・（１３）
このようにして、第２電子機器１ｂは、第１電子機器１ａから位置関係情報（Ｔｃｃ２Ｔｃｍ２ −１ＴｃｃＴｃｍ）を受信することにより、第４撮像部１１ｄのマーカーＭ１に対する相対的な位置及び姿勢を算出することができる。
Therefore, Co2 can be calculated by the equation (13) based on the equations (11) and (12).
C o2 = T cc2 T cm2 -1 T cc T cm M s ··· (13)
In this way, the second
つぎに、Ｔｃｃ２の導出（キャリブレーション）の手順について図８を参照しながら説明する。なお、以下では、Ｔｃｃ２を導出するために必要な撮像部１１ｅと、マーカーＭ３を追加して説明する。また、マーカーＭ３の位置及び姿勢は、Ｍｃとする。
Next, a procedure for derivation (calibration) of T cc2 will be described with reference to FIG. In the following description, the
第４撮像部１１ｄの位置及び姿勢Ｃｏ２は、第４撮像部１１ｄとマーカーＭ３の相対的な位置及び姿勢Ｔ３と、マーカーＭ３の位置及び姿勢Ｍｃとを乗算することにより算出することができる。
Ｃｏ２＝Ｔ３Ｍｃ ・・・（１４）
Position and orientation C o2 of the
C o2 = T 3 M c ··· (14)
また、第４撮像部１１ｄの位置及び姿勢Ｃｏ２は、第４撮像部１１ｄとマーカーＭ２の相対的な位置及び姿勢Ｔｃｃ２と、マーカーＭ２の位置及び姿勢Ｍｏとを乗算することにより算出することができる。
Ｃｏ２＝Ｔｃｃ２Ｍｏ ・・・（１５）
The position and orientation C o2 of the
C o2 = T cc2 M o (15)
（１４）式と（１５）式に基づいて、Ｔｃｃ２は、（１６）式により算出することができる。
Ｔｃｃ２＝Ｔ３ＭｃＭｏ −１ ・・・（１６）
Based on the equations (14) and (15), T cc2 can be calculated by the equation (16).
T cc2 = T 3 M c M o -1 ··· (16)
撮像部１１ｅの位置及び姿勢Ｃｃは、撮像部１１ｅとマーカーＭ２の相対的な位置及び姿勢Ｔ２と、マーカーＭ２の位置及び姿勢Ｍｏとを乗算することにより算出することができる。
Ｃｃ＝Ｔ２Ｍｏ ・・・（１７）
Position and orientation C c of the
C c = T 2 M o (17)
また、撮像部１１ｅの位置及び姿勢Ｃｃは、撮像部１１ｅとマーカーＭ３の相対的な位置及び姿勢Ｔ１と、マーカーＭ３の位置及び姿勢Ｍｃとを乗算することにより算出することができる。
Ｃｃ＝Ｔ１Ｍｃ ・・・（１８）
The position and orientation C c of the
C c = T 1 M c (18)
（１７）式と（１８）式に基づいて、Ｍｃは、（１９）式により算出することができる。
Ｍｃ＝Ｔ１ −１Ｔ２Ｍｏ ・・・（１９）
(17) based on equation (18), M c can be calculated by (19).
M c = T 1 −1 T 2 M o (19)
また、（１６）式と（１９）式に基づいて、Ｔｃｃ２を導出することができる。
Ｔｃｃ２＝Ｔ３Ｔ１ −１Ｔ２ ・・・（２０）
Further, T cc2 can be derived based on the equations (16) and (19).
T cc2 = T 3 T 1 -1 T 2 (20)
つぎに、通信システム１００による処理の流れについて、図９に示すフローチャートを参照しながら説明する。なお、以下では、操作者側の第２電子機器１ｂの動作を主体に説明する。
ステップＳ１において、第２電子機器１ｂは、手順リストを表示部４３に表示するかどうかを判断する。例えば、第２電子機器１ｂは、ユーザにより表示部４３に表示されている「手順」（図３中のＡ１）がタップ操作されたかどうかによって判断する。
Next, the flow of processing by the communication system 100 will be described with reference to the flowchart shown in FIG. Hereinafter, the operation of the second
In step S <b> 1, the second
手順リストを表示部４３に表示すると判断した場合（Ｙｅｓ）には、ステップＳ２に進み、手順リストを表示部４３に表示しないと判断した場合（Ｎｏ）には、ステップＳ５に進む。 When it is determined that the procedure list is displayed on the display unit 43 (Yes), the process proceeds to step S2, and when it is determined that the procedure list is not displayed on the display unit 43 (No), the process proceeds to step S5.
ステップＳ２において、第２電子機器１ｂは、手順の選択と、表示処理を行う。なお、ステップＳ２の工程の詳細については、後述する。
ステップＳ３において、第２電子機器１ｂは、マーカーの検出処理を行う。なお、ステップＳ３の工程の詳細については、後述する。
ステップＳ４において、第２電子機器１ｂは、仮想オブジェクト（ＡＲオブジェクト）の表示処理を行う。なお、ステップＳ４の工程の詳細については、後述する。
In step S2, the second
In step S3, the second
In step S4, the second
ステップＳ５において、第２電子機器１ｂは、系統図を表示部４３に表示するかどうかを判断する。例えば、第２電子機器１ｂは、ユーザにより表示部４３に表示されている「系統」（図３中のＡ３）がタップ操作されたかどうかによって判断する。
In step S <b> 5, the second
系統を表示部４３に表示すると判断した場合（Ｙｅｓ）には、ステップＳ６に進み、系統を表示部４３に表示しないと判断した場合（Ｎｏ）には、処理を終了する。 When it is determined that the system is displayed on the display unit 43 (Yes), the process proceeds to step S6, and when it is determined that the system is not displayed on the display unit 43 (No), the process ends.
＜ステップＳ２の工程について＞
ステップＳ２の工程の詳細について、図１０を参照しながら説明する。
ステップＳ２１において、第２電子機器１ｂは、割り込み処理によって、表示されている手順リストの中から手順や完了フラグの操作が行われたとき、当該操作を行った者が操作者であるかどうかを判断する。操作者によって操作されたと判断された場合（Ｙｅｓ）には、ステップＳ２２に進み、操作者によって操作されなかったと判断、すなわち、監督者（第１電子機器１ａ）によって操作されたと判断された場合（Ｙｅｓ）には、ステップＳ２３に進む。
<About Step S2>
Details of the step S2 will be described with reference to FIG.
In step S21, when the procedure or the completion flag is operated from the displayed procedure list by the interrupt process, the second
ステップＳ２２において、第２電子機器１ｂは、ロックの解除を行うかどうかを判断する。本実施例では、第１電子機器１ａと第２電子機器１ｂとは、同期していることが前提であるが、ロックの解除によりこの同期が解除される。ロックの解除を行ったと判断した場合（Ｙｅｓ）には、ステップＳ２３に進み、ロックの解除を行っていないと判断した場合（Ｎｏ）には、ステップＳ２５に進む。
In step S22, the second
ステップＳ２３において、第２電子機器１ｂは、割り込み処理によって、管理者（第１電子機器１ａ）から送信されてきた手順の番号や完了フラグを受信し、送信されてきた手順の番号や完了フラグの選択状況を取得する。
In step S23, the second
ステップＳ２４において、第２電子機器１ｂは、手順の番号や完了フラグをグローバル変数へ代入する。グローバル変数は、選択手順番号と、完了フラグ（配列）によって構成されている。選択手順番号は、例えば、手順が何も選択されていない場合には「０」が代入され、手順（１）が選択されている場合には「１」が代入され、手順（２）が選択されている場合には「２」が代入される。完了フラグは、手順番号ごとに代入していき、図１０に示す例では、手順（１）及び手順（２）は、完了しているため「１：完了」が代入され、手順（３）以降は完了していないため「０：未」が代入される。
In step S24, the second
ステップＳ２５において、第２電子機器１ｂは、グローバル変数に応じた手順表示画面を描画する。例えば、第２電子機器１ｂは、図３に示すような画面を表示部４３に描画する。
In step S25, the second
＜ステップＳ３の工程について＞
ステップＳ３の工程の詳細について、図１１を参照しながら説明する。
ステップＳ３１において、第２電子機器１ｂは、グローバル変数より手順番号を読み込む。例えば、グローバル変数が「１」の場合には、手順（１）が選択されていることになる。
<About Step S3>
Details of the step S3 will be described with reference to FIG.
In step S31, the second
ステップＳ３２において、第２電子機器１ｂは、手順−仮想オブジェクト関連付けマトリックスを参照し、ステップＳ３１の工程で読み込んだ手順番号に対応するマーカー番号とその優先度を取得する。なお、手順−仮想オブジェクト関連付けマトリックスについては、後述する。また、第２電子機器１ｂは、選択されている手順番号に対応する完了フラグの状態に応じて、参照するテーブルを変えてもよい。
In step S32, the second
ステップＳ３３において、第２電子機器１ｂは、該当するマーカーの検出処理を実行する。未検出であった場合には、戻り値を「−１」にする。マーカーを一つ検出した場合には、検出したマーカーの番号を戻り値にする。また、複数のマーカーを検出した場合には、ステップＳ３４に進む。
In step S33, the second
ステップＳ３４において、第２電子機器１ｂは、複数のマーカーの中から優先度の高いマーカーの番号を選択し、選択したマーカーの番号を戻り値にする。
In step S34, the second
ここで、ステップＳ３３の工程におけるマーカーの検出手順について、図１２を用いて詳述する。なお、以下では、図１３に示すように、監督者側に設置される第３撮像部１１ｃは、主にマーカーを撮像する撮像部１１ｃ１と、主に放送機を撮像する撮像部１１ｃ２とにより構成されており、一方、操作者側に設置される第４撮像部１１ｄは、主にマーカーを撮像する撮像部１１ｄ１と、主に放送機を撮像する撮像部１１ｄ２とにより構成されているものとする。また、図１３に示す例では、監督者側（第１電子機器１ａ）によって該当マーカーが検出されたケースを示している。
Here, the marker detection procedure in step S33 will be described in detail with reference to FIG. In the following, as shown in FIG. 13, the third imaging unit 11 c installed on the supervisor side is an imaging unit 11 c 1 that mainly images a marker, and an imaging unit 11 c 2 that mainly images a broadcaster. It is constituted by, while the
ステップＳ３０１において、第２電子機器１ｂは、撮像部１１ｄ２によって該当マーカーを検出したかどうかを判断する。検出した場合には、ステップＳ３０４に進み、未検出の場合には、ステップＳ３０２に進む。
In step S301, the second
ステップＳ３０２において、第２電子機器１ｂは、撮像部１１ｄ１によって該当マーカーを検出したかどうかを判断する。検出した場合には、ステップＳ３０４に進み、未検出の場合には、ステップＳ３０３に進む。
In step S302, the second
ステップＳ３０３において、第２電子機器１ｂは、監督者側（第１電子機器１ａ側の撮像部１１ｃ１又は撮像部１１ｃ２）によって該当マーカーを検出できたかどうかを判断する。検出した場合には、ステップＳ３０４に進み、未検出の場合には、戻り値を「−１」にする。
In step S303, the second
ステップＳ３０４において、第２電子機器１ｂは、マーカー情報を出力する。例えば、第２電子機器１ｂは、撮像部で撮像された画像からマーカーを検出し、登録されている全マーカーと比較し、一致した場合には、「１：検出」とし、一致しなかった場合には、「０：無」として、図１４に示すテーブルに代入する。第２電子機器１ｂは、テーブルを参照して、該当マーカーの有無を判断する。
In step S304, the second
＜ステップＳ４の工程について＞
ステップＳ４の工程の詳細について、図１５を参照しながら説明する。
ステップＳ４１において、第２電子機器１ｂは、該当マーカーを検出できたかどうかを判断する。検出できたと判断した場合（Ｙｅｓ）には、ステップＳ４２に進み、検出できなかったと判断した場合（Ｎｏ）には、処理を終了する。
<About Step S4>
Details of the step S4 will be described with reference to FIG.
In step S41, the second
ステップＳ４２において、第２電子機器１ｂは、検出したマーカー情報に基づいて、座標変換処理を行う。
ステップＳ４３において、第２電子機器１ｂは、検出したマーカー番号と選択されている手順番号に基づいて、手順−仮想オブジェクト関連付けマトリックスを参照し、表示部４３に表示する仮想（ＡＲ）オブジェクトと表示する座標を取得する。
ステップＳ４４において、第２電子機器１ｂは、ステップＳ４３の工程で取得した座標に基づいて、仮想オブジェクトを表示部４３に表示する処理を行う。
In step S42, the second
In step S43, the second
In step S44, the second
ここで、ステップＳ３２及びステップＳ４３の工程で用いる手順−仮想オブジェクト関連付けマトリックスについて、図１６を参照しながら説明する。
手順−仮想オブジェクト関連付けマトリックスは、手順ごとにテーブル化されている。各テーブルには、各マーカー番号に対して、マーカー優先度と、表示すべき仮想（ＡＲ）オブジェクトの番号と、仮想オブジェクトの表示座標が対応付けられている。なお、一度に、複数のマーカーを使用する場合もあるので、マーカー優先度は同じでもよい。また、同じ仮想オブジェクトを複数箇所に使用する場合もあるので、表示座標は、ひとつのマスに対して、複数個設定することもできる。
なお、上述した手順−仮想オブジェクト関連付けマトリックスは、一例であって、これに限られない。例えば、手順−仮想オブジェクト関連付けマトリックスには、他に、スケール（大きさ）、姿勢等が含まれてもよい。
Here, the procedure-virtual object association matrix used in the steps S32 and S43 will be described with reference to FIG.
The procedure-virtual object association matrix is tabulated for each procedure. In each table, the marker priority, the number of the virtual (AR) object to be displayed, and the display coordinates of the virtual object are associated with each marker number. Since a plurality of markers may be used at a time, the marker priority may be the same. In addition, since the same virtual object may be used in a plurality of places, a plurality of display coordinates can be set for one square.
Note that the above-described procedure-virtual object association matrix is an example, and is not limited thereto. For example, the procedure-virtual object association matrix may include a scale (size), a posture, and the like.
また、本実施例では、主に、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行う電子機器と通信システムの構成と動作について説明したが、これに限られず、各構成要素を備え、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うための方法、及びプログラムとして構成されてもよい。 In addition, in this embodiment, the configuration and operation of the electronic device and the communication system that provide information without being limited to the marker installation position, which is an advantage of the markerless type, while having the advantage of the marker type, have been described. However, the present invention is not limited thereto, and each component may be configured as a method and program for providing information without being limited to the marker installation position, which is an advantage of the markerless type, while having the advantages of the marker type. Good.
さらに、電子機器及び通信システムの機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。 Further, the present invention is realized by recording a program for realizing the functions of the electronic device and the communication system on a computer-readable recording medium, causing the computer system to read and execute the program recorded on the recording medium. Also good.
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 The “computer system” here includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a hard disk built in the computer system.
さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。 Furthermore, “computer-readable recording medium” means that a program is dynamically held for a short time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. It is also possible to include one that holds a program for a certain time, such as a volatile memory inside a computer system that becomes a server or client in that case. Further, the program may be for realizing a part of the above-described functions, and may be capable of realizing the above-described functions in combination with a program already recorded in the computer system. .
１ 電子機器
１ａ 第１電子機器
１ｂ 第２電子機器
２ 所定の機器（放送機）
１１ 撮像部
１２ 撮像画像取得部
１２ａ 第１撮像画像取得部
１２ｂ 第２撮像画像取得部
１３ 表示部
１３ａ 第１表示部
１３ｂ 第２表示部
１４ 検出部
１４ａ 第１検出部
１４ｂ 第２検出部
１５ 位置算出部
１５ａ 第１位置算出部
１５ｂ 第２位置算出部
１６ 仮想撮像部配置部
１６ａ 第１仮想撮像部配置部
１６ｂ 第２仮想撮像部配置部
１７ レンダリング部
１７ａ 第１レンダリング部
１７ｂ 第２レンダリング部
１８ 重畳部
１８ａ 第１重畳部
１８ｂ 第２重畳部
１９ 記憶部
１９ａ 第１記憶部
１９ｂ 第２記憶部
２０ 選択部
２０ａ 第１選択部
２０ｂ 第２選択部
２１ 読出部
２１ａ 第１読出部
２１ｂ 第２読出部
２２ａ 第１送受信部
２２ｂ 第２送受信部
１００ 通信システム
DESCRIPTION OF
11
Claims (5)
前記撮像画像取得部で取得された前記撮像画像を表示する表示部と、
前記撮像画像取得部で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出部と、
前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出部と、
前記位置算出部による算出結果に基づいて、前記撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置部と、
現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部と、
前記手順を選択する選択部と、
前記選択部により選択されている手順に基づいて、前記記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出部と、
前記読出部により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング部と、
前記表示部に表示されている前記撮像画像に前記レンダリング部で撮像した結果を重畳する重畳部と、を備える電子機器。 A captured image acquisition unit that acquires a captured image obtained by imaging a real space by the imaging unit;
A display unit for displaying the captured image acquired by the captured image acquisition unit;
A detection unit that detects and identifies a predetermined marker included in the captured image acquired by the captured image acquisition unit;
A position calculator that calculates a relative position and orientation of the imaging unit and the predetermined marker in the real space;
A virtual imaging unit arrangement unit that arranges a virtual imaging unit set by an internal parameter of the imaging unit at a predetermined location in a virtual space, based on a calculation result by the position calculation unit;
A storage unit having a table in which each procedure for operating a predetermined device arranged in the real space, a virtual object to be displayed for each procedure, and placement information of the virtual object are associated with each other;
A selection unit for selecting the procedure;
Based on the procedure selected by the selection unit, a reading unit that refers to the storage unit and reads the corresponding virtual object and its position information;
A rendering unit that arranges a virtual object read by the reading unit in a virtual space according to the position information, and images the virtual space by the virtual imaging unit;
An electronic device comprising: a superimposing unit that superimposes a result captured by the rendering unit on the captured image displayed on the display unit.
前記第１撮像部は、前記所定のマーカーを撮像し、
前記第２撮像部は、前記所定の機器を撮像し、
前記表示部は、前記第２撮像部によって撮像された撮像画像を表示し、
前記検出部は、前記第１撮像部によって撮像された撮像画像に含まれている所定のマーカーを検出し、
前記位置算出部は、前記現実空間において、前記第１撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、当該算出結果と、前記第１撮像部及び前記第２撮像部の相対的な位置及び姿勢とに基づいて、前記第２撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、
前記仮想撮像部配置部は、前記位置算出部による算出結果に基づいて、前記第２撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する請求項１記載の電子機器。 The imaging unit includes a first imaging unit and a second imaging unit,
The first imaging unit images the predetermined marker,
The second imaging unit images the predetermined device,
The display unit displays a captured image captured by the second imaging unit,
The detection unit detects a predetermined marker included in a captured image captured by the first imaging unit,
The position calculating unit calculates a relative position and orientation between the first imaging unit and the predetermined marker in the real space, and calculates the calculation results and the first imaging unit and the second imaging unit. Based on the relative position and orientation, the relative position and orientation of the second imaging unit and the predetermined marker are calculated,
The virtual imaging unit arranging unit arranges a virtual imaging unit set by an internal parameter of the second imaging unit at a predetermined location in a virtual space based on a calculation result by the position calculating unit. Electronics.
前記撮像画像取得工程で取得された前記撮像画像を表示部に表示する表示工程と、
前記撮像画像取得工程で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出工程と、
前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出工程と、
前記位置算出工程による算出結果に基づいて、前記撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置工程と、
現実空間に配置されている所定の機器を操作するための各手順を選択する選択工程と、
前記選択工程により選択されている手順に基づいて、前記各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出工程と、
前記読出工程により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング工程と、
前記表示部に表示されている前記撮像画像に前記レンダリング工程で撮像した結果を重畳する重畳工程と、を備える表示方法。 A captured image acquisition step of acquiring a captured image obtained by imaging the real space by the imaging unit;
A display step of displaying the captured image acquired in the captured image acquisition step on a display unit;
A detection step of detecting and identifying a predetermined marker included in the captured image acquired in the captured image acquisition step;
A position calculating step of calculating a relative position and orientation between the imaging unit and the predetermined marker in the real space;
A virtual imaging unit arrangement step of arranging a virtual imaging unit set by an internal parameter of the imaging unit at a predetermined location in a virtual space based on a calculation result of the position calculation step;
A selection step of selecting each procedure for operating a predetermined device arranged in the real space;
Based on the procedure selected in the selection step, refer to the storage unit having a table in which each procedure, the virtual object to be displayed for each procedure, and the placement information of the virtual object are associated with each other, A reading process of reading the corresponding virtual object and its position information;
A rendering step of arranging the virtual object read by the reading step in a virtual space according to the position information, and imaging the virtual space by the virtual imaging unit;
And a superimposing step of superimposing a result captured in the rendering step on the captured image displayed on the display unit.
撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得工程と、
前記撮像画像取得工程で取得された前記撮像画像を表示部に表示する表示工程と、
前記撮像画像取得工程で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出工程と、
前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出工程と、
前記位置算出工程による算出結果に基づいて、前記撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置工程と、
現実空間に配置されている所定の機器を操作するための各手順を選択する選択工程と、
前記選択工程により選択されている手順に基づいて、前記各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出工程と、
前記読出工程により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング工程と、
前記表示部に表示されている前記撮像画像に前記レンダリング工程で撮像した結果を重畳する重畳工程と、を実行するためのプログラム。 By computer
A captured image acquisition step of acquiring a captured image obtained by imaging the real space by the imaging unit;
A display step of displaying the captured image acquired in the captured image acquisition step on a display unit;
A detection step of detecting and identifying a predetermined marker included in the captured image acquired in the captured image acquisition step;
A position calculating step of calculating a relative position and orientation between the imaging unit and the predetermined marker in the real space;
A virtual imaging unit arrangement step of arranging a virtual imaging unit set by an internal parameter of the imaging unit at a predetermined location in a virtual space based on a calculation result of the position calculation step;
A selection step of selecting each procedure for operating a predetermined device arranged in the real space;
Based on the procedure selected in the selection step, refer to the storage unit having a table in which each procedure, the virtual object to be displayed for each procedure, and the placement information of the virtual object are associated with each other, A reading process of reading the corresponding virtual object and its position information;
A rendering step of arranging the virtual object read by the reading step in a virtual space according to the position information, and imaging the virtual space by the virtual imaging unit;
A superposition process for superimposing a result captured in the rendering process on the captured image displayed on the display unit.
前記第１電子機器は、
第３撮像部により現実空間を撮像して得られた撮像画像を取得する第１撮像画像取得部と、
前記第１撮像画像取得部で取得された前記撮像画像に含まれている第１マーカーを検出し、識別する第１検出部と、
前記第２電子機器に備えられている第４撮像部と、当該第４撮像部に固定されている第２マーカーとの相対的な位置及び姿勢が記憶されている第１記憶部と、
前記第１記憶部から前記第４撮像部と前記第２マーカーとの相対的な位置及び姿勢を読み出す第１読出部と、
前記第３撮像部と、前記第２電子機器に備えられている第４撮像部に固定されている第２マーカーとの相対的な位置及び姿勢の逆行列を算出し、前記第３撮像部と前記第１マーカーとの相対的な位置及び姿勢を算出する第１位置算出部と、
前記第１位置算出部による算出結果と、前記第１読出部で読み出した前記第４撮像部と前記第２マーカーとの相対的な位置及び姿勢を位置関係情報とし、前記第１検出部で検出した前記第１マーカーの識別結果とともに前記第２電子機器に送信する第１送受信部とを備え、
前記第２電子機器は、
前記第１送受信部から送信されてきた前記位置関係情報と前記第１マーカーの識別結果を受信する第２送受信部と、
前記第２マーカーが固定されている第４撮像部と、
前記第４撮像部で取得された撮像画像を表示する第２表示部と、
前記位置関係情報に基づいて、前記第４撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する第２仮想撮像部配置部と、
現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する第２記憶部と、
前記手順を選択する第２選択部と、
前記第２送受信部で受信した前記第１マーカーの識別結果と前記第２選択部により選択されている手順に基づいて、前記第２記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す第２読出部と、
前記第２読出部により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像する第２レンダリング部と、
前記第２表示部に表示されている前記撮像画像に前記第２レンダリング部で撮像した結果を重畳する第２重畳部と、を備える通信システム。 In a communication system in which a first electronic device and a second electronic device are connected via a network,
The first electronic device is
A first captured image acquisition unit that acquires a captured image obtained by imaging a real space by the third imaging unit;
A first detection unit that detects and identifies a first marker included in the captured image acquired by the first captured image acquisition unit;
A first storage unit storing relative positions and orientations of a fourth imaging unit provided in the second electronic device and a second marker fixed to the fourth imaging unit;
A first reading unit that reads a relative position and orientation of the fourth imaging unit and the second marker from the first storage unit;
An inverse matrix of a relative position and orientation between the third imaging unit and a second marker fixed to a fourth imaging unit provided in the second electronic device is calculated, and the third imaging unit A first position calculation unit for calculating a relative position and orientation with respect to the first marker;
The calculation result by the first position calculation unit and the relative position and orientation of the fourth imaging unit and the second marker read by the first reading unit are used as positional relationship information, and are detected by the first detection unit. A first transmitter / receiver for transmitting to the second electronic device together with the identification result of the first marker,
The second electronic device is
A second transceiver for receiving the positional relationship information transmitted from the first transceiver and the identification result of the first marker;
A fourth imaging unit to which the second marker is fixed;
A second display unit for displaying a captured image acquired by the fourth imaging unit;
A second virtual imaging unit arrangement unit that arranges a virtual imaging unit set by an internal parameter of the fourth imaging unit based on the positional relationship information at a predetermined location in a virtual space;
A second storage unit having a table in which each procedure for operating a predetermined device arranged in the real space, a virtual object to be displayed for each procedure, and arrangement information of the virtual object are associated with each other; ,
A second selection unit for selecting the procedure;
Based on the identification result of the first marker received by the second transmission / reception unit and the procedure selected by the second selection unit, the corresponding virtual object and its position information are read by referring to the second storage unit. A second reading unit;
A second rendering unit that arranges a virtual object read by the second reading unit in a virtual space according to the position information, and images the virtual space by the virtual imaging unit;
And a second superimposing unit that superimposes a result captured by the second rendering unit on the captured image displayed on the second display unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014073431A JP6348750B2 (en) | 2014-03-31 | 2014-03-31 | Electronic device, display method, program, and communication system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014073431A JP6348750B2 (en) | 2014-03-31 | 2014-03-31 | Electronic device, display method, program, and communication system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015194975A true JP2015194975A (en) | 2015-11-05 |
| JP6348750B2 JP6348750B2 (en) | 2018-06-27 |
Family
ID=54433900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014073431A Expired - Fee Related JP6348750B2 (en) | 2014-03-31 | 2014-03-31 | Electronic device, display method, program, and communication system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6348750B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112053451A (en) * | 2019-06-05 | 2020-12-08 | 北京外号信息技术有限公司 | Method for superimposing virtual objects based on optical communication means and corresponding electronic device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002059147A (en) * | 2000-08-11 | 2002-02-26 | Ricoh Co Ltd | Regeneration work support system and method of supporting regeneration work |
| JP2011245792A (en) * | 2010-05-28 | 2011-12-08 | Riso Kagaku Corp | Image forming system |
| JP2013109624A (en) * | 2011-11-22 | 2013-06-06 | Hitachi Plant Technologies Ltd | Image processing device and image processing method |
| JP2013254399A (en) * | 2012-06-08 | 2013-12-19 | Sharp Corp | Input system and electronic meeting system |
-
2014
- 2014-03-31 JP JP2014073431A patent/JP6348750B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002059147A (en) * | 2000-08-11 | 2002-02-26 | Ricoh Co Ltd | Regeneration work support system and method of supporting regeneration work |
| JP2011245792A (en) * | 2010-05-28 | 2011-12-08 | Riso Kagaku Corp | Image forming system |
| JP2013109624A (en) * | 2011-11-22 | 2013-06-06 | Hitachi Plant Technologies Ltd | Image processing device and image processing method |
| JP2013254399A (en) * | 2012-06-08 | 2013-12-19 | Sharp Corp | Input system and electronic meeting system |
Non-Patent Citations (3)
| Title |
|---|
| 仲谷善雄: ""拡張現実感の産業分野への応用事例"", 第３７回人工知能セミナー講演テキスト, JPN6018006706, 18 December 1998 (1998-12-18), JP, pages 8 - 19, ISSN: 0003746328 * |
| 加藤博一, 外３名: ""マーカー追跡に基づく拡張現実感システムとそのキャリブレーション"", 日本バーチャルリアリティ学会論文誌, vol. 第４巻, 第４号, JPN6018006704, 31 December 1999 (1999-12-31), JP, pages 607 - 616, ISSN: 0003746327 * |
| 北原格, 外２名: ""気の利いた視点位置からの観戦が可能な自由視点サッカー映像生成手法"", 画像ラボ, vol. 第１９巻, 第２号, JPN6018006703, 1 February 2008 (2008-02-01), JP, pages 20 - 26, ISSN: 0003746326 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112053451A (en) * | 2019-06-05 | 2020-12-08 | 北京外号信息技术有限公司 | Method for superimposing virtual objects based on optical communication means and corresponding electronic device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6348750B2 (en) | 2018-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11796309B2 (en) | Information processing apparatus, information processing method, and recording medium | |
| JP5762892B2 (en) | Information display system, information display method, and information display program | |
| CN105959625B (en) | Method and device for controlling unmanned aerial vehicle to track and shoot | |
| US20160269631A1 (en) | Image generation method, system, and apparatus | |
| JP5255595B2 (en) | Terminal location specifying system and terminal location specifying method | |
| JP6230113B2 (en) | Video instruction synchronization method, system, terminal, and program for synchronously superimposing instruction images on captured moving images | |
| JP7109395B2 (en) | WORK SUPPORT SYSTEM, WORK SUPPORT DEVICE, AND WORK SUPPORT METHOD | |
| US20170220105A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP2005256232A (en) | Method, apparatus and program for displaying 3d data | |
| CN105260008A (en) | Position locating method and device | |
| JP2007098555A (en) | Position indicating method, indicator and program for achieving the method | |
| JP6348750B2 (en) | Electronic device, display method, program, and communication system | |
| JP6146869B2 (en) | Video instruction display method, system, terminal, and program for superimposing instruction image on photographing moving image synchronously | |
| CN106989730A (en) | A kind of system and method that diving under water device control is carried out based on binocular flake panoramic vision | |
| US20130155211A1 (en) | Interactive system and interactive device thereof | |
| KR20160023362A (en) | System and Method for realtime 3D tactical intelligence display | |
| US20200242797A1 (en) | Augmented reality location and display using a user-aligned fiducial marker | |
| JP6839137B2 (en) | Support devices and programs | |
| JP6689492B2 (en) | Terminal device, data processing system and program | |
| KR101964227B1 (en) | Apparatus and method for control military strategy | |
| JP4673861B2 (en) | Information display system and information display method | |
| WO2023149118A1 (en) | Program, information processing device, and information processing method | |
| JP2020177490A (en) | Ar space image projection system, ar space image projection method, and user terminal | |
| JP2019175294A (en) | Display control program, apparatus therefor, and method thereof | |
| JP6433015B2 (en) | Navigation device and navigation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180420 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180508 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180601 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6348750 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |