JP7414197B2 - Virtual gauge display program and device - Google Patents
Virtual gauge display program and device Download PDFInfo
- Publication number
- JP7414197B2 JP7414197B2 JP2020199562A JP2020199562A JP7414197B2 JP 7414197 B2 JP7414197 B2 JP 7414197B2 JP 2020199562 A JP2020199562 A JP 2020199562A JP 2020199562 A JP2020199562 A JP 2020199562A JP 7414197 B2 JP7414197 B2 JP 7414197B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual gauge
- virtual
- display
- unit
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000003190 augmentative effect Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、物体サイズを計測又は推測するための仮想ゲージを表示する仮想ゲージ表示プログラム及び装置に関し、より詳細には、拡張現実技術を用いて、仮想ゲージを物体に並べて表示する仮想ゲージ表示プログラム及び装置に関する。 The present invention relates to a virtual gauge display program and device that displays a virtual gauge for measuring or estimating the size of an object, and more particularly to a virtual gauge display program that displays a virtual gauge alongside an object using augmented reality technology. and devices.
航空機等の貨物室に貨物を搭載する前に、貨物が貨物室に収容可能なサイズであることを確認するために、貨物のサイズを計測する必要がある。従来手法では、貨物の計測の際に、作業員が、コンツァーゲージ（Contour Gauge）を用いてサイズを計測している。コンツァーゲージは、逆Ｌ字型であり、航空機等の貨物室に対応する大きさのアルミ製の支柱を備えている。支柱は３ｍを超える上、逆Ｌ字型のコンツァーゲージは重心がその上部に位置するため、取り扱いが難しく作業負荷になっていた。さらに、約３ｍを超える支柱のコンツァーゲージは、倉庫の端にしか格納できず、航空貨物等の計測の度に広大な倉庫の端まで、作業員がコンツァーゲージを取りに行かなければならず、作業時間の損失も大きかった。 Before loading cargo into the cargo hold of an aircraft, etc., it is necessary to measure the size of the cargo to confirm that the size of the cargo can be accommodated in the cargo hold. In the conventional method, when measuring cargo, a worker measures the size using a contour gauge. The contour gauge has an inverted L-shape and is equipped with an aluminum support sized to correspond to the cargo hold of an aircraft. The pillar was over 3 meters long, and the center of gravity of the inverted L-shaped contour gauge was located at the top, making it difficult to handle and creating a workload. Furthermore, contour gauges with poles longer than approximately 3 meters can only be stored at the edge of the warehouse, and workers must go to the edge of the vast warehouse to retrieve the contour gauges every time they measure air cargo, etc. Moreover, the loss of working time was also large.
一方、２０００年以降、スマートフォンの普及に伴い、拡張現実（ＡＲ：Augmented Reality）を利用したアプリが一般に利用可能となっている。特に、２０１７年にＡｐｐｌｅ Ｉｎｃ．によるＡＲ開発ツール「ＡＲＫｉｔ」や、Ｇｏｏｇｌｅ ＬＬＣによるＡＲ開発ツール「ＡＲＣｏｒｅ」の提供以降、アプリの開発が進んでいる。 On the other hand, since 2000, with the spread of smartphones, applications using augmented reality (AR) have become generally available. In particular, in 2017 Apple Inc. Application development has progressed since the AR development tool ``ARKit'' by Google and the AR development tool ``ARCore'' by Google LLC.
また、ＡＲに関連する技術は、例えば、特許文献１や２に提案されている。特許文献１には、「拡張現実感の体験を提供するように構成されたポータブルデバイスであって、実世界のシーンを表示するように構成された表示画面と、前記表示画面に関連付けられ、前記実世界のシーンを表している画像データをキャプチャするように構成された画像キャプチャ装置と、前記実世界のシーンを表している前記画像データを分析するように構成された画像認識論理回路と、前記画像認識論理回路に応答し、前記実世界のシーンに追加画像を取り入れるように構成された画像生成論理回路と、を有するポータブルデバイス」（請求項１）が記載されている。 Further, technologies related to AR are proposed in Patent Documents 1 and 2, for example. Patent Document 1 describes a "portable device configured to provide an augmented reality experience, the device having a display screen configured to display a real-world scene; an image capture device configured to capture image data representative of a real-world scene; an image recognition logic circuit configured to analyze the image data representative of the real-world scene; and image generation logic responsive to image recognition logic and configured to incorporate additional images into the real-world scene.''
引用文献２には、「ゲーム装置は、カメラから撮像画像を取得し、取得された撮像画像に対して、当該撮像画像に含まれる所定の対象を認識する認識処理を繰り返し実行する。また、ゲーム装置は、認識処理の処理結果を用いて生成される仮想オブジェクトの画像と、当該認識処理の対象となった撮像画像とを合成した合成画像を繰り返し生成して表示する。ここで、認識処理が失敗した場合には、以前に成功した認識処理の対象となった撮像画像と、当該認識処理の処理結果を用いて生成される仮想オブジェクトの画像とが合成される。」（要約書）ことが記載されている。 Cited Document 2 states, ``The game device acquires a captured image from a camera, and repeatedly performs recognition processing on the acquired captured image to recognize a predetermined object included in the captured image. The device repeatedly generates and displays a composite image that combines the image of the virtual object generated using the processing result of the recognition process and the captured image that is the target of the recognition process. If the recognition process fails, the captured image that was the target of the previously successful recognition process and the image of the virtual object generated using the results of the recognition process are combined.'' (Abstract) Are listed.
特許文献１は、実世界を表示する表示画面に、追加画像を取り入れて表示し、特許文献２は、撮像画像に仮想オブジェクトを合成して表示する。しかし、追加画像や仮想オブジェクト等を用いるようなＡＲ技術では、貨物等の現実物体のサイズ又は寸法を作業者は計測又は推測できなかった。 Patent Document 1 incorporates and displays an additional image on a display screen that displays the real world, and Patent Document 2 synthesizes and displays a virtual object with a captured image. However, with AR technology that uses additional images, virtual objects, etc., workers cannot measure or estimate the size or dimensions of real objects such as cargo.
そこで、本発明は、ＡＲを用いて、物体サイズを計測又は推測するための仮想ゲージを表示する仮想ゲージ表示プログラム及び装置の提供を目的とする。 Therefore, an object of the present invention is to provide a virtual gauge display program and apparatus that display a virtual gauge for measuring or estimating the size of an object using AR.
本発明の各態様は次の通りである。
［態様１］
仮想ゲージ表示装置に、拡張現実を用いて実空間画像と共に仮想ゲージを表示させる仮想ゲージ表示プログラムであって、
前記仮想ゲージ表示装置は、前記実空間画像を撮影する撮影部と、前記実空間画像及び前記仮想ゲージを表示する表示部と、前記仮想ゲージを記憶する記憶部と、前記仮想ゲージの配置に関する入力を受け入れる入力部と、前記撮影部、前記表示部、前記記憶部、及び前記入力部を制御する制御部とを備え、
前記仮想ゲージ表示プログラムは、
前記撮影部に、前記実空間画像を撮影させる撮影ステップと、
前記制御部に、前記実空間画像から平面を検知させる平面検知ステップと、
前記入力部からの入力に基づき、前記制御部に、前記仮想ゲージの前記平面上の座標を特定させる座標特定ステップと、
前記仮想ゲージの前記平面上の座標に基づき、前記表示部に、前記実空間画像と共に、前記仮想ゲージを前記平面上に表示させる仮想ゲージ表示ステップと、
を実行させる、仮想ゲージ表示プログラム。
Each aspect of the present invention is as follows.
[Aspect 1]
A virtual gauge display program that causes a virtual gauge display device to display a virtual gauge together with a real space image using augmented reality,
The virtual gauge display device includes a photographing unit that photographs the real space image, a display unit that displays the real space image and the virtual gauge, a storage unit that stores the virtual gauge, and an input regarding the arrangement of the virtual gauge. an input unit that receives the image capturing unit, the display unit, the storage unit, and a control unit that controls the input unit,
The virtual gauge display program includes:
a photographing step of causing the photographing unit to photograph the real space image;
a plane detection step of causing the control unit to detect a plane from the real space image;
a coordinate specifying step of causing the control section to specify the coordinates of the virtual gauge on the plane based on the input from the input section;
a virtual gauge display step of causing the display unit to display the virtual gauge on the plane together with the real space image based on the coordinates of the virtual gauge on the plane;
A virtual gauge display program that runs .
［態様２］
態様１に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示ステップで、前記仮想ゲージ表示プログラムは、前記表示部に、前記仮想ゲージの下端を前記平面上の座標に表示させる、仮想ゲージ表示プログラム。
［態様３］
態様１又は２に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージは、前記平面に対して縦方向に延びる縦方向部分と、前記平面に対して横方向に延びる横向部分とを備える、仮想ゲージ表示プログラム。
［態様４］
態様１乃至３のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記記憶部は、互いに形状が異なる複数の仮想ゲージを記憶し、
前記仮想ゲージ表示プログラムは、前記表示部に、前記複数の仮想ゲージを選択可能に表示させる仮想ゲージ選択ステップを実行させる、仮想ゲージ表示プログラム。
[Aspect 2]
In the virtual gauge display program according to aspect 1,
In the virtual gauge display step, the virtual gauge display program causes the display unit to display the lower end of the virtual gauge at coordinates on the plane.
[Aspect 3]
In the virtual gauge display program according to aspect 1 or 2,
The virtual gauge is a virtual gauge display program, wherein the virtual gauge includes a vertical portion extending vertically with respect to the plane and a horizontal portion extending horizontally with respect to the plane.
[Aspect 4]
In the virtual gauge display program according to any one of aspects 1 to 3,
The storage unit stores a plurality of virtual gauges having mutually different shapes,
The virtual gauge display program is a virtual gauge display program that causes the display unit to execute a virtual gauge selection step of displaying the plurality of virtual gauges in a selectable manner.
［態様５］
態様１乃至４のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記表示部に、前記仮想ゲージを前記平面上に配置するための位置決めマークを表示させる位置決めマーク表示ステップを実行させる、仮想ゲージ表示プログラム。
［態様６］
態様５に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記制御部に、前記撮影部の撮影方向から前記平面に延びる仮想線を生成させ、前記表示部に、前記平面と前記仮想線の交点に前記位置決めマークを表示させる、仮想ゲージ表示プログラム。
［態様７］
態様６に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記制御部に、前記平面と前記仮想線の交点が前記前記表示部の画面中央領域に存在すること判断させ、前記交点が前記画面中央領域にある場合、前記表示部に、前記位置決めマークを前記画面中央領域に表示させる、仮想ゲージ表示プログラム。
[Aspect 5]
In the virtual gauge display program according to any one of aspects 1 to 4,
The virtual gauge display program causes the display unit to execute a positioning mark display step of displaying a positioning mark for arranging the virtual gauge on the plane.
[Aspect 6]
In the virtual gauge display program according to aspect 5,
The virtual gauge display program causes the control unit to generate a virtual line extending from the imaging direction of the imaging unit to the plane, and causes the display unit to display the positioning mark at the intersection of the plane and the virtual line. Virtual gauge display program.
[Aspect 7]
In the virtual gauge display program according to aspect 6,
The virtual gauge display program causes the control unit to determine that the intersection of the plane and the virtual line exists in the center area of the screen of the display unit, and when the intersection exists in the center area of the screen, the control unit A virtual gauge display program that displays the positioning mark in the center area of the screen.
［態様８］
態様１乃至７のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記実空間画像が変化すると、前記制御部に、前記仮想ゲージの位置及び／又は向きを補正させる、仮想ゲージ表示プログラム。
［態様９］
態様１乃至８のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記表示部に、前記仮想ゲージを前記平面に対して垂直な方向を中心として回転可能に表示させる回転表示ステップを実行させる、仮想ゲージ表示プログラム。
［態様１０］
態様１乃至９のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記表示部に、前記入力部からの入力に応じて、前記仮想ゲージが前記平面上で移動した状態を表示させる、仮想ゲージ表示プログラム。
[Aspect 8]
In the virtual gauge display program according to any one of aspects 1 to 7,
The virtual gauge display program causes the control unit to correct the position and/or orientation of the virtual gauge when the real space image changes.
[Aspect 9]
In the virtual gauge display program according to any one of aspects 1 to 8,
The virtual gauge display program causes the display unit to execute a rotation display step of displaying the virtual gauge rotatably about a direction perpendicular to the plane.
[Aspect 10]
In the virtual gauge display program according to any one of aspects 1 to 9,
The virtual gauge display program is a virtual gauge display program that causes the display unit to display a state in which the virtual gauge has moved on the plane in response to an input from the input unit.
［態様１１］
態様１乃至１０のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記表示部に、目盛りを有する前記仮想ゲージを表示させる、仮想ゲージ表示プログラム。
［態様１２］
態様１乃至１１のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示装置は、携帯機器である、仮想ゲージ表示プログラム。
[Aspect 11]
In the virtual gauge display program according to any one of aspects 1 to 10,
The virtual gauge display program is a virtual gauge display program that causes the display unit to display the virtual gauge having a scale.
[Aspect 12]
In the virtual gauge display program according to any one of aspects 1 to 11,
The virtual gauge display device is a virtual gauge display program that is a portable device.
［態様１３］
拡張現実を用いて実空間画像と共に仮想ゲージを表示させる仮想ゲージ表示装置であって、
前記仮想ゲージ表示装置は、前記実空間画像を撮影する撮影部と、前記実空間画像及び前記仮想ゲージを表示する表示部と、前記仮想ゲージを記憶する記憶部と、前記仮想ゲージの配置に関する入力を受け入れる入力部と、前記撮影部、前記表示部、前記記憶部、及び前記入力部を制御する制御部とを備え、
前記撮影部は、前記実空間画像を撮影し、
前記制御部は、前記実空間画像から平面を検知し、
前記入力部からの入力に基づき、前記制御部は、前記仮想ゲージの前記平面上の座標を特定し、
前記仮想ゲージの前記平面上の座標に基づき、前記表示部は、前記実空間画像と共に、前記仮想ゲージを前記平面上に表示する、仮想ゲージ表示装置。
[Aspect 13]
A virtual gauge display device that displays a virtual gauge together with a real space image using augmented reality,
The virtual gauge display device includes a photographing unit that photographs the real space image, a display unit that displays the real space image and the virtual gauge, a storage unit that stores the virtual gauge, and an input regarding the arrangement of the virtual gauge. an input unit that receives the input unit, and a control unit that controls the imaging unit, the display unit, the storage unit, and the input unit,
The photographing unit photographs the real space image,
The control unit detects a plane from the real space image,
Based on the input from the input unit, the control unit specifies the coordinates of the virtual gauge on the plane,
The display unit displays the virtual gauge on the plane together with the real space image based on the coordinates of the virtual gauge on the plane.
［態様１４］
態様１３に記載の仮想ゲージ表示装置において、
前記制御部は、前記仮想ゲージの下端を前記平面上に配置するように前記表示部に表示する、仮想ゲージ表示装置。
［態様１５］
態様１３乃至１４のいずれか一項に記載の仮想ゲージ表示装置において、
前記制御部は、前記表示部に、前記仮想ゲージを前記平面上に配置するための位置決めマークを表示させる、仮想ゲージ表示装置。
［態様１６］
態様１５に記載の仮想ゲージ表示装置において、
前記制御部は、前記撮影部の撮影方向から前記平面に延びる仮想線を生成し、前記表示部に、前記平面と前記仮想線の交点に前記位置決めマークを表示させる、仮想ゲージ表示装置。
[Aspect 14]
The virtual gauge display device according to aspect 13,
The control unit is a virtual gauge display device that displays on the display unit such that a lower end of the virtual gauge is placed on the plane.
[Aspect 15]
In the virtual gauge display device according to any one of aspects 13 to 14,
The control unit is a virtual gauge display device that causes the display unit to display a positioning mark for arranging the virtual gauge on the plane.
[Aspect 16]
In the virtual gauge display device according to aspect 15,
The control unit generates a virtual line extending from the imaging direction of the imaging unit to the plane, and causes the display unit to display the positioning mark at an intersection of the plane and the virtual line.
本発明の仮想ゲージ表示プログラム及び装置は、ＡＲで表示された仮想ゲージを用いて現実物体のサイズの計測又は推測することができる。 The virtual gauge display program and device of the present invention can measure or estimate the size of a real object using a virtual gauge displayed in AR.
本発明の実施形態に係る仮想ゲージ表示プログラム及び装置を、図面を参照して説明する。本実施形態の仮想ゲージ表示プログラム及び装置は、航空貨物等の貨物に対して仮想ゲージを並べて表示するが、本発明は、貨物に限定されず任意の物体に対して仮想ゲージを並べて表示することができる。 A virtual gauge display program and device according to an embodiment of the present invention will be described with reference to the drawings. Although the virtual gauge display program and device of this embodiment display virtual gauges side by side for cargo such as air cargo, the present invention is not limited to cargo and can display virtual gauges side by side for any object. Can be done.
［概要］
本実施形態に係る仮想ゲージ表示プログラム及び装置は、現実空間を装置（タブレット端末又はスマートフォン等の携帯機器）のカメラで撮影し、ＡＲを用いて現実空間を仮想空間と関連付け、実物と同じサイズの仮想ゲージ（仮想コンツァーゲージ）を、現実空間画像上の三次元座標に出現（合成）させて表示する。作業者からすると、あたかも装置（携帯機器）の画面上に、本物のコンツァーゲージが出現しているように見える。そして、作業者が、仮想ゲージと航空貨物等の貨物とを比較することで、貨物のサイズの計測又は推測を行うことにより、作業者は、航空機等の貨物室に貨物が搭載可能なサイズか否かを確認することができる。
[overview]
The virtual gauge display program and device according to the present embodiment photograph the real space with a camera of a device (tablet terminal or mobile device such as a smartphone), associate the real space with the virtual space using AR, and create a virtual gauge of the same size as the real thing. A virtual gauge (virtual contour gauge) is displayed by appearing (synthesizing) at three-dimensional coordinates on a real space image. From the operator's perspective, it appears as if a real contour gauge is appearing on the screen of the device (portable device). Then, by comparing the virtual gauge with the cargo such as air cargo, the worker can measure or estimate the size of the cargo, and the worker can determine whether the cargo is large enough to be loaded into the cargo hold of the aircraft, etc. You can check whether it is true or not.
本発明の実施形態に係る仮想ゲージ表示装置１を図１のブロック図を用いて説明する。図１に示すように、仮想ゲージ表示装置１は、現実空間を撮影するデジタルカメラ等の撮影部１２と、各種データを記憶するハードディスクやメモリ等の記憶部１４と、映像及び／又は画像を表示する液晶ディスプレイ等の表示部１６と、外部機器と通信ネットワークを介して通信する通信部１８と、使用者からの入力を受け付けるタッチパネル等の入力部１９と、各部を制御するＣＰＵ等の制御部２０とを備えている。制御部２０には、ＡＲアプリ（仮想ゲージ表示プログラム）３０が動作可能に搭載されている。ＡＲアプリ３０は、ＡＲエンジン３０ａを備えている。ＡＲエンジン３０ａは、ARkit、ARCore、又はARToolKitが提供する機能を用いて構築することができる。 A virtual gauge display device 1 according to an embodiment of the present invention will be explained using the block diagram of FIG. As shown in FIG. 1, the virtual gauge display device 1 includes a photographing unit 12 such as a digital camera for photographing real space, a storage unit 14 such as a hard disk or memory for storing various data, and a display unit 14 for displaying videos and/or images. a display section 16 such as a liquid crystal display, a communication section 18 that communicates with external equipment via a communication network, an input section 19 such as a touch panel that receives input from the user, and a control section 20 such as a CPU that controls each section. It is equipped with An AR application (virtual gauge display program) 30 is operably installed in the control unit 20. The AR application 30 includes an AR engine 30a. The AR engine 30a can be constructed using functions provided by ARkit, ARCore, or ARToolKit.
図２に、仮想ゲージ表示プログラム及び装置１の開発環境を構成する階層構造の一例を示す。この階層構造は、図１の各部から構成されるハードウエア層６０と、iOSやAndoroid等のオペレーティングシステム層５０と、iOS SDKやAndroid SDK等のソフトウエア開発キット（SDK）層４０と、ＡＲアプリ３０を含むアプリケーション層３０とから構成される。SDK層４０は、ＡＲアプリ３０等の開発時に用いられる。ＡＲアプリ３０は、SDK層４０に設けられたAR Kit、ARCore、又はARToolKitが提供する機能を用いて構成される。アプリケーション層３０には、好ましくは、統合開発環境(IDE)を提供するUnity(Unity 3D)等のグラフィックエンジンが設けられる。AR Fundationは、好ましくはUnity上で動作するAR開発用パッケージであり、ARに関する基本機能を提供する。SQLiteは、アプリケーションに組み込んで利用されるデータベースであり、好ましくはAR Fundationに読み込まれる。３Ｄモデル（後述する仮想ゲージ）のデータは、好ましくはSQLiteに記憶される。 FIG. 2 shows an example of a hierarchical structure configuring the development environment of the virtual gauge display program and the device 1. This hierarchical structure consists of a hardware layer 60 consisting of the various parts shown in Figure 1, an operating system layer 50 such as iOS or Android, a software development kit (SDK) layer 40 such as iOS SDK or Android SDK, and an AR application layer 40. and an application layer 30 including 30. The SDK layer 40 is used when developing the AR application 30 and the like. The AR application 30 is configured using functions provided by AR Kit, ARCore, or ARToolKit provided in the SDK layer 40. The application layer 30 is preferably provided with a graphics engine such as Unity (Unity 3D) that provides an integrated development environment (IDE). AR Fundation is an AR development package that preferably runs on Unity and provides basic functions related to AR. SQLite is a database that is embedded in an application and is preferably loaded into AR Foundation. The data of the 3D model (virtual gauge described below) is preferably stored in SQLite.
［処理概要］
本実施形態の仮想ゲージ表示プログラムが実行する処理の概要を説明する。
第１ステップは、ＡＲアプリの起動時に、仮想ゲージ表示装置１の撮影位置を原点（０，０，０）とした現実空間と適合（対応）するように仮想空間を作成する。この際、好ましくは、現実空間の１ｍを仮想空間の１単位と一致するように空間を作成する。
第２ステップは、モーショントラッキングと画像処理によって、仮想空間に内における仮想ゲージ表示装置１の自己位置を推定又は決定する。
第３ステップは、画像処理によって、周囲画像から基準となる平面（例えば水平面）の位置を検知し、仮想空間内に平面の位置を配置する。
第４ステップは、カメラの位置及び向きから作成した仮想線と、第３ステップで配置した平面とが交差する点の座標を得る。
第５ステップは、第４ステップで得た座標に、仮想ゲージ（仮想コンツァーゲージ）の下端が位置するように仮想ゲージを配置する。
仮想ゲージのサイズは、好ましくは、予め１単位=１ｍとなるように設定することにより、現実空間にあるものと同じサイズで表示されることとなる。
[Outline of processing]
An overview of the processing executed by the virtual gauge display program of this embodiment will be explained.
In the first step, when the AR application is started, a virtual space is created so as to match (correspond to) the real space with the shooting position of the virtual gauge display device 1 as the origin (0, 0, 0). At this time, preferably, the space is created so that 1 m of the real space corresponds to 1 unit of the virtual space.
In the second step, the self-position of the virtual gauge display device 1 in the virtual space is estimated or determined by motion tracking and image processing.
In the third step, the position of a reference plane (for example, a horizontal plane) is detected from the surrounding image by image processing, and the position of the plane is arranged in the virtual space.
The fourth step is to obtain the coordinates of the point where the virtual line created from the position and orientation of the camera intersects with the plane placed in the third step.
In the fifth step, the virtual gauge is arranged so that the lower end of the virtual gauge (virtual contour gauge) is located at the coordinates obtained in the fourth step.
The size of the virtual gauge is preferably set in advance so that 1 unit=1 m, so that it is displayed in the same size as the one in real space.
次に、本実施形態に係る仮想ゲージ表示プログラム及び装置１のより詳細な処理を図３のフローチャートを用いて説明する。本実施形態の仮想ゲージ表示装置１は、好ましくはＡＲアプリ３０がインストールされたスマートフォン又はタブレット端末等の携帯機器とすることができる。物体サイズを推定する際、作業者は、入力部１９を操作してＡＲアプリを起動する。次に、ステップＳ３０１で、制御部２０は、記憶部１４に設けられたデータベース（ＤＢ）から選択可能な仮想ゲージ（仮想コンツァーゲージ）の情報を取得して、図４の一覧画面に示すように、形状が異なる複数の仮想ゲージＧのリストを表示部１６に表示する。ステップＳ３０２で、図４の画面が表示された状態で、作業者は、表示されている複数の仮想ゲージのいずれかを、タッチパネル（入力部１９）のタップによって選択すると、制御部２０に対して仮想ゲージの選択情報が入力される。 Next, more detailed processing of the virtual gauge display program and device 1 according to this embodiment will be explained using the flowchart of FIG. 3. The virtual gauge display device 1 of this embodiment can preferably be a mobile device such as a smartphone or a tablet terminal in which the AR application 30 is installed. When estimating the object size, the worker operates the input unit 19 to start the AR application. Next, in step S301, the control unit 20 acquires information on selectable virtual gauges (virtual contour gauges) from the database (DB) provided in the storage unit 14, and as shown in the list screen of FIG. Then, a list of a plurality of virtual gauges G having different shapes is displayed on the display unit 16. In step S302, while the screen of FIG. Virtual gauge selection information is input.
ステップＳ３０３で、制御部２０は、作業者に対して、仮想ゲージの選択が正しいか否かの確認を要求する。この確認は、好ましくは、選択された仮想ゲージを表示部１６に表示して、「使用する。」又は「使用しない。」の入力を、タッチパネル（入力部１９）を介して要求する。ステップＳ３０３で、制御部２０が「使用する。」の入力を確認すると、ステップＳ３０４に移行する。ステップＳ３０２で、制御部２０が「使用しない。」の入力を検出するか、所定時間内に「使用する。」の入力を検出しない場合は、ステップＳ３０１に戻る。 In step S303, the control unit 20 requests the operator to confirm whether the selection of the virtual gauge is correct. This confirmation is preferably performed by displaying the selected virtual gauge on the display unit 16 and requesting an input of “Use” or “Do not use” via the touch panel (input unit 19). In step S303, when the control unit 20 confirms the input of "use", the process moves to step S304. In step S302, if the control unit 20 detects an input of "do not use" or does not detect an input of "use" within a predetermined time, the process returns to step S301.
ステップＳ３０４で、制御部２０は、撮影部（カメラ）１２を起動する。ステップＳ３０５で、制御部２０は、撮影部１２が撮影したカメラ映像（周囲の実空間画像）を表示部１６の画面に表示すると共に、カメラ映像のデータを取り込む。 In step S304, the control unit 20 activates the photographing unit (camera) 12. In step S305, the control unit 20 displays the camera image (surrounding real space image) photographed by the photographing unit 12 on the screen of the display unit 16, and captures data of the camera image.
ステップＳ３０６で、制御部２０は、ＡＲエンジン３０ａを用いて、撮影した周囲の実空間画像に対応する仮想空間を生成する。ステップＳ３０７で、制御部２０は、複数の周囲の実空間画像にモーショントラッキングを実行し、ＡＲエンジン３０ａを用いて、仮想空間に対する自己位置（自己視点位置）の座標を推定（生成）する。モーショントラッキングの際、制御部２０は、ＡＲエンジン３０ａを用いて、複数の周囲の実空間画像のそれぞれについて複数の特徴点の座標を抽出し、複数の特徴点の座標から自己位置（自己視点位置）の座標を推定（生成）する。 In step S306, the control unit 20 uses the AR engine 30a to generate a virtual space corresponding to the photographed surrounding real space image. In step S307, the control unit 20 performs motion tracking on a plurality of surrounding real space images, and uses the AR engine 30a to estimate (generate) the coordinates of the self position (self viewpoint position) with respect to the virtual space. During motion tracking, the control unit 20 uses the AR engine 30a to extract the coordinates of a plurality of feature points for each of the plurality of surrounding real space images, and calculates the self-position (self-viewpoint position) from the coordinates of the plurality of feature points. ) is estimated (generated).
ステップＳ３０８で、図５に示すように、作業者は、仮想ゲージ表示装置１を移動して、撮影部１２で周囲の実空間画像を撮影する。 In step S308, as shown in FIG. 5, the operator moves the virtual gauge display device 1 and uses the photographing unit 12 to photograph a real space image of the surroundings.
ステップＳ３０９で、制御部２０は、撮影部の位置（原点（０，０，０））から撮影方向に延びる仮想線のベクトルを生成する。 In step S309, the control unit 20 generates a virtual line vector extending from the position of the imaging unit (origin (0, 0, 0)) in the imaging direction.
ステップＳ３１０で、制御部２０は、ステップＳ３０８で得た周囲の実空間画像と、複数の特徴点までの距離とに基づき、ＡＲエンジン３０ａを用いて平面検知を実行して実空間の平面（例えば、水平面）の位置を算出する。ステップＳ３１１で、制御部２０は、平面検知が成功か否かを判定する。平面検知の成功は、制御部２０が、平面検知により算出された平面の状態（配置）が所定条件を満たすか否かに基づき判定する。ステップＳ３１１で、制御部２０が平面検知の成功を判定すれば、ステップＳ３１２に移行し、制御部２０が平面検知の失敗を判定すればステップＳ３０８の処理に戻る。 In step S310, the control unit 20 executes plane detection using the AR engine 30a based on the surrounding real space image obtained in step S308 and the distances to the plurality of feature points, and detects a plane in the real space (e.g. , horizontal plane). In step S311, the control unit 20 determines whether the plane detection is successful. The success of plane detection is determined by the control unit 20 based on whether the state (arrangement) of the plane calculated by plane detection satisfies a predetermined condition. In step S311, if the control unit 20 determines that the plane detection has been successful, the process moves to step S312, and if the control unit 20 determines that the plane detection has failed, the process returns to step S308.
ステップＳ３１２で、制御部２０は、仮想空間に平面に配置する（仮想空間に対する平面の座標を設定する）。ステップＳ３１３で、制御部２０は、実空間画像を表示部１６の画面に表示している状態で、表示部１６の画面（好ましくは画面中央領域）に、平面と、仮想線の交点とが存在するか否かを判定する。ステップＳ３１３で、交点が存在すると制御部２０が判定すればステップＳ３１４に移行し、交点が存在しないと制御部２０が判定すればステップＳ３０８に戻る。 In step S312, the control unit 20 arranges a plane in the virtual space (sets the coordinates of the plane with respect to the virtual space). In step S313, the control unit 20 determines that while the real space image is being displayed on the screen of the display unit 16, an intersection point between the plane and the virtual line exists on the screen of the display unit 16 (preferably in the center area of the screen). Determine whether or not to do so. In step S313, if the control unit 20 determines that an intersection exists, the process moves to step S314, and if the control unit 20 determines that no intersection exists, the process returns to step S308.
ステップＳ３１４で、制御部２０は、図６に示すように、表示部１６の画面中央領域に位置決めマークＭを表示する。位置決めマークＭは、仮想ゲージの下端を設置する平面上の位置（座標）を示す。なお、画面中央領域は、画面の周辺領域を除いた領域であり、仮想ゲージの下端が配置可能な領域とすることができる。 In step S314, the control unit 20 displays the positioning mark M in the center area of the screen of the display unit 16, as shown in FIG. The positioning mark M indicates the position (coordinates) on the plane where the lower end of the virtual gauge is installed. Note that the central area of the screen is an area excluding the peripheral area of the screen, and can be an area where the lower end of the virtual gauge can be placed.
ステップＳ３１５で、制御部２０は、作業者による位置決めマークＭに対するタップ等の入力を入力部１９を介して検出したか否かを判定する。ステップＳ３１５で、制御部２０がタップ等の入力を検出すると、位置決めマークＭの座標を特定して、ステップＳ３１６に移行し、制御部２０が所定時間内にタップ等の入力を検出しないと、ステップＳ３０８に戻る。 In step S315, the control unit 20 determines whether an input such as a tap on the positioning mark M by the operator is detected via the input unit 19. In step S315, when the control unit 20 detects an input such as a tap, it specifies the coordinates of the positioning mark M and proceeds to step S316, and if the control unit 20 does not detect an input such as a tap within a predetermined time, step Return to S308.
ステップＳ３１６で、制御部２０は、ＡＲエンジン３０ａを用いて、図７に示すように、表示部１６が表示する実空間画像に対して、位置決めマークＭが表示されていた平面上の座標に仮想ゲージの下端が位置するように、仮想ゲージＧを出現又は表示させる。 In step S316, the control unit 20 uses the AR engine 30a to add virtual coordinates to the coordinates on the plane where the positioning mark M was displayed, with respect to the real space image displayed by the display unit 16, as shown in FIG. A virtual gauge G appears or is displayed so that the lower end of the gauge is located.
ステップＳ３１７で、仮想ゲージ表示装置（携帯機器）１の移動に伴い周囲画像が変化すると、制御部２０は、ＡＲエンジン３０ａを用いて、仮想ゲージの位置及び／又は向きを補正することができる。また、図８に示すように、制御部２０は、入力部１９からの入力に応じて、ＡＲエンジン３０ａを用いて、仮想ゲージを平面に対する鉛直線の周囲で、任意向きに回転した状態を表示することもできる。さらに、制御部２０は、入力部１９からの入力に応じて、ＡＲエンジン３０ａを用いて、仮想ゲージを平面上で移動した状態を表示することもできる。 In step S317, when the surrounding image changes as the virtual gauge display device (portable device) 1 moves, the control unit 20 can correct the position and/or orientation of the virtual gauge using the AR engine 30a. Further, as shown in FIG. 8, the control unit 20 uses the AR engine 30a to display a state in which the virtual gauge is rotated in an arbitrary direction around a vertical line with respect to the plane, in response to the input from the input unit 19. You can also. Further, the control unit 20 can also display a state in which the virtual gauge is moved on a plane using the AR engine 30a in response to an input from the input unit 19.
本実施形態において、制御部２０は、好ましくは、仮想ゲージＧの貨物（現実物体）Ｃに対する相対的なサイズを固定して表示することができる。本実施形態において、制御部２０は、好ましくは、仮想ゲージＧを実物のゲージ（コンツァーゲージ）に対応したサイズで周囲画面上に重ねて表示することができる。 In this embodiment, the control unit 20 can preferably fix and display the relative size of the virtual gauge G with respect to the cargo (real object) C. In this embodiment, the control unit 20 can preferably display the virtual gauge G in a size corresponding to the real gauge (contour gauge) in an overlapping manner on the surrounding screen.
図９に示すように、仮想ゲージＧは、縦方向（略垂直方向）に延びる縦方向部分（垂直部分）Ｇｖと、横方向（略水平方向）に延びる横方向部分（水平部分）Ｇｈとを有する。仮想ゲージを検知平面上に配置する際、制御部２０は、縦方向部分Ｇｖを検知平面に対して略垂直な方向に配置し、横方向部分Ｇｈを検知平面に対して略平行な方向に配置する。仮想ゲージの縦方向部分及び／又は横方向部分の上に長さ目盛を表示してもよい。これによって、作業者は、貨物の側面側で縦に表示された縦方向部分Ｇｖによって、貨物Ｃの縦方向サイズを計測又は推測でき、貨物の上側で横向きに表示された横方向部分Ｇｈによって、貨物Ｃの横方向サイズが計測又は推測できる。 As shown in FIG. 9, the virtual gauge G has a vertical portion (vertical portion) Gv extending in the vertical direction (substantially vertical direction) and a horizontal portion (horizontal portion) Gh extending in the horizontal direction (substantially horizontal direction). have When arranging the virtual gauge on the detection plane, the control unit 20 arranges the vertical portion Gv in a direction substantially perpendicular to the detection plane, and arranges the horizontal portion Gh in a direction substantially parallel to the detection plane. do. A length scale may be displayed on the vertical and/or horizontal portions of the virtual gauge. As a result, the operator can measure or estimate the vertical size of the cargo C by the vertical portion Gv displayed vertically on the side of the cargo, and the horizontal size Gh displayed horizontally on the upper side of the cargo. The lateral size of cargo C can be measured or estimated.
本実施形態に係る仮想ゲージ表示プログラム及び装置を用いることにおり、作業者は、バランスが悪く、重い実物のコンツァーゲージを持つことなく、タブレット端末等の仮想ゲージ表示装置を持つだけでよいので、作業負荷が軽減する。また作業者が約３ｍもあるコンツァーゲージを倉庫の端まで取りに行かなくとも、手元にあるタブレット端末等の仮想ゲージ表示装置を用いて貨物のサイズを計測又は推定することができるため、作業時間の損失を防ぐ事ができる。 By using the virtual gauge display program and device according to the present embodiment, the operator only needs to hold the virtual gauge display device such as a tablet terminal, without having to hold a real contour gauge that is unbalanced and heavy. , the workload is reduced. In addition, workers can measure or estimate the size of cargo using a virtual gauge display device such as a tablet at hand, without having to go to the edge of the warehouse to retrieve a contour gauge that is about 3 meters long. You can prevent time loss.
［他の適用例］
本実施形態に係る仮想ゲージ表示プログラム及び装置は、直接、ものさしを当てて測定し難いものの計測や大きな対象物の２点間の距離を測定する業務に応用できる。例えば、次の例１~３が考えられる。
例１：倉庫においてパレット上に積み上げた荷物をフォークリフトでトレーラ（トラック）の荷室へ積み込む際、パレット上に積み上げられた荷物が荷室に入るかどうかを仮想ゲージで確認することができる。
例２：高所など人が近づき難い場所での通路幅や、もののサイズなどを、少し離れたところから仮想ゲージを当てて測定することができる。
例３：対象物の底面からの高さ、大きさ、形などが、仮想ゲージと比べて正常かを判断することができる。
[Other application examples]
The virtual gauge display program and device according to this embodiment can be applied to measurements of things that are difficult to measure by directly applying a ruler, and to measurements of the distance between two points on a large object. For example, the following Examples 1 to 3 can be considered.
Example 1: When loading cargo stacked on pallets into the cargo space of a trailer (truck) using a forklift in a warehouse, it is possible to check with a virtual gauge whether the cargo stacked on the pallets will fit into the cargo space.
Example 2: It is possible to measure the width of passageways and the size of objects in places that are difficult for people to access, such as at high places, by applying a virtual gauge from a short distance.
Example 3: It is possible to determine whether the height, size, shape, etc. of an object from the bottom are normal by comparing it with a virtual gauge.
１ 仮想ゲージ表示装置
１２ 撮影部
１４ 記憶部
１６ 表示部
１７ 距離測定部
１８ 通信部
１９ 入力部
２０ 制御部
３０ ＡＲアプリ（仮想ゲージ表示プログラム）
３０ａ ＡＲエンジン
1 Virtual gauge display device 12 Photographing unit 14 Storage unit 16 Display unit 17 Distance measurement unit 18 Communication unit 19 Input unit 20 Control unit 30 AR application (virtual gauge display program)
30a AR engine
Claims (16)
前記仮想ゲージ表示装置は、前記実空間画像を撮影する撮影部と、前記実空間画像及び前記仮想ゲージを表示する表示部と、前記仮想ゲージを記憶する記憶部と、前記仮想ゲージの配置に関する入力を受け入れる入力部と、前記撮影部、前記表示部、前記記憶部、及び前記入力部を制御する制御部とを備え、
前記仮想ゲージ表示プログラムは、
前記撮影部に、前記実空間画像を撮影させる撮影ステップと、
前記制御部に、前記実空間画像から平面を検知させる平面検知ステップと、
前記入力部からの入力に基づき、前記制御部に、前記仮想ゲージの前記平面上の座標を特定させる座標特定ステップと、
前記仮想ゲージの前記平面上の座標に基づき、前記表示部に、前記実空間画像と共に、前記仮想ゲージを前記平面上に表示させる仮想ゲージ表示ステップと、
を実行させる、仮想ゲージ表示プログラム。 A virtual gauge display program that causes a virtual gauge display device to display a virtual gauge together with a real space image using augmented reality,
The virtual gauge display device includes a photographing unit that photographs the real space image, a display unit that displays the real space image and the virtual gauge, a storage unit that stores the virtual gauge, and an input regarding the arrangement of the virtual gauge. an input unit that receives the image capturing unit, the display unit, the storage unit, and a control unit that controls the input unit,
The virtual gauge display program includes:
a photographing step of causing the photographing unit to photograph the real space image;
a plane detection step of causing the control unit to detect a plane from the real space image;
a coordinate specifying step of causing the control section to specify the coordinates of the virtual gauge on the plane based on the input from the input section;
a virtual gauge display step of causing the display unit to display the virtual gauge on the plane together with the real space image based on the coordinates of the virtual gauge on the plane;
A virtual gauge display program that runs .
前記仮想ゲージ表示ステップで、前記仮想ゲージ表示プログラムは、前記表示部に、前記仮想ゲージの下端を前記平面上の座標に表示させる、仮想ゲージ表示プログラム。 The virtual gauge display program according to claim 1,
In the virtual gauge display step, the virtual gauge display program causes the display unit to display the lower end of the virtual gauge at coordinates on the plane.
前記仮想ゲージは、前記平面に対して縦方向に延びる縦方向部分と、前記平面に対して横方向に延びる横向部分とを備える、仮想ゲージ表示プログラム。 The virtual gauge display program according to claim 1 or 2,
The virtual gauge is a virtual gauge display program, wherein the virtual gauge includes a vertical portion extending in the vertical direction with respect to the plane, and a horizontal portion extending in the horizontal direction with respect to the plane.
前記記憶部は、互いに形状が異なる複数の仮想ゲージを記憶し、
前記仮想ゲージ表示プログラムは、前記表示部に、前記複数の仮想ゲージを選択可能に表示させる仮想ゲージ選択ステップを実行させる、仮想ゲージ表示プログラム。 The virtual gauge display program according to any one of claims 1 to 3,
The storage unit stores a plurality of virtual gauges having mutually different shapes,
The virtual gauge display program is a virtual gauge display program that causes the display unit to execute a virtual gauge selection step of displaying the plurality of virtual gauges in a selectable manner.
前記仮想ゲージ表示プログラムは、前記表示部に、前記仮想ゲージを前記平面上に配置するための位置決めマークを表示させる位置決めマーク表示ステップを実行させる、仮想ゲージ表示プログラム。 The virtual gauge display program according to any one of claims 1 to 4,
The virtual gauge display program causes the display unit to execute a positioning mark display step of displaying a positioning mark for arranging the virtual gauge on the plane.
前記仮想ゲージ表示プログラムは、前記制御部に、前記撮影部の撮影方向から前記平面に延びる仮想線を生成させ、前記表示部に、前記平面と前記仮想線の交点に前記位置決めマークを表示させる、仮想ゲージ表示プログラム。 The virtual gauge display program according to claim 5,
The virtual gauge display program causes the control unit to generate a virtual line extending from the imaging direction of the imaging unit to the plane, and causes the display unit to display the positioning mark at the intersection of the plane and the virtual line. Virtual gauge display program.
前記仮想ゲージ表示プログラムは、前記制御部に、前記平面と前記仮想線の交点が前記前記表示部の画面中央領域に存在すること判断させ、前記交点が前記画面中央領域にある場合、前記表示部に、前記位置決めマークを前記画面中央領域に表示させる、仮想ゲージ表示プログラム。 The virtual gauge display program according to claim 6,
The virtual gauge display program causes the control unit to determine that the intersection of the plane and the virtual line exists in the center area of the screen of the display unit, and when the intersection exists in the center area of the screen, the control unit A virtual gauge display program that displays the positioning mark in the center area of the screen.
前記仮想ゲージ表示プログラムは、前記実空間画像が変化すると、前記制御部に、前記仮想ゲージの位置及び／又は向きを補正させる、仮想ゲージ表示プログラム。 The virtual gauge display program according to any one of claims 1 to 7,
The virtual gauge display program causes the control unit to correct the position and/or orientation of the virtual gauge when the real space image changes.
前記仮想ゲージ表示プログラムは、前記表示部に、前記仮想ゲージを前記平面に対して垂直な方向を中心として回転可能に表示させる回転表示ステップを実行させる、仮想ゲージ表示プログラム。 The virtual gauge display program according to any one of claims 1 to 8,
The virtual gauge display program causes the display unit to execute a rotation display step of displaying the virtual gauge rotatably around a direction perpendicular to the plane.
前記仮想ゲージ表示プログラムは、前記表示部に、前記入力部からの入力に応じて、前記仮想ゲージが前記平面上で移動した状態を表示させる、仮想ゲージ表示プログラム。 The virtual gauge display program according to any one of claims 1 to 9,
The virtual gauge display program is a virtual gauge display program that causes the display unit to display a state in which the virtual gauge has moved on the plane in response to an input from the input unit.
前記仮想ゲージ表示プログラムは、前記表示部に、目盛りを有する前記仮想ゲージを表示させる、仮想ゲージ表示プログラム。 The virtual gauge display program according to any one of claims 1 to 10,
The virtual gauge display program is a virtual gauge display program that causes the display unit to display the virtual gauge having a scale.
前記仮想ゲージ表示装置は、携帯機器である、仮想ゲージ表示プログラム。 The virtual gauge display program according to any one of claims 1 to 11,
The virtual gauge display device is a virtual gauge display program that is a portable device.
前記仮想ゲージ表示装置は、前記実空間画像を撮影する撮影部と、前記実空間画像及び前記仮想ゲージを表示する表示部と、前記仮想ゲージを記憶する記憶部と、前記仮想ゲージの配置に関する入力を受け入れる入力部と、前記撮影部、前記表示部、前記記憶部、及び前記入力部を制御する制御部とを備え、
前記撮影部は、前記実空間画像を撮影し、
前記制御部は、前記実空間画像から平面を検知し、
前記入力部からの入力に基づき、前記制御部は、前記仮想ゲージの前記平面上の座標を特定し、
前記仮想ゲージの前記平面上の座標に基づき、前記表示部は、前記実空間画像と共に、前記仮想ゲージを前記平面上に表示する、仮想ゲージ表示装置。 A virtual gauge display device that displays a virtual gauge together with a real space image using augmented reality,
The virtual gauge display device includes a photographing unit that photographs the real space image, a display unit that displays the real space image and the virtual gauge, a storage unit that stores the virtual gauge, and an input regarding the arrangement of the virtual gauge. an input unit that receives the image capturing unit, the display unit, the storage unit, and a control unit that controls the input unit,
The photographing unit photographs the real space image,
The control unit detects a plane from the real space image,
Based on the input from the input unit, the control unit specifies the coordinates of the virtual gauge on the plane,
The display unit displays the virtual gauge on the plane together with the real space image based on the coordinates of the virtual gauge on the plane.
前記制御部は、前記仮想ゲージの下端を前記平面上に配置するように前記表示部に表示する、仮想ゲージ表示装置。 The virtual gauge display device according to claim 13,
The control unit is a virtual gauge display device that displays on the display unit such that a lower end of the virtual gauge is placed on the plane.
前記制御部は、前記表示部に、前記仮想ゲージを前記平面上に配置するための位置決めマークを表示させる、仮想ゲージ表示装置。 The virtual gauge display device according to any one of claims 13 to 14,
The control unit is a virtual gauge display device that causes the display unit to display a positioning mark for arranging the virtual gauge on the plane.
前記制御部は、前記撮影部の撮影方向から前記平面に延びる仮想線を生成し、前記表示部に、前記平面と前記仮想線の交点に前記位置決めマークを表示させる、仮想ゲージ表示装置。
The virtual gauge display device according to claim 15,
The control unit generates a virtual line extending from the imaging direction of the imaging unit to the plane, and causes the display unit to display the positioning mark at an intersection of the plane and the virtual line.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020199562A JP7414197B2 (en) | 2020-12-01 | 2020-12-01 | Virtual gauge display program and device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020199562A JP7414197B2 (en) | 2020-12-01 | 2020-12-01 | Virtual gauge display program and device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022087569A JP2022087569A (en) | 2022-06-13 |
| JP7414197B2 true JP7414197B2 (en) | 2024-01-16 |
Family
ID=81975788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020199562A Active JP7414197B2 (en) | 2020-12-01 | 2020-12-01 | Virtual gauge display program and device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7414197B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006085375A (en) | 2004-09-15 | 2006-03-30 | Canon Inc | Image processing method and image processor |
| JP2008293357A (en) | 2007-05-25 | 2008-12-04 | Canon Inc | Information processing method and information processor |
| JP2009015730A (en) | 2007-07-06 | 2009-01-22 | Location View:Kk | Image display system with streoscopic measure display function and program of image display with stereoscopic measure display function |
| JP2018195233A (en) | 2017-05-22 | 2018-12-06 | リコノミカル株式会社 | Financial information display device, and financial information display program |
| JP2019148899A (en) | 2018-02-26 | 2019-09-05 | 京セラ株式会社 | Electronic device, control method, and program |
| JP2019198905A (en) | 2018-05-14 | 2019-11-21 | 株式会社Ｉｈｉエアロスペース | Image display device, image displaying method, and remote control system |
| JP2020132361A (en) | 2019-02-20 | 2020-08-31 | 株式会社三井Ｅ＆Ｓマシナリー | Crane operation support system and operation support method |
-
2020
- 2020-12-01 JP JP2020199562A patent/JP7414197B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006085375A (en) | 2004-09-15 | 2006-03-30 | Canon Inc | Image processing method and image processor |
| JP2008293357A (en) | 2007-05-25 | 2008-12-04 | Canon Inc | Information processing method and information processor |
| JP2009015730A (en) | 2007-07-06 | 2009-01-22 | Location View:Kk | Image display system with streoscopic measure display function and program of image display with stereoscopic measure display function |
| JP2018195233A (en) | 2017-05-22 | 2018-12-06 | リコノミカル株式会社 | Financial information display device, and financial information display program |
| JP2019148899A (en) | 2018-02-26 | 2019-09-05 | 京セラ株式会社 | Electronic device, control method, and program |
| JP2019198905A (en) | 2018-05-14 | 2019-11-21 | 株式会社Ｉｈｉエアロスペース | Image display device, image displaying method, and remote control system |
| JP2020132361A (en) | 2019-02-20 | 2020-08-31 | 株式会社三井Ｅ＆Ｓマシナリー | Crane operation support system and operation support method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022087569A (en) | 2022-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5248806B2 (en) | Information processing apparatus and information processing method | |
| CN111639626B (en) | Three-dimensional point cloud data processing method and device, computer equipment and storage medium | |
| US20230412902A1 (en) | Image processing device, image processing method, and recording medium | |
| JP6326996B2 (en) | Terminal device, information processing system, and display control program | |
| US8850337B2 (en) | Information processing device, authoring method, and program | |
| US7440691B2 (en) | 360-° image photographing apparatus | |
| US20120218257A1 (en) | Mobile electronic device, virtual information display method and storage medium storing virtual information display program | |
| CN108344401B (en) | Positioning method, positioning device and computer readable storage medium | |
| US20120297019A1 (en) | Method for controlling electronic devices and a hand-held device using the same | |
| JP6160290B2 (en) | Information processing apparatus, determination method, and determination program | |
| JP6096634B2 (en) | 3D map display system using virtual reality | |
| US20210174599A1 (en) | Mixed reality system, program, mobile terminal device, and method | |
| KR101703013B1 (en) | 3d scanner and 3d scanning method | |
| JP2005283221A (en) | Surveying data processing system, storage medium storing digital map and digital map display | |
| US11321864B1 (en) | User guided mode for measurement purposes | |
| JP7414197B2 (en) | Virtual gauge display program and device | |
| JPWO2019106847A1 (en) | A position information system that uses images taken by a camera, and an information device with a camera that uses it. | |
| KR102458559B1 (en) | Construction management system and method using mobile electric device | |
| KR20200104918A (en) | Virtual object display control device, virtual object display system, virtual object display control method, and virtual object display control program | |
| JP2008040913A (en) | Information processing method, and information processor | |
| KR20210149658A (en) | Method for measuring Real length in 3D tour and 3D tour system therefor | |
| JP2021047516A (en) | Information processing device, coordinate conversion system, coordinate conversion method, and coordinate conversion program | |
| US20230379429A1 (en) | Image displaying method, information processing apparatus, and non-transitory computer-readable storage medium storing program | |
| KR102358950B1 (en) | Augmented reality implement apparatus and method using mobile scanned object model scaling | |
| CN113596336B (en) | Image acquisition method and device, electronic equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20221116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20221116 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221214 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20221216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231212 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7414197 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |