JPWO2020234912A1 - Portable device, position display method, and position display program - Google Patents
Portable device, position display method, and position display program Download PDFInfo
- Publication number
- JPWO2020234912A1 JPWO2020234912A1 JP2021520486A JP2021520486A JPWO2020234912A1 JP WO2020234912 A1 JPWO2020234912 A1 JP WO2020234912A1 JP 2021520486 A JP2021520486 A JP 2021520486A JP 2021520486 A JP2021520486 A JP 2021520486A JP WO2020234912 A1 JPWO2020234912 A1 JP WO2020234912A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- portable device
- inspection
- unit
- information indicating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
- Navigation (AREA)
Abstract
携帯装置(100)は、加速度を計測する加速度センサ(15)と、角速度を計測するジャイロセンサ(16)と、点検場所を示す場所情報が含まれている見取図の画像である第1の画像を記憶する記憶部(110)と、第1の画像上における携帯装置(100)の現在位置を算出する位置算出部(130)と、現在位置を示す第1の位置情報を第1の画像に重ねて表示する表示部(160)と、を有する。位置算出部(130)は、加速度、角速度、及び第1の画像上における、現在位置を算出する前に算出された携帯装置(100)の位置を示す第2の位置情報に基づいて、現在位置を算出する。The portable device (100) includes an acceleration sensor (15) for measuring acceleration, a gyro sensor (16) for measuring angular velocity, and a first image which is an image of a sketch including location information indicating an inspection location. The storage unit (110) for storing, the position calculation unit (130) for calculating the current position of the portable device (100) on the first image, and the first position information indicating the current position are superimposed on the first image. It has a display unit (160) for displaying the image. The position calculation unit (130) is based on the acceleration, the angular velocity, and the second position information indicating the position of the portable device (100) calculated before calculating the current position on the first image. Is calculated.
Description
本発明は、携帯装置、位置表示方法、及び位置表示プログラムに関する。 The present invention relates to a portable device, a position display method, and a position display program.
作業者は、点検作業を行う。点検作業は、点検場所で行われる。ここで、点検場所を表示する技術が提案されている(特許文献1を参照)。 The worker performs inspection work. Inspection work is performed at the inspection site. Here, a technique for displaying the inspection location has been proposed (see Patent Document 1).
上記の技術では、点検場所が携帯装置に表示される。作業者は、携帯装置を見ることで、点検場所を認識できる。しかし、作業者は、現在位置が分からないため、携帯装置を見ても、点検場所にたどり着けない場合がある。 With the above technique, the inspection location is displayed on the portable device. The operator can recognize the inspection location by looking at the portable device. However, since the worker does not know the current position, he / she may not be able to reach the inspection location even if he / she looks at the portable device.
本発明の目的は、作業者を点検場所にたどり着けるようにすることである。 An object of the present invention is to allow an operator to reach an inspection site.
本発明の一態様に係る携帯装置が提供される。携帯装置は、加速度を計測する加速度センサと、角速度を計測するジャイロセンサと、点検場所を示す場所情報が含まれている見取図の画像である第1の画像を記憶する記憶部と、前記第1の画像上における前記携帯装置の現在位置を算出する位置算出部と、前記現在位置を示す第1の位置情報を前記第1の画像に重ねて表示する表示部と、を有する。前記位置算出部は、前記加速度、前記角速度、及び前記第1の画像上における、前記現在位置を算出する前に算出された前記携帯装置の位置を示す第2の位置情報に基づいて、前記現在位置を算出する。 A portable device according to an aspect of the present invention is provided. The portable device includes an acceleration sensor for measuring acceleration, a gyro sensor for measuring angular velocity, a storage unit for storing a first image which is an image of a sketch including location information indicating an inspection location, and the first. It has a position calculation unit for calculating the current position of the portable device on the image, and a display unit for displaying the first position information indicating the current position on the first image. The position calculation unit is based on the acceleration, the angular velocity, and the second position information indicating the position of the portable device calculated before calculating the current position on the first image. Calculate the position.
本発明によれば、作業者を点検場所にたどり着けるようにできる。 According to the present invention, the operator can reach the inspection place.
以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。 Hereinafter, embodiments will be described with reference to the drawings. The following embodiments are merely examples, and various modifications can be made within the scope of the present invention.
実施の形態.
図1は、作業の流れを示す図である。作業には、現地調査、巡回点検の前処理、巡回点検の3つがある。3つの作業では、携帯装置100が用いられる。例えば、携帯装置100は、スマートフォン又はタブレット装置である。また、携帯装置100は、位置表示方法を実行する装置である。Embodiment.
FIG. 1 is a diagram showing a work flow. There are three types of work: field survey, pretreatment for patrol inspection, and patrol inspection. In the three operations, the
次に、携帯装置100が有するハードウェアについて説明する。
図2は、携帯装置が有するハードウェアの構成を示す図である。携帯装置100は、CPU(Central Processing Unit)11、RAM(Random Access Memory)12、SSD(Solid State Drive)13、カメラ14、加速度センサ15、ジャイロセンサ16、方位計測センサ17、通信インタフェース18、操作デバイス19、GPU(Graphics Processing Unit)20、フレームメモリ21、RAMDAC(Random Access Memory Digital−to−Analog Converter)22、ディスプレイ23を有する。Next, the hardware included in the
FIG. 2 is a diagram showing a configuration of hardware included in the portable device. The
ここで、CPU11及びGPU20は、プロセッサとも言う。CPU11は、携帯装置100全体を制御する。RAM12は、携帯装置100の主記憶装置である。SSD13は、携帯装置100の補助記憶装置である。
カメラ14は、撮影装置である。加速度センサ15は、加速度を計測するセンサである。ジャイロセンサ16は、角速度を計測するセンサである。方位計測センサ17は、方位を計測するセンサである。方位計測センサ17は、電子コンパスと表現してもよい。Here, the
The
通信インタフェース18は、他の装置と通信する。操作デバイス19は、ユーザがGUI(Graphical User Interface)を操作する際に用いられる。また、GUIは、GPU20、フレームメモリ21、RAMDAC22を用いて、ディスプレイ23に表示される。
The
次に、現地調査の段階における携帯装置100の機能を説明する。
図3は、現地調査の段階における携帯装置の構成を示す機能ブロック図である。携帯装置100は、記憶部110、取得部120、位置算出部130、画像判定部140、算出作成部150、表示部160、関連付け部170、及び操作検出部180を有する。Next, the function of the
FIG. 3 is a functional block diagram showing the configuration of the portable device at the stage of the field survey. The
記憶部110は、RAM12、SSD13、フレームメモリ21、又はRAMDAC22に確保した記憶領域として実現してもよい。
取得部120、位置算出部130、画像判定部140、算出作成部150、表示部160、関連付け部170、及び操作検出部180の一部又は全部は、プロセッサによって実現してもよい。The
A part or all of the
取得部120、位置算出部130、画像判定部140、算出作成部150、表示部160、関連付け部170、及び操作検出部180の一部又は全部は、プロセッサが実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサが実行するプログラムは、位置表示プログラムとも言う。例えば、位置表示プログラムは、記録媒体に記録されている。
A part or all of the
取得部120は、作業現場の見取図の画像を取得する。例えば、取得部120は、紙の見取図をスキャナが読み取った画像を取得してもよい。また、例えば、取得部120は、CADデータに基づいて得られた見取図の画像を取得してもよい。
The
位置算出部130は、加速度センサ15が計測した加速度を取得する。位置算出部130は、ジャイロセンサ16から角速度を取得する。位置算出部130は、前回算出した携帯装置100の位置、加速度、及び角速度とに基づいて、携帯装置100の位置を算出する。なお、携帯装置100の位置を算出する方法は、特許文献2に記載されている。また、位置算出部130が最初に携帯装置100の位置を算出する前に、初期位置が設定される。例えば、ユーザは、携帯装置100の位置を携帯装置100に設定する。そして、位置算出部130が最初に携帯装置100の位置を算出する場合、位置算出部130は、初期位置、加速度、及び角速度とに基づいて、携帯装置100の位置を算出する。
The
画像判定部140は、カメラ14が撮影した画像を取得する。画像判定部140は、点検対象の機器が画像に存在するか否かを判定する。
算出作成部150、表示部160、関連付け部170、及び操作検出部180の機能については、後で説明する。The
The functions of the
次に、画像判定部140の機能について、詳細に説明する。
図4は、画像判定部が実行する処理を示すフローチャートである。まず、ユーザは、携帯装置100を持って、点検対象の機器が存在する場所に移動する。ユーザは、携帯装置100を用いて、物を撮影する。なお、物には、点検対象の機器が含まれる。図4の処理は、カメラ14が撮影した画像を画像判定部140が取得することで開始する。Next, the function of the
FIG. 4 is a flowchart showing a process executed by the image determination unit. First, the user takes the
(ステップS11)画像判定部140は、点検場所に設置されている点検対象の機器が画像内に存在するか否かを判定する。以下、点検対象の機器は、点検機器と呼ぶ。
ここで、画像判定部140が実行する処理を具体的に説明する。(Step S11) The
Here, the process executed by the
図5は、検索処理の具体例を示す図である。画像30は、カメラ14が撮影した画像である。画像判定部140は、検索ウィンドウを移動させて、点検機器が画像30内に存在するか否かを検索する。詳細には、画像判定部140は、画像マッチングを用いて、点検機器が画像30内に存在するか否かを検索する。なお、図5は、走査の経路を示している。
FIG. 5 is a diagram showing a specific example of the search process. The
点検機器が画像内に存在する場合、画像判定部140は、処理をステップS12に進める。点検機器が画像内に存在しない場合、画像判定部140は、処理を終了する。
ここで、以下、点検機器が存在する画像は、点検機器の画像と呼ぶ。If the inspection device is present in the image, the
Here, hereinafter, the image in which the inspection device is present is referred to as an image of the inspection device.
(ステップS12)画像判定部140は、手振れにより、画像内の点検機器がピンボケしているか否かを判定する。
ここで、画像判定部140が実行する処理を具体的に説明する。(Step S12) The
Here, the process executed by the
図6は、ピンボケの判定処理の具体例を示す図である。画像30は、カメラ14が撮影した画像である。
画像判定部140は、注目画素を決定する。図6は、注目画素31を示している。画像判定部140は、注目画素を中心として、複数の周辺画素を決定する。例えば、図6は、周辺画素32を示している。画像判定部140は、複数の周辺画素のうちの予め決められた画素数が連続して注目画素よりも明るい場合、注目画素を画像特徴点とする。また、画像判定部140は、複数の周辺画素のうちの予め決められた画素数が連続して注目画素よりも暗い場合、注目画素を画像特徴点とする。FIG. 6 is a diagram showing a specific example of the out-of-focus determination process. The
The
画像判定部140は、上記のように、全ての画素に対して、画像特徴点であるか否かを判定する。
画像判定部140は、画像特徴点の数が予め決められた閾値以上である場合、画像内の点検機器がピンボケしていないと判定する。そして、画像判定部140は、処理をステップS13に進める。
画像判定部140は、画像特徴点の数が予め決められた閾値よりも小さい場合、画像内の点検機器がピンボケしていると判定する。そして、画像判定部140は、処理を終了する。As described above, the
When the number of image feature points is equal to or greater than a predetermined threshold value, the
When the number of image feature points is smaller than a predetermined threshold value, the
(ステップS13)画像判定部140は、カメラ14が撮影した画像を関連付け部170に送信する。
(Step S13) The
図7は、算出作成部が実行する処理を示すフローチャートである。
(ステップS21)算出作成部150は、取得部120から見取図の画像を受信したか否かを判定する。見取図の画像を受信した場合、算出作成部150は、処理をステップS22に進める。見取図の画像を受信していない場合、算出作成部150は、待機する。FIG. 7 is a flowchart showing a process executed by the calculation creation unit.
(Step S21) The
(ステップS22)算出作成部150は、携帯装置100の位置を示す位置情報を位置算出部130から受信する。
(ステップS23)算出作成部150は、点検場所の位置を算出する。点検場所の位置を算出する方法を詳細に説明する。(Step S22) The
(Step S23) The
図8は、点検場所の位置を算出する方法を説明するための図である。まず、ユーザは、点検機器が存在する場所の付近に存在する。ユーザは、携帯装置100を持っている。
図8は、点検機器が空気調和機40であることを示している。また、図8は、携帯装置100の位置41と点検場所の位置42とを示している。なお、携帯装置100の位置41は、位置算出部130が算出した位置である。言い換えれば、携帯装置100の位置41は、ユーザの位置である。FIG. 8 is a diagram for explaining a method of calculating the position of the inspection place. First, the user is in the vicinity of the place where the inspection device is located. The user has a
FIG. 8 shows that the inspection device is an air conditioner 40. Further, FIG. 8 shows the position 41 of the
図8は、携帯装置100から天井43までの距離Hを示している。距離Hは、記憶部110に予め格納されている。また、距離Hは、第1の距離とも言う。
算出作成部150は、式(1)を用いて、距離Lを算出する。距離Lは、携帯装置100の位置41から点検場所の位置42までの距離である。なお、距離Lは、第2の距離とも言う。FIG. 8 shows the distance H from the
The
なお、算出作成部150は、ジャイロセンサ16が計測した値から傾きθを算出できる。傾きθは、携帯装置100が傾けられたときの傾き角度である。このように、算出作成部150は、傾きθと距離Hに基づいて、距離Lを算出する。
算出作成部150は、方位計測センサ17から方位を取得する。算出作成部150は、携帯装置100の位置、方位、及び距離Lに基づいて、点検場所の位置を算出する。The
The
(ステップS24)算出作成部150は、見取図の画像に点検場所を加えた画像を作成する。このように、算出作成部150は、携帯装置100の位置、方位、距離L、及び見取図の画像に基づいて、当該画像を作成する。当該画像は、点検場所を示す場所情報が含まれている見取図の画像と表現できる。以下、当該画像は、点検場所付加画像と呼ぶ。なお、当該場所情報は、プロットと呼ぶ。また、当該場所情報は、印と呼んでもよい。算出作成部150は、点検場所付加画像を記憶部110に格納する。
このように、携帯装置100は、見取図の画像に点検場所を加えた画像を作成できる。(Step S24) The
In this way, the
図9は、点検場所の表示例を示す図である。図9では、点検場所付加画像がディスプレイ23に表示されている状態を示している。図9は、点検場所をプロットで示している。例えば、プロット50は、点検場所を示す。
FIG. 9 is a diagram showing a display example of the inspection location. FIG. 9 shows a state in which the inspection location additional image is displayed on the
表示部160は、位置算出部130から定期的に携帯装置100の位置を受信する。表示部160は、携帯装置100の位置を受信する度に、点検場所付加画像に携帯装置100の位置を重ねて表示する。図9は、ユーザの移動軌跡を示している。
The
また、関連付け部170は、画像判定部140が送信した点検機器の画像と点検場所付加画像内の点検場所を示すプロットとを関連付ける。例えば、関連付け部170は、点検場所付加画像内のプロットの座標と点検機器の画像を関連付ける。なお、点検機器の画像は、第2の画像とも言う。
Further, the associating
操作検出部180は、ユーザの操作によりプロットが選択されたことを検出する。詳細には、操作検出部180は、ユーザがプロットをタップした場合、プロットが選択されたことを検出する。
表示部160は、当該選択が検出された場合、点検機器の画像を表示する。すなわち、表示部160は、プロットが選択されたことが検出された場合、点検機器の画像を表示する。The
When the selection is detected, the
図10は、点検機器の画像が表示される場合の具体例を示す図である。操作検出部180は、ユーザがプロット60をタップした場合、プロット60が選択されたことを検出する。操作検出部180は、プロット60が選択されたことを表示部160に通知する。
表示部160は、点検機器の画像をディスプレイ23に表示する。
ユーザは、ディスプレイ23を見ることで、画像内に存在する点検機器がピンボケしているかを確認することができる。FIG. 10 is a diagram showing a specific example when an image of the inspection device is displayed. When the user taps the plot 60, the
The
By looking at the
次に、巡回点検の前処理の段階における携帯装置100の機能を説明する。
図11は、巡回点検の前処理の段階における携帯装置の構成を示す機能ブロック図である。図11では、位置算出部130、画像判定部140、算出作成部150の図示が、省略されている。
記憶部110は、点検手順を示す点検手順情報を記憶している。また、記憶部110は、点検履歴を示す点検履歴情報を記憶している。Next, the function of the
FIG. 11 is a functional block diagram showing the configuration of the portable device at the stage of preprocessing of the patrol inspection. In FIG. 11, the
The
次に、巡回点検の前処理の段階における携帯装置100の処理を具体的に説明する。
図12は、巡回点検の前処理の段階における携帯装置が実行する処理の具体例を示す図である。
図12では、プロット70を含む点検場所付加画像がディスプレイ23に表示されている状態を示している。Next, the processing of the
FIG. 12 is a diagram showing a specific example of the processing executed by the portable device in the pre-processing stage of the patrol inspection.
FIG. 12 shows a state in which the inspection location additional image including the
操作検出部180は、ユーザがプロット70をタップした場合、プロット70が選択されたことを検出する。操作検出部180は、プロット70が選択されたことを表示部160に通知する。表示部160は、点検機器の画像71を表示する。
ユーザは、画像71に存在する点検機器の機器種別と固有番号とを機器種別の欄と固有番号の欄に設定する。When the user taps the
The user sets the device type and the unique number of the inspection device existing in the
関連付け部170は、記憶部110を参照し、機器種別と固有番号とに基づいて、画像71に存在する点検機器に対応する点検手順情報を検出する。関連付け部170は、点検手順情報とプロット70とを関連付ける。
また、関連付け部170は、記憶部110を参照し、機器種別と固有番号とに基づいて、画像71に存在する点検機器に対応する点検履歴情報を検出する。関連付け部170は、点検履歴情報とプロット70とを関連付ける。The
Further, the associating
次に、巡回点検の段階について説明する。作業者は、携帯装置100を持って巡回点検を行う。
図13は、巡回点検の段階における携帯装置の構成を示す機能ブロック図である。携帯装置100は、さらに、距離判定部190を有する。
距離判定部190の一部又は全部は、プロセッサによって実現してもよい。距離判定部190の一部又は全部は、プロセッサが実行するプログラムのモジュールとして実現してもよい。Next, the stage of the patrol inspection will be described. The operator carries the
FIG. 13 is a functional block diagram showing the configuration of the portable device at the stage of the patrol inspection. The
A part or all of the
距離判定部190の機能については、後で説明する。
記憶部110は、点検場所付加画像を記憶する。点検場所付加画像は、第1の画像とも言う。The function of the
The
巡回点検の段階における位置算出部130は、点検場所付加画像上における携帯装置100の現在位置を算出する。詳細には、位置算出部130は、加速度、角速度、及び点検場所付加画像上における、現在位置を算出する前に算出された携帯装置100の位置を示す位置情報に基づいて、現在位置を算出する。例えば、位置算出部130は、加速度、角速度、及び点検場所付加画像上における、前回算出された携帯装置100の位置を示す位置情報に基づいて、現在位置を算出する。また、例えば、位置算出部130は、短い周期で現在位置を算出する場合、加速度、角速度、及び点検場所付加画像上における、2回前に算出された携帯装置100の位置を示す位置情報に基づいて、現在位置を算出してもよい。なお、点検場所付加画像上における、現在位置を算出する前に算出された携帯装置100の位置を示す位置情報は、第2の位置情報とも言う。
The
また、位置算出部130は、点検場所付加画像上における携帯装置100の現在位置を定期的に算出する。言い換えれば、位置算出部130は、作業者の現在位置を定期的に算出する。
In addition, the
表示部160は、位置算出部130から携帯装置100の現在位置を受信する。表示部160は、現在位置を示す位置情報を点検場所付加画像に重ねて表示する。なお、現在位置を示す位置情報は、第1の位置情報とも言う。表示部160は、位置算出部130から定期的に携帯装置100の現在位置を受信する。表示部160は、携帯装置100の現在位置を受信する度に、携帯装置100の現在位置が重ねられた点検場所付加画像を表示する。
The
これにより、作業者は、携帯装置100を見ることで、作業者の位置を確認できる。また、作業者は、点検場所付加画像を見ることで、点検場所を確認することができる。よって、携帯装置100は、作業者を点検場所にたどり着けるようにすることができる。
As a result, the worker can confirm the position of the worker by looking at the
図14(A)〜(C)は、巡回点検の段階における携帯装置による表示の具体例である。図14(A)は、作業者の移動経路が重ねられた点検場所付加画像が表示されている状態を示している。このように、表示部160は、作業者の移動経路が重ねられた点検場所付加画像をディスプレイ23に表示してもよい。
14 (A) to 14 (C) are specific examples of the display by the portable device at the stage of the patrol inspection. FIG. 14A shows a state in which the inspection location additional image in which the movement paths of the workers are overlapped is displayed. In this way, the
また、図14(A)は、プロット80がディスプレイ23に表示されている状態を示している。操作検出部180は、作業者がプロット80をタップした場合、プロット80が選択されたことを検出する。操作検出部180は、プロット80が選択されたことを表示部160に通知する。
Further, FIG. 14A shows a state in which the
表示部160は、当該選択が検出された場合、点検機器の画像と点検手順情報とを表示する。詳細には、表示部160は、プロット80が選択されたことが検出された場合、プロット80に関連付けられている点検機器の画像とプロット80に関連付けられている点検手順情報とをディスプレイ23に表示する。図14(B)は、点検機器の画像と点検手順情報とがディスプレイ23に表示されている状態を示している。これにより、作業者は、携帯装置100を見ることで、点検機器を認識できる。また、作業者は、携帯装置100を見ることで、点検手順を確認することができる。
When the selection is detected, the
また、表示部160は、選択が検出された場合、点検機器の画像と点検履歴情報とを表示する。詳細には、表示部160は、プロット80が選択されたことが検出された場合、プロット80に関連付けられている点検機器の画像とプロット80に関連付けられている点検履歴情報とをディスプレイ23に表示する。図14(C)は、点検機器の画像と点検履歴情報とがディスプレイ23に表示されている状態を示している。これにより、作業者は、携帯装置100を見ることで、過去の点検作業を確認することができる。なお、表示部160は、点検機器の画像と点検手順情報とを表示した後、点検機器の画像と点検履歴情報とを表示してもよい。
Further, when the selection is detected, the
ここで、距離判定部190の機能を説明する。距離判定部190は、点検場所の位置と携帯装置100の現在位置との間の距離が予め決められた閾値以下であるか否かを判定する。なお、当該距離は、第3の距離とも言う。
Here, the function of the
表示部160は、当該距離が閾値以下であると判定された場合、点検機器の画像、点検手順情報、及び点検履歴情報の少なくとも1つ以上をディスプレイ23に表示する。このように、携帯装置100は、作業者が点検場所に近づいたとき、点検機器の画像などを表示する。これにより、携帯装置100は、作業者が点検機器を見落とすことを防止できる。
When it is determined that the distance is equal to or less than the threshold value, the
11 CPU、 12 RAM、 13 SSD、 14 カメラ、 15 加速度センサ、 16 ジャイロセンサ、 17 方位計測センサ、 18 通信インタフェース、 19 操作デバイス、 20 GPU、 21 フレームメモリ、 22 RAMDAC、 23 ディスプレイ、 30 画像、 31 注目画素、 32 周辺画素、 40 空気調和機、 41 位置、 42 位置、 43 天井、 50 プロット、 60 プロット、 70 プロット、 71 画像、 80 プロット、 100 携帯装置、 110 記憶部、 120 取得部、 130 位置算出部、 140 画像判定部、 150 算出作成部、 160 表示部、 170 関連付け部、 180 操作検出部、 190 距離判定部。 11 CPU, 12 RAM, 13 SSD, 14 camera, 15 acceleration sensor, 16 gyro sensor, 17 orientation measurement sensor, 18 communication interface, 19 operating device, 20 GPU, 21 frame memory, 22 RAMDAC, 23 display, 30 images, 31 Pixels of interest, 32 peripheral pixels, 40 air conditioners, 41 positions, 42 positions, 43 ceilings, 50 plots, 60 plots, 70 plots, 71 images, 80 plots, 100 portable devices, 110 storage units, 120 acquisition units, 130 positions Calculation unit, 140 image judgment unit, 150 calculation creation unit, 160 display unit, 170 association unit, 180 operation detection unit, 190 distance determination unit.
本開示の一態様に係る携帯装置が提供される。携帯装置は、加速度を計測する加速度センサと、角速度を計測するジャイロセンサと、点検場所を示す場所情報が含まれている見取図の画像である第1の画像を記憶する記憶部と、前記第1の画像上における前記携帯装置の現在位置を算出する位置算出部と、前記現在位置を示す第1の位置情報を前記第1の画像に重ねて表示する表示部と、前記点検場所に設置されている点検対象の機器を撮影するカメラと、前記カメラが撮影することにより得られた第2の画像内の前記点検対象の機器がピンボケしているか否かを判定する画像判定部と、を有する。前記位置算出部は、前記加速度、前記角速度、及び前記第1の画像上における、前記現在位置を算出する前に算出された前記携帯装置の位置を示す第2の位置情報に基づいて、前記現在位置を算出する。 A portable device according to one aspect of the present disclosure is provided. The portable device includes an acceleration sensor for measuring acceleration, a gyro sensor for measuring angular velocity, a storage unit for storing a first image which is an image of a sketch including location information indicating an inspection location, and the first. A position calculation unit for calculating the current position of the portable device on the image, a display unit for displaying the first position information indicating the current position on the first image, and the inspection location are installed. It has a camera that captures the device to be inspected, and an image determination unit that determines whether or not the device to be inspected is out of focus in the second image obtained by the camera. The position calculation unit is based on the acceleration, the angular velocity, and the second position information indicating the position of the portable device calculated before calculating the current position on the first image. Calculate the position.
Claims (9)
加速度を計測する加速度センサと、
角速度を計測するジャイロセンサと、
点検場所を示す場所情報が含まれている見取図の画像である第1の画像を記憶する記憶部と、
前記第1の画像上における前記携帯装置の現在位置を算出する位置算出部と、
前記現在位置を示す第1の位置情報を前記第1の画像に重ねて表示する表示部と、
を有し、
前記位置算出部は、前記加速度、前記角速度、及び前記第1の画像上における、前記現在位置を算出する前に算出された前記携帯装置の位置を示す第2の位置情報に基づいて、前記現在位置を算出する、
携帯装置。It ’s a portable device,
An accelerometer that measures acceleration and
A gyro sensor that measures angular velocity and
A storage unit that stores the first image, which is an image of a sketch drawing that includes location information indicating the inspection location, and a storage unit.
A position calculation unit that calculates the current position of the portable device on the first image, and
A display unit that superimposes and displays the first position information indicating the current position on the first image, and
Have,
The position calculation unit is based on the acceleration, the angular velocity, and the second position information indicating the position of the portable device calculated before calculating the current position on the first image. Calculate the position,
Portable device.
請求項1に記載の携帯装置。The second position information indicates the position of the portable device calculated last time on the first image.
The portable device according to claim 1.
前記携帯装置が傾けられたときの傾き角度と、前記携帯装置から天井までの第1の距離に基づいて、前記携帯装置の位置から前記点検場所の位置までの第2の距離を算出し、前記携帯装置の位置、前記方位、前記第2の距離及び前記見取図の画像に基づいて、前記第1の画像を作成する算出作成部と、
をさらに有する請求項1又は2に記載の携帯装置。A direction measurement sensor that measures the direction and
Based on the tilt angle when the portable device is tilted and the first distance from the portable device to the ceiling, a second distance from the position of the portable device to the position of the inspection location is calculated, and the second distance is calculated. A calculation creation unit that creates the first image based on the position of the portable device, the orientation, the second distance, and the image of the sketch.
The portable device according to claim 1 or 2, further comprising.
ユーザの操作により前記場所情報が選択されたことを検出する操作検出部と、
をさらに有し、
前記表示部は、前記選択が検出された場合、前記第2の画像を表示する、
請求項1から3のいずれか1項に記載の携帯装置。An association unit that associates the second image, which is an image of the equipment to be inspected installed at the inspection location, with the location information, and
An operation detection unit that detects that the location information has been selected by the user's operation,
Have more
The display unit displays the second image when the selection is detected.
The portable device according to any one of claims 1 to 3.
ユーザの操作により前記場所情報が選択されたことを検出する操作検出部と、
をさらに有し、
前記表示部は、前記選択が検出された場合、前記点検手順情報を表示する、
請求項1から3のいずれか1項に記載の携帯装置。An association unit that associates the inspection procedure information indicating the inspection procedure corresponding to the equipment to be inspected installed at the inspection location with the location information, and
An operation detection unit that detects that the location information has been selected by the user's operation,
Have more
The display unit displays the inspection procedure information when the selection is detected.
The portable device according to any one of claims 1 to 3.
ユーザの操作により前記場所情報が選択されたことを検出する操作検出部と、
をさらに有し、
前記表示部は、前記選択が検出された場合、前記点検履歴情報を表示する、
請求項1から3のいずれか1項に記載の携帯装置。An association unit that associates the inspection history information indicating the inspection history corresponding to the equipment to be inspected installed at the inspection location with the location information, and
An operation detection unit that detects that the location information has been selected by the user's operation,
Have more
When the selection is detected, the display unit displays the inspection history information.
The portable device according to any one of claims 1 to 3.
をさらに有し、
前記表示部は、前記第3の距離が前記閾値以下であると判定された場合、前記点検場所に設置されている点検対象の機器の画像である第2の画像、前記点検対象の機器に対応する点検手順を示す点検手順情報、及び前記点検対象の機器に対応する点検履歴を示す点検履歴情報の少なくとも1つ以上を表示する、
請求項1から3のいずれか1項に記載の携帯装置。A distance determination unit that determines whether or not the third distance, which is the distance between the position of the inspection location and the current position, is equal to or less than a predetermined threshold value.
Have more
When it is determined that the third distance is equal to or less than the threshold value, the display unit corresponds to the second image, which is an image of the equipment to be inspected installed at the inspection location, and the equipment to be inspected. Display at least one or more of the inspection procedure information indicating the inspection procedure to be performed and the inspection history information indicating the inspection history corresponding to the device to be inspected.
The portable device according to any one of claims 1 to 3.
点検場所を示す場所情報が含まれている見取図の画像である第1の画像上における前記携帯装置の現在位置を算出し、
前記現在位置を示す第1の位置情報を前記第1の画像に重ねて表示し、
前記現在位置を算出する場合、前記加速度、前記角速度、及び前記第1の画像上における、前記現在位置を算出する前に算出された前記携帯装置の位置を示す第2の位置情報に基づいて、前記現在位置を算出する、
位置表示方法。A portable device having an acceleration sensor that measures acceleration and a gyro sensor that measures angular velocity
The current position of the portable device on the first image, which is an image of the sketch including the place information indicating the inspection place, is calculated.
The first position information indicating the current position is superimposed on the first image and displayed.
When calculating the current position, based on the acceleration, the angular velocity, and the second position information indicating the position of the portable device calculated before calculating the current position on the first image. Calculate the current position,
Position display method.
点検場所を示す場所情報が含まれている見取図の画像である第1の画像上における前記携帯装置の現在位置を算出し、
前記現在位置を示す第1の位置情報を前記第1の画像に重ねて表示し、
前記現在位置を算出する場合、前記加速度、前記角速度、及び前記第1の画像上における、前記現在位置を算出する前に算出された前記携帯装置の位置を示す第2の位置情報に基づいて、前記現在位置を算出する、
処理を実行させる位置表示プログラム。For a portable device having an acceleration sensor for measuring acceleration and a gyro sensor for measuring angular velocity,
The current position of the portable device on the first image, which is an image of the sketch including the place information indicating the inspection place, is calculated.
The first position information indicating the current position is superimposed on the first image and displayed.
When calculating the current position, based on the acceleration, the angular velocity, and the second position information indicating the position of the portable device calculated before calculating the current position on the first image. Calculate the current position,
A position display program that executes processing.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/019608 WO2020234912A1 (en) | 2019-05-17 | 2019-05-17 | Mobile device, position display method, and position display program |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2020234912A1 true JPWO2020234912A1 (en) | 2021-10-28 |
Family
ID=73459194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021520486A Pending JPWO2020234912A1 (en) | 2019-05-17 | 2019-05-17 | Portable device, position display method, and position display program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2020234912A1 (en) |
WO (1) | WO2020234912A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7361992B2 (en) * | 2021-04-15 | 2023-10-16 | 三菱電機株式会社 | Inspection support device, inspection support system, inspection support method, and inspection support program |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000111648A (en) * | 1998-10-07 | 2000-04-21 | Ntt Data Corp | Position detecting system and position detecting device |
JP2006019874A (en) * | 2004-06-30 | 2006-01-19 | Fuji Photo Film Co Ltd | Blur, out of focus informing method and imaging apparatus |
JP2006345462A (en) * | 2005-06-10 | 2006-12-21 | Sharp Corp | Communication apparatus, communication control method, communication control program, and recording medium |
JP2011113161A (en) * | 2009-11-25 | 2011-06-09 | Hitachi High-Tech Control Systems Corp | On-site inspection system |
JP2014229020A (en) * | 2013-05-21 | 2014-12-08 | 三菱電機ビルテクノサービス株式会社 | Information providing device and information providing system |
JP2016164518A (en) * | 2015-03-06 | 2016-09-08 | 日本電信電話株式会社 | Indoor positional information positioning system and indoor positional information positioning method |
WO2017094350A1 (en) * | 2015-12-03 | 2017-06-08 | アルプス電気株式会社 | Position detection system |
JP2019002747A (en) * | 2017-06-13 | 2019-01-10 | 株式会社ソーシャル・キャピタル・デザイン | Destination specification system |
-
2019
- 2019-05-17 WO PCT/JP2019/019608 patent/WO2020234912A1/en active Application Filing
- 2019-05-17 JP JP2021520486A patent/JPWO2020234912A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000111648A (en) * | 1998-10-07 | 2000-04-21 | Ntt Data Corp | Position detecting system and position detecting device |
JP2006019874A (en) * | 2004-06-30 | 2006-01-19 | Fuji Photo Film Co Ltd | Blur, out of focus informing method and imaging apparatus |
JP2006345462A (en) * | 2005-06-10 | 2006-12-21 | Sharp Corp | Communication apparatus, communication control method, communication control program, and recording medium |
JP2011113161A (en) * | 2009-11-25 | 2011-06-09 | Hitachi High-Tech Control Systems Corp | On-site inspection system |
JP2014229020A (en) * | 2013-05-21 | 2014-12-08 | 三菱電機ビルテクノサービス株式会社 | Information providing device and information providing system |
JP2016164518A (en) * | 2015-03-06 | 2016-09-08 | 日本電信電話株式会社 | Indoor positional information positioning system and indoor positional information positioning method |
WO2017094350A1 (en) * | 2015-12-03 | 2017-06-08 | アルプス電気株式会社 | Position detection system |
JP2019002747A (en) * | 2017-06-13 | 2019-01-10 | 株式会社ソーシャル・キャピタル・デザイン | Destination specification system |
Also Published As
Publication number | Publication date |
---|---|
WO2020234912A1 (en) | 2020-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107402000B (en) | Method and system for correlating a display device with respect to a measurement instrument | |
US8170277B2 (en) | Automatic tracking apparatus and automatic tracking method | |
EP3392612B1 (en) | Defect detection apparatus and program | |
JP2004318823A (en) | Information display system, information processing apparatus, pointing device and pointer mark displaying method in information display system | |
US20170104915A1 (en) | Display control apparatus, display control method, and storage medium | |
US9633450B2 (en) | Image measurement device, and recording medium | |
JP5388921B2 (en) | Three-dimensional distance measuring apparatus and method | |
JP2010128727A (en) | Image processor | |
JP6494418B2 (en) | Image analysis apparatus, image analysis method, and program | |
US20180225839A1 (en) | Information acquisition apparatus | |
JPWO2019059091A1 (en) | Utility pole management system | |
JP2018182593A (en) | Image processing apparatus and image processing method | |
JP6579727B1 (en) | Moving object detection device, moving object detection method, and moving object detection program | |
US10432916B2 (en) | Measurement apparatus and operation method of measurement apparatus | |
JP4198536B2 (en) | Object photographing apparatus, object photographing method and object photographing program | |
WO2020234912A1 (en) | Mobile device, position display method, and position display program | |
CN114726978A (en) | Information processing apparatus, information processing method, and program | |
JP2010217984A (en) | Image detector and image detection method | |
US20220076399A1 (en) | Photographing guide device | |
JPWO2019186985A1 (en) | Vibration measurement system, vibration measurement device, vibration measurement method, and program | |
JP7334460B2 (en) | Work support device and work support method | |
JP2007010419A (en) | Three-dimensional shape of object verifying system | |
KR101670247B1 (en) | System for magnifying-moving object using one click of cctv real-time image and method therefor | |
JP2005268972A (en) | Video display system and video display method | |
JP6581280B1 (en) | Monitoring device, monitoring system, monitoring method, monitoring program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210610 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220913 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230117 |