JP7466335B2 - Location Estimation Device - Google Patents
Location Estimation Device Download PDFInfo
- Publication number
- JP7466335B2 JP7466335B2 JP2020036564A JP2020036564A JP7466335B2 JP 7466335 B2 JP7466335 B2 JP 7466335B2 JP 2020036564 A JP2020036564 A JP 2020036564A JP 2020036564 A JP2020036564 A JP 2020036564A JP 7466335 B2 JP7466335 B2 JP 7466335B2
- Authority
- JP
- Japan
- Prior art keywords
- position estimation
- unit
- building
- positioning object
- estimation device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000547 structure data Methods 0.000 claims description 42
- 238000003384 imaging method Methods 0.000 claims description 27
- 238000012937 correction Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 description 29
- 230000001133 acceleration Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 18
- 238000012423 maintenance Methods 0.000 description 16
- 238000007689 inspection Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Image Analysis (AREA)
Description
本発明は、位置推定装置に関する。 The present invention relates to a position estimation device.
例えば建物内の保守作業を行う際に、当該建物内の作業員の位置座標を求めることで、保守作業の効率化が図られる。例えば、建物内の作業員の位置座標をもとに、遠隔から作業員に対して保守対象の設備までの経路を指示できる。 For example, when performing maintenance work inside a building, the efficiency of the maintenance work can be improved by determining the position coordinates of the worker inside the building. For example, based on the position coordinates of the worker inside the building, the worker can be remotely instructed on the route to the equipment to be maintained.
作業員の位置座標を求めるデバイスとして、例えばスマートフォン等の携帯通信端末が用いられる。作業員に通信端末を携行させ、当該通信端末に搭載されたセンサ等により、作業員の位置座標が求められる。 A mobile communication terminal such as a smartphone is used as a device for determining the position coordinates of the worker. The worker carries the communication terminal, and the worker's position coordinates are determined by a sensor or the like mounted on the communication terminal.
例えば通信端末を用いた位置座標の測位システムとして、ＧＰＳ（Global Positioning System）システムが知られている。しかしながら、作業員が建物内にいる場合、ＧＰＳ衛星からの信号（ＧＰＳ信号）を通信端末が受信し難くなる。 For example, the Global Positioning System (GPS) system is known as a positioning system for measuring position coordinates using a communication terminal. However, when a worker is inside a building, it becomes difficult for the communication terminal to receive signals from GPS satellites (GPS signals).
ＧＰＳに代わる位置座標の測位手法として、例えば特許文献１～６に例示されるような、画像マッチングによる測位が知られている。例えば作業員が通信端末のカメラ機能を用いて周囲を撮像する。この撮像画像と、建物の３Ｄ－ＣＡＤデータやＢＩＭデータ等の建物構造データとを対比することで、撮像位置座標が求められる。 As an alternative method of measuring position coordinates to GPS, positioning by image matching is known, as exemplified in Patent Documents 1 to 6. For example, a worker captures an image of the surroundings using the camera function of a communication terminal. The captured image is compared with building structure data such as 3D-CAD data or BIM data for the building to determine the image position coordinates.
また、他の位置座標の測位手法として、例えば特許文献７、８に例示されるような、歩行者自律航法（ＰＤＲ）が知られている。通信端末には加速度センサ、磁器センサ、ジャイロセンサが搭載され、これらのセンサによって、直前の位置から現在位置までの変位が求められる。 Another known method for measuring position coordinates is pedestrian dead reckoning (PDR), as exemplified in Patent Documents 7 and 8. The communication terminal is equipped with an acceleration sensor, a magnetic sensor, and a gyro sensor, and these sensors are used to determine the displacement from the previous position to the current position.
ところで、画像マッチングによる位置推定を行う場合、ニューラルネットワーク等の、人工知能（ＡＩ）を用いた演算が実行される。この演算は比較的負荷が大きく、画像マッチングによる位置推定を常時行う場合、通信端末の演算負荷が過大となる。一方、ＰＤＲによる位置推定は、画像マッチングよりも演算負荷が軽いというメリットがあるが、センサの誤差が積算されるため、ＰＤＲによる位置推定が行われる距離が長くなるほど、推定精度が低下するという特徴がある。 When performing position estimation using image matching, calculations are performed using artificial intelligence (AI), such as neural networks. This calculation is relatively heavy, and performing position estimation using image matching constantly would result in an excessively heavy calculation load on the communications terminal. On the other hand, position estimation using PDR has the advantage of a lighter calculation load than image matching, but has the characteristic that, because sensor errors are accumulated, the longer the distance over which position estimation using PDR is performed, the lower the estimation accuracy becomes.
そこで本発明は、位置推定の精度低下を抑制しつつ、通信端末の演算負荷の軽減を可能とする、位置推定装置を提供することを目的とする。 The present invention aims to provide a position estimation device that can reduce the computational load on a communication terminal while suppressing deterioration in the accuracy of position estimation.
本発明は、建物内に携行される、位置推定装置に関する。当該装置は、ＰＤＲ位置推定部、撮像器、判定部、及び画像マッチング位置推定部を備える。ＰＤＲ位置推定部は、歩行者自律航法により建物内の位置座標推定を行う。撮像器は、建物内を撮像する。判定部は、建物の構造データに基づいて建物内の設備から選択された測位オブジェクトの位置座標と、ＰＤＲ位置推定部により推定された現在位置座標との距離が所定の近接距離以下になった時に、撮像器による測位オブジェクトの撮像を携行者に促す動作を実行する。画像マッチング位置推定部は、撮像器により撮像された建物内の撮像画像に含まれる測位オブジェクトと、建物の構造データに含まれる測位オブジェクトとの画像マッチングを行って撮像位置座標を推定する。 The present invention relates to a position estimation device carried inside a building. The device includes a PDR position estimation unit, an image capture device, a determination unit, and an image matching position estimation unit. The PDR position estimation unit estimates position coordinates inside the building using pedestrian autonomous navigation. The image capture device captures images inside the building. When the distance between the position coordinates of a positioning object selected from equipment inside the building based on the building's structural data and the current position coordinates estimated by the PDR position estimation unit falls below a predetermined proximity distance, the determination unit executes an operation to prompt the carrier to capture an image of the positioning object using the image capture device. The image matching position estimation unit estimates the image capture position coordinates by performing image matching between the positioning object included in an image of the building captured by the image capture device and the positioning object included in the building's structural data.
上記構成によれば、歩行者自律航法による位置座標推定と、測位オブジェクトとの画像マッチングによる位置座標推定とが併用して行われる。歩行者自律航法による位置座標推定による誤差は、画像マッチングによる位置座標推定により補正される。さらに、画像マッチングによる位置座標推定が間欠的に実行されるため、当該推定が常時実行される場合と比較して、位置推定装置の演算負荷は軽減される。 According to the above configuration, position coordinate estimation using pedestrian autonomous navigation and position coordinate estimation using image matching with a positioning object are performed in combination. Errors caused by position coordinate estimation using pedestrian autonomous navigation are corrected by position coordinate estimation using image matching. Furthermore, because position coordinate estimation using image matching is performed intermittently, the computational load on the position estimation device is reduced compared to when the estimation is performed constantly.
また上記構成において、測位オブジェクトを選択するオブジェクト選択部が設けられてよい。この場合、オブジェクト選択部は、所定の補正間隔に応じて、複数の測位オブジェクトを選択する。 In the above configuration, an object selection unit may be provided that selects a positioning object. In this case, the object selection unit selects multiple positioning objects according to a predetermined correction interval.
補正間隔に応じて、均等に測位オブジェクトが選択されることで、歩行者自律航法による誤差の蓄積が均等化される。 By selecting positioning objects evenly according to the correction interval, the accumulation of errors caused by pedestrian autonomous navigation is evened out.
また上記構成において、測位オブジェクトの位置座標と、ＰＤＲ位置推定部により推定された現在位置座標との距離が近接距離以下になった時に、測位オブジェクトの属性を表示する表示部を備えてもよい。 The above configuration may also include a display unit that displays attributes of the positioning object when the distance between the position coordinates of the positioning object and the current position coordinates estimated by the PDR position estimation unit becomes less than the close distance.
測位オブジェクトの属性が示されることで、撮像対象が携行者に知らされることになり、測位オブジェクトを確実に撮像可能となる。 By displaying the attributes of the positioning object, the user is informed of the image capture target, allowing the positioning object to be captured reliably.
また上記構成において、入力部及び表示制御部が設けられてもよい。入力部にはメッセージが入力される。表示制御部は、メッセージが入力された入力位置座標と現在位置座標とが一致するときに、表示部に対して、当該入力位置座標にて撮像された建物内の撮像画像にメッセージを重畳表示させる。 The above configuration may also include an input unit and a display control unit. A message is input to the input unit. When the input position coordinates at which the message was input match the current position coordinates, the display control unit causes the display unit to superimpose the message on an image of the inside of the building captured at the input position coordinates.
建物の保守点検を行う複数の作業員にそれぞれ位置推定装置を携行させたときに、上記のような重畳表示機能が各位置推定装置に設けられることで、入力位置座標における作業内容等のメッセージを作業員間で共有できる。 When multiple workers performing maintenance and inspection of a building each carry a location estimation device, the above-mentioned overlay display function is provided on each location estimation device, allowing the workers to share messages such as the work content at the input location coordinates.
また上記構成において、建物の構造データとして、３Ｄ－ＣＡＤデータまたはＢＩＭデータが記憶される構造データ記憶部が設けられてもよい。 In addition, in the above configuration, a structural data storage unit may be provided in which 3D-CAD data or BIM data is stored as structural data for the building.
また上記構成において、建物の構造データとして、２Ｄ－ＣＡＤデータが記憶される構造データ記憶部と、測位オブジェクトの高度が入力される高度入力部が設けられてもよい。 In addition, in the above configuration, a structure data storage unit may be provided in which 2D-CAD data is stored as structure data for the building, and an altitude input unit may be provided in which the altitude of the positioning object is input.
また上記構成において、判定部は、測位オブジェクトの位置座標と、ＰＤＲ位置推定部により推定された現在位置座標との距離が所定の近接距離以下になった時に、ＰＤＲ位置推定部による位置推定を休止させるとともに、画像マッチング位置推定部による位置推定を実行させてもよい。 In the above configuration, the determination unit may also suspend position estimation by the PDR position estimation unit and cause the image matching position estimation unit to execute position estimation when the distance between the position coordinates of the positioning object and the current position coordinates estimated by the PDR position estimation unit becomes equal to or less than a predetermined proximity distance.
また上記構成において、ＧＰＳ信号を受信する受信機と、現在位置座標の高度が所定の閾値高度を超過するときに、ＧＰＳ信号による位置推定を休止するＧＰＳ信号判定部とが設けられてもよい。 The above configuration may also include a receiver that receives GPS signals and a GPS signal determination unit that pauses position estimation using GPS signals when the altitude of the current position coordinate exceeds a predetermined threshold altitude.
ＧＰＳによる測位では、ＧＰＳ信号の受信が不安定なとき、高度の精度が低くなることが知られている。このような、ＧＰＳ信号を受信したときの位置座標の高度に応じて、ＧＰＳ信号による位置推定の可否を判定することで、高度成分の推定精度の低下が抑制される。 It is known that in GPS positioning, the accuracy of the altitude decreases when the reception of the GPS signal is unstable. By determining whether or not the position can be estimated using the GPS signal depending on the altitude of the position coordinates when the GPS signal is received, the decrease in the estimation accuracy of the altitude component is suppressed.
本発明によれば、位置推定の精度低下を抑制しつつ、通信端末の演算負荷が軽減可能となる。 The present invention makes it possible to reduce the computational load on a communication terminal while preventing a decrease in the accuracy of position estimation.
図１には、本実施形態に係る位置推定装置１０のハードウェア構成が例示される。位置推定装置１０は、建物の保守点検を行う作業員が携行可能な通信端末であってよく、例えばスマートフォンやタブレット端末等の、携帯用の通信端末であってよい。例えば位置推定装置１０は、作業員に携行され、保守点検対象の建物内にて使用される。 Figure 1 illustrates an example of the hardware configuration of a position estimation device 10 according to this embodiment. The position estimation device 10 may be a communication terminal that can be carried by a worker performing maintenance and inspection of a building, and may be a portable communication terminal such as a smartphone or tablet terminal. For example, the position estimation device 10 is carried by a worker and used within the building that is the subject of maintenance and inspection.
位置推定装置１０は、ＣＰＵ１２、加速度センサ１４、ジャイロセンサ１６、地磁気センサ１８、撮像器２０、ＧＰＳ受信機２２、振動器２４、入力部２６、システムメモリ２８、ストレージ３０、ＧＰＵ３２、フレームメモリ３４、ＲＡＭＤＡＣ３６、及び表示部３８を備える。 The position estimation device 10 includes a CPU 12, an acceleration sensor 14, a gyro sensor 16, a geomagnetic sensor 18, an imager 20, a GPS receiver 22, a vibrator 24, an input unit 26, a system memory 28, a storage 30, a GPU 32, a frame memory 34, a RAMDAC 36, and a display unit 38.
ＣＰＵ１２（中央演算装置）は、本実施形態に係る位置推定プロセスを実行する中心的な演算素子である。システムメモリ２８は、ＣＰＵ１２によって実行されるオペレーションシステム（ＯＳ）が使用する記憶装置である。ストレージ３０は、外部記憶装置であって、例えば後述する、位置推定プロセスを実行するためのプログラムが記憶される。 The CPU 12 (Central Processing Unit) is the central computing element that executes the position estimation process according to this embodiment. The system memory 28 is a storage device used by the operating system (OS) executed by the CPU 12. The storage 30 is an external storage device that stores, for example, a program for executing the position estimation process, which will be described later.
ＧＰＵ３２（Graphics Processing Unit）は、画像処理用の演算装置であって、後述する画像マッチングによる位置推定を行う際に主に稼働される。フレームメモリ３４は、撮像器２０により撮像されさらにＧＰＵ３２により演算処理された画像を記憶する記憶装置である。ＲＡＭＤＡＣ３６（Random Access Memory Digital-to-Analog Converter）は、フレームメモリ３４に記憶された画像データを、アナログディスプレイである表示部３８向けのアナログ信号に変換する。 The GPU 32 (Graphics Processing Unit) is a calculation device for image processing, and is mainly operated when performing position estimation by image matching, which will be described later. The frame memory 34 is a storage device that stores images captured by the imager 20 and further processed by the GPU 32. The RAMDAC 36 (Random Access Memory Digital-to-Analog Converter) converts the image data stored in the frame memory 34 into an analog signal for the display unit 38, which is an analog display.
加速度センサ１４は、位置推定装置１０の加速度を測定する。加速度センサ１４は、図２に例示されるように、直交する３軸方向の加速度をそれぞれ計測可能となっている。すなわち、表示部３８の表示面に平行であって、軸同士が直交するＸ軸及びＹ軸、並びに、表示部３８の表示面に直交するＺ軸のそれぞれの軸方向の加速度が、加速度センサ１４によって測定される。加速度センサ１４、ジャイロセンサ１６、及び地磁気センサ１８は、例えばＭＥＭＳ（Micro Electro Mechanical Systems）等のいわゆるマイクロマシンから構成される。 The acceleration sensor 14 measures the acceleration of the position estimation device 10. As illustrated in FIG. 2, the acceleration sensor 14 is capable of measuring acceleration in three orthogonal axial directions. That is, the acceleration sensor 14 measures acceleration in the axial directions of the X-axis and Y-axis, which are parallel to the display surface of the display unit 38 and perpendicular to each other, and the Z-axis, which is perpendicular to the display surface of the display unit 38. The acceleration sensor 14, the gyro sensor 16, and the geomagnetic sensor 18 are composed of so-called micromachines, such as MEMS (Micro Electro Mechanical Systems).
ジャイロセンサ１６は、位置推定装置１０の角速度を測定する。ジャイロセンサ１６は、図２に例示されるように、直交する３軸周りの回転を測定する。つまり、Ｘ軸周りの回転であるピッチ角、Ｙ軸周りの回転であるロール角、及び、Ｚ軸周りの回転であるアジマス角（ヨー角とも呼ばれる）が、ジャイロセンサ１６により測定される。また、地磁気センサ１８は、位置推定装置１０の磁北からの傾きを検出する。 The gyro sensor 16 measures the angular velocity of the position estimation device 10. As illustrated in FIG. 2, the gyro sensor 16 measures rotations around three orthogonal axes. That is, the gyro sensor 16 measures the pitch angle, which is rotation around the X axis, the roll angle, which is rotation around the Y axis, and the azimuth angle (also called the yaw angle), which is rotation around the Z axis. In addition, the geomagnetic sensor 18 detects the inclination of the position estimation device 10 from magnetic north.
ＧＰＳ受信機２２は、ＧＰＳ衛星から測位信号であるＧＰＳ信号を受信する。ＧＰＳ信号には、緯度、経度、高度の位置座標情報が含まれる。後述するように、ＧＰＳ信号は屋内ではＧＰＳ衛星からのＧＰＳ信号の受信が困難となる。したがって、主に位置推定装置１０が屋外に携行されているときに、ＧＰＳ信号に基づく位置座標推定が行われる。 The GPS receiver 22 receives GPS signals, which are positioning signals, from GPS satellites. The GPS signals include position coordinate information such as latitude, longitude, and altitude. As described below, it is difficult to receive GPS signals from GPS satellites indoors. Therefore, position coordinate estimation based on GPS signals is performed mainly when the position estimation device 10 is carried outdoors.
撮像器２０は、例えばスマートフォンに搭載されたカメラデバイスであり、建物内の様子を静止画及び動画にて撮像可能となっている。撮像器２０は、例えばＣＭＯＳやＣＣＤ等の撮像デバイスを含んで構成される。 The image capture device 20 is, for example, a camera device mounted on a smartphone, and is capable of capturing still and video images of the interior of a building. The image capture device 20 includes, for example, an imaging device such as a CMOS or CCD.
入力部２６は文字入力や後述する測位オブジェクトの高度を入力可能となっている。例えば入力部２６は、表示部３８と一体化されたタッチパネルであってよい。表示部３８は、撮像器２０の撮像画像、入力部２６により入力された文字メッセージ、及び後述する測位オブジェクトの属性等を表示可能となっている。 The input unit 26 is capable of inputting text and the altitude of a positioning object, which will be described later. For example, the input unit 26 may be a touch panel integrated with the display unit 38. The display unit 38 is capable of displaying the image captured by the image capture device 20, a text message input by the input unit 26, and attributes of the positioning object, which will be described later.
振動器２４は例えばバイブレータであり、後述するように、測位オブジェクトの撮像地点において、測位演算切替判定部４４（図３参照）により振動駆動される。振動器２４は、例えば、リニア共振アクチュエータ、偏心回転質量型のモータ、またはピエゾアクチュエータから構成される。 The vibrator 24 is, for example, a vibrator, and as described below, is driven to vibrate by the positioning calculation switching determination unit 44 (see FIG. 3) at the imaging point of the positioning object. The vibrator 24 is, for example, a linear resonant actuator, an eccentric rotating mass type motor, or a piezoelectric actuator.
図３には、位置推定装置１０の機能ブロック図が例示される。この機能ブロック図は、例えばシステムメモリ２８やストレージ３０に記憶されるか、または、ＤＶＤやコンピュータのハードディスク等の、非一過性の記憶媒体に記憶された、位置推定プログラムをＣＰＵ１２やＧＰＵ３２が実行することで構成される。 Figure 3 shows an example of a functional block diagram of the position estimation device 10. This functional block diagram is configured by the CPU 12 or GPU 32 executing a position estimation program stored in, for example, the system memory 28 or storage 30, or stored in a non-transitory storage medium such as a DVD or a computer hard disk.
図３には、図１にも例示されたハードウェア構成の一部と機能ブロックとが混在した状態で示される。具体的に図３に例示されるように、位置推定装置１０は、ハードウェア構成として、加速度センサ１４、ジャイロセンサ１６、地磁気センサ１８、撮像器２０、ＧＰＳ受信機２２、入力部２６、振動器２４、表示部３８を備える。さらに位置推定装置１０は、機能ブロックとして、ＰＤＲ位置推定部４０、画像マッチング位置推定部４２、測位演算切替判定部４４、建物構造データ記憶部４６、測位オブジェクト選択部４８、位置座標記憶部５０、メッセージ表示制御部５２、及び、ＧＰＳ信号判定部５４を備える。これらの機能ブロックは、ＣＰＵ１２、システムメモリ２８、ストレージ３０、ＧＰＵ３２、及びフレームメモリ３４等から構成される。 Figure 3 shows a mixture of part of the hardware configuration illustrated in Figure 1 and functional blocks. Specifically, as illustrated in Figure 3, the position estimation device 10 includes, as its hardware configuration, an acceleration sensor 14, a gyro sensor 16, a geomagnetic sensor 18, an imager 20, a GPS receiver 22, an input unit 26, a vibrator 24, and a display unit 38. The position estimation device 10 further includes, as its functional blocks, a PDR position estimation unit 40, an image matching position estimation unit 42, a positioning calculation switching determination unit 44, a building structure data storage unit 46, a positioning object selection unit 48, a position coordinate storage unit 50, a message display control unit 52, and a GPS signal determination unit 54. These functional blocks are composed of a CPU 12, a system memory 28, a storage 30, a GPU 32, a frame memory 34, and the like.
ＰＤＲ位置推定部４０は、歩行者自律航法（ＰＤＲ、Pedestrian Dead Reckoning）により、建物内の位置座標推定を行う。歩行者自律航法に基づく位置座標推定の詳細は後述される。 The PDR position estimation unit 40 estimates position coordinates within a building using pedestrian dead reckoning (PDR). Details of position coordinate estimation based on pedestrian dead reckoning will be described later.
画像マッチング位置推定部４２は、撮像器２０による建物内の撮像画像に含まれる測位オブジェクトと、建物構造データ記憶部４６に記憶された、建物の構造データ内の測位オブジェクトとの画像マッチングを行うことで、撮像位置座標を推定する。 The image matching position estimation unit 42 estimates the imaging position coordinates by performing image matching between a positioning object included in an image captured inside a building by the image capture device 20 and a positioning object in the building structure data stored in the building structure data storage unit 46.
画像マッチング位置推定部４２には、例えば、外部のサーバ等によって学習済みの画像認識用のニューラルネットワークが記憶される。例えば建物内の画像データであって、画像内の各設備のセグメント済み及びアノテーション済みのデータが、訓練用データとして準備される。この訓練用データを用いて、教師有り学習により機械学習された多階層のニューラルネットワークが形成される。この学習済みの当該ニューラルネットワークが、画像マッチング位置推定部４２に記憶される。なお、画像マッチングによる位置座標推定の詳細は後述される。 The image matching position estimation unit 42 stores a neural network for image recognition that has been trained, for example, by an external server or the like. For example, image data of the interior of a building, in which each piece of equipment in the image has been segmented and annotated, is prepared as training data. Using this training data, a multi-layered neural network is formed that has been machine-learned through supervised learning. This trained neural network is stored in the image matching position estimation unit 42. Details of position coordinate estimation through image matching will be described later.
測位演算切替判定部４４は、位置推定装置１０の位置座標推定に当たり、ＰＤＲ位置推定部４０を用いるか、または画像マッチング位置推定部４２を用いるかを、後述する図８のフローチャートに則って判定する。 The positioning calculation switching determination unit 44 determines whether to use the PDR position estimation unit 40 or the image matching position estimation unit 42 when estimating the position coordinates of the position estimation device 10 in accordance with the flowchart of FIG. 8 described later.
建物構造データ記憶部４６には、作業員（位置推定装置１０の携行者）が保守点検作業を行う建物の構造データが記憶される。建物の構造データとして、例えば、建物構造データ記憶部４６には、図４に例示されるような３次元構造データが記憶される。 The building structure data storage unit 46 stores structure data of the building where the worker (carrier of the position estimation device 10) performs maintenance and inspection work. As the building structure data, for example, the building structure data storage unit 46 stores three-dimensional structure data such as the example shown in FIG. 4.
この３次元記憶データは、例えば３Ｄ－ＣＡＤデータであってよい。３Ｄ－ＣＡＤデータには、壁設置型の誘導灯６０、ドア６２、柱６４等の、固定配置された設備に加えて、机６６や椅子６８等の、可動設備の３次元構造及び配置情報も含まれる。具体的には、これらの設備の、建物内に設置された３次元座標が世界座標系で記憶される。例えば誘導灯６０であれば、誘導灯６０の実寸法の３次元座標点群が世界座標系で記憶される。例えば世界座標系では、建物の任意の点が原点となり、この原点からの各設備の距離が３次元の直交座標系で表現される。 This three-dimensional stored data may be, for example, 3D-CAD data. In addition to fixedly installed equipment such as wall-mounted emergency lights 60, doors 62, and pillars 64, the 3D-CAD data also includes three-dimensional structure and placement information for movable equipment such as desks 66 and chairs 68. Specifically, the three-dimensional coordinates of these pieces of equipment installed within a building are stored in a world coordinate system. For example, in the case of emergency lights 60, a three-dimensional coordinate point cloud of the actual dimensions of emergency lights 60 is stored in the world coordinate system. For example, in the world coordinate system, an arbitrary point on the building becomes the origin, and the distance of each piece of equipment from this origin is expressed in a three-dimensional Cartesian coordinate system.
また、建物構造データ記憶部４６には、３次元座標点群に加えて、各設備の属性が記憶される。例えば誘導灯やドアといった設備名等の属性が、３次元座標点群とともに建物構造データ記憶部４６に記憶される。なお、同一名称の設備が建物内に複数設置されている場合には、設備ごとにユニークな（重複のない）設備ＩＤが属性情報に含まれる。 In addition to the three-dimensional coordinate point cloud, the building structure data storage unit 46 also stores the attributes of each piece of equipment. For example, attributes such as the names of equipment such as emergency lights and doors are stored in the building structure data storage unit 46 along with the three-dimensional coordinate point cloud. Note that if multiple pieces of equipment with the same name are installed in a building, a unique (unique) equipment ID for each piece of equipment is included in the attribute information.
また、建物構造データ記憶部４６には、３Ｄ－ＣＡＤデータに代えて、ＢＩＭデータが記憶されてよい。ＢＩＭ（Building Information Modeling）データは、上記のような各設備の３次元座標点群及び属性に加えて、コスト、設置年月日、保守点検日等の管理情報も含まれる。 In addition, the building structure data storage unit 46 may store BIM data instead of 3D-CAD data. In addition to the 3D coordinate point cloud and attributes of each piece of equipment as described above, BIM (Building Information Modeling) data also includes management information such as cost, installation date, and maintenance and inspection date.
また、建物構造データ記憶部４６には、図４のような３次元構造データに代えて、図５に例示されるような２Ｄ－ＣＡＤデータ等の２次元構造データが記憶されていてもよい。このような２次元構造データでは、フロア別に平面図データが構築される。また、各階で共通する２次元座標の原点からの、各設備の距離が、２次元座標点群にて表現される。例えば２次元構造データには、ドア６２、柱６４、床埋め込み式の誘導灯７０等の、固定配置される設備に加えて、机６６や椅子６８等の、可動設備の２次元構造及び配置情報も含まれる。 In addition, the building structure data storage unit 46 may store two-dimensional structure data, such as 2D-CAD data as shown in FIG. 5, instead of the three-dimensional structure data shown in FIG. 4. In such two-dimensional structure data, floor plan data is constructed for each floor. The distance of each piece of equipment from the origin of the two-dimensional coordinates common to each floor is expressed by a two-dimensional coordinate point group. For example, the two-dimensional structure data includes the two-dimensional structure and placement information of movable equipment, such as desks 66 and chairs 68, in addition to fixed equipment such as doors 62, pillars 64, and floor-embedded emergency lights 70.
測位オブジェクト選択部４８は、画像マッチング位置推定に必要な測位オブジェクトＯｂｊ＿ｋを選択する。後述されるように、測位オブジェクト選択部４８は、建物構造データ記憶部４６に記憶された建物の構造データに基づいて、当該建物内の設備から、複数の測位オブジェクトＯｂｊ＿ｋを選択する。 The positioning object selection unit 48 selects a positioning object Obj_k required for image matching position estimation. As described below, the positioning object selection unit 48 selects multiple positioning objects Obj_k from the facilities within the building based on the building structure data stored in the building structure data storage unit 46.
＜位置推定フロー＞
図６には、本実施形態に係る位置推定装置１０を使用した、位置推定プロセスが例示される。位置推定装置１０は作業員８０に携行され、屋外から建物１００内に入る。屋外ではＧＰＳ衛星８２からＧＰＳ信号を受信することで、位置推定装置１０の位置座標が推定される。位置推定装置１０が建物１００内に入り、ＧＰＳ信号の受信が困難になると、図８に例示される位置推定フローが実行される。
<Location estimation flow>
Fig. 6 illustrates a position estimation process using the position estimation device 10 according to this embodiment. The position estimation device 10 is carried by a worker 80, and enters a building 100 from outdoors. Outdoors, the position coordinates of the position estimation device 10 are estimated by receiving GPS signals from GPS satellites 82. When the position estimation device 10 enters the building 100 and it becomes difficult to receive GPS signals, a position estimation flow illustrated in Fig. 8 is executed.
図６に例示されるように、本実施形態に係る位置推定プロセスでは、画像マッチングによる位置推定と歩行者自律航法（ＰＤＲ）に基づく位置推定とが交互に実行される。歩行者自律航法に基づく位置推定が途中で画像マッチングによる位置推定に置き換えられることで、歩行者自律航法に基づく誤差の蓄積が抑制される。また、画像マッチングによる位置推定が間欠的に実行されることで、常時画像マッチングによる位置推定を行う場合と比較して、演算負荷を軽減できる。演算負荷の軽減にともない、携帯型の位置推定装置１０の電力消費を抑制可能となる。 As illustrated in FIG. 6, in the position estimation process according to this embodiment, position estimation by image matching and position estimation based on pedestrian autonomous navigation (PDR) are performed alternately. By replacing position estimation based on pedestrian autonomous navigation with position estimation by image matching midway, the accumulation of errors based on pedestrian autonomous navigation is suppressed. In addition, by performing position estimation by image matching intermittently, the computational load can be reduced compared to when position estimation by image matching is performed constantly. With the reduction in computational load, it is possible to reduce power consumption of the portable position estimation device 10.
本実施形態に係る位置推定フローの実行に際して、測位オブジェクトが選択される。測位オブジェクトとは、建物内の設備のうち、画像マッチングの対象（または基準）となる設備を指す。測位オブジェクトは建物内に固定配置された設備であればよく、例えば誘導灯６０，７０、ドア６２、柱６４等が測位オブジェクトの候補に選ばれる。 When executing the position estimation flow according to this embodiment, a positioning object is selected. The positioning object refers to equipment within a building that is the target (or reference) of image matching. The positioning object may be equipment that is fixedly placed within a building, and for example, emergency lights 60, 70, door 62, pillar 64, etc. are selected as candidates for the positioning object.
なお、撮像器２０による撮像画像中に測位オブジェクトの全体像が含まれることが好適であることから、大型の設備よりも小型の設備の方が測位オブジェクトとしては好適である。例えば図６の例では、測位オブジェクトとして、壁設置型の誘導灯６０と空調設備の室内機７２が測位オブジェクトとして選択される。 It is preferable that the entire image of the positioning object is included in the image captured by the image capture device 20, so small equipment is more suitable as the positioning object than large equipment. For example, in the example of Figure 6, the wall-mounted emergency exit light 60 and the indoor unit 72 of the air conditioning equipment are selected as the positioning objects.
測位オブジェクトの選択は測位オブジェクト選択部４８（図３参照）により実行される。測位オブジェクト選択部４８には、画像マッチングによる位置推定を行う間隔である、補正間隔Ｌが記憶される。例えば補正間隔Ｌとして１０ｍが設定される。この場合、１０ｍごとに画像マッチングによる位置推定が実行され、その間は歩行者自律航法に基づく位置推定が実行される。 The selection of the positioning object is performed by the positioning object selection unit 48 (see FIG. 3). The positioning object selection unit 48 stores a correction interval L, which is the interval at which position estimation by image matching is performed. For example, the correction interval L is set to 10 m. In this case, position estimation by image matching is performed every 10 m, and position estimation based on pedestrian autonomous navigation is performed during that time.
図７には、測位オブジェクトの選択フローが例示される。測位オブジェクト選択部４８は、建物構造データ記憶部４６に記憶された、建物構造データを参照して、位置推定装置１０が建物に入った時に最初に画像マッチングを行う測位オブジェクトＯｂｊ＿１を選択する（Ｓ１０）。図６に例示されるように、ＧＰＳによる位置推定が困難となる建物１００の入口付近の設備が測位オブジェクトＯｂｊ＿１に選択される。図６の例では、建物１００の入口上方に設けられた誘導灯６０が測位オブジェクトＯｂｊ＿１に選択される。 Figure 7 illustrates an example of a positioning object selection flow. The positioning object selection unit 48 refers to the building structure data stored in the building structure data storage unit 46 and selects a positioning object Obj_1 that performs image matching first when the position estimation device 10 enters a building (S10). As illustrated in Figure 6, a facility near the entrance of the building 100 where position estimation by GPS is difficult is selected as the positioning object Obj_1. In the example of Figure 6, an emergency light 60 installed above the entrance of the building 100 is selected as the positioning object Obj_1.
さらに測位オブジェクト選択部４８は、フロア面積及び補正間隔Ｌに基づいて、建物内の測位オブジェクトの最終値ｎを求める（Ｓ１２）。例えばフロア面積が１００ｍ２であって、補正間隔Ｌ＝１０ｍであるときに、当該フロアにおける最終値ｎは１０となる。 Furthermore, the positioning object selection unit 48 determines the final value n of the positioning object in the building (S12) based on the floor area and the correction interval L. For example, when the floor area is 100 m2 and the correction interval L=10 m, the final value n on that floor is 10.
さらに測位オブジェクト選択部４８は、測位オブジェクトＯｂｊ＿ｋのカウントｋをインクリメントして（Ｓ１４）、選択済みの測位オブジェクトＯｂｊ＿ｋ－１から補正間隔Ｌ離れた測位オブジェクトＯｂｊ＿ｋを、建物構造データ内の設備から選択する（Ｓ１６）。例えばこの選択ステップでは、選択された設備（つまり測位オブジェクトＯｂｊ＿ｋ）の３次元座標点群と、当該設備の属性（誘導灯、ドア、柱等）とが関連付けられた状態で測位オブジェクト選択部４８に記憶される。 The positioning object selection unit 48 further increments the count k of the positioning object Obj_k (S14) and selects a positioning object Obj_k that is a correction interval L away from the selected positioning object Obj_k-1 from the facilities in the building structure data (S16). For example, in this selection step, the three-dimensional coordinate point cloud of the selected facility (i.e., the positioning object Obj_k) and the attributes of the facility (e.g., emergency light, door, pillar, etc.) are stored in the positioning object selection unit 48 in an associated state.
なお、上述したように、建物構造データ内の各設備は３次元点群として管理される。補正間隔Ｌ離れているか否かを判定する際には、例えばこれらの設備の代表点が用いられる。例えばそれぞれの設備を示す３次元点群の重心点が代表点として抽出され、各設備の代表点同士の距離に基づいて、補正間隔Ｌとの対比が行われる。 As mentioned above, each piece of equipment in the building structure data is managed as a three-dimensional point cloud. When determining whether or not the equipment is separated by the correction interval L, for example, representative points of these pieces of equipment are used. For example, the center of gravity of the three-dimensional point cloud representing each piece of equipment is extracted as the representative point, and a comparison with the correction interval L is made based on the distance between the representative points of each piece of equipment.
さらに測位オブジェクト選択部４８は、カウントｋが最終値ｎに到達したか否かを判定し（Ｓ１８）、未達である場合にはカウントｋをインクリメントして（Ｓ１７）、ステップＳ１６まで戻る。ステップＳ１８にてカウントｋが最終値ｎに到達している場合には、測位オブジェクトＯｂｊ＿ｋの選択は終了される。 The positioning object selection unit 48 further determines whether the count k has reached the final value n (S18), and if not, increments the count k (S17) and returns to step S16. If the count k has reached the final value n in step S18, the selection of the positioning object Obj_k is terminated.
なお、上述の例では、位置推定装置１０の測位オブジェクト選択部４８が、測位オブジェクトＯｂｊ＿ｋを選択していたが、本発明はこの形態に限られない。例えば、位置推定装置１０とは異なるサーバ等により測位オブジェクトＯｂｊ＿ｋの選択が行われ、選択済みの測位オブジェクトＯｂｊ＿ｋが測位オブジェクト選択部４８に記憶されてもよい。 In the above example, the positioning object selection unit 48 of the position estimation device 10 selects the positioning object Obj_k, but the present invention is not limited to this form. For example, the positioning object Obj_k may be selected by a server or the like different from the position estimation device 10, and the selected positioning object Obj_k may be stored in the positioning object selection unit 48.
図８には、本実施形態に係る位置推定フローが例示される。測位演算切替判定部４４（図３）には、位置推定装置１０の現在位置座標が、ＰＤＲ位置推定部４０、画像マッチング位置推定部４２、及び屋外に居る時にはＧＰＳ信号判定部５４から送信される。 Figure 8 illustrates an example of a position estimation flow according to this embodiment. The current position coordinates of the position estimation device 10 are sent to the positioning calculation switching determination unit 44 (Figure 3) from the PDR position estimation unit 40, the image matching position estimation unit 42, and, when outdoors, the GPS signal determination unit 54.
測位演算切替判定部４４は、位置推定装置１０の現在位置（Ｘ，Ｙ，Ｚ）と、進行方向直近の測位オブジェクトＯｂｊ＿ｋの３次元座標（Ｘ０，Ｙ０，Ｚ０）との離間距離Ｄを求める（Ｓ２０，Ｓ２２）。なお、進行方向は現在位置とその直前の位置との差分から求めることが出来る。 The positioning calculation switching determination unit 44 calculates the distance D between the current position (X, Y, Z) of the position estimation device 10 and the three-dimensional coordinates (X0, Y0, Z0) of the nearest positioning object Obj_k in the traveling direction (S20, S22). The traveling direction can be calculated from the difference between the current position and the position immediately before it.
なお、位置推定装置１０の現在位置座標は、例えば位置推定装置１０の撮像器２０内の焦点座標であってよい。また上述したように、３次元点群であるところの測位オブジェクトＯｂｊ＿ｋの３次元座標（Ｘ０，Ｙ０，Ｚ０）は、測位オブジェクトＯｂｊ＿ｋの代表点（例えば重心点）であってよい。 The current position coordinates of the position estimation device 10 may be, for example, focal coordinates in the image capture device 20 of the position estimation device 10. As described above, the three-dimensional coordinates (X0, Y0, Z0) of the positioning object Obj_k, which is a three-dimensional point cloud, may be a representative point (for example, a center of gravity point) of the positioning object Obj_k.
位置推定装置１０の現在位置（Ｘ，Ｙ，Ｚ）と、進行方向直近の測位オブジェクトＯｂｊ＿ｋの３次元座標（Ｘ０，Ｙ０，Ｚ０）との離間距離Ｄが所定の近接距離Ｄｔｈを超過する場合、測位演算切替判定部４４は、歩行者自律航法に基づく位置座標推定をＰＤＲ位置推定部に実行させる（Ｓ３０）。 When the distance D between the current position (X, Y, Z) of the position estimation device 10 and the three-dimensional coordinates (X0, Y0, Z0) of the nearest positioning object Obj_k in the direction of travel exceeds a predetermined proximity distance Dth, the positioning calculation switching determination unit 44 causes the PDR position estimation unit to perform position coordinate estimation based on pedestrian autonomous navigation (S30).
一方、離間距離Ｄが所定の近接距離Ｄｔｈ以下である場合、測位演算切替判定部４４は、撮像器２０による測位オブジェクトの撮像を作業員（携行者）に促す動作を実行する（Ｓ２４）。この動作は、図８において撮像機能通知と示される。撮像機能通知は、例えば図９に例示されるように、表示部３８（入力部２６も兼ねる）に撮像を促すメッセージ（撮像メッセージ）を表示する通知であってよい。また、撮像メッセージには、撮像すべき測位オブジェクトの属性（誘導灯等）が表示されてよい。 On the other hand, if the separation distance D is equal to or less than the predetermined proximity distance Dth, the positioning calculation switching determination unit 44 executes an operation to prompt the worker (carrier) to capture an image of the positioning object using the imager 20 (S24). This operation is shown as an image capture function notification in FIG. 8. The image capture function notification may be a notification that displays a message (image capture message) prompting image capture on the display unit 38 (which also serves as the input unit 26), as exemplified in FIG. 9, for example. The image capture message may also display attributes of the positioning object to be captured (such as an emergency light).
加えて、撮像メッセージを作業員（携行者）に気付かせるために、アラーム機能が実行されてもよい。例えば、測位演算切替判定部４４は、振動器２４に対して振動指令を出力する。またこれに加えて、位置推定装置１０であるところのスマートフォンの内蔵スピーカ（図示せず）からアラーム音が出力されてもよい。さらに、測位演算切替判定部４４は、撮像メッセージの表示及びアラーム機能の実行と併せて、撮像器２０の撮像機能を起動させてもよい。このようにして、測位オブジェクトの撮像を作業員に確実に実行させることが出来る。 In addition, an alarm function may be executed to alert the worker (carrier) to the imaging message. For example, the positioning calculation switching determination unit 44 outputs a vibration command to the vibrator 24. In addition to this, an alarm sound may be output from a built-in speaker (not shown) of the smartphone, which is the position estimation device 10. Furthermore, the positioning calculation switching determination unit 44 may activate the imaging function of the imager 20 in addition to displaying the imaging message and executing the alarm function. In this way, it is possible to ensure that the worker is able to capture an image of the positioning object.
図８に戻り、測位演算切替判定部４４は、撮像器２０による撮像が完了したか否かを判定する（Ｓ２６）。まだ撮像が行われていない場合には、撮像機能通知（撮像メッセージ表示及びアラーム出力）が継続される。 Returning to FIG. 8, the positioning calculation switching determination unit 44 determines whether or not imaging by the image capture device 20 has been completed (S26). If imaging has not yet been performed, imaging function notification (imaging message display and alarm output) continues.
一方、ステップＳ２６にて撮像が行われた場合には、その撮像画像に基づいて、画像マッチング位置推定が実行される（Ｓ２８）。測位演算切替判定部４４は、画像マッチング位置推定部４２に対して、位置推定の演算指令を出力する。 On the other hand, if an image is captured in step S26, image matching position estimation is performed based on the captured image (S28). The positioning calculation switch determination unit 44 outputs a calculation command for position estimation to the image matching position estimation unit 42.
なお、測位演算切替判定部４４は、ＰＤＲ位置推定部４０と画像マッチング位置推定部４２の一方に演算指令（位置推定指令）を出力するとともに、ＰＤＲ位置推定部４０と画像マッチング位置推定部４２の他方に、演算（位置推定）の休止指令を送ってもよい。 In addition, the positioning calculation switching determination unit 44 may output a calculation command (position estimation command) to one of the PDR position estimation unit 40 and the image matching position estimation unit 42, and may also send a calculation (position estimation) pause command to the other of the PDR position estimation unit 40 and the image matching position estimation unit 42.
このようにして、図８に例示される位置推定フローでは、位置推定装置１０と測位オブジェクトＯｂｊ＿ｋとの離間距離Ｄに応じて、ＰＤＲ位置推定部４０と画像マッチング位置推定部４２との位置推定が切り替えられる。したがって例えば、位置推定装置１０と測位オブジェクトＯｂｊ＿ｋとの離間距離Ｄが閾値である近接距離Ｄｔｈを超過するときには、上述のようにＰＤＲ位置推定部４０によって現在位置座標が求められる。さらに求められた現在位置座標と測位オブジェクトＯｂｊ＿ｋの位置座標との離間距離Ｄが近接距離Ｄｔｈ以下になると、測位演算切替判定部４４により、撮像機能通知が出力され、さらに画像マッチング位置推定部４２による現在位置座標（撮像位置座標）の推定が行われる。 In this way, in the position estimation flow illustrated in FIG. 8, position estimation is switched between the PDR position estimation unit 40 and the image matching position estimation unit 42 depending on the separation distance D between the position estimation device 10 and the positioning object Obj_k. Therefore, for example, when the separation distance D between the position estimation device 10 and the positioning object Obj_k exceeds the threshold proximity distance Dth, the current position coordinates are obtained by the PDR position estimation unit 40 as described above. Furthermore, when the separation distance D between the obtained current position coordinates and the position coordinates of the positioning object Obj_k becomes equal to or less than the proximity distance Dth, the positioning calculation switching determination unit 44 outputs an imaging function notification, and the image matching position estimation unit 42 estimates the current position coordinates (imaging position coordinates).
＜画像マッチングを用いた位置推定＞
図１０には、画像マッチングを利用した位置座標推定のフローが例示される。このフローでは位置や形状が既知の物体の画像と、それを撮影した撮像器２０の位置及び姿勢を求める、いわゆるＰｎＰ問題（Perspective n-Point）を解くことで、撮像器２０及びこれを含む位置推定装置１０の位置座標（撮像位置座標）が推定可能となる。
<Location Estimation Using Image Matching>
10 shows an example of a flow of position coordinate estimation using image matching. In this flow, by solving a so-called PnP problem (Perspective n-Point), which determines an image of an object whose position and shape are known, and the position and orientation of the image capture device 20 that captured the image, it becomes possible to estimate the position coordinates (image capture position coordinates) of the image capture device 20 and the position estimation device 10 including the image capture device 20.
画像マッチング位置推定部４２は、撮像器２０が撮像した、例えば図１１のような、建物内の撮像画像を取得する。さらに画像マッチング位置推定部４２は、撮像画像中の測位オブジェクトＯｂｊ＿ｋを抽出する。例えば画像マッチング位置推定部４２は、撮像画像に対して、学習済みニューラルネットワークを用いてセグメンテーション及びアノテーションを行い、当該撮像画像から、測位オブジェクトＯｂｊ＿ｋである誘導灯６０を特定する。つまり画像マッチング位置推定部４２は、撮像画像から誘導灯６０の画像領域を特定し、さらに特定された画像領域の物体が測位オブジェクトＯｂｊ＿ｋの誘導灯６０であると認識する。 The image matching position estimation unit 42 acquires an image of the inside of a building captured by the image capture device 20, for example as shown in FIG. 11. The image matching position estimation unit 42 further extracts the positioning object Obj_k from the captured image. For example, the image matching position estimation unit 42 performs segmentation and annotation on the captured image using a trained neural network, and identifies the emergency light 60, which is the positioning object Obj_k, from the captured image. In other words, the image matching position estimation unit 42 identifies the image area of the emergency light 60 from the captured image, and further recognizes that the object in the identified image area is the emergency light 60 of the positioning object Obj_k.
さらに画像マッチング位置推定部４２は、図１２に例示されるように、認識された撮像画像中の測位オブジェクトＯｂｊ＿ｋである誘導灯６０′の、投影面Ｐ１上の特定点における２次元座標（ｕ，ｖ）を求める（Ｓ４０）。特定点とは、測位オブジェクトＯｂｊ＿ｋ中の任意の点であってよく、例えば直方体の誘導灯６０の場合、図が描画された正面の矩形の４隅をそれぞれ特定点としてよい。 The image matching position estimation unit 42 further obtains the two-dimensional coordinates (u, v) of the emergency light 60', which is the positioning object Obj_k in the recognized captured image, at a specific point on the projection plane P1 (S40), as illustrated in Fig. 12. The specific point may be any point in the positioning object Obj_k. For example, in the case of a rectangular emergency light 60, the specific points may be the four corners of the rectangle on the front side on which the figure is drawn.
次に、画像マッチング位置推定部４２は、建物構造データ記憶部４６から、建物構造データを呼び出し、当該建物構造データ空間における、撮像されたものと同一の、測位オブジェクトＯｂｊ＿ｋに選択された設備を抽出する（Ｓ４２）。例えば画像マッチング位置推定部４２は、測位オブジェクト選択部４８から、現在選択されている測位オブジェクトＯｂｊ＿ｋの属性情報を取得し、測位オブジェクトＯｂｊ＿ｋに選択された設備と同一の（例えば同一の設備ＩＤを持つ）設備を、建物構造データ内の測位オブジェクトＯｂｊ＿ｋとして抽出する。 Next, the image matching position estimation unit 42 calls up the building structure data from the building structure data storage unit 46, and extracts the facility selected by the positioning object Obj_k in the building structure data space that is identical to the captured image (S42). For example, the image matching position estimation unit 42 obtains attribute information of the currently selected positioning object Obj_k from the positioning object selection unit 48, and extracts the facility that is identical to the facility selected by the positioning object Obj_k (e.g., has the same facility ID) as the facility selected by the positioning object Obj_k as the positioning object Obj_k in the building structure data.
さらに画像マッチング位置推定部４２は、建物構造データから抽出された測位オブジェクトＯｂｊ＿ｋの特定点の３次元座標（Ｘ，Ｙ，Ｚ）を求める（Ｓ４４）。例えば測位オブジェクトＯｂｊ＿ｋの正面の矩形の４隅が特定点として選択される。 The image matching position estimation unit 42 then determines the three-dimensional coordinates (X, Y, Z) of a specific point of the positioning object Obj_k extracted from the building structure data (S44). For example, the four corners of a rectangle on the front side of the positioning object Obj_k are selected as the specific point.
画像マッチング位置推定部４２は、撮像器２０の撮像位置座標（絶対座標）を仮入力する（Ｓ４６）。撮像位置座標は、撮像器２０の世界座標系における３次元位置座標及び姿勢を指す。当該撮像位置座標を含んだ数式が下記数式（１）のように記載される。なお、ここで、撮像器２０の撮像位置座標とは、撮像器２０内の焦点座標であってよい。 The image matching position estimation unit 42 provisionally inputs the imaging position coordinates (absolute coordinates) of the imager 20 (S46). The imaging position coordinates refer to the three-dimensional position coordinates and orientation of the imager 20 in the world coordinate system. A formula including the imaging position coordinates is written as in the following formula (1). Note that here, the imaging position coordinates of the imager 20 may be focal coordinates within the imager 20.
仮入力された撮像位置座標と測位オブジェクトＯｂｊ＿ｋの３次元座標（Ｘ，Ｙ，Ｚ）を数式（１）に代入することで、投影面上の座標（ｕ′，ｖ′）が得られる（Ｓ４８）。画像マッチング位置推定部４２は、求められた座標（ｕ′，ｖ′）と、測位オブジェクトＯｂｊ＿ｋの投影面における特定点座標（ｕ，ｖ）との差を求め、この差が所定の閾値以下になったか否かを判定する（Ｓ５０）。 By substituting the provisionally input imaging position coordinates and the three-dimensional coordinates (X, Y, Z) of the positioning object Obj_k into formula (1), the coordinates (u', v') on the projection plane are obtained (S48). The image matching position estimation unit 42 obtains the difference between the obtained coordinates (u', v') and the specific point coordinates (u, v) on the projection plane of the positioning object Obj_k, and determines whether this difference is equal to or smaller than a predetermined threshold (S50).
当該差分が閾値を超過する場合に、ステップＳ４６までフローが戻り、撮像位置座標の仮入力が再度行われる。一方、座標（ｕ′，ｖ′）と座標（ｕ，ｖ）との差が閾値以下になった場合、画像マッチング位置推定部４２は、座標（ｕ′，ｖ′）を求める際に用いられた撮像位置座標を撮像器２０及びこれを含む位置推定装置１０の撮像位置座標とする（Ｓ５２）。 If the difference exceeds the threshold, the flow returns to step S46, and the provisional input of the imaging position coordinates is performed again. On the other hand, if the difference between the coordinates (u', v') and the coordinates (u, v) is equal to or less than the threshold, the image matching position estimation unit 42 sets the imaging position coordinates used in determining the coordinates (u', v') as the imaging position coordinates of the imager 20 and the position estimation device 10 that includes it (S52).
この画像マッチングによる絶対座標の推定は、一つの測位オブジェクトＯｂｊ＿ｋの複数の特定点に対して実行されてもよい。例えば一つの測位オブジェクトＯｂｊ＿ｋから４点の特定点を抽出して、それぞれについて位置座標を求める、Ｐ４Ｐ問題を解くことで、撮像器２０の撮像位置座標が求められてもよい。 This estimation of absolute coordinates by image matching may be performed for multiple specific points of one positioning object Obj_k. For example, four specific points may be extracted from one positioning object Obj_k, and the position coordinates of each of them may be found by solving a P4P problem, thereby finding the imaging position coordinates of the imager 20.
＜２次元データを用いた位置推定＞
図１０の例では、建物構造データとして３次元構造データが用いられたが、２Ｄ－ＣＡＤ等の２次元構造データが用いられてもよい。この場合、位置推定装置１０には、測位オブジェクトＯｂｊ＿ｋの高度を入力する高度入力部が設けられる。例えば入力部２６（図３参照）が当該高度入力部の機能を備えていてよい。
<Position Estimation Using 2D Data>
10, three-dimensional structure data is used as the building structure data, but two-dimensional structure data such as 2D-CAD may be used. In this case, the position estimation device 10 is provided with an altitude input unit for inputting the altitude of the positioning object Obj_k. For example, the input unit 26 (see FIG. 3) may have the function of the altitude input unit.
例えば、図５のような平面図が建物構造データとして用いられる場合であって、測位オブジェクトＯｂｊ＿ｋとして床埋め込み型の誘導灯７０が選択された場合に、当該平面図に対応するフロアの床高さが入力部２６から入力される。 For example, when a floor plan such as that shown in FIG. 5 is used as building structure data and a floor-embedded emergency light 70 is selected as the positioning object Obj_k, the floor height of the floor corresponding to the floor plan is input from the input unit 26.
図１３には、建物構造データとして２次元構造データが用いられるときの、画像マッチング位置推定フローが例示される。このフローでは、図１０の画像マッチング位置推定フローと比較して、３次元座標入力ステップ（Ｓ４４）が２次元座標入力ステップ（Ｓ４３）に置き換えられ、また、測位オブジェクトＯｂｊ＿ｋの特定点の高度（Ｚ）を入力するステップ（Ｓ４５）が追加されている。なお、図１０と同一番号のステップは処理内容が同一であるため、以下では適宜説明が省略される。 Figure 13 illustrates an example of an image matching position estimation flow when two-dimensional structure data is used as building structure data. In this flow, compared to the image matching position estimation flow of Figure 10, the three-dimensional coordinate input step (S44) is replaced with a two-dimensional coordinate input step (S43), and a step (S45) of inputting the altitude (Z) of a specific point of the positioning object Obj_k is added. Note that steps with the same numbers as Figure 10 have the same processing content, so their explanations will be omitted below as appropriate.
図１３のフローにおいて、２次元構造データから測位オブジェクトＯｂｊ＿ｋの特定点の２次元座標（Ｘ，Ｙ）が求められた（Ｓ４３）後に、当該特定点の高度（Ｚ）が位置推定装置１０の携行者（作業員）により入力される（Ｓ４５）。これにより特定点の３次元座標が得られ、さらに撮像位置座標の仮入力（Ｓ４６）にフローが進められる。 In the flow of FIG. 13, after the two-dimensional coordinates (X, Y) of a specific point of the positioning object Obj_k are found from the two-dimensional structure data (S43), the altitude (Z) of the specific point is input by the carrier (worker) of the position estimation device 10 (S45). This gives the three-dimensional coordinates of the specific point, and the flow proceeds to the provisional input of the imaging position coordinates (S46).
＜歩行者自律航法を用いた位置推定＞
図１４には、ＰＤＲ位置推定部４０（図３参照）による、歩行者自律航法を用いた位置推定フローが例示される。ＰＤＲ位置推定部４０は、加速度センサ１４の測定値から、重力加速度を測定する（Ｓ６０）。例えば重力加速度は、図２に例示されたＸ軸、Ｙ軸、Ｚ軸方向の加速度と、位置推定装置１０の初期姿勢に基づいて求められる。初期姿勢は、Ｘ軸周りのピッチ角、Ｙ軸周りのロール角、及びＺ軸周りのアジマス角を合成した向きを指しており、例えば地磁気センサ１８による磁北からの傾きを求めることで、初期姿勢が得られる。
<Position Estimation Using Pedestrian Dead Reckoning>
14 illustrates a flow of position estimation using pedestrian autonomous navigation by the PDR position estimation unit 40 (see FIG. 3). The PDR position estimation unit 40 measures the gravitational acceleration from the measured value of the acceleration sensor 14 (S60). For example, the gravitational acceleration is obtained based on the acceleration in the X-axis, Y-axis, and Z-axis directions illustrated in FIG. 2 and the initial attitude of the position estimation device 10. The initial attitude refers to a direction obtained by combining the pitch angle around the X-axis, the roll angle around the Y-axis, and the azimuth angle around the Z-axis, and the initial attitude can be obtained by, for example, obtaining the inclination from magnetic north using the geomagnetic sensor 18.
さらにＰＤＲ位置推定部４０は、下記数式（２）に示される回転行列Ｒを求める（Ｓ６２）。なお、下記数式（２）において、Ｒｘ（θ）はＸ軸中心の回転行列を示し、Ｒｙ（θ）はＹ軸中心の回転行列を示し、Ｒｚ（θ）はＺ軸中心の回転行列を示す。 The PDR position estimation unit 40 further obtains a rotation matrix R shown in the following formula (2) (S62). In the following formula (2), Rx(θ) indicates a rotation matrix centered on the X axis, Ry(θ) indicates a rotation matrix centered on the Y axis, and Rz(θ) indicates a rotation matrix centered on the Z axis.
さらにＰＤＲ位置推定部４０は、下記数式（３）を用いて、加速度センサ１４が測定した加速度（rawAx, rawAy, rawAz）を世界座標系の加速度（Ax, Ay, Az）に変換する（Ｓ６４）。 Furthermore, the PDR position estimation unit 40 converts the acceleration (rawAx, rawAy, rawAz) measured by the acceleration sensor 14 into acceleration (Ax, Ay, Az) in the world coordinate system using the following formula (3) (S64).
次にＰＤＲ位置推定部４０は、下記数式（４）を用いて、加速度（Ax, Ay, Az）から各軸方向の重力加速度（G0x, G0y, G0z）を除いた加速度（ax, ay, az）を求める（Ｓ６６）。 Next, the PDR position estimation unit 40 uses the following formula (4) to calculate the acceleration (ax, ay, az) by subtracting the gravitational acceleration (G0x, G0y, G0z) in each axial direction from the acceleration (Ax, Ay, Az) (S66).
さらにＰＤＲ位置推定部４０は、下記数式（５）を用いて、加速度（ax, ay, az）を２重積分する（Ｓ６８）。これにより、位置推定装置１０の相対位置（dx, dy, dz）が求められる（Ｓ７０）。 The PDR position estimation unit 40 then double-integrates the acceleration (ax, ay, az) using the following formula (5) (S68). This allows the relative position (dx, dy, dz) of the position estimation device 10 to be calculated (S70).
相対位置（dx, dy, dz）は、加速度センサ１４による測定前の位置推定装置１０の位置座標からの変位を表す。そこでＰＤＲ位置推定部４０は、当該位置座標に求められた相対位置（dx, dy, dz）を加えることで現在位置座標Ｂ（Ｘ，Ｙ，Ｚ）を求める（Ｓ７２）。 The relative position (dx, dy, dz) represents the displacement from the position coordinates of the position estimation device 10 before measurement by the acceleration sensor 14. The PDR position estimation unit 40 then calculates the current position coordinates B (X, Y, Z) by adding the calculated relative position (dx, dy, dz) to the position coordinates (S72).
このように、歩行者自律航法を用いた位置推定は、加速度センサ１４及びジャイロセンサ１６から得た６点の測定値（Rx(-pitch), Ry(-roll), Rz(-azimuth), rawAx, rawAy, rawAz）を演算するのみで足りることから、撮像画像のセグメンテーションやアノテーションを要する画像マッチング位置推定よりも、演算負荷が軽いことが理解される。 In this way, position estimation using pedestrian autonomous navigation requires only the calculation of six measurement values (Rx(-pitch), Ry(-roll), Rz(-azimuth), rawAx, rawAy, rawAz) obtained from the acceleration sensor 14 and gyro sensor 16, and therefore it is understood that the calculation load is lighter than image matching position estimation, which requires segmentation and annotation of captured images.
＜位置座標を利用した作業支援機能＞
上述のような位置推定を行うことで、種々の作業支援が実行可能となる。例えば、位置推定装置１０の位置座標が求められることで、建物内の作業員の所在が遠隔から把握可能となる。例えば位置推定装置１０であるところのスマートフォンに、遠隔の管理センターから通信し、当該スマートフォンの携行者である作業員に、保守点検対象の設備までの経路を指示することが出来る。
<Work support function using position coordinates>
By performing the position estimation as described above, various work support can be performed. For example, by obtaining the position coordinates of the position estimation device 10, the location of a worker in a building can be grasped remotely. For example, a remote management center can communicate with a smartphone that is the position estimation device 10, and instruct a worker who carries the smartphone on the route to the equipment that is the object of maintenance and inspection.
また、図３に例示されるように、位置推定装置１０の入力部２６から保守点検メッセージを入力することで、複数の作業員に亘って保守作業の共有が可能となる。例えば作業員が位置推定装置１０の入力部から、保守点検対象の設備に関するメッセージを入力する。例えば図１５に例示されるように、室外機７４の画像が表示部３８に映るように位置推定装置１０の撮像器２０のアングルを定めた状態で、当該室外機７４に関する保守点検メッセージ「圧縮機不良のため配線取り外し中」が入力部２６より入力される。 As illustrated in FIG. 3, maintenance and inspection messages can be input from the input unit 26 of the position estimation device 10, allowing maintenance work to be shared among multiple workers. For example, a worker inputs a message related to the equipment to be inspected and maintained from the input unit of the position estimation device 10. For example, as illustrated in FIG. 15, with the angle of the imager 20 of the position estimation device 10 set so that an image of the outdoor unit 74 is displayed on the display unit 38, a maintenance and inspection message related to the outdoor unit 74, "Wiring being removed due to compressor failure," is input from the input unit 26.
入力された保守点検メッセージは、入力位置座標及びその姿勢（アングル）と関連付けられてメッセージ表示制御部５２（図３参照）に記憶される。この保守点検メッセージ、入力位置座標及び姿勢が、他の位置推定装置１０にも共有される。当該他の位置推定装置１０の現在位置座標と入力位置座標とが一致し、図１５と同一の姿勢（アングル）にて撮像器２０により撮像が行われると、メッセージ表示制御部５２は、表示部３８に表示される撮像画像に保守点検メッセージを重畳表示させる。これにより、室外機７４に対する保守点検作業内容の共有化が図られる。 The input maintenance and inspection message is stored in the message display control unit 52 (see FIG. 3) in association with the input position coordinates and their attitude (angle). This maintenance and inspection message, input position coordinates, and attitude are also shared with other position estimation devices 10. When the current position coordinates and input position coordinates of the other position estimation device 10 match and an image is captured by the image capture device 20 at the same attitude (angle) as in FIG. 15, the message display control unit 52 superimposes the maintenance and inspection message on the captured image displayed on the display unit 38. This allows the contents of the maintenance and inspection work for the outdoor unit 74 to be shared.
＜ＧＰＳと本実施形態に係る位置推定を組み合わせた手法＞
上述の実施形態では、主に建物内における位置推定が行われた。一方、建物の保守点検では、図１６に例示されるように、建物１００の屋上に設置された室外機７４等の保守点検が行われる場合がある。このような場合を考慮して、歩行者自律航法及び画像マッチングに基づく位置推定に加えて、ＧＰＳ信号に基づく位置推定が行われてもよい。
<Method of combining GPS and position estimation according to this embodiment>
In the above-described embodiment, the position estimation is mainly performed inside the building. Meanwhile, in the maintenance and inspection of the building, the outdoor unit 74 installed on the roof of the building 100 may be maintained and inspected as illustrated in Fig. 16. In consideration of such a case, the position estimation based on the GPS signal may be performed in addition to the position estimation based on the pedestrian dead reckoning and image matching.
図１７には、歩行者自律航法及び画像マッチングに基づく位置推定に加えて、ＧＰＳ信号に基づく位置推定を行うときの、フローチャートが例示される。このフローチャートは、図８のフローチャートに、ステップＳ８０～Ｓ８６を加えたものである。図８と重複するステップについては、処理内容が同一であることから、適宜、説明が省略される。 Figure 17 shows an example of a flowchart for performing position estimation based on GPS signals in addition to position estimation based on pedestrian autonomous navigation and image matching. This flowchart adds steps S80 to S86 to the flowchart in Figure 8. Explanations of steps that overlap with Figure 8 will be omitted as appropriate, since the processing content is the same.
ＧＰＳ受信機２２（図３参照）がＧＰＳ衛星８２（図１６参照）からＧＰＳ信号を受信すると、ＧＰＳ信号判定部５４は、ＧＰＳ信号の強度が所定の強度閾値未満であるか否かを判定する（Ｓ８０）。 When the GPS receiver 22 (see FIG. 3) receives a GPS signal from a GPS satellite 82 (see FIG. 16), the GPS signal determination unit 54 determines whether the strength of the GPS signal is less than a predetermined strength threshold (S80).
ＧＰＳ信号の強度が所定の強度閾値未満である場合、歩行者自律航法による位置推定及び画像マッチングによる位置推定のどちらを実行するかを判定するために、フローはステップＳ２０に進む。 If the GPS signal strength is below a predetermined strength threshold, the flow proceeds to step S20 to determine whether to perform position estimation using pedestrian autonomous navigation or image matching.
一方、ステップＳ８０にて、ＧＰＳ信号の強度が所定の強度閾値以上である場合、ＧＰＳ信号判定部５４は、位置推定装置１０の現在の高度Ｚが、所定の閾値高度Ｚｔｈ以下であるか否かを判定する（Ｓ８２）。 On the other hand, if the strength of the GPS signal is equal to or greater than the predetermined strength threshold in step S80, the GPS signal determination unit 54 determines whether the current altitude Z of the position estimation device 10 is equal to or less than the predetermined threshold altitude Zth (S82).
一般的に、ＧＰＳを用いた測位システムでは、ＧＰＳ信号の受信が不安定なとき、高度の精度が低くなることが知られている。そこで、受信したＧＰＳ信号に含まれる高度値が使用に耐え得る精度を有するか否かが、位置推定装置１０の高度Ｚに応じて定められる。 It is generally known that in positioning systems using GPS, when reception of GPS signals is unstable, the accuracy of the altitude decreases. Therefore, whether or not the altitude value contained in the received GPS signal has an accuracy sufficient for use is determined according to the altitude Z of the position estimation device 10.
位置推定装置１０の現在の高度Ｚが、所定の閾値高度Ｚｔｈを超過する場合、ＧＰＳ信号判定部５４は受信したＧＰＳ信号を破棄して、フローをステップＳ２０に進める（Ｓ８４）。つまり、当該ＧＰＳ信号による位置推定が休止される。 If the current altitude Z of the position estimation device 10 exceeds the predetermined threshold altitude Zth, the GPS signal determination unit 54 discards the received GPS signal and advances the flow to step S20 (S84). In other words, position estimation using the GPS signal is paused.
一方、位置推定装置１０の現在の高度Ｚが、閾値高度Ｚｔｈ未満である場合に、ＧＰＳ信号判定部５４は、受信したＧＰＳ信号から得られた緯度、経度、高度情報を、位置座標記憶部５０に送る。これにより位置推定装置１０の現在位置座標が更新される（Ｓ８６）。 On the other hand, if the current altitude Z of the position estimation device 10 is less than the threshold altitude Zth, the GPS signal determination unit 54 sends the latitude, longitude, and altitude information obtained from the received GPS signal to the position coordinate storage unit 50. This updates the current position coordinates of the position estimation device 10 (S86).
またＧＰＳ信号判定部５４は、ＧＰＳ信号の受入可否を測位演算切替判定部４４に送る。ステップＳ８０，Ｓ８２にてＧＰＳ信号の受け入れが不可と判定された場合には、ＧＰＳ信号判定部５４から測位演算切替判定部４４に受入負荷通知が送信される。これを受けて測位演算切替判定部４４は、歩行者自律航法による位置推定及び画像マッチングによる位置推定のどちらを実行するかを判定する。 The GPS signal determination unit 54 also sends the GPS signal acceptance status to the positioning calculation switching determination unit 44. If it is determined in steps S80 and S82 that the GPS signal cannot be accepted, the GPS signal determination unit 54 transmits an acceptance load notification to the positioning calculation switching determination unit 44. In response to this, the positioning calculation switching determination unit 44 determines whether to perform position estimation using pedestrian autonomous navigation or image matching.
一方、ステップＳ８０，Ｓ８２にてＧＰＳ信号の受け入れ可と判定された場合には、ＧＰＳ信号判定部５４から測位演算切替判定部４４に受入通知が送信される。これを受けて測位演算切替判定部４４は、位置推定の切替判定（歩行者自律航法／画像マッチング）を休止する。 On the other hand, if it is determined in steps S80 and S82 that the GPS signal can be accepted, an acceptance notification is sent from the GPS signal determination unit 54 to the positioning calculation switching determination unit 44. In response to this, the positioning calculation switching determination unit 44 pauses the position estimation switching determination (pedestrian autonomous navigation/image matching).
＜別の実施形態＞
上述の実施形態では、測位オブジェクトＯｂｊ＿ｋが複数選択されていたが、小規模の建物等においては、一つの測位オブジェクトＯｂｊのみが選択されてもよい。例えば建物入口に設けられた誘導灯６０が測位オブジェクトＯｂｊとして選択される。この誘導灯６０による画像マッチング位置推定により現在位置座標が推定された後は、歩行者自律航法による位置推定のみにて、位置推定装置１０の位置推定が行われてもよい。
<Another embodiment>
In the above embodiment, a plurality of positioning objects Obj_k are selected, but in a small building, only one positioning object Obj may be selected. For example, an emergency light 60 provided at the entrance of the building is selected as the positioning object Obj. After the current position coordinates are estimated by image matching position estimation using the emergency light 60, the position estimation device 10 may estimate the position only by position estimation using pedestrian autonomous navigation.
１０ 位置推定装置、１２ ＣＰＵ、１４ 加速度センサ、１６ ジャイロセンサ、１８ 地磁気センサ、２０ 撮像器、２２ ＧＰＳ受信機、２４ 振動器、２６ 入力部、２８ システムメモリ、３０ ストレージ、３４ フレームメモリ、３８ 表示部、４０ ＰＤＲ位置推定部、４２ 画像マッチング位置推定部、４４ 測位演算切替判定部、４６ 建物構造データ記憶部、４８ 測位オブジェクト選択部、５０ 位置座標記憶部、５２ メッセージ表示制御部、５４ ＧＰＳ信号判定部、６０ 誘導灯、１００ 建物。 10 Position estimation device, 12 CPU, 14 Acceleration sensor, 16 Gyro sensor, 18 Geomagnetic sensor, 20 Imager, 22 GPS receiver, 24 Vibrator, 26 Input unit, 28 System memory, 30 Storage, 34 Frame memory, 38 Display unit, 40 PDR position estimation unit, 42 Image matching position estimation unit, 44 Positioning calculation switching determination unit, 46 Building structure data storage unit, 48 Positioning object selection unit, 50 Position coordinate storage unit, 52 Message display control unit, 54 GPS signal determination unit, 60 Emergency light, 100 Building.
Claims (8)
歩行者自律航法により前記建物内の位置座標推定を行うＰＤＲ位置推定部と、
前記建物内を撮像する撮像器と、
前記建物の構造データに基づいて前記建物内の設備から選択された測位オブジェクトの位置座標と、前記ＰＤＲ位置推定部により推定された現在位置座標との距離が所定の近接距離以下になった時に、前記撮像器による前記測位オブジェクトの撮像を携行者に促す動作を実行する判定部と、
前記撮像器により撮像された前記建物内の撮像画像に含まれる前記測位オブジェクトと、前記建物の構造データに含まれる前記測位オブジェクトとの画像マッチングを行って撮像位置座標を推定する画像マッチング位置推定部と、
前記測位オブジェクトを選択するオブジェクト選択部と、
を備え、
前記オブジェクト選択部は、所定の補正間隔で離間する、前記建物内に固定配置された複数種類の属性に亘る設備の中から、前記測位オブジェクトを選択する、
位置推定装置。 A location estimation device carried within a building, comprising:
a PDR position estimation unit that estimates position coordinates within the building by pedestrian dead reckoning;
an imager for imaging the inside of the building;
a determination unit that, when a distance between a position coordinate of a positioning object selected from facilities within the building based on the structural data of the building and a current position coordinate estimated by the PDR position estimation unit becomes equal to or smaller than a predetermined proximity distance, executes an operation of prompting a carrier to capture an image of the positioning object with the imaging device;
an image matching position estimating unit that estimates an imaging position coordinate by performing image matching between the positioning object included in an image captured by the imaging device inside the building and the positioning object included in structural data of the building;
an object selection unit for selecting the positioning object;
Equipped with
the object selection unit selects the positioning object from among equipment having a plurality of types of attributes that are fixedly arranged in the building and spaced apart at a predetermined correction interval;
Location estimation device.
前記オブジェクト選択部は、前記建物内に固定配置された複数種類の属性に亘る設備のうち、相対的に小型の設備を、前記測位オブジェクトとして選択する、位置推定装置。 The position estimation device according to claim 1 ,
The object selection unit selects, as the positioning object, a relatively small piece of equipment among pieces of equipment with multiple types of attributes that are fixedly arranged within the building.
前記測位オブジェクトの位置座標と、前記ＰＤＲ位置推定部により推定された現在位置座標との距離が前記近接距離以下になった時に、前記測位オブジェクトの属性を表示する表示部を備える、位置推定装置。 The position estimation device according to claim 2 ,
a display unit that displays attributes of the positioning object when the distance between the position coordinates of the positioning object and the current position coordinates estimated by the PDR position estimation unit becomes equal to or less than the proximity distance.
メッセージが入力される入力部と、
前記メッセージが入力された入力位置座標と現在位置座標とが一致するときに、前記表示部に対して、当該入力位置座標にて撮像された前記建物内の撮像画像に前記メッセージを重畳表示させる表示制御部と、
を備える、位置推定装置。 4. The position estimation device according to claim 3,
an input section for inputting a message;
a display control unit that, when an input position coordinate where the message was inputted coincides with a current position coordinate, causes the display unit to superimpose the message on an image of the inside of the building captured at the input position coordinate;
A position estimation device comprising:
前記建物の構造データとして、３Ｄ－ＣＡＤデータまたはＢＩＭデータが記憶される構造データ記憶部を備える、
位置推定装置。 A position estimation device according to any one of claims 1 to 4,
A structure data storage unit is provided in which 3D-CAD data or BIM data is stored as the structure data of the building.
Location estimation device.
前記建物の構造データとして、２Ｄ－ＣＡＤデータが記憶される構造データ記憶部と、
前記測位オブジェクトの高度が入力される高度入力部を備える、
位置推定装置。 A position estimation device according to any one of claims 1 to 4,
A structure data storage unit in which 2D-CAD data is stored as the structure data of the building;
an altitude input unit for inputting the altitude of the positioning object;
Location estimation device.
前記判定部は、前記測位オブジェクトの位置座標と、前記ＰＤＲ位置推定部により推定された現在位置座標との距離が前記近接距離以下になった時に、前記ＰＤＲ位置推定部による位置推定を休止させるとともに、前記画像マッチング位置推定部による位置推定を実行させる、
位置推定装置。 A position estimation device according to any one of claims 1 to 6,
the determination unit, when a distance between the position coordinates of the positioning object and the current position coordinates estimated by the PDR position estimation unit becomes equal to or less than the proximity distance, stops position estimation by the PDR position estimation unit and causes the image matching position estimation unit to execute position estimation.
Location estimation device.
ＧＰＳ信号を受信する受信機と、
現在位置座標の高度が所定の閾値高度を超過するときに、前記ＧＰＳ信号による位置推定を休止するＧＰＳ信号判定部と、
を備える、位置推定装置。 A position estimation device according to any one of claims 1 to 7,
A receiver for receiving a GPS signal;
a GPS signal determination unit that suspends position estimation using the GPS signal when the altitude of the current position coordinate exceeds a predetermined threshold altitude;
A position estimation device comprising:
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020036564A JP7466335B2 (en) | 2020-03-04 | 2020-03-04 | Location Estimation Device |
| PCT/JP2021/000317 WO2021176837A1 (en) | 2020-03-04 | 2021-01-07 | Position estimation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020036564A JP7466335B2 (en) | 2020-03-04 | 2020-03-04 | Location Estimation Device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021139701A JP2021139701A (en) | 2021-09-16 |
| JP7466335B2 true JP7466335B2 (en) | 2024-04-12 |
Family
ID=77613583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020036564A Active JP7466335B2 (en) | 2020-03-04 | 2020-03-04 | Location Estimation Device |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7466335B2 (en) |
| WO (1) | WO2021176837A1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015055534A (en) | 2013-09-11 | 2015-03-23 | 株式会社リコー | Information processing apparatus, control program thereof, and control method thereof |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016125956A (en) * | 2015-01-07 | 2016-07-11 | ソニー株式会社 | Information processor, information processing method and information processing system |
-
2020
- 2020-03-04 JP JP2020036564A patent/JP7466335B2/en active Active
-
2021
- 2021-01-07 WO PCT/JP2021/000317 patent/WO2021176837A1/en active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015055534A (en) | 2013-09-11 | 2015-03-23 | 株式会社リコー | Information processing apparatus, control program thereof, and control method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021176837A1 (en) | 2021-09-10 |
| JP2021139701A (en) | 2021-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10878637B2 (en) | Directional and x-ray view techniques for navigation using a mobile device | |
| US11710322B2 (en) | Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program | |
| US11537149B2 (en) | Route generation device, moving body, and program | |
| JP6969389B2 (en) | Surveillance system with fixed and temporary cameras | |
| US20160327946A1 (en) | Information processing device, information processing method, terminal device, and setting method | |
| US20110261187A1 (en) | Extracting and Mapping Three Dimensional Features from Geo-Referenced Images | |
| JP6321570B2 (en) | Indoor position information positioning system and indoor position information positioning method | |
| EP3168571A1 (en) | Utilizing camera to assist with indoor pedestrian navigation | |
| JP2015513389A5 (en) | ||
| CN103776443A (en) | Autonomous navigation system for producing correction information by using image information code | |
| CN110392908A (en) | For generating the electronic equipment and its operating method of map datum | |
| KR102190743B1 (en) | AUGMENTED REALITY SERVICE PROVIDING APPARATUS INTERACTING WITH ROBOT and METHOD OF THEREOF | |
| Karam et al. | Integrating a low-cost mems imu into a laser-based slam for indoor mobile mapping | |
| JP2021193538A (en) | Information processing device, mobile device, information processing system and method, and program | |
| US20210357620A1 (en) | System, moving object, and information processing apparatus | |
| CN114363161A (en) | Abnormal equipment positioning method, device, equipment and medium | |
| JP7466335B2 (en) | Location Estimation Device | |
| JP2020013242A (en) | Robot control system, robot device and program | |
| JP2015215766A (en) | Evacuation route providing system, evacuation route providing method, and evacuation route providing program | |
| KR20190013176A (en) | Method for detecting change of structure using drone and appararus for the same | |
| JP7004374B1 (en) | Movement route generation method and program of moving object, management server, management system | |
| WO2020226102A1 (en) | Pedestrian dead reckoning device, method, and program | |
| CN110799922A (en) | Shooting control method and unmanned aerial vehicle | |
| JP6684012B1 (en) | Information processing apparatus and information processing method | |
| US20220205791A1 (en) | Information processing apparatus, moving body, information processing system, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220928 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231031 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240402 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7466335 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |