JP2022049335A - Position estimating system, position estimating device, position estimating method, and position estimating program - Google Patents
Position estimating system, position estimating device, position estimating method, and position estimating program Download PDFInfo
- Publication number
- JP2022049335A JP2022049335A JP2020155486A JP2020155486A JP2022049335A JP 2022049335 A JP2022049335 A JP 2022049335A JP 2020155486 A JP2020155486 A JP 2020155486A JP 2020155486 A JP2020155486 A JP 2020155486A JP 2022049335 A JP2022049335 A JP 2022049335A
- Authority
- JP
- Japan
- Prior art keywords
- movable
- bird
- moving
- eye view
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 240000004050 Pentaglottis sempervirens Species 0.000 claims abstract description 56
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 56
- 239000003550 marker Substances 0.000 claims abstract description 43
- 230000033001 locomotion Effects 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000009434 installation Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000026058 directional locomotion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
本発明は、位置推定システム、位置推定装置、位置推定方法、及び位置推定プログラムに関する。 The present invention relates to a position estimation system, a position estimation device, a position estimation method, and a position estimation program.
インフラ構造物を点検するために、自走式の台車に計測機器を搭載し、遠隔操作で台車を移動させて各種の点検を実施することが行われている。自走式の台車を移動させて点検を行う際において、点検箇所が狭隘な空間である場合にはその場で大きく旋回することができないといった制約がある。そこで、任意の方向に移動可能な全方向移動台車が開発されている。 In order to inspect infrastructure structures, measuring devices are mounted on self-propelled trolleys, and the trolleys are moved by remote control to carry out various inspections. When performing inspections by moving a self-propelled trolley, there is a restriction that if the inspection location is a narrow space, it is not possible to make a large turn on the spot. Therefore, an omnidirectional moving trolley that can move in any direction has been developed.
全方位移動台車に搭載された計測機器による測定データは、測定地点の位置情報に対応させて分析し管理する。このため、全方位移動台車の位置情報を高精度に求める必要がある。このような移動体の位置を推定する方法として、非特許文献１、２に開示されたものが知られている。
The measurement data from the measuring equipment mounted on the omnidirectional mobile trolley is analyzed and managed according to the position information of the measurement point. Therefore, it is necessary to obtain the position information of the omnidirectional moving trolley with high accuracy. As a method for estimating the position of such a moving body, those disclosed in
非特許文献１には、屋内を移動する移動ロボットの位置を推定する方法について開示されており、天井部に設置したカメラを用いて移動ロボットが移動する領域を撮像し、撮像した画像を解析して移動ロボットの位置を推定している。
Non-Patent
非特許文献２には、送信機より送信されるWi-Fi電波を利用して、送信機から移動体までの距離を算出することにより、移動ロボットの位置を推定することが開示されている。
Non-Patent
しかし、非特許文献１に記載された方法では、屋内の天井部にカメラを設置して移動ロボット、及び該移動ロボットの移動領域を撮像するので、屋外で採用することは難しい。例えば、移動領域を上空から撮像するためにクレーン車などを用いる必要があり、装置構成が大がかりとなり実用性に乏しい。
However, in the method described in Non-Patent
一方、非特許文献２に記載されているように、送信機より送信されるWi-Fi電波を利用する方法では、屋外に電磁遮蔽物が存在する場合には、移動ロボットの位置の検出精度が低下し、高精度な位置推定ができないという問題がある。
On the other hand, as described in
本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、簡易な方法で高精度に移動体の位置を推定することが可能な位置推定システム、位置推定装置、位置推定方法、及び位置推定プログラムを提供することにある。 The present invention has been made in view of the above problems, and an object thereof is a position estimation system, a position estimation device, and a position estimation capable of estimating the position of a moving body with high accuracy by a simple method. The method is to provide a position estimation program.
本発明の一態様の位置推定システムは、二次元平面に設定された移動可能領域内または前記移動可能領域近傍の少なくとも４か所に設置された固定マーカと、前記移動可能領域内を移動する移動体に設置された移動マーカと、前記移動可能領域の外部に設置され、前記移動可能領域を斜め上方から見た鳥瞰画像を撮像する撮像部と、前記鳥瞰画像における前記各固定マーカ及び移動マーカの位置、及び、前記移動可能領域内における前記各固定マーカの位置に基づいて、前記移動可能領域内における前記移動体の位置を推定する位置推定部と、を備えたことを特徴とする。 The position estimation system of one aspect of the present invention includes fixed markers installed at least four places in the movable area set in the two-dimensional plane or in the vicinity of the movable area, and movement moving in the movable area. A movement marker installed on the body, an imaging unit installed outside the movable area to capture a bird's-eye view image of the movable area viewed from diagonally above, and the fixed markers and movement markers in the bird's-eye view image. It is characterized by including a position estimation unit for estimating the position of the moving body in the movable area based on the position and the position of each fixed marker in the movable area.
本発明の一態様の位置推定装置は、二次元平面に設定された移動可能領域の外部に設置され、前記移動可能領域を斜め上方から見た鳥瞰画像を撮像する撮像部を有し、前記鳥瞰画像は、前記移動可能領域内または移動可能領域近傍の少なくとも４箇所に設置された固定マーカ、及び、前記移動可能領域内を移動する移動体に設置された移動マーカを含み、前記鳥瞰画像に含まれる各固定マーカ、及び移動マーカの位置に基づいて、前記移動可能領域内における前記移動体の位置を推定する位置推定部、を備えたことを特徴とする。 The position estimation device of one aspect of the present invention is installed outside the movable area set in the two-dimensional plane, and has an imaging unit that captures a bird's-eye view image of the movable area viewed from diagonally above, and has the bird's-eye view. The image includes fixed markers installed at at least four locations in or near the movable area, and movement markers installed on a moving body moving in the movable area, and is included in the bird's-eye view image. It is characterized by comprising a position estimation unit for estimating the position of the moving body in the movable region based on the positions of the fixed markers and the moving markers.
本発明の一態様の位置推定方法は、二次元平面に設定された移動可能領域の外部に設置され、前記移動可能領域を斜め上方から見た鳥瞰画像を取得する鳥瞰画像取得工程を備え、前記鳥瞰画像は、前記移動可能領域内または移動可能領域近傍の少なくとも４箇所に設置された固定マーカ、及び、前記移動可能領域内を移動する移動体に設置された移動マーカを含み、前記鳥瞰画像に含まれる各固定マーカ、及び移動マーカの位置に基づいて、前記移動可能領域内における前記移動体の位置を推定する位置推定工程、を備えたことを特徴とする。 The position estimation method of one aspect of the present invention includes a bird's-eye view image acquisition step of being installed outside a movable region set in a two-dimensional plane and acquiring a bird's-eye view image of the movable region viewed from diagonally above. The bird's-eye view image includes fixed markers installed at at least four locations in or near the movable area, and movement markers installed on a moving body moving in the movable area, and is included in the bird's-eye view image. It is characterized by comprising a position estimation step of estimating the position of the moving body in the movable region based on the positions of the fixed markers included and the moving markers.
本発明の一態様は、上記位置推定装置としてコンピュータを機能させるための位置推定プログラムである。 One aspect of the present invention is a position estimation program for operating a computer as the position estimation device.
本発明によれば、簡易な方法で高精度に移動体の位置を推定することが可能となる。 According to the present invention, it is possible to estimate the position of a moving body with high accuracy by a simple method.
以下、本発明の実施形態について説明する。図１は、本発明の実施形態に係る位置推定システム１００の構成を示すブロック図である。図１に示すように、本実施形態に係る位置推定システム１００は、制御部１及びカメラ２（撮像部）からなる位置推定装置５１と、移動マーカ３と、４つの固定マーカ４ａ、４ｂ、４ｃ、４ｄと、を備えている。
Hereinafter, embodiments of the present invention will be described. FIG. 1 is a block diagram showing a configuration of a
図２は本発明の実施形態に係る位置推定システムの全体構成を模式的に示す平面図、図３は同側面図である。図２、図３に示すように、二次元平面上に、全方位移動台車Ｄ１（移動体）が移動する領域として長方形の移動可能領域Ｒ１が設定されている。 FIG. 2 is a plan view schematically showing the overall configuration of the position estimation system according to the embodiment of the present invention, and FIG. 3 is a side view of the same. As shown in FIGS. 2 and 3, a rectangular movable area R1 is set as an area in which the omnidirectional moving vehicle D1 (moving body) moves on a two-dimensional plane.
例えば、計測機器を搭載した全方位移動台車Ｄ１（以下、「移動台車Ｄ１」と略す）が移動して点検する領域を、移動可能領域Ｒ１として設定する。移動台車Ｄ１は３個以上のオムニホイールを備えた移動体である。図４は、移動台車Ｄ１の構成を示す斜視図である。図４では、一例として３個のオムニホイール２２を備えた移動台車Ｄ１を示している。図４に示すように移動台車Ｄ１は、六角柱形状をなしており、上面には矩形状の移動マーカ３が設置されている。また、側面には３個のオムニホイール２２が搭載されている。
For example, an area where the omnidirectional moving trolley D1 (hereinafter, abbreviated as “moving trolley D1”) equipped with the measuring device moves and inspects is set as the movable area R1. The mobile trolley D1 is a mobile body equipped with three or more omni wheels. FIG. 4 is a perspective view showing the configuration of the mobile carriage D1. FIG. 4 shows a mobile trolley D1 provided with three
オムニホイール２２は図５に示すように、主車輪２２Ａの周囲に複数の副車輪２２Ｂが設けられている。オムニホイール２２は、副車輪２２Ｂが回転することにより、主車輪２２Ａの車軸方向（主車輪２２Ａに直交する方向）に移動可能である。
As shown in FIG. 5, the
移動マーカ３は、画像処理により認識可能な図形を記載した平面パネルである。移動マーカ３は、その法線がほぼ鉛直方向を向くように設置されている。移動マーカ３は、移動台車Ｄ１の移動に伴って移動可能領域Ｒ１内を移動する。移動マーカ３は、後述する各固定マーカ４ａ～４ｄと識別するために、各固定マーカ４ａ～４ｄと異なる図形とするのが良い。
The
図２、図３に示すように、移動可能領域Ｒ１の４つの隅部にそれぞれ固定マーカ４ａ～４ｄが設置されている。各固定マーカ４ａ～４ｄは、前述した移動マーカ３と同様に、画像処理により認識可能な図形を記載した平面パネルである。各固定マーカ４に記載される図形は同一の図形であっても、異なる図形であってもよい。各固定マーカ４ａ～４ｄは、その法線がほぼ鉛直方向を向くように設置されている。また、各固定マーカ４ａ～４ｄ、及び移動マーカ３は同一平面上（高さが同一となる平面上）に設置すると良い。固定マーカ４ａ～４ｄ及び移動マーカ３として、ＱＲコード（登録商標）やＡＲマーカを用いることも可能である。
As shown in FIGS. 2 and 3,
また、本実施形態では４個の固定マーカ４ａ～４ｄを設置する例について説明するが、本発明はこれに限定されるものではなく、５個以上の固定マーカを設置する構成とすることも可能である。更に、本実施形態では４個の固定マーカ４ａ～４ｄを移動可能領域Ｒ１の外側の隅部に設置する例について示すが、移動可能領域Ｒ１内に設置してもよい。移動可能領域Ｒ１内、或いは移動可能領域Ｒ１の近傍の少なくとも４箇所に固定マーカが設置されていればよい。
Further, in the present embodiment, an example in which four fixed
例えば、移動可能領域は長方形であるとは限らず、五角形以上の多角形、凸型形状、凹型形状などの多様な形状が想定される。本発明は多角形状をなす移動可能領域の各頂点に固定マーカを設置することにより、各頂点間の相対的な位置を把握する。このため、固定マーカを各頂点の近傍となる位置に設置する。より好ましくは、各頂点に接する位置に設置する。或いは、移動可能領域内において各頂点に接する位置に設置する。 For example, the movable area is not limited to a rectangle, and various shapes such as a polygon having a pentagon or more, a convex shape, and a concave shape are assumed. The present invention grasps the relative position between each vertex by installing a fixed marker at each vertex of the movable region forming a polygonal shape. Therefore, a fixed marker is installed at a position near each vertex. More preferably, it is installed at a position in contact with each vertex. Alternatively, it is installed at a position in contact with each vertex in the movable area.
図２、図３に示すように、カメラ２は、移動可能領域Ｒ１の外部に立設された取付台２１の上部に、移動可能領域Ｒ１の斜め上方から該移動可能領域Ｒ１の全体を撮像可能な位置に設置されている。従って、カメラ２により、移動可能領域Ｒ１を斜め上方から見た画像（以下、「鳥瞰画像」という）を撮像することができる。カメラ２は、鳥瞰画像の水平線が、２つの固定マーカ４ａ、４ｂを結ぶ直線に対して平行となるように設置すると良い。
As shown in FIGS. 2 and 3, the
図１に戻って、制御部１は、カメラ駆動部１１と、画像変換部１２と、換算距離算出部１３と、位置推定部１４と、を備えている。
Returning to FIG. 1, the
カメラ駆動部１１は、カメラ２を駆動させ、該カメラ２で撮像された移動可能領域Ｒ１の鳥瞰画像を取得する。鳥瞰画像には、移動可能領域Ｒ１全体の画像、各固定マーカ４ａ～４ｄの画像、及び移動台車Ｄ１が存在する場合には該移動台車Ｄ１に搭載された移動マーカ３の画像が含まれる。カメラ駆動部１１は、取得した鳥瞰画像を画像変換部１２に出力する。
The
画像変換部１２は、カメラ２で撮像された鳥瞰画像を、移動可能領域Ｒ１を上方から見た画像である平面画像に変換する処理を実施する。以下、図６、図７を参照して画像変換処理について詳細に説明する。図６は、移動可能領域Ｒ１内に物体が存在しないときの、カメラ２で撮像される鳥瞰画像を示す説明図である。図７は、図６に示した鳥瞰画像を平面画像に変換した図である。
The
図６に示すように、カメラ２により移動可能領域Ｒ１を斜め上方から撮像しているので、カメラ２から遠い位置に設置されている固定マーカ４ａと４ｂを結ぶ直線Ｍ１は、カメラ２に近い位置に設置されている固定マーカ４ｃと４ｄを結ぶ直線Ｍ２よりも短くなっている。即ち、平面視で長方形状をなす移動可能領域Ｒ１は、鳥瞰画像中において台形状を成している。なお、以下では図６に示す矢印のように、前後左右方向を決める。
As shown in FIG. 6, since the movable area R1 is imaged from diagonally above by the
図６に示すように、カメラ２で撮像された鳥瞰画像において、左前方の固定マーカ４ａの右後方の隅部の座標を（ｘ１，ｙ１）とする。右前方の固定マーカ４ｂの左後方の隅部の座標を（ｘ２，ｙ２）とする。左後方の固定マーカ４ｃの右前方の隅部の座標を（ｘ３，ｙ３）とする。右後方の固定マーカ４ｄの左前方の隅部の座標を（ｘ４，ｙ４）とする。
As shown in FIG. 6, in the bird's-eye view image captured by the
画像変換部１２は、上述した各座標と、各固定マーカ４ａ～４ｄの設置位置とに基づいて射影変換し、鳥瞰画像上の座標を平面画像上の座標に変換する。即ち、上記した各座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）を、図７に示す（ｘ１´，ｙ１´）、（ｘ２´，ｙ２´）、（ｘ３´，ｙ３´）、（ｘ４´，ｙ４´）に変換する。「射影変換」とは、任意の四角形の座標を、他の四角形の座標に変換する処理である。
The
鳥瞰画像中の任意の点（ｘ，ｙ）を平面座標の点（ｘ´、ｙ´）に変換する際に、下記（１）、（２）式を用いる。 When converting an arbitrary point (x, y) in the bird's-eye view image into a point (x', y') in plane coordinates, the following equations (1) and (2) are used.
ｘ´＝（ａｘ＋ｂｙ+ｃ）／（ｇｘ＋ｈｙ＋１） …（１）
ｙ´＝（ｄｘ＋ｅｙ+ｆ）／（ｇｘ＋ｈｙ＋１） …（２）
そして、上述した（１）、（２）式の「ｘ」、「ｙ」に上述した４つの固定マーカ４により規定された座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）を代入する。更に、（１）、（２）式の「ｘ´」、「ｙ´」に、図７に示した画像の各座標（ｘ１´，ｙ１´）、（ｘ２´，ｙ２´）、（ｘ３´，ｙ３´）、（ｘ４´，ｙ４´）に対応する実空間の座標を代入する。「実空間の座標」とは、図２に示す移動可能領域Ｒ１内に設定される二次元の座標を意味する。その結果、８次元連立方程式が得られ、この８次元連立方程式を解くことで、８個のパラメータ「ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ」を算出することができる。
x'= (ax + by + c) / (gx + hy + 1) ... (1)
y'= (dx + ey + f) / (gx + hy + 1) ... (2)
Then, the coordinates (x1, y1), (x2, y2), (x3, y3) defined by the four fixed markers 4 described above in the "x" and "y" of the above-mentioned equations (1) and (2). , (X4, y4) are substituted. Further, the coordinates (x1', y1'), (x2', y2'), (x3') of the image shown in FIG. 7 are added to the "x'" and "y'" of the equations (1) and (2). , Y3'), (x4', y4') are substituted with the coordinates in the real space. The "real space coordinates" mean the two-dimensional coordinates set in the movable area R1 shown in FIG. As a result, an eight-dimensional simultaneous equation is obtained, and by solving this eight-dimensional simultaneous equation, eight parameters "a, b, c, d, e, f, g, h" can be calculated.
算出した８個のパラメータａ～ｈを上記（１）、（２）式に代入し、代入後の（１）、（２）式に基づいて、鳥瞰画像上の座標を平面空間上の座標に変換することができる。画像変換部１２は、（１）、（２）式を用いて座標変換処理を実施する。
The calculated eight parameters a to h are substituted into the above equations (1) and (2), and the coordinates on the bird's-eye view image are converted into the coordinates on the plane space based on the substituted equations (1) and (2). Can be converted. The
上述した射影変換を用いることにより、斜め上方から撮像した鳥瞰画像を、上方から見た平面画像に変換することができる。その結果、図６に示した鳥瞰画像を、図７に示した平面画像に変換することができる。 By using the above-mentioned projective transformation, a bird's-eye view image captured from diagonally above can be converted into a planar image viewed from above. As a result, the bird's-eye view image shown in FIG. 6 can be converted into the plane image shown in FIG. 7.
図１に戻って、換算距離算出部１３は、画像変換部１２で射影変換された平面画像に含まれる各固定マーカ４ａ～４ｄの位置と、移動可能領域Ｒ１内における固定マーカ４ａ～４ｄの設置位置に基づいて、平面画像の１ピクセル当たりの、移動可能領域Ｒ１内における実距離（以下「分解能ｐ」とする）を算出する。
Returning to FIG. 1, the conversion distance calculation unit 13 installs the positions of the fixed
具体的に、図２に示すように長方形状をなす移動可能領域Ｒ１の長辺の長さがＷであり、図７に示す平面画像上の長辺のピクセル数がＰである場合には、分解能ｐは、「ｐ＝Ｗ／Ｐ」で算出することができる。なお、上記では平面画像を用いて分解能ｐを算出する例について説明したが、鳥瞰画像を用いて分解能ｐを算出してもよい。 Specifically, when the length of the long side of the movable region R1 having a rectangular shape is W and the number of pixels of the long side on the plane image shown in FIG. 7 is P as shown in FIG. The resolution p can be calculated by "p = W / P". Although the example of calculating the resolution p using a plane image has been described above, the resolution p may be calculated using a bird's-eye view image.
位置推定部１４は、換算距離算出部１３で換算された分解能ｐ（１ピクセル当たりの実距離）と、平面画像内における移動マーカ３の位置に基づいて、該移動マーカ３を搭載した移動台車Ｄ１の位置を検出する。
The
具体的に、位置推定部１４は、移動可能領域Ｒ１内にて移動台車Ｄ１が移動する際に、該移動台車Ｄ１の、平面画像内における初期位置（所定の初期位置）の座標を取得し、この座標を記憶する。その後、移動可能領域Ｒ１内を移動台車Ｄ１が移動する場合には、カメラ２で撮像された動画の各フレームにおける鳥瞰画像より取得される各平面画像に含まれる移動マーカ３の位置を検出する。更に、検出した移動マーカ３の位置、及び前述した分解能ｐに基づいて、初期位置を基準とした移動台車Ｄ１の位置、即ち、移動可能領域Ｒ１内における移動台車Ｄ１の実際の位置を検出する。位置推定部１４は、検出した移動台車Ｄ１の位置の情報を外部機器に出力する。
Specifically, the
［本実施形態の動作］
次に、上述のように構成された本実施形態に係る位置推定システム１００の動作を、図８に示すフローチャートを参照して説明する。図８に示す処理は、図１に示した制御部１により実行される。
[Operation of this embodiment]
Next, the operation of the
初めに図８に示すステップＳ１１において、カメラ駆動部１１はカメラ２を作動させ、該カメラ２で撮像された移動可能領域Ｒ１内の鳥瞰画像を取得する。鳥瞰画像には、４つの固定マーカ４ａ～４ｄの画像が含まれている。
First, in step S11 shown in FIG. 8, the
ステップＳ１２において、画像変換部１２は鳥瞰画像を平面画像に変換する。図６に示したように、移動可能領域Ｒ１を斜め上方から見た画像である鳥瞰画像を、図７に示した平面画像に変換する。
In step S12, the
ステップＳ１３において、換算距離算出部１３は、平面画像中に含まれる４つの固定マーカ４ａ～４ｄの画像の位置、及び移動可能領域Ｒ１の近傍に設置された４つの固定マーカ４ａ～４ｄの設置位置に基づいて、分解能ｐを算出する。
In step S13, the conversion distance calculation unit 13 determines the positions of the images of the four fixed
ステップＳ１４において、カメラ駆動部１１は、カメラ２を作動させて移動台車Ｄ１が移動する移動可能領域Ｒ１内の動画を撮像する。その結果、例えば図９（ａ）～（ｄ）に示すように時系列的な鳥瞰画像が取得される。鳥瞰画像には、移動マーカ３、及び４つの固定マーカ４ａ～４ｄの画像が含まれている。
In step S14, the
ステップＳ１５において、位置推定部１４は、ステップＳ１４の処理で取得した動画に含まれる時系列的な鳥瞰画像を、前述した射影変換を用いて平面画像に変換する。その結果、図１０（ａ）～（ｄ）に示すように、時系列的な平面画像が得られる。位置推定部１４は、変換された平面画像に含まれる移動マーカ３の位置を検出する。
In step S15, the
ステップＳ１６において、位置推定部１４は、時系列的に得られる各平面画像における移動マーカ３が検出された位置に基づいて、平面画像中の移動マーカ３が移動したピクセル数を算出する。
In step S16, the
ステップＳ１７において、位置推定部１４は、移動したピクセル数と分解能ｐに基づいて、移動可能領域Ｒ１内における移動台車Ｄ１の２次元的な移動距離を算出し、且つ移動台車Ｄ１の現在位置を推定する。また、時系列的に得られる各平面画像上での移動マーカ３の現在位置を記録する。
In step S17, the
こうして、移動可能領域Ｒ１内における移動台車Ｄ１の初期位置に対する移動距離を算出し、移動台車Ｄ１の現在位置を推定することができ、更に、移動可能領域Ｒ１内での移動台車Ｄ１の移動軌跡を記録することが可能となる。 In this way, the moving distance of the moving trolley D1 in the movable area R1 can be calculated, the current position of the moving trolley D1 can be estimated, and the moving locus of the moving trolley D1 in the movable area R1 can be estimated. It becomes possible to record.
［本実施形態の効果］
このようにして、本実施形態に係る位置推定システム１００は、二次元平面に設定された移動可能領域Ｒ１内または移動可能領域Ｒ１の近傍の少なくとも４か所に設置された固定マーカ４ａ～４ｄと、移動可能領域Ｒ１内を移動する移動台車Ｄ１（移動体）に設置された移動マーカ３と、移動可能領域Ｒ１の外部に設置され、移動可能領域Ｒ１を斜め上方から見た鳥瞰画像を撮像するカメラ２（撮像部）と、鳥瞰画像における各固定マーカ４ａ～４ｄ及び移動マーカ３の位置、及び、移動可能領域Ｒ１内における各固定マーカ４ａ～４ｄの位置に基づいて、移動可能領域Ｒ１内における移動台車Ｄ１の位置を推定する位置推定部１４と、を備えている。
[Effect of this embodiment]
In this way, the
上記のように構成された位置推定システム１００では、各固定マーカ４ａ～４ｄ、及び移動マーカ３をカメラ２で撮像して移動可能領域Ｒ１内を移動する移動台車Ｄ１の位置を推定することができる。その結果、移動台車Ｄ１を屋外に設定した移動可能領域Ｒ１内を移動させる場合であっても、大規模な構成を必要とせず且つ高精度に移動台車Ｄ１の位置を推定することが可能となる。
In the
また、従来における車輪エンコーダを用いて移動台車Ｄ１の位置を推定する方法と比較すると、路面の状態により車輪がスリップするなどの原因により位置の推定精度が低下するといった問題は発生しない。即ち、移動台車Ｄ１を屋外環境で使用する場合には、走行路面が平坦であることは稀であり、凹凸を有する走行路面を走行することで車輪にすべりが生じることが多々発生する。車軸エンコーダを用いて位置推定を行う場合には、車輪にすべりが生じることにより、推定誤差が生じてしまう。本実施形態では、車輪にすべりが発生した場合でも、この影響を受けることなく高精度な位置推定が可能となる。 Further, as compared with the conventional method of estimating the position of the moving carriage D1 using the wheel encoder, there is no problem that the position estimation accuracy is lowered due to the wheel slipping due to the condition of the road surface. That is, when the mobile carriage D1 is used in an outdoor environment, it is rare that the traveling road surface is flat, and traveling on a traveling road surface having irregularities often causes slippage of the wheels. When the position is estimated using the axle encoder, the wheel slips, which causes an estimation error. In the present embodiment, even if the wheel slips, highly accurate position estimation is possible without being affected by the slip.
また、移動可能領域Ｒ１を斜め上方から撮像した鳥瞰画像を、真上から見た平面画像に変換し、該平面画像の単位ピクセル（例えば、１ピクセル）分の距離を、移動可能領域Ｒ１内での距離に換算した距離である分解能ｐを算出する。そして、平面画像中にて移動した移動マーカ３のピクセル数、及び分解能ｐに基づいて移動可能領域Ｒ１内における移動台車Ｄ１の位置を推定する。従って、移動可能領域Ｒ１の真上にカメラ２を設置することなく移動台車Ｄ１の位置を推定することができ、装置規模を縮小することが可能となる。また、移動可能領域Ｒ１内における移動台車Ｄ１の位置を高精度に推定することが可能となる。
Further, the bird's-eye view image obtained by capturing the movable region R1 from diagonally above is converted into a planar image viewed from directly above, and the distance for a unit pixel (for example, 1 pixel) of the planar image is set in the movable region R1. The resolution p, which is the distance converted into the distance of, is calculated. Then, the position of the moving carriage D1 in the movable region R1 is estimated based on the number of pixels of the moving
また、カメラ２で撮像される鳥瞰画像の水平線と、鳥瞰画像に含まれる固定マーカ４ａと４ｂを結ぶ直線が平行になるように、カメラ２が設置されるので、分解能ｐを容易に算出することが可能になる。このため、演算負荷を著しく軽減することが可能となる。
Further, since the
更に、４個の固定マーカ４ａ～４ｄを配置して矩形状の移動可能領域Ｒ１を設定し、該移動可能領域Ｒ１の鳥瞰画像を平面画像に変換するので、簡単な演算処理で画像変換することができ、演算負荷を軽減することが可能となる。
Further, four fixed
上記説明した本実施形態の位置推定装置５１には、図１１に示すように例えば、ＣＰＵ（Central Processing Unit、プロセッサ）９０１と、メモリ９０２と、ストレージ９０３（HDD：Hard Disk Drive、SSD：Solid State Drive）と、通信装置９０４と、入力装置９０５と、出力装置９０６とを備える汎用的なコンピュータシステムを用いることができる。メモリ９０２およびストレージ９０３は、記憶装置である。このコンピュータシステムにおいて、ＣＰＵ９０１がメモリ９０２上にロードされた所定のプログラムを実行することにより、位置推定装置５１の各機能が実現される。
As shown in FIG. 11, the
なお、位置推定装置５１は、１つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また、位置推定装置は、コンピュータに実装される仮想マシンであっても良い。
The
なお、位置推定装置５１用のプログラムは、ＨＤＤ、ＳＳＤ、ＵＳＢ（Universal Serial Bus）メモリ、ＣＤ (Compact Disc)、ＤＶＤ (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
The program for the
なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。 The present invention is not limited to the above embodiment, and many modifications can be made within the scope of the gist thereof.
例えば、本実施形態では移動体として、六角柱形状をなし３つのオムニホイール２２を有する全方位移動台車Ｄ１を例に挙げて説明したが、本発明はこれに限定されるものではなく、移動可能領域Ｒ１内で移動可能な他の移動体であってもよい。
For example, in the present embodiment, as a moving body, an omnidirectional moving trolley D1 having a hexagonal column shape and having three
また、カメラ２による動画の撮影時において各マーカに生じる反射を防止するために、マーカ表面に無反射コーティングを塗布した構造や、無反射フィルム、無反射ガラスをマーカ表面に設置しても良い。更に、マーカ自体を無反射素材の布地で形成してもよい。
Further, in order to prevent reflection generated on each marker when the
また、上述した実施形態では、移動可能領域Ｒ１が長方形であり、各隅部に固定マーカ４ａ～４ｄを設置する例について説明したが、移動可能領域Ｒ１が五角形以上の多角形の場合などには、各頂点、即ち、５箇所以上の位置に固定マーカを設置することにより移動体の位置を推定することが可能となる。
Further, in the above-described embodiment, the example in which the movable region R1 is rectangular and the fixed
１ 制御部
２ カメラ（撮像部）
３ 移動マーカ
４ａ～４ｄ 固定マーカ
１１ カメラ駆動部
１２ 画像変換部
１３ 換算距離算出部
１４ 位置推定部
２１ 取付台
２２ オムニホイール
２２Ａ 主車輪
２２Ｂ 副車輪
５１ 位置推定装置
１００ 位置推定システム
Ｄ１ 移動台車（全方位移動台車）
Ｒ１ 移動可能領域
1
3 Moving
R1 movable area
Claims (7)
前記移動可能領域内を移動する移動体に設置された移動マーカと、
前記移動可能領域の外部に設置され、前記移動可能領域を斜め上方から見た鳥瞰画像を撮像する撮像部と、
前記鳥瞰画像における前記各固定マーカ及び移動マーカの位置、及び、前記移動可能領域内における前記各固定マーカの位置に基づいて、前記移動可能領域内における前記移動体の位置を推定する位置推定部と、
を備えたことを特徴とする位置推定システム。 Fixed markers installed in at least four places in the movable area set in the two-dimensional plane or in the vicinity of the movable area, and
A movement marker installed on a moving body that moves within the movable area, and
An imaging unit that is installed outside the movable area and captures a bird's-eye view image of the movable area viewed from diagonally above.
A position estimation unit that estimates the position of the moving body in the movable region based on the positions of the fixed markers and the moving markers in the bird's-eye view image and the positions of the fixed markers in the movable region. ,
A position estimation system characterized by being equipped with.
を特徴とする請求項１に記載の位置推定システム。 The position estimation system according to claim 1, wherein the movable region has a polygonal shape, and the fixed marker is installed in contact with each vertex in the movable region.
前記鳥瞰画像は、前記移動可能領域内または移動可能領域近傍の少なくとも４箇所に設置された固定マーカ、及び、前記移動可能領域内を移動する移動体に設置された移動マーカを含み、
前記鳥瞰画像に含まれる各固定マーカ、及び移動マーカの位置に基づいて、前記移動可能領域内における前記移動体の位置を推定する位置推定部、
を備えたことを特徴とする位置推定装置。 It is installed outside the movable area set in the two-dimensional plane, and has an imaging unit that captures a bird's-eye view image of the movable area viewed from diagonally above.
The bird's-eye view image includes fixed markers installed at at least four locations in or near the movable area, and movement markers installed on a moving body moving in the movable area.
A position estimation unit that estimates the position of the moving body in the movable region based on the positions of the fixed markers and the moving markers included in the bird's-eye view image.
A position estimation device characterized by being equipped with.
前記鳥瞰画像は、前記移動可能領域内または移動可能領域近傍の少なくとも４箇所に設置された固定マーカ、及び、前記移動可能領域内を移動する移動体に設置された移動マーカを含み、
前記鳥瞰画像に含まれる各固定マーカ、及び移動マーカの位置に基づいて、前記移動可能領域内における前記移動体の位置を推定する位置推定工程、
を備えたことを特徴とする位置推定方法。 It is installed outside the movable area set in the two-dimensional plane, and is equipped with a bird's-eye view image acquisition process for acquiring a bird's-eye view image of the movable area viewed from diagonally above.
The bird's-eye view image includes fixed markers installed at at least four locations in or near the movable area, and movement markers installed on a moving body moving in the movable area.
A position estimation step of estimating the position of the moving body in the movable region based on the positions of the fixed markers and the moving markers included in the bird's-eye view image.
A position estimation method characterized by being equipped with.
前記平面画像における前記固定マーカの位置と、前記移動可能領域内における前記固定マーカの設置位置に基づいて、前記平面画像の単位ピクセル当たりの前記移動可能領域内での実距離を算出する換算距離算出工程と、を更に備え、
前記位置推定工程は、
前記移動可能領域内に初期位置を設定し、前記撮像部で撮像された動画の各フレームにおける鳥瞰画像を前記平面画像に変換し、該平面画像上での前記移動体の位置を検出し、前記平面画像上での前記初期位置と前記検出した移動体の位置との間のピクセル数、及び前記単位ピクセル当たりの実距離に基づいて、前記移動可能領域内の前記初期位置を基準とした前記移動マーカの移動距離を算出することにより、前記移動マーカの前記移動可能領域内における現在位置を推定すること
を特徴とする請求項４に記載の位置推定方法。 An image conversion step of converting the bird's-eye view image into a plane image viewed from above the movable area, and
Converted distance calculation to calculate the actual distance in the movable area per unit pixel of the plane image based on the position of the fixed marker in the plane image and the installation position of the fixed marker in the movable area. With more processes,
The position estimation step is
The initial position is set in the movable region, the bird's-eye view image in each frame of the moving image captured by the imaging unit is converted into the plane image, the position of the moving body on the plane image is detected, and the above-mentioned The movement relative to the initial position in the movable region based on the number of pixels between the initial position on the planar image and the position of the detected moving object, and the actual distance per unit pixel. The position estimation method according to claim 4, wherein the current position of the moving marker in the movable area is estimated by calculating the moving distance of the marker.
を特徴とする請求項４または５に記載の位置推定方法。 The position estimation method according to claim 4 or 5, wherein a quadrangular region defined by four fixed markers is set as the movable region.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020155486A JP7406210B2 (en) | 2020-09-16 | 2020-09-16 | Position estimation system, position estimation device, position estimation method, and position estimation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020155486A JP7406210B2 (en) | 2020-09-16 | 2020-09-16 | Position estimation system, position estimation device, position estimation method, and position estimation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022049335A true JP2022049335A (en) | 2022-03-29 |
| JP7406210B2 JP7406210B2 (en) | 2023-12-27 |
Family
ID=80853835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020155486A Active JP7406210B2 (en) | 2020-09-16 | 2020-09-16 | Position estimation system, position estimation device, position estimation method, and position estimation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7406210B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011069796A (en) * | 2009-09-28 | 2011-04-07 | Saxa Inc | Method of calibrating camera and image processing apparatus |
| US20170359573A1 (en) * | 2016-06-08 | 2017-12-14 | SAMSUNG SDS CO., LTD., Seoul, KOREA, REPUBLIC OF; | Method and apparatus for camera calibration using light source |
| JP2021096566A (en) * | 2019-12-16 | 2021-06-24 | 日本信号株式会社 | Traveling position verification system, traveling position measurement system, and traveling position correction system |
-
2020
- 2020-09-16 JP JP2020155486A patent/JP7406210B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011069796A (en) * | 2009-09-28 | 2011-04-07 | Saxa Inc | Method of calibrating camera and image processing apparatus |
| US20170359573A1 (en) * | 2016-06-08 | 2017-12-14 | SAMSUNG SDS CO., LTD., Seoul, KOREA, REPUBLIC OF; | Method and apparatus for camera calibration using light source |
| JP2021096566A (en) * | 2019-12-16 | 2021-06-24 | 日本信号株式会社 | Traveling position verification system, traveling position measurement system, and traveling position correction system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7406210B2 (en) | 2023-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4533659B2 (en) | Apparatus and method for generating map image by laser measurement | |
| KR101776622B1 (en) | Apparatus for recognizing location mobile robot using edge based refinement and method thereof | |
| WO2021026850A1 (en) | Qr code-based navigation attitude determining and positioning method and system | |
| US8508527B2 (en) | Apparatus and method of building map for mobile robot | |
| US9939529B2 (en) | Robot positioning system | |
| WO2020215172A1 (en) | Obstacle detection method and device, mobile platform, and storage medium | |
| US11420335B2 (en) | Information processing apparatus, information processing method, and information processing system | |
| US20170307354A1 (en) | Position and orientation measuring apparatus, information processing apparatus and information processing method | |
| US20150125035A1 (en) | Image processing apparatus, image processing method, and storage medium for position and orientation measurement of a measurement target object | |
| US20070267570A1 (en) | Method of detecting object using structured light and robot using the same | |
| TW202013251A (en) | Systems and methods for vslam scale estimation using optical flow sensor on a robotic device | |
| US11488354B2 (en) | Information processing apparatus and information processing method | |
| KR20150144727A (en) | Apparatus for recognizing location mobile robot using edge based refinement and method thereof | |
| KR20150144730A (en) | APPARATUS FOR RECOGNIZING LOCATION MOBILE ROBOT USING KEY POINT BASED ON ADoG AND METHOD THEREOF | |
| JP2019128175A (en) | Tunnel wall inspection device and tunnel wall inspection program | |
| KR20210049581A (en) | Apparatus for acquisition distance for all directions of vehicle | |
| EP2924612A1 (en) | Object detection device, object detection method, and computer readable storage medium comprising object detection program | |
| WO2018043524A1 (en) | Robot system, robot system control device, and robot system control method | |
| Shim et al. | A mobile robot localization using external surveillance cameras at indoor | |
| JP5019478B2 (en) | Marker automatic registration method and system | |
| JP7138856B2 (en) | Bird's eye view presentation system | |
| JP7406210B2 (en) | Position estimation system, position estimation device, position estimation method, and position estimation program | |
| WO2024001596A1 (en) | Robot motion control method and apparatus | |
| JP2011203148A (en) | Estimation device, estimation method and estimation program | |
| CN108564626A (en) | Method and apparatus for determining the relative attitude angle being installed between the camera of acquisition entity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200924 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220921 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231013 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231207 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7406210 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |