JP7498348B1 - Vehicle and autonomous driving method - Google Patents
Vehicle and autonomous driving method Download PDFInfo
- Publication number
- JP7498348B1 JP7498348B1 JP2023198166A JP2023198166A JP7498348B1 JP 7498348 B1 JP7498348 B1 JP 7498348B1 JP 2023198166 A JP2023198166 A JP 2023198166A JP 2023198166 A JP2023198166 A JP 2023198166A JP 7498348 B1 JP7498348 B1 JP 7498348B1
- Authority
- JP
- Japan
- Prior art keywords
- marker
- traveling vehicle
- traveling
- image
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 21
- 239000003550 marker Substances 0.000 claims abstract description 167
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000012546 transfer Methods 0.000 claims description 5
- 238000009987 spinning Methods 0.000 claims 1
- 230000033001 locomotion Effects 0.000 description 21
- 230000005540 biological transmission Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 230000005674 electromagnetic induction Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 230000005684 electric field Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【課題】目標地点への自律移動の精度が向上した走行車を提供する。
【解決手段】走行車12が目標地点から離れて位置する始動位置で、画像取得部が撮影したマーカ35の画像に対する画像処理を実行して走行車12とマーカ35との相対位置の関係を認識する。相対位置の関係に基づいて走行車12の走行方向がマーカ35の基準位置に向くように走行車12をその場でスピン回転をする。走行車12の走行方向がマーカ35の基準位置を向いた状態で撮影したマーカ35の画像に対して画像処理を実行してマーカ35と走行車12との相対姿勢の関係を認識する。走行車12の走行方向がマーカ35の基準位置を向いた状態での相対位置および相対姿勢に基づいて、始動位置からマーカ35の正面と走行車12の走行方向が対向する位置まで走行車を移動させる走行軌道を生成する。
【選択図】図4
A traveling vehicle with improved accuracy in autonomously moving to a target location is provided.
[Solution] At a start position where the traveling vehicle 12 is located away from a target point, image processing is performed on an image of a marker 35 captured by an image capture unit to recognize the relative positional relationship between the traveling vehicle 12 and the marker 35. Based on the relative positional relationship, the traveling vehicle 12 is spun on the spot so that the traveling direction of the traveling vehicle 12 faces the reference position of the marker 35. Image processing is performed on an image of the marker 35 captured with the traveling direction of the traveling vehicle 12 facing the reference position of the marker 35 to recognize the relative attitude relationship between the marker 35 and the traveling vehicle 12. Based on the relative position and relative attitude with the traveling direction of the traveling vehicle 12 facing the reference position of the marker 35, a traveling trajectory is generated to move the traveling vehicle 12 from the start position to a position where the traveling direction of the traveling vehicle 12 faces the front of the marker 35.
[Selected Figure] Figure 4
Description
本発明は、目標地点へ自律移動する走行車、および目標地点へ自律移動する走行車を目標地点に到達させる自律走行方法に関する。 The present invention relates to a vehicle that autonomously moves to a target point, and an autonomous driving method for making a vehicle that autonomously moves to a target point reach the target point.
従来、例えば特許文献1に記載されているように、ロボットなどの走行車に設置されたカメラが目標地点に設置されたマーカを撮影することにより、マーカに対する走行車の相対位置・姿勢を認識し、認識した相対位置・姿勢から走行車の走行軌道を生成し、目標地点へ向けて走行車を接近走行させる技術が知られている。 As described in Patent Document 1, for example, a technology is known in which a camera installed on a traveling vehicle such as a robot captures an image of a marker installed at a target point, recognizes the relative position and orientation of the traveling vehicle with respect to the marker, generates a traveling trajectory of the traveling vehicle from the recognized relative position and orientation, and drives the traveling vehicle toward the target point.
上述のような技術では、自律移動する走行車が目標地点へ高い精度で到達することが求められている。 The above-mentioned technology requires autonomous vehicles to reach their destinations with high accuracy.
本発明は、目標地点への自律移動の精度が向上した走行車および自律走行方法を提供することにある。 The present invention aims to provide a vehicle and an autonomous driving method that improves the accuracy of autonomous movement to a target location.
本発明の走行車は、目標地点へ自律移動する走行車であって、本体部と、前記本体部に設置され、前記本体部を移動させる駆動部と、前記本体部に設置され、前記本体部の外界を撮影する画像取得部と、前記駆動部と前記画像取得部とが接続され、前記駆動部の駆動指令の出力と、前記画像取得部が取得した画像の画像処理とを実行する制御装置とを備え、前記制御装置は、前記目標地点に対応して設置されたマーカに基づいて前記走行車を移動させる目標移動動作において、前記走行車が前記目標地点から離れて位置する始動位置で、前記画像取得部が撮影した前記マーカの画像に対する画像処理を実行して前記走行車と前記マーカとの相対位置の関係を認識した後、前記相対位置の関係に基づいて前記走行車の走行方向が前記マーカの基準位置に向くように前記走行車をその場でスピン回転させた後、前記走行車の走行方向が前記マーカの基準位置を向いた状態で撮影した前記マーカの画像に対して画像処理を実行して前記マーカと前記走行車との相対姿勢の関係を認識し、前記走行車の走行方向が前記マーカの基準位置を向いた状態での前記相対位置および前記相対姿勢に基づいて、前記始動位置から前記マーカの正面と前記走行車の走行方向が対向する位置まで前記走行車を移動させる走行軌道を生成する。 The traveling vehicle of the present invention is a traveling vehicle that moves autonomously to a target point, and includes a main body, a drive unit that is installed on the main body and moves the main body, an image acquisition unit that is installed on the main body and captures an image of the outside world of the main body, and a control device that is connected to the drive unit and the image acquisition unit and that outputs a drive command to the drive unit and executes image processing of the image acquired by the image acquisition unit, and the control device performs image processing on the image of the marker captured by the image acquisition unit at a start position where the traveling vehicle is located away from the target point in a target movement operation that moves the traveling vehicle based on a marker installed corresponding to the target point. After recognizing the relative positional relationship between the running vehicle and the marker, the running vehicle is spun on the spot so that the running direction of the running vehicle faces the reference position of the marker based on the relative positional relationship, and then image processing is performed on the image of the marker taken with the running direction of the running vehicle facing the reference position of the marker to recognize the relative attitude relationship between the marker and the running vehicle, and a running trajectory is generated for moving the running vehicle from the starting position to a position where the front of the marker faces the running direction of the running vehicle based on the relative position and relative attitude in the state where the running direction of the running vehicle faces the reference position of the marker.
本発明によれば、目標地点への自律移動の精度が向上した走行車および自律走行方法を提供できる。 The present invention provides a vehicle and an autonomous driving method that improves the accuracy of autonomous movement to a target location.
以下、本発明の一実施の形態を、図1ないし図5を参照して説明する。 One embodiment of the present invention will be described below with reference to Figures 1 to 5.
図1に走行車システム10を示す。走行車システム10は、設備内の床面11上を目標地点へ自律移動する走行車12を備える。
Figure 1 shows a
走行車12は、例えば搬送物を搭載し、またはカートラックや台車などの牽引物を牽引し、所定の搬送元から搬送先に搬送する無人搬送車などが含まれる。さらに、走行車システム10は、走行車12の目標地点として停止ステーション13の1つである給電ステーション14を備える。走行車システム10には、複数の走行車12と、複数箇所に設置される複数の給電ステーション14とが含まれる。
The
走行車12は、本体部20と、この本体部20を移動させる一対の駆動輪21および複数の従動輪22とを備えている。走行車12は、一方向を前進方向、反対の他方向を後退方向とし、この前進方向および後退方向に対して交差する左右方向の両側に2つの駆動輪21が設置され、両側の駆動輪21の前後方向に従動輪22がそれぞれ設置されている。両側の駆動輪21は前進方向および後退方向に個別に回転駆動でき、従動輪22は移動方向の向きが自由に変化可能なキャスターなどで構成されている。両側の駆動輪21の回転方向の組み合わせにより、走行車12は前進移動、後退移動、カーブ移動、スピン回転(定位置での旋回)などの移動が可能となっている。
The
走行車12は、本体部20の前進方向の前面23(または後退方向の後面)の上方側に設置された受電パッド24と、本体部20の前面23の下方側に設置された画像取得部25とをさらに備えている。本体部20の前面23は、上下方向に同一面に形成されている。
The traveling
受電パッド24は、例えば電磁誘導方式や電界結合方式などの非接触給電方式により電力を受電可能とする。受電パッド24は、例えば電磁誘導方式に対応した受電コイルが内蔵されたパッド状に形成されている。
The power receiving
画像取得部25は、走行車12の前方の外界を撮影するカメラであり、上下方向および左右方向における所定の視野26(図5(a)および(b)に視野26に対応した撮影画像を示す)を有している。画像取得部25は、視野26における上下方向視野角αの範囲の下端部(下辺)付近が略水平方向に位置して、視野26における上下方向視野角αの中心線27が上方へ向くように、本体部20に設置されている。
The
また、給電ステーション14は、走行車12のバッテリの充電のために給電を行うものである。給電ステーション14は、床面11上に設置された筐体30を備えている。筐体30の正面側には、給電ステーション14に移動した走行車12の本体部20の前面23と対向する対向面31が形成されている。この対向面31の上方側には、給電ステーション14に位置する本体部20と近接対向する対向凸面32が形成され、また、対向面31の下方側には、本体部20と対向しつつ対向凸面32よりも本体部20から離れる対向凹面33が形成されている。
The
給電ステーション14は、対向凸面32に設置された送電パッド34と、対向凹面33に設置されたマーカ(マーカ群)35とをさらに備えている。
The
送電パッド34は、例えば電磁誘導方式や電界結合方式などの非接触給電方式により電力を送電可能とする。送電パッド34は、例えば電磁誘導方式に対応した送電コイルが内蔵されたパッド状に形成されている。送電パッド34と走行車12の受電パッド24とが所定の距離内で近接対向した非接触状態で、送電パッド34から走行車12の受電パッド24に電力が送電される。
The
マーカ35は、図1および図2に示すように、例えばマーカ35の表示面に図形、模様等が表示されたARマーカであり、大サイズのマーカ36と小サイズのマーカ37とを有している。大サイズのマーカ36が対向凹面33の上方側に配置され、小サイズのマーカ37が対向凹面33の下方側に配置され、これらマーカ36,37が上下に並んで配置されている。筐体30の正面側から見て、大サイズのマーカ36および小サイズのマーカ37はいずれも矩形に形成されており、大サイズのマーカ36および小サイズのマーカ37の中心が上下方向の同一軸線上に位置され、かつ、同一平面状に設けられている。さらに、大サイズのマーカ36および小サイズのマーカ37の中心と送電パッド34の中心とが上下方向の同一軸線上に位置されている。大サイズのマーカ36は一辺が例えば80mmの矩形、小サイズのマーカ37は一辺が例えば30mmの矩形に形成されている。
1 and 2, the
各マーカ36,37には、画像処理により認識可能なパターンが形成されている。撮影画像内の大サイズのマーカ36および小サイズのマーカ37を画像処理することにより、大サイズのマーカ36および小サイズのマーカ37と走行車12との相対姿勢(水平方向における相対角度)の情報と、走行車12との相対位置(水平方向におけるX軸方向とY軸方向の座標)の情報を取得することができる。走行車12の相対位置は、図4に示すように、走行車12の上面視で、走行車12の中心(スピン回転(その場での旋回)の中心)である原点12aに対して、走行車12の前方へ向けた直進方向をX軸方向、このX軸方向に対して交差する方向をY軸方向とした走行車座標系のXY座標である。また、走行車12の相対姿勢は、各マーカ36,37に対する走行車12のX軸の傾き角度(原点12aを通る垂直軸(Z軸)の回転角度であって相対ヨー角)によって示される。なお、原点12aは、言い換えれば一対の駆動輪21の間の中心位置を通り床面に対して垂直な垂直方向軸(Z軸)上に設定されており、平面座標系の第1基準軸がX軸および第2基準軸がY軸である。
Each
続いて、走行車12の画像取得部25の視野26と給電ステーション14の各マーカ36,37との関係について説明する。画像取得部25は、小サイズのマーカ37の下端部が視野26内における上下方向視野角αの下端部付近に位置して、視野26における上下方向視野角αの中心線27が上方を向く関係になるように走行車12に設置されている。さらに、目標地点である給電ステーション14に走行車12が位置する状態で、画像取得部25の視野26内に小サイズのマーカ37の全体が含まれ、大サイズのマーカ36の一部または全部が含まれない関係を有している。また、目標地点である給電ステーション14に走行車12が位置し、停止ステーション14の対向凸面32に走行車12の本体部20が近接対向した状態で、対向凹部33の小サイズのマーカ37は画像取得部25の最短撮影距離よりも遠くに位置し、小サイズのマーカ37を画像取得部25で撮影可能(ピントが合う)とする関係を有している。
Next, the relationship between the field of
次に、図3に走行車システム10のブロック図を示す。走行車システム10は、走行車12と、給電ステーション14と、管理装置である管理端末40となどを備える。走行車12と管理端末40とは無線通信によって通信可能とし、給電ステーション14と管理端末40とは有線通信または無線通信によって通信可能とする。
Next, FIG. 3 shows a block diagram of the
走行車12は、駆動部41と、外界センサ部42と、内界センサ部43と、受電システム44と、バッテリ45と、制御装置46とを備える。
The
駆動部41には、2つの駆動輪21を個別に回転駆動する2つのモータが含まれる。
The
外界センサ部42には、カメラである画像取得部25が含まれる他、移動方向に存在する障害物を検知したり対象物との距離の検知する光センサや超音波センサなどが含まれる。
The
内界センサ部43は、各駆動輪21の回転量を検知するエンコーダ、走行車12に設置される加速度センサおよび角速度センサなどにより、走行車12の移動方向および移動量などを取得する。
The
受電システム44は、バッテリ45の充電に関わる受電側機器であり、受電パッド24と、受電ユニット47とを備えている。受電パッド24は、送電パット34から非接触で送電される電力を受電する。受電ユニット47は、受電パッド24で受電した電力を所定の充電電力に変換してバッテリ45を充電する。
The
バッテリ45は、走行車12の電力源であり、走行車12が備える各電気機器に給電する。
The
制御装置46は、走行車12を制御するもので、駆動制御部48と、画像処理部49と、オドメトリ部50と、受電制御部51とを備えている。駆動制御部48は、駆動部41の各モータを制御し、すなわち走行車12の移動を制御する。画像処理部49は、マーカ36,37を撮影した画像に対する画像処理を実行して、マーカ36,37に対する走行車12の相対位置および相対姿勢を認識する。オドメトリ部50は、内界センサ部43の情報に基づいて走行車12の移動量を算出して走行車12の自己位置および姿勢を推定する。受電制御部51は、受電システム44によるバッテリ45の充電を制御する。
The
そして、制御装置46は、駆動部41と画像取得部25に接続され、駆動部41の駆動指令の出力と、画像取得部25が取得した画像の画像処理とを実行する。さらに、制御装置46は、目標地点である給電ステーション14に設置された大サイズのマーカ36と小サイズのマーカ37に基づいて走行車12を移動させる目標移動動作において、目標地点から離れて位置する走行車12の画像取得部25が大サイズ36のマーカと小サイズのマーカ37を撮影した画像に対する画像処理を実行して、大サイズのマーカ36に対する走行車12の相対姿勢を認識し、かつ、小サイズのマーカ37に対する走行車12の相対位置を認識し、認識した走行車12の相対姿勢および相対位置から目標地点へ移動する走行軌道を生成する。制御装置46は、走行軌道に沿って走行車12が移動するように駆動部41を駆動させ、走行車12が目標地点に接近した状態で、小サイズのマーカ37の撮影画像に対する画像処理を実行して、走行車12の相対位置および相対姿勢を小サイズのマーカ37に基づいて認識する。この際、走行車12の目標地点への移動途中で、走行車12の相対姿勢の認識を大サイズのマーカ36から小サイズのマーカ37に基づいて認識するように認識対象のマーカを変更する。
The
また、給電ステーション14は、送電システム53と、マーカ35とを備えている。送電システム53は、バッテリ45の充電に関わる送電側機器であり、送電パッド34と、送電ユニット54とを備えている。送電パッド34は、受電パッド24へ非接触で電力を送電する。送電ユニット54は、電力を変換して送電パッド34から送電させる。マーカ35は、大サイズのマーカ36と小サイズのマーカ37とを備えている。
The
また、管理端末40は、作業管理部56と、マップ管理部57と、走行車管理部58と、給電ステーション管理部59とを備えている。作業管理部56は、走行車12の作業情報および作業進捗情報、走行車12への作業割り当てなどを管理する。マップ管理部57は、設備内のフロアにおける各機器の配置を座標情報として管理する。走行車管理部58は、走行車12の作業状況およびバッテリ45に蓄電されている電力残量などの状態を管理し、走行車12に対する作業指示においては移動すべき目標地点のマップ座標を通知する。給電ステーション管理部59は、給電ステーション14の稼働状態を管理する。
The
次に、走行車システム10の動作を説明する。
Next, the operation of the traveling
管理端末40は作業対象の走行車12に対して作業を割り当て、作業を割り当てられた走行車12は搬送物の搬送などの作業を実行する。
The
管理端末40は、各走行車12のバッテリ45に蓄電されている電力の残量を監視し、バッテリ45の電力の残量が基準値を下回った走行車12を検出すると、その走行車12を要充電対象として作業対象から外し、空いている給電ステーション14を予約する。
The
管理端末40は、要充電対象の走行車12に対して予約した給電ステーション14への移動を指示する。
The
管理端末40から指示を受けた要充電対象の走行車12は、目標地点である給電ステーション14への目標移動動作を実行する。この目標移動動作では、給電ステーション14への移動中に給電ステーション14から少し離れた位置(例えば約1m手前)を経由ポイントP1(図4(a)参照)として一時停車し、給電ステーション14のマーカ36,37を探索した後、給電ステーション14のマーカ36,37へ接近移動動作する。なお、経由ポイントP1は、走行車12が目標位置への自律移動の目標移動動作の最終工程である位置決め動作を開始する始動位置である。
The traveling
図4(a)に示すように、走行車12は、給電ステーション14へ向かう途中の経由ポイントP1にて一時停止し、画像取得部25によって撮影される撮影画像を画像処理し、マーカ36,37を検索する。マーカ36,37を確認したら、小サイズのマーカ37(大サイズのマーカ36でもよい)から、走行車12の原点12aに対する小サイズのマーカ37のXY座標を取得する。なお、この工程を第1マーカ置認識ステップと呼ぶ。
As shown in FIG. 4(a), the traveling
図4(b)に示すように、走行車12の前面23を給電ステーション14のマーカ36,37に向けて、走行車12の原点12aから前方へ延びるX軸とマーカ36,37の基準位置としての左右方向の中心とが重なるように、経由ポイントP1において走行車12をスピン回転(その場での旋回)させて走行方向をマーカ36,37の中心に向ける。なお、この工程を第1スピンステップと呼ぶ。
As shown in FIG. 4(b), the
走行車12の画像取得部25によって撮影される撮影画像を画像処理して、大サイズのマーカ36に対する走行車12の相対姿勢を認識する。この相対姿勢は、走行車の相対ヨー角で示され、大サイズのマーカ36の面の中心に対して垂直な仮想垂直線61と走行車12の前方へ延びるX軸方向とのなす角度θとしても認識可能である。さらに、走行車12の画像取得部25によって撮影される撮影画像を処理して、小サイズのマーカ37に対する走行車12の相対位置を認識する。この相対位置は、小サイズのマーカ37に対する走行車12のXY座標であり、Y座標の値は0になる。なお、この工程を第2マーカ認識ステップと呼ぶ。また、走行車12の相対位置の認識は、走行車12のスピン回転の終了後に改めて小サイズのマーカ37から認識して相対位置を更新してもよいし、小サイズのマーカ37から相対位置を認識し続けながら走行車12をスピン回転させて相対位置を更新し続けるようにしてもよい。
The image captured by the
この際、経由ポイントP1に位置する走行車12が給電ステーション14から少し離れた位置にあるため、走行車12の画像取得部25によって撮影される撮影画像の小サイズのマーカ37からは、相対位置については認識することが可能であるが、相対姿勢(角度θ)については小サイズのマーカ37の傾きなどから認識するために、撮影画像における小サイズのマーカ37が小さすぎて認識精度が悪い場合がある。一方、走行車12の画像取得部25によって撮影される撮影画像から認識される大サイズのマーカ36からは、撮影画像における小サイズのマーカ37に比べて大きく、大サイズのマーカ36の傾きなどから相対姿勢(角度θ)を高精度に認識することができる。
In this case, since the traveling
給電ステーション14のマーカ36,37に対する相対姿勢および相対装置を認識した走行車12は、経由ポイントP1から給電ステーション14のマーカ36,37の正面に回り込んで接近移動する走行軌道を生成し、走行軌道に沿って移動する。
After recognizing the relative posture and relative device of the
走行軌道には、マーカ36,37の表示面に垂直な線であって、表示面の中心から延伸する仮想垂直線61上に設定される中間ポイントP2に走行車12の原点12aを移動させる第1の走行軌道と、中間ポイントP2から給電ステーション14のマーカ36,37へ向けて走行車12が移動する第2の走行軌道とが含まれる。なお、走行軌道は走行車12の直進走行とスピン回転が組み合わされた走行車12の一連の動作であり、マーカ35と走行車12の傾き角とマーカ35と走行車12の距離(X座標)から中間ポイントP2に到着するまでの走行車12のスピン角度および走行距離(直線距離)が算出される。そして、大サイズのマーカ36に対する走行車12の傾き角度(相対ヨー角)と小サイズのマーカ37のXY座標に基づいて仮想垂直線61へ走行車12が乗り移ってマーカ35の正面に回り込む走行車の12の走行軌道が生成される。なお、この工程を軌道生成ステップと呼ぶ。
The travel trajectory includes a first travel trajectory that moves the
仮想垂直線61上に設定される中間ポイントP2は、走行車12の原点12aから延びる仮想線が仮想垂直線61に直角に交わる点である。あるいは、走行車12の原点12aから延びる仮想線が仮想垂直線61に直角に交わる点よりも、給電ステーション14のマーカ36,37に近い点でもよく、また、走行車12の原点12aが経由ポイントP1から中間ポイントP2に乗り移ることができればよく、また、走行車12の原点12aが経由ポイントP1から中間ポイントP2に乗り移ることができればよい。
The intermediate point P2 set on the imaginary
そして、図4(b)における第2マーカ認識ステップでは、マーカ35の方向を向いた走行車12を所定時間一時停止させて、画像取得部25にマーカ35を複数回撮影させる。そして、複数のマーカ撮影画像からマーカ35に対する走行車12の相対角度を取得する。軌道生成の基となる相対角度には、複数の撮影画像のマーカ35から取得した相対角度の中央値が使用され、これにより位置決め走行の精度を向上させている。
In the second marker recognition step in FIG. 4(b), the traveling
図4(c)~(h)に目標地点である給電ステーション14への走行軌道に沿った走行車12の目標移動動作を示す。図4(c)に示すように、走行車12が中間ポイントP2へ向けてスピン回転して走行車12の走行方向が中間ポイントP2に向いた後に前進する。図4(d)に示すように、走行車12の原点12aが仮想垂直線61上の中間ポイントP2に到達したら走行車12は一時停止する。なお、図4(c)の工程を第2スピンステップと呼び、図4(d)の工程を乗り移りステップと呼ぶ。
Figures 4(c) to (h) show the target movement operation of the traveling
図4(e)に示すように、走行車12の前面23が給電ステーション14のマーカ36,37に正対するように、走行車12がスピン回転して、走行車12の走行方向をマーカ36,37に正対させる。走行車12が給電ステーション14の各マーカ36,37に正対することで、走行車12の画像取得部25によって撮影される撮影画像を画像処理して、大サイズのマーカ36から相対姿勢を認識し、小サイズのマーカ37から相対位置を認識する。なお、図4(e)の工程を第3スピンステップと呼ぶ。
As shown in FIG. 4(e), the traveling
ここで、経由ポイントP1から中間ポイントP2に移動する際には、図4(c)~(d)に代えて、図5(c)~(d)のように、走行車12の走行方向が仮想垂直線61に対して所定角度を向くようにスピン回転させ、仮想垂直線61に対して斜め方向に移動させ、その後、図4(e)のように所定角分だけスピン回転させて走行方向を変更してもよい。
When moving from via point P1 to intermediate point P2, instead of Figs. 4(c)-(d), the
また、図4(c)~(e)および図5(c)~(d)の工程においては、画像取得部25の視野からマーカ36,37が外れることもあり、生成された軌道に沿って内界センサ43のオドメトリの情報に基づいて走行することができる。なお、図4(c)~(e)の工程においては、マーカ36,37からの相対位置、相対姿勢の情報を用いずに、生成された走行軌道の走行距離とスピン角度とに基づいて走行車12を走行させることもできる。
In addition, in the steps of Fig. 4(c)-(e) and Fig. 5(c)-(d), the
また、走行車12は給電ステーション14から離れた位置にあるため、画像取得部25の視野26内に大サイズのマーカ36と小サイズのマーカ37の両方が含まれる。このときの画像取得部25によって撮影される撮影画像を図6(a)に示す。画像取得部25の視野26に対応した撮影画像の枠内に大サイズのマーカ36と小サイズのマーカ37の両方が含まれ、この撮影画像から大サイズのマーカ36と小サイズのマーカ37が認識される。
In addition, since the traveling
続いて、図4(f)および図1(a)に示すように、給電ステーション14のマーカ36,37に正対した走行車12は、給電ステーション14のマーカ36,37へ向かって接近するように前進する。この際、走行車12は、画像取得部25によって撮影される撮影画像を画像処理して、大サイズのマーカ36から認識される相対姿勢と、小サイズのマーカ37から認識される相対位置とを確認しながら前進する。大サイズのマーカ36に対する相対姿勢にずれがある場合には、両側の駆動輪21の回転を個別に制御して大サイズのマーカ36に対する走行車12の相対姿勢を修正しながら前進する。
Next, as shown in FIG. 4(f) and FIG. 1(a), the traveling
図4(g)および図1(c)に示すように、走行車12が給電ステーション14のマーカ36,37に接近してくと、画像取得部25の視野26内に、小サイズのマーカ37の全体が含まれるが、大サイズのマーカ36の上部側の一部が含まれなくなる。このときの画像取得部25によって撮影される撮影画像を図6(b)に示す。画像取得部25の視野26に対応した撮影画像の枠内に、小サイズのマーカ37の全体が含まれるが、大サイズのマーカ36の上部側の一部が含まれなくなり、この撮影画像から大サイズのマーカ36は認識されず、小サイズのマーカ37のみが認識される。
As shown in Figures 4(g) and 1(c), as the traveling
そのため、走行車12は、直前まで大サイズのマーカ36に対して相対姿勢を認識して給電ステーション14のマーカ36,37に接近移動していたが、大サイズのマーカ36が認識されなくなった後は、小サイズのマーカ37から相対姿勢を認識して給電ステーション14のマーカ36,37に接近移動する。なお、マーカ36,37の両方から相対姿勢の情報を同時に取得しておき、大サイズのマーカ36が画像取得部25の視野からはみ出て認識できなくなった際に、小サイズのマーカ37から取得していた相対姿勢の情報を正とするように、大サイズのマーカ37から取得していた相対姿勢の情報に上書きすることにより、マーカ36,37間で認識対象が乗り移る場合も、認識対象のマーカ36,37を変更することに含まれる。
Therefore, until just before, the traveling
このとき、走行車12が給電ステーション14のマーカ36,37に接近し、画像取得部25で撮影される撮影画像における小サイズのマーカ37が大きいため、小サイズのマーカ37からでも相対姿勢を高精度に認識することができる。
At this time, the traveling
その後、走行車12は、小サイズのマーカ37に対する相対位置から、目標地点である給電ステーション14に到達したことを判断すると、移動を停止する。小サイズのマーカ37に対する走行車12の相対位置および相対姿勢が正常であれば、走行車12の受電パッド24と給電ステーション14の送電パッド34とが所定の間隔で正対したと判断して、給電ステーション14の送電パッド34が走行車12の受電パッド24に電力を送電し、走行車12のバッテリ45の充電を開始する。なお、図4(e)~(h)の工程を接近走行ステップと呼ぶ。
Then, when the traveling
なお、図4(e)~(h)の間で走行車12の原点12aが仮想垂直線61上に位置せず、横にずれていることが認識された場合は、図7(a)~(d)のように走行車12を小サイズのマーカ37に対して横向きに回転させた後、仮想垂直線61に走行車12の原点12aが乗り移るまで前進させ、その後、走行車12を小サイズのマーカ37と正対するまで回転させるようにすることができる。
If it is recognized between Figures 4(e) and (h) that the
また、小サイズのマーカ37に対する走行車12の相対位置および相対姿勢に異常があれば、走行車12は、所定の後退位置まで一旦後退した後、走行車12の目標地点である給電ステーション14へ向けた目標移動動作を再度実行する。
In addition, if there is an abnormality in the relative position and attitude of the traveling
このように、マーカ35の座標認識ステップとマーカ35に対する角度認識ステップでマーカ35に対する走行車12の相対位置の座標と相対姿勢の傾き角度(相対ヨー角)を認識し、この相対位置の座標と相対姿勢の傾き角度とに基づいて、走行車12の走行軌道を生成することにより走行精度を向上させることができる。さらに、走行軌道をスピン回転と直進走行の動作で生成することができ、走行車12の回り込み動作中にマーカ35が画像取得部25の視野から外れても走行可能であり、加えてカーブ軌道で走行させるよりもオドメトリ等の内界情報の信頼性を確保することができ、走行車12の走行精度が向上する。
In this way, the coordinates of the relative position of the traveling
また、走行車12の走行軌道がスピン回転と直進走行から構成されるため、走行軌道にカーブ走行が含まれる場合よりも走行軌道をコンパクトにでき、経由ポイントP1をマーカ35に接近した位置に設定することができる。これにより、目標位置付近に設置されたマーカ35のサイズを小さくしたとしても、走行車12がマーカ35に接近した状態から位置決めのための動作が開始できるため、画像取得部25の視野内に一定以上の大きさでマーカ35を撮影することができ、マーカ35の設置の自由度が向上する。
In addition, because the travel trajectory of the traveling
さらに、走行車12のX軸方向がマーカ35の基準位置に重なるように走行車12をスピン回転させてから走行車12のマーカ35に対する相対ヨー角を認識しているため、相対ヨー角の信頼性が高くなり、さらに複数のマーカ35の画像から取得した相対ヨー角の中央値を使用して相対ヨー角の認識精度を向上させているため、結果として相対ヨー角を使用して生成された軌道の精度も向上する。
In addition, the relative yaw angle of the
なお、停止ステーション13は、給電ステーション14に限らず、走行車12に搭載する搬送物を受け取ったり走行車12に牽引物を連結する搬送元のステーション、走行車12から搬送物を取り出したり走行車12から牽引物を外す搬送先のステーションなどでもよい。
The stopping
以上、本発明の実施の形態およびその変形例について説明したが、種々の構成の組み合わせ、一部の省略、置き換えおよび変更も可能である。 The above describes the embodiment of the present invention and its modified examples, but various combinations of configurations, partial omissions, substitutions, and modifications are also possible.
12 走行車
20 本体部
25 画像取得部
35 マーカ
41 駆動部
46 制御装置
61 仮想垂直線
P1 経由ポイント(始動位置)
P2 中間ポイント
12 Traveling
P2 Midpoint
Claims (7)
本体部と、
前記本体部に設置され、前記本体部を移動させる駆動部と、
前記本体部に設置され、前記本体部の外界を撮影する画像取得部と、
前記駆動部と前記画像取得部とが接続され、前記駆動部の駆動指令の出力と、前記画像取得部が取得した画像の画像処理とを実行する制御装置とを備え、
前記制御装置は、
前記目標地点に対応して設置されたマーカに基づいて前記走行車を移動させる目標移動動作において、
前記走行車が前記目標地点から離れて位置する始動位置で、前記画像取得部が撮影した前記マーカの画像に対する画像処理を実行して前記走行車と前記マーカとの相対位置の関係を認識した後、前記相対位置の関係に基づいて前記走行車の走行方向が前記マーカの基準位置に向くように前記走行車をその場でスピン回転させた後、前記走行車の走行方向が前記マーカの基準位置を向いた状態で撮影した前記マーカの画像に対して画像処理を実行して前記マーカと前記走行車との相対姿勢の関係を認識し、
前記走行車の走行方向が前記マーカの基準位置を向いた状態での前記相対位置および前記相対姿勢に基づいて、前記始動位置から前記マーカの正面と前記走行車の走行方向が対向する位置まで前記走行車を移動させる走行軌道を生成する
ことを特徴とする走行車。 A vehicle that moves autonomously to a destination,
A main body portion,
A drive unit that is installed on the main body and moves the main body;
An image acquisition unit that is installed in the main body and captures an image of the outside world of the main body;
a control device connected to the driving unit and the image acquisition unit, and configured to output a driving command to the driving unit and to execute image processing of the image acquired by the image acquisition unit;
The control device includes:
In a target moving operation in which the traveling vehicle is moved based on a marker installed corresponding to the target point,
at a start position where the traveling vehicle is located away from the target point, image processing is performed on the image of the marker captured by the image capture unit to recognize the relative positional relationship between the traveling vehicle and the marker, and then the traveling vehicle is caused to spin around on the spot so that the traveling direction of the traveling vehicle faces the reference position of the marker based on the relative positional relationship, and then image processing is performed on the image of the marker captured with the traveling direction of the traveling vehicle facing the reference position of the marker to recognize the relative attitude relationship between the marker and the traveling vehicle;
a travel trajectory for moving the traveling vehicle from the starting position to a position where the traveling direction of the traveling vehicle faces the front of the marker, based on the relative position and the relative attitude in a state where the traveling direction of the traveling vehicle faces a reference position of the marker.
前記走行車の走行方向が前記マーカの基準位置を向いた後に、前記走行車を停止させた状態で、前記画像取得部に前記マーカを複数回撮影させて前記マーカの画像を複数枚取得し、複数の前記マーカの画像の夫々に対する画像処理により取得した複数の前記相対姿勢の情報の中央値から前記相対姿勢を決定する
ことを特徴とする請求項1に記載の走行車。 The control device includes:
The traveling vehicle according to claim 1, characterized in that after the traveling direction of the traveling vehicle is oriented toward a reference position of the marker, the traveling vehicle is stopped and the image acquisition unit is caused to photograph the marker multiple times to obtain multiple images of the marker, and the relative attitude is determined from a median value of multiple pieces of relative attitude information obtained by image processing of each of the multiple images of the marker.
前記相対位置を、前記走行車を原点とした走行車座標系における前記マーカの位置の座標で認識し、
前記相対姿勢を、前記走行車の走行方向が前記マーカの基準位置を向いた状態での前記マーカの表示面に対する前記走行車の相対ヨー角で認識する
ことを特徴とする請求項1または2に記載の走行車。 The control device includes:
The relative position is recognized by the coordinates of the position of the marker in a traveling vehicle coordinate system with the traveling vehicle as the origin;
3. The traveling vehicle according to claim 1, wherein the relative attitude is recognized as a relative yaw angle of the traveling vehicle with respect to a display surface of the marker in a state in which the traveling direction of the traveling vehicle is oriented toward a reference position of the marker.
前記本体部に設置され、前記本体部を移動させる駆動部と、
前記本体部に設置され、前記本体部の外界を撮影する画像取得部と、
前記駆動部と前記画像取得部とが接続され、前記駆動部の駆動指令の出力と、前記画像取得部が取得した画像内のマーカに対する画像処理とを実行する制御装置と
を備える走行車を、前記マーカに対応する目標地点へ移動させる自律走行方法であって、
前記制御装置により、
前記走行車が前記目標地点から離れて位置する始動位置で、前記走行車の前記画像取得部が撮影した前記マーカの画像から、前記走行車の直進方向をX軸、前記X軸に直交する方向をY軸とする走行車座標系における前記マーカのXY座標を認識する第1マーカ認識ステップと、
前記走行車のX軸が前記マーカの基準位置に重なるまで前記駆動部により前記走行車をその場でスピン回転させる第1スピンステップと、
前記第1スピンステップ後に、前記画像取得部が取得した前記マーカの画像から前記マーカに対する前記走行車の相対ヨー角を認識する第2マーカ認識ステップと、
前記第1スピンステップ後の前記マーカのXY座標と前記相対ヨー角とに基づき、前記マーカの表示面に直交し前記マーカの基準位置から延伸する仮想垂直線上で前記マーカから離れて位置する中間ポイントに前記走行車が乗り移るための走行軌道を生成する軌道生成ステップとを実行する
ことを特徴とする自律走行方法。 A main body portion,
A drive unit that is installed on the main body and moves the main body;
An image acquisition unit that is installed in the main body and captures an image of the outside world of the main body;
a control device connected to the drive unit and the image acquisition unit, the control device outputting a drive command to the drive unit and executing image processing for a marker in an image acquired by the image acquisition unit, and moving the traveling vehicle to a target point corresponding to the marker,
The control device
a first marker recognition step of recognizing, from an image of the marker captured by the image acquisition unit of the traveling vehicle at a start position where the traveling vehicle is located away from the target point, an XY coordinate of the marker in a traveling vehicle coordinate system having an X axis in a straight traveling direction of the traveling vehicle and a Y axis in a direction perpendicular to the X axis;
a first spin step of spinning the traveling vehicle on the spot by the driving unit until an X-axis of the traveling vehicle overlaps with a reference position of the marker ;
a second marker recognition step of recognizing a relative yaw angle of the traveling vehicle with respect to the marker from the image of the marker acquired by the image acquisition unit after the first spin step;
and a trajectory generation step of generating a driving trajectory for the traveling vehicle to transfer to an intermediate point located away from the marker on a virtual vertical line that is perpendicular to the display surface of the marker and extends from a reference position of the marker, based on the X and Y coordinates of the marker after the first spin step and the relative yaw angle.
ことを特徴とする請求項4記載の自律走行方法。 5. The autonomous driving method according to claim 4, wherein in the trajectory generation step, a spin angle of a second spin step in which the traveling vehicle is caused to spin and rotate until an X-axis of the traveling vehicle overlaps with the midpoint, a travel distance of a transfer step in which the traveling vehicle moves straight until it reaches the midpoint, and a spin angle of a third spin step in which the traveling vehicle that has arrived at the midpoint is caused to spin and rotate so that it faces a reference position of the marker are generated.
前記第1スピンステップ、前記第2スピンステップおよび前記第3スピンステップでのスピン角度は、前記原点を基準にした回転角度であり、
前記乗り移りステップでの走行距離は、前記原点が前記中間ポイントに重なるまでの距離である
ことを特徴とする請求項5記載の自律走行方法。 the origin of the vehicle coordinate system is located at the center of spin rotation of the vehicle,
the spin angles in the first spin step, the second spin step, and the third spin step are rotation angles based on the origin,
The autonomous driving method according to claim 5 , wherein the travel distance in the transfer step is a distance until the origin overlaps with the intermediate point.
ことを特徴とする請求項5記載の自律走行方法。 The autonomous driving method according to claim 5, characterized in that, in the step of driving the vehicle based on the trajectory generation step, the drive unit is driven based on the travel distance and the spin angle of the generated travel trajectory without using information recognized from the markers.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023198166A JP7498348B1 (en) | 2023-11-22 | 2023-11-22 | Vehicle and autonomous driving method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023198166A JP7498348B1 (en) | 2023-11-22 | 2023-11-22 | Vehicle and autonomous driving method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP7498348B1 true JP7498348B1 (en) | 2024-06-11 |
Family
ID=91377627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023198166A Active JP7498348B1 (en) | 2023-11-22 | 2023-11-22 | Vehicle and autonomous driving method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7498348B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019175136A (en) | 2018-03-28 | 2019-10-10 | 日本電産シンポ株式会社 | Mobile body |
JP6986314B1 (en) | 2021-01-08 | 2021-12-22 | 株式会社LexxPluss | Transport system and transport control method |
JP2023145130A (en) | 2022-03-28 | 2023-10-11 | 株式会社ミツバ | Autonomous mobile robot stopping method and autonomous mobile robot |
-
2023
- 2023-11-22 JP JP2023198166A patent/JP7498348B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019175136A (en) | 2018-03-28 | 2019-10-10 | 日本電産シンポ株式会社 | Mobile body |
JP6986314B1 (en) | 2021-01-08 | 2021-12-22 | 株式会社LexxPluss | Transport system and transport control method |
JP2023145130A (en) | 2022-03-28 | 2023-10-11 | 株式会社ミツバ | Autonomous mobile robot stopping method and autonomous mobile robot |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11524374B2 (en) | Conveying system for simultaneously transporting workpieces and workers | |
KR102162756B1 (en) | Mobile robot platform system for process and production management | |
US20180113468A1 (en) | Sensor Trajectory Planning for a Vehicle | |
KR101909766B1 (en) | Holonomic motion vehicle for travel on non-level surfaces | |
JP2022534836A (en) | Robot configuration using 3D lidar | |
US11447025B2 (en) | Vehicle transport system | |
US12030178B2 (en) | Mobile robot sensor configuration | |
US11383383B2 (en) | Vehicle transport apparatus | |
CN113848910A (en) | Navigation system, navigation control method and device, controller and AGV | |
US11458631B2 (en) | Vehicle transport apparatus | |
WO2019031168A1 (en) | Mobile body and method for control of mobile body | |
CN113190020A (en) | Mobile robot queue system and path planning and following method | |
CN110794834A (en) | Carrier vehicle control system based on rear-drive front steering | |
CN109572857A (en) | A kind of Mecanum wheel intelligent storage AGV and its paths planning method | |
US20220355495A1 (en) | Robot Docking Station Identification Surface | |
JP7369626B2 (en) | Vehicle control system, vehicle control method and program | |
Datta et al. | Development of autonomous mobile robot with manipulator for manufacturing environment | |
CN110267841B (en) | Apparatus and method for active alignment control of contact elements | |
JP7498348B1 (en) | Vehicle and autonomous driving method | |
CN108147111A (en) | A kind of manipulator for automatic guided vehicle | |
JP6970852B1 (en) | Driving system | |
EP3842888A1 (en) | Pixelwise filterable depth maps for robots | |
JP2023145130A (en) | Autonomous mobile robot stopping method and autonomous mobile robot | |
EP3977722A1 (en) | Electric vehicle with autonomous drive | |
Paromtchik et al. | Optical guidance system for multiple mobile robots |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231122 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20231122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240228 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20240301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240430 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240530 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7498348 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |