JP6358629B2

JP6358629B2 - フォークリフト

Info

Publication number: JP6358629B2
Application number: JP2016127544A
Authority: JP
Inventors: 龍辻阪
Original assignee: Mitsubishi Logisnext Co Ltd
Current assignee: Mitsubishi Logisnext Co Ltd
Priority date: 2016-06-28
Filing date: 2016-06-28
Publication date: 2018-07-18
Anticipated expiration: 2036-06-28
Also published as: JP2018002335A

Description

本発明は、カメラを備えたフォークリフトに関する。

荷物の積み降ろしを行うためにフォークリフトは様々な環境において使用されている。例えば、トラックの荷台に荷物を積むため、または、トラックの荷台から荷物を降ろすために、トラックの荷台の高さに応じて設けられたプラットホームにおいてフォークリフトが使用されており、プラットホームの高さは一般的に約１ｍ程度ある。このような環境において、フォークリフトの運転者がその運転を誤ることにより、フォークリフトがプラットホームから地面に転落する可能性があった。

特許文献１には、プラットホームからフォークリフトが転落することを防ぐために、カメラを備えたフォークリフトが記載されている。このフォークリフトは、カメラにより撮影された画像に係る画像データに基づいて、路面に設けられた進入規制領域の目印を検出し、進入規制領域の目印と車両本体との距離が所定未満であるときに車両本体の走行速度を制限する。進入規制領域の目印は、路面に対して目立ち易い色相を有しているライン（路面に貼られたテープまたは路面に塗布されたインキ）により構成されている。

しかし、進入規制領域の目印であるラインに汚れや破損等の汚損が発生した場合には、画像データに基づいてその目印を検出することができず、フォークリフトが進入規制領域に進入するおそれがある。

特開２０１５−２１７７３８号公報

本発明は、上記事情に鑑みてなされたものであって、進入規制領域の目印に汚損が発生した場合でも、進入規制領域に進入しないようにすることが可能なフォークリフトを提供することを課題とする。

上記課題を解決するため、請求項１に記載の発明は、路面上の進入規制領域と走行許容領域との境界において列をなして設けられ、それぞれが特徴点を有している複数のマーカと、前記路面を走行する車両本体と、列をなす複数の前記マーカを同時に撮影することで、画像データを生成するカメラと、生成された前記画像データに基づいて、同時に撮影された複数の前記マーカを認識するマーカ認識部と、認識された複数の前記マーカの少なくとも１つの前記特徴点に基づいて、複数の前記マーカの各々に対する前記車両本体の位置を推定する車両位置推定部と、認識された複数の前記マーカの少なくとも１つの前記特徴点に基づいて、複数の前記マーカの各々に対する前記車両本体の姿勢を推定する車両姿勢推定部と、推定された前記車両本体の位置および姿勢の双方に基づいて、前記車両本体が列をなす前記マーカを越えて走行することを抑制するための動作を行う逸脱走行抑制部と、を備え、前記車両位置推定部は、複数の前記マーカの各々に対する前記車両本体の位置を推定することによって、前記車両本体から複数の前記マーカの各々までの距離を算出し、前記車両姿勢推定部は、複数の前記マーカの各々に対する前記車両本体の姿勢を推定することによって、前記車両本体の走行方向と当該車両本体から複数の前記マーカの各々が位置する方向とのなす角度を算出し、前記逸脱走行抑制部は、前記車両本体から複数の前記マーカのいずれか１つである特定マーカまでの距離が所定未満であるとき、かつ、前記車両本体の走行方向と当該車両本体から前記特定マーカが位置する方向とのなす角度が所定未満であるとき、前記走行許容領域を走行する前記車両本体が列をなす前記マーカを越えて走行することを抑制するための動作を行うことを特徴とする。

請求項２に記載の発明は、請求項１に記載のフォークリフトにおいて、前記車両位置推定部は、前記マーカ認識部による１つ以上の前記マーカの認識精度が所定未満であるとき、他の１つ以上の前記マーカに基づいて、認識精度が所定以上である前記マーカの各々に対する前記車両本体の位置を推定することを特徴とする。

請求項３に記載の発明は、請求項１または２に記載のフォークリフトにおいて、前記車両姿勢推定部は、前記マーカ認識部による１つ以上の前記マーカの認識精度が所定未満であるとき、他の１つ以上の前記マーカに基づいて、認識精度が所定以上である前記マーカの各々に対する前記車両本体の姿勢を推定することを特徴とする。

請求項４に記載の発明は、請求項１〜３のいずれか一項に記載のフォークリフトにおいて、前記逸脱走行抑制部は、前記車両本体が列をなす前記マーカを越えて走行することを抑制するための動作として、音または光を発する報知動作を行うことを特徴とする。

請求項５に記載の発明は、請求項１〜４のいずれか一項に記載のフォークリフトにおいて、前記逸脱走行抑制部は、前記車両本体が列をなす前記マーカを越えて走行することを抑制するための動作として、前記車両本体の走行の制御を行うことを特徴とする。

本発明によれば、進入規制領域の目印に汚損が発生した場合でも、進入規制領域に進入しないようにすることが可能なフォークリフトを提供することができる。

（Ａ）および（Ｂ）は、本発明の一実施形態に係るフォークリフトを含む転落防止システムの全体構成図である。同実施形態に係るフォークリフトの概略構成を示すブロック図である。同実施形態に係る転落防止処理の流れを示すフローチャートである。

図面を参照しながら、本発明の一実施形態を説明する。なお、図中の矢印で示す前後方向Ｘ、左右方向Ｙ、および、上下方向Ｚは、互いに直交する方向である。
図１に示すように、カウンタバランス式のフォークリフト１は、路面Ｓを走行する車両本体１０と、荷物（不図示）の積み降ろしを行う荷役装置２０と、オペレータ（図示略）がフォークリフト１を操作するための操作装置３０と、路面Ｓに設けられたマーカＭを撮影するカメラ４０とを備えている。

車両本体１０は、オペレータが搭乗する搭乗部１１と、搭乗部１１の上方に配置されたヘッドガード１２と、ヘッドガード１２を支持するステー１３とを備えている。車両本体１０は、前後方向Ｘに真っ直ぐ走行することができ、また、左右方向Ｙに旋回しながら走行することもできる。

荷役装置２０は、上下方向Ｚに伸縮するマスト２１と、マスト２１に沿って昇降するフォーク２２とを備えている。荷役装置２０は、車両本体１０の前方に設けられ、車両本体１０とともに路面Ｓ上を移動する。

操作装置３０は、車両本体１０の走行を加速させる指示を入力するためのアクセルペダル３１や、車両本体１０を旋回させる指示を入力するためのステアリングハンドル３２等を含んでいる。

カメラ４０は、車両本体１０の後方の路面Ｓを撮影する単眼カメラであって、例えば、グローバルシャッター方式のモノクロイメージセンサと、広角レンズとにより構成されている。カメラ４０は、車両本体１０の後部に設けられたステー１３に取り付けられている。カメラ４０は、所定範囲において列をなす複数のマーカＭを同時に撮影することで、画像データを生成する。

路面Ｓに設置されたマーカＭは、進入規制領域の目印であって、例えば、路面Ｓに貼られたシールにより構成されている。マーカＭは、プラットホームＰの縁部に並べて設けられており、複数のマーカＭは、進入規制領域と走行許容領域との境界において列をなしている。マーカＭは、矩形状の外形を有するとともに特徴的な模様を有している。

図２を参照して、図１に図示されないフォークリフト１の構成を説明する。
図２に示すように、フォークリフト１は、マーカ認識部５１と、車両位置推定部５２と、車両姿勢推定部５３と、逸脱走行抑制部６０とを備えている。

マーカ認識部５１は、カメラ４０により生成された画像データに基づいて、カメラ４０で同時に撮影された複数のマーカＭを認識する画像処理回路である。マーカ認識部５１は、カメラ４０から画像データを取得し、画像データに対して種々の画像処理を施し、画像データからマーカＭを認識（検出）する。

車両位置推定部５２は、マーカ認識部５１により認識された複数のマーカＭの少なくとも１つに基づいて、マーカＭに対する車両本体１０の位置を推定する演算回路である。すなわち、車両位置推定部５２は、マーカＭに対する車両本体１０の位置を推定することによって、車両本体１０からマーカＭまでの距離を算出する。マーカ認識部５１で複数のマーカＭが認識されることにより、車両位置推定部５２は、それらのマーカＭの各々に基づいて、各マーカＭに対する車両本体１０の位置を推定する。また、車両位置推定部５２は、マーカ認識部５１による１つ以上のマーカＭの認識精度が所定未満であるとき、他の１つ以上のマーカＭに基づいて、車両本体１０の位置を推定する。すなわち、車両位置推定部５２は、マーカ認識部５１での認識精度が低いマーカＭについては、そのマーカＭに対する車両本体１０の位置を推定しない。

車両姿勢推定部５３は、マーカ認識部５１により認識された複数のマーカＭの少なくとも１つに基づいて、マーカＭに対する車両本体１０の姿勢を推定する演算回路である。すなわち、車両姿勢推定部５３は、マーカＭに対する車両本体１０の姿勢を推定することによって、車両本体１０の走行方向と車両本体１０からマーカＭが位置する方向とのなす角度を算出する。マーカ認識部５１で複数のマーカＭが認識されることにより、車両姿勢推定部５３は、それらのマーカＭの各々に基づいて、各マーカＭに対する車両本体１０の姿勢を推定する。また、車両姿勢推定部５３は、マーカ認識部５１による１つ以上のマーカＭの認識精度が所定未満であるとき、他の１つ以上のマーカＭに基づいて、車両本体１０の姿勢を推定する。すなわち、車両姿勢推定部５３は、マーカ認識部５１での認識精度が低いマーカＭについては、そのマーカＭに対する車両本体１０の姿勢を推定しない。

逸脱走行抑制部６０は、車両位置推定部５２により推定された車両本体１０の位置および車両姿勢推定部５３により推定された車両本体１０の姿勢に基づいて、車両本体１０が列をなすマーカＭを越えて走行することを抑制するための動作（以下「逸脱走行抑制動作」という）を行う制御回路および動作機構である。具体的には、逸脱走行抑制部６０は、報知動作を行うスピーカーおよび警告灯と、車両本体１０の走行の制御を行う走行制御回路とにより構成されている。逸脱走行抑制部６０は、スピーカーおよび警告灯から音および光を発することによって報知動作を行い、フォークリフト１が進入規制領域から遠ざかるようにフォークリフト１を操作することをオペレータに促す。また、逸脱走行抑制部６０は、操作装置３０に入力されたオペレータの指示を無効化するとともに車両本体１０の走行を停止させる制御を行い、フォークリフト１が進入規制領域に進入することを防止する。

次に、図３を参照して、フォークリフト１による転落防止処理の流れを説明する。なお、図３の一連の流れは、フォークリフト１の稼働中において、時間をあけずに繰り返されることが好ましい。

まず、路面Ｓに向けられたカメラ４０が、マーカＭを撮影して、そのマーカＭの画像を含む画像データを生成する（ステップＳ１）。次いで、マーカ認識部５１が、ステップＳ１で生成された画像データに基づき、１つ以上のマーカＭを認識する（ステップＳ２）。

ステップＳ２においては、マーカ認識部５１が、カメラ４０で取得した画像データに対して、２値化処理、エッジ検出（輪郭抽出）処理、多角形の近似処理、および、予め記憶しているマーカＭのデータとのマッチング処理等の画像処理を施すことで、画像データからマーカＭを認識する。このとき、カメラ４０で取得した画像データの一部と予め記憶しているマーカＭのデータとのマッチング処理において、マーカＭの認識精度を示す相関係数が算出され、相関係数が所定の閾値以上である場合に、画像データからマーカＭが認識される。

次いで、ステップＳ２で認識されたマーカＭに基づいて、車両位置推定部５２が車両本体１０の位置を推定するとともに、車両姿勢推定部５３が車両本体１０の姿勢を推定する（ステップＳ３）。ステップＳ２で複数のマーカＭが認識された場合には、各マーカＭに対する車両本体１０の位置および姿勢が推定される。

ステップＳ３においては、画像データに含まれる認識されたマーカＭの特徴点（例えばマーカＭの外形を形成している線分の端点である頂点）の座標に基づいて、カメラ４０を基準とするカメラ座標系とマーカＭを基準とするマーカ座標系との変換行列を算出することにより、マーカＭに対する車両本体１０の位置および姿勢が推定される。具体的には、カメラ座標系の座標（Ｘｃ，Ｙｃ，Ｚｃ）とマーカ座標系の座標（Ｘｍ，Ｙｍ，Ｚｍ）は、下記の数式（１）の関係を有しており、車両位置推定部５２は、数式（１）に含まれる並進ベクトルＴの成分（平行移動成分）を算出することで、カメラ４０に対するマーカＭの位置、すなわち、マーカＭに対する車両本体１０の位置を推定する。また、車両姿勢推定部５３は、数式（１）に含まれる３行３列の回転行列Ｒの成分（回転移動成分）を算出することで、カメラ４０に対するマーカＭの向き、すなわちマーカＭに対する車両本体１０の姿勢を推定する。また、車両姿勢推定部５３は、山登り法により回転行列Ｒを補正することで、車両本体１０の姿勢を精度良く推定し、車両位置推定部５２は、補正後の回転行列Ｒに基づいて並進ベクトルＴを補正することで、車両本体１０の位置を精度良く推定する。

次いで、ステップＳ３で推定された車両本体１０の位置に基づいて、逸脱走行抑制部６０を構成する制御回路が、フォークリフト１がマーカＭの近傍に位置するか否かを判断する（ステップＳ４）。すなわち、ステップＳ４においては、逸脱走行抑制部６０が、車両本体１０からマーカＭまでの距離が所定未満であるとき、フォークリフト１がマーカＭの近傍に位置すると判断し、車両本体１０からマーカＭまでの距離が所定以上であるとき、フォークリフト１がマーカＭの近傍に位置しないと判断する。ステップＳ２で複数のマーカＭが認識された場合には、車両本体１０から複数のマーカＭのいずれか１つまでの距離が所定未満であるとき、フォークリフト１がマーカＭの近傍に位置すると判断される。

フォークリフト１がマーカＭの近傍に位置しないとステップＳ４で判断された場合、逸脱走行抑制部６０が、フォークリフト１が進入規制領域に進入する可能性がないと判断し、逸脱走行抑制動作を行うことなく転落防止処理を終了する。

一方、フォークリフト１がマーカＭの近傍に位置するとステップＳ４で判断された場合、逸脱走行抑制部６０が、フォークリフト１が進入規制領域に進入する可能性があると判断し、音および光を発する報知動作を行う（ステップＳ５）。

さらに、ステップＳ３で推定された車両本体１０の姿勢に基づいて、逸脱走行抑制部６０を構成する制御回路が、フォークリフト１の走行方向がマーカＭに近づく方向であるか否かを判断する（ステップＳ６）。すなわち、ステップＳ６においては、逸脱走行抑制部６０が、車両本体１０の走行方向と車両本体１０からマーカＭが位置する方向とのなす角度が所定未満であるとき、フォークリフト１の走行方向がマーカＭに近づく方向であると判断し、車両本体１０の走行方向と車両本体１０からマーカＭが位置する方向とのなす角度が所定以上であるとき、フォークリフト１の走行方向がマーカＭに近づかない方向であると判断する。フォークリフト１の走行方向がマーカＭに近づく方向であるか否かの判断は、フォークリフト１が近傍に位置するとステップＳ４で判断されたマーカＭのみを対象とすることが好ましい。

フォークリフト１の走行方向がマーカＭに近づかない方向であるとステップＳ６で判断された場合、逸脱走行抑制部６０が、フォークリフト１が進入規制領域に進入する蓋然性が低いと判断し、車両本体１０の走行の制御を行うことなく転落防止処理を終了する。

一方、フォークリフト１の走行方向がマーカＭに近づく方向であるとステップＳ６で判断された場合、逸脱走行抑制部６０が、フォークリフト１が進入規制領域に進入する蓋然性が高いと判断し、車両本体１０の走行を停止させることによって走行の制御を行う（ステップＳ７）。

本実施形態によれば以下の効果が得られる。
（１）複数のマーカＭをプラットホームＰの縁部等の進入規制領域に沿って並べ、これらのマーカＭを進入規制領域の目印としてカメラ４０で撮影することによって、フォークリフト１が進入規制領域に進入することを抑制することが可能である。また、認識された複数のマーカＭの少なくとも１つに基づいて、マーカＭに対する車両本体１０の位置を推定するため、例えば、１つのマーカＭの認識精度が所定未満であっても、複数のマーカＭ、または、認識精度が高いと判断される他の１つ以上のマーカＭに基づいて、車両本体１０の位置を精確に推定することが可能である。したがって、進入規制領域の目印である一部のマーカＭに汚損が発生した場合でも、進入規制領域の目印である他のマーカＭを精確に認識することで、フォークリフト１が進入規制領域に進入しないようにすることが可能である。

（２）車両位置推定部５２は、マーカ認識部５１による１つ以上のマーカＭの認識精度が所定未満であるとき、他の１つ以上のマーカＭに基づいて、マーカＭに対する車両本体１０の位置を推定する。このため、認識精度が所定未満のマーカＭを除外して、車両本体１０の位置を精確に推定することができる。

（３）逸脱走行抑制部６０は、推定された車両本体１０の位置および姿勢の双方に基づいて逸脱走行抑制動作を行う。このため、フォークリフト１が進入規制領域に進入する蓋然性が高いか否かを適切に判断して、フォークリフト１が進入規制領域に進入することを抑制することが可能である。

（４）車両姿勢推定部５３は、マーカ認識部５１による１つ以上のマーカＭの認識精度が所定未満であるとき、他の１つ以上のマーカＭに基づいて、マーカＭに対する車両本体１０の姿勢を推定する。このため、認識精度が所定未満のマーカＭを除外して、車両本体１０の姿勢を精確に推定することができる。

（５）逸脱走行抑制部６０は、逸脱走行抑制動作として、音または光を発する報知動作を行うため、オペレータは、フォークリフト１が進入規制領域に進入する蓋然性が高いことを聴覚的または視覚的に知ることができる。

（６）逸脱走行抑制部６０は、逸脱走行抑制動作として、車両本体１０の走行の制御を行うため、オペレータによらず、フォークリフト１が進入規制領域に進入することを防止することができる。

本発明は、上記実施形態に限定されるものではなく、上記構成を適宜変更することもできる。例えば、以下のように変更して実施することもでき、以下の変更を組み合わせて実施することもできる。

・マーカＭは、路面Ｓに塗布されたインキにより構成してもよい。また、マーカＭの形状、寸法、および模様等を変更してもよい。また、マーカＭが２以上の列をなすように配置されていてもよい。

・カメラ４０の構成および配置を変更することもできる。例えば、カメラ４０が、カラーイメージセンサと魚眼レンズとにより構成されていてもよい。また、カメラ４０が、ヘッドガード１２に取り付けられていてもよい。

・マーカ認識部５１は、認識精度が所定未満のマーカに基づいて、車両本体１０の位置を推定してもよい。すなわち、例えば１つのマーカＭの認識精度が低い場合であっても、他の複数のマーカＭに基づいて、車両本体１０の位置を適切に推定することができる。

・車両姿勢推定部５３は、認識精度が所定未満のマーカに基づいて、車両本体１０の姿勢を推定してもよい。すなわち、例えば１つのマーカＭの認識精度が低い場合であっても、他の複数のマーカＭに基づいて、車両本体１０の姿勢を適切に推定することができる。

・逸脱走行抑制部６０は、車両本体１０の姿勢に基づかずに、逸脱走行抑制動作を行ってもよい。すなわち、逸脱走行抑制部６０は、車両本体１０の位置のみに基づいて、逸脱走行抑制動作を行ってもよく、車両本体１０からマーカＭまでの距離が所定未満であるとき、車両本体１０の姿勢に関わらず報知動作および走行の制御の双方の逸脱走行抑制動作を行ってもよい。

・逸脱走行抑制部６０は、走行の制御を行わなくてもよい。すなわち、逸脱走行抑制部６０は、逸脱走行抑制動作として、報知動作のみを行ってもよい。また、逸脱走行抑制部６０が行う報知動作として、音および光の一方のみを発してもよい。また、スピーカーおよび警告灯以外の他の手段により、報知動作が行われてもよい。

・逸脱走行抑制部６０は、報知動作を行わなくてもよい。すなわち、逸脱走行抑制部６０は、逸脱走行抑制動作として、車両本体１０の走行の制御のみを行ってもよい。また、逸脱走行抑制部６０が行う走行の制御として、走行の停止以外の制御が行われてもよい。すなわち、逸脱走行抑制部６０は、逸脱走行抑制動作として、車両本体１０の走行速度を制限する制御、または、車両本体１０をマーカＭから遠ざかる方向に走行させる制御を行ってもよい。

１フォークリフト
１０車両本体
４０カメラ
５１マーカ認識部
５２車両位置推定部
５３車両姿勢推定部
６０逸脱走行抑制部
Ｍマーカ（進入規制領域の目印）
Ｓ路面

Claims

路面上の進入規制領域と走行許容領域との境界において列をなして設けられ、それぞれが特徴点を有している複数のマーカと、
前記路面を走行する車両本体と、
列をなす複数の前記マーカを同時に撮影することで、画像データを生成するカメラと、
生成された前記画像データに基づいて、同時に撮影された複数の前記マーカを認識するマーカ認識部と、
認識された複数の前記マーカの少なくとも１つの前記特徴点に基づいて、複数の前記マーカの各々に対する前記車両本体の位置を推定する車両位置推定部と、
認識された複数の前記マーカの少なくとも１つの前記特徴点に基づいて、複数の前記マーカの各々に対する前記車両本体の姿勢を推定する車両姿勢推定部と、
推定された前記車両本体の位置および姿勢の双方に基づいて、前記車両本体が列をなす前記マーカを越えて走行することを抑制するための動作を行う逸脱走行抑制部と、を備え、
前記車両位置推定部は、複数の前記マーカの各々に対する前記車両本体の位置を推定することによって、前記車両本体から複数の前記マーカの各々までの距離を算出し、
前記車両姿勢推定部は、複数の前記マーカの各々に対する前記車両本体の姿勢を推定することによって、前記車両本体の走行方向と当該車両本体から複数の前記マーカの各々が位置する方向とのなす角度を算出し、
前記逸脱走行抑制部は、前記車両本体から複数の前記マーカのいずれか１つである特定マーカまでの距離が所定未満であるとき、かつ、前記車両本体の走行方向と当該車両本体から前記特定マーカが位置する方向とのなす角度が所定未満であるとき、前記走行許容領域を走行する前記車両本体が列をなす前記マーカを越えて走行することを抑制するための動作を行う
ことを特徴とするフォークリフト。
前記車両位置推定部は、前記マーカ認識部による１つ以上の前記マーカの認識精度が所定未満であるとき、他の１つ以上の前記マーカに基づいて、認識精度が所定以上である前記マーカの各々に対する前記車両本体の位置を推定する
ことを特徴とする請求項１に記載のフォークリフト。
前記車両姿勢推定部は、前記マーカ認識部による１つ以上の前記マーカの認識精度が所定未満であるとき、他の１つ以上の前記マーカに基づいて、認識精度が所定以上である前記マーカの各々に対する前記車両本体の姿勢を推定する
ことを特徴とする請求項１または２に記載のフォークリフト。
前記逸脱走行抑制部は、前記車両本体が列をなす前記マーカを越えて走行することを抑制するための動作として、音または光を発する報知動作を行う
ことを特徴とする請求項１〜３のいずれか一項に記載のフォークリフト。
前記逸脱走行抑制部は、前記車両本体が列をなす前記マーカを越えて走行することを抑制するための動作として、前記車両本体の走行の制御を行う
ことを特徴とする請求項１〜４のいずれか一項に記載のフォークリフト。