JP7215394B2 - 荷役車両の操作支援装置 - Google Patents

Description

本発明は、荷役車両の操作支援装置に関する。

荷役車両は、荷役装置に積載された荷の搬送を行う。モニタに表示された画像によって荷役車両の操作を支援する荷役車両の操作支援装置としては、例えば、特許文献１に記載されている。特許文献１に記載の荷役車両の操作支援装置は、カメラと、カメラにより撮像された撮像画像が表示されるモニタと、を備える。荷役車両の操作者は、モニタに表示された撮像画像を見ながら荷役車両を操作することができる。

特開２０１１－３７５３６号公報

荷役車両による荷置き作業を行う際には、荷役装置に積載された荷を荷置き位置に置く。この際、荷置き位置の周囲に物体が存在していると、荷役車両の操作者は荷と物体とのクリアランスをモニタで確認しながら、荷と物体とが接触しないように荷を荷置き位置に置く。荷役車両による荷取り作業を行う際には、荷取り位置に置かれた荷を荷役装置に積載した後に、荷役車両を荷取り位置から後退させる。この際、荷取り位置の周囲に物体が存在していると、荷役車両の操作者は荷と物体とのクリアランスをモニタで確認しながら、荷と物体とが接触しないように荷役車両を後退させる。このように、荷役車両を用いた荷置き作業及び荷取り作業では、荷役装置に積載された荷と、この荷に隣り合う隣接物体とのクリアランスを確認しながら操作者が操作を行う必要がある。しかしながら、モニタに表示される撮像画像は二次元の画像であり、荷と隣接物体とのクリアランスを把握しにくい場合がある。即ち、荷役車両の操作者は、荷と隣接物体とが接触するか否かを判別しにくい場合がある。

本発明の目的は、荷と隣接物体とが接触するか否かを荷役車両の操作者が判別しやすい荷役車両の操作支援装置を提供することにある。

上記課題を解決する荷役車両の操作支援装置は、荷役装置に積載された荷の搬送を行う荷役車両の操作支援装置であって、センサと、水平方向のうち前記荷役車両の車幅方向に延びる軸をＸ軸、水平方向のうち前記Ｘ軸に直交する軸をＹ軸、鉛直方向に延びる軸をＺ軸とする実空間上の座標系において、前記センサの検出結果から物体の一部を表す点の集合である点群を前記物体として抽出する物体抽出部と、前記実空間上の座標系において、前記荷役装置による荷役作業中に前記荷が占有する荷役空間を導出する荷役空間導出部と、前記物体抽出部により抽出された前記物体のうち前記荷役空間と前記Ｘ軸の延びる方向に隣り合う前記物体、及び前記物体抽出部により抽出された前記物体のうち前記荷役空間と前記Ｚ軸の延びる方向に隣り合う前記物体の少なくともいずれかを隣接物体とすると、前記隣接物体と前記荷役空間とのクリアランスの寸法を導出するクリアランス導出部と、前記荷役車両の操作者に対して、前記クリアランスの寸法に関する情報を通知する通知部と、を備える。

実空間上の座標系は、Ｘ軸、Ｙ軸及びＺ軸による３軸直交座標系なので、物体抽出部により実空間上の座標系において物体を抽出し、荷役空間導出部により実空間上の座標系において荷役空間を導出することで、荷役空間と物体との位置関係を導出することができる。クリアランス導出部は、荷役空間と、荷役空間に隣接する隣接物体とのクリアランスの寸法を導出する。荷役空間と隣接物体とのクリアランスは、荷と隣接物体とがＸ軸の延びる方向、あるいは、Ｚ軸の延びる方向に隣り合っている場合に荷と隣接物体との間に生じるクリアランスである。通知部は、導出部により導出されたクリアランスの寸法に関する情報を操作者に通知する。操作者は、クリアランスの寸法に関する情報から、荷と隣接物体とが接触するか否かを判別しやすい。

上記荷役車両の操作支援装置について、前記通知部は、前記荷役車両の操作者に視認可能な位置に配置されており、前記荷役車両に搭載されたカメラによって撮像されている撮像画像が表示されるモニタであり、前記撮像画像に前記クリアランスの寸法に関する情報を重畳して表示する表示部と、を備えていてもよい。

上記荷役車両の操作支援装置について、前記通知部は、前記クリアランスの寸法が予め定められた閾値未満か否かを前記操作者に対して通知するものでもよい。

本発明によれば、荷と隣接物体とが接触するか否かを荷役車両の操作者が判別しやすい。

遠隔操作システムの概略構成図。 フォークリフト、及び遠隔操作装置の概略構成図。 フォークリフトの平面図を模式的に示す図。 第１ステレオカメラの撮像範囲を模式的に示す図。 荷置き作業を行う際のラックと荷との関係を示す模式図。 遠隔操作システムで行われる処理を示すフローチャート。 荷役空間と隣接物体とのクリアランスを示す模式図。 モニタに表示されるクリアランスの寸法に関する情報を示す図。 クリアランスに応じたシンボルを示す図。

以下、荷役車両の操作支援装置の一実施形態について説明する。
図１に示すように、遠隔操作システム１０は、荷役車両としてのフォークリフト２０と、フォークリフト２０を遠隔操作するのに用いられる遠隔操作装置５０と、を備える。フォークリフト２０は荷の搬送等が行われる作業場に配置される。遠隔操作装置５０は操作室にいる操作者による操作によりフォークリフト２０を遠隔操作するための部材である。操作室は、作業場を直接視認できない場所、あるいは、作業場を直接視認しにくい場所である。なお、以下の説明において、前後左右とは、フォークリフト２０の前後左右である。フォークリフト２０の左右方向とは、フォークリフト２０の車幅方向である。

本実施形態のフォークリフト２０はリーチ式である。なお、フォークリフト２０としては、カウンタ式のものが用いられてもよい。フォークリフト２０は、車体２１と、車体２１に設けられた車輪２２と、車体２１の前方に向けて延びたリーチレグ２３と、車体２１の前方に設けられた荷役装置２４と、を備える。リーチレグ２３は、左右方向に離間して一対設けられている。荷役装置２４は、リーチレグ２３に対して起立したマスト２５と、マスト２５に取り付けられたバックレスト２６と、バックレスト２６に取り付けられたフォーク２７と、を備える。フォーク２７は、左右方向に離間して一対設けられている。フォーク２７は、荷が積載される部材である荷役具である。

図１及び図２に示すように、フォークリフト２０は、フォークリフト２０に走行動作を行わせる駆動機構２８と、フォークリフト２０に荷役動作を行わせる荷役機構２９と、メインコントローラ３１と、荷役操作部３２と、を備える。

駆動機構２８は、車輪２２を回転させる駆動源、及びフォークリフト２０の操舵を行う操舵機構などを含む。荷役機構２９は、マスト２５を動作させる油圧シリンダに作動油を供給する荷役ポンプ、荷役ポンプを駆動させる駆動源、作動油の流通を制御するバルブなどを含む。荷役機構２９は、マスト２５をリーチレグ２３に沿って前後方向に移動させるリーチ動作、マスト２５を傾動させるティルト動作、マスト２５を昇降させるリフト動作を荷役装置２４に行わせることができる。荷役動作は、リーチ動作、ティルト動作、リフト動作のいずれか１つを含む動作である。

メインコントローラ３１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ、及びこれらを接続するバスライン等を備える。メインコントローラ３１の行う処理は、ＲＯＭ等の実体的なメモリ装置に予め記憶されたプログラムをＣＰＵで実行することによるソフトウェア処理であってもよいし、専用の電子回路によるハードウェア処理であってもよい。メインコントローラ３１は、駆動機構２８及び荷役機構２９を制御することで、フォークリフト２０に走行動作及び荷役動作をさせる。

荷役操作部３２は、リーチ動作、ティルト動作、リフト動作に対応して個別に設けられており、荷役操作部３２に対応した荷役動作が行われる。荷役操作部３２は、フォークリフト２０の搭乗者によって操作される。図示は省略するが、フォークリフト２０は、荷役操作部３２の操作量を検出する操作量検出部を備え、操作量検出部の検出結果がメインコントローラ３１に出力される。また、図示は省略するが、フォークリフト２０は、搭乗者によって操作される走行操作部を備える。メインコントローラ３１は、荷役操作部３２及び走行操作部の操作に応じて駆動機構２８及び荷役機構２９の制御を行う。即ち、本実施形態のフォークリフト２０は、遠隔操作装置５０を用いた遠隔操作に加えて、フォークリフト２０の搭乗者による操作も可能なフォークリフトである。

フォークリフト２０は、カメラ４１と、画像処理部４２と、車両側無線機４３と、無線ユニット４４と、２つのステレオカメラ４５，４６と、を備える。カメラ４１としては、例えば、ＣＣＤイメージセンサや、ＣＭＯＳイメージセンサを用いたものが挙げられる。

カメラ４１は、フォーク２７に荷が積載されていない状態で、水平画角及び垂直画角により規定される撮像範囲にフォーク２７が含まれるように取り付けられている。詳細にいえば、フォーク２７に荷が積載されていない状態で、カメラ４１の撮像範囲には２つのフォーク２７の先端が含まれるようにカメラ４１は取り付けられている。カメラ４１は、フォーク２７とともに昇降する部材に取り付けられている。本実施形態では、カメラ４１は、バックレスト２６に取り付けられている。カメラ４１は、フォーク２７よりも鉛直方向上方に設けられている。カメラ４１は、フォークリフト２０の前方を向いており、かつ、鉛直方向下方に向けて傾斜するように配置されている。従って、カメラ４１は、鉛直方向上方からフォーク２７を鳥瞰するように配置されているといえる。

本実施形態において、２つのステレオカメラ４５，４６は同一構成である。ステレオカメラ４５，４６は、それぞれ、ＣＣＤイメージセンサや、ＣＭＯＳイメージセンサを用いたカメラを２つ備える。ステレオカメラ４５，４６はセンサとして機能している。ステレオカメラ４５，４６の備える２つのカメラは、互いの光軸が平行となるように配置されている。ステレオカメラ４５，４６の備える２つのカメラは、互いに離間しているため、２つのカメラによって撮像される画像では同一物体がずれて写ることになる。詳細にいえば、同一物体を撮像した場合、２つのカメラによって撮像される画像に写る物体には、２つのカメラ間の距離に応じた画素のずれが生じることになる。

ステレオカメラ４５，４６は、フォーク２７とともに昇降する部材に取り付けられている。本実施形態では、ステレオカメラ４５，４６は、バックレスト２６に取り付けられている。ステレオカメラ４５，４６は、フォーク２７よりも鉛直方向上方に設けられている。ステレオカメラ４５，４６は、フォークリフト２０の前方を向いており、かつ、鉛直方向下方に向けて傾斜するように配置されている。

図３に示すように、２つのステレオカメラ４５，４６は、互いに左右方向に離間して配置されている。本実施形態では、バックレスト２６の左右両端に分かれて２つのステレオカメラ４５，４６は配置されている。２つのステレオカメラ４５，４６のうち一方を第１ステレオカメラ４５、他方を第２ステレオカメラ４６とする。第１ステレオカメラ４５は、バックレスト２６の左端に配置されている。第２ステレオカメラ４６は、バックレスト２６の右端に配置されている。

図４に示すように、ステレオカメラ４５，４６は、フォーク２７に積載された荷７０の側部及び荷７０の上面が、水平画角及び垂直画角により規定される撮像範囲に含まれるように取り付けられている。荷７０とは、フォーク２７に積載される物である。本実施形態では、一例として搬送物７１を積載したパレット７２が荷７０としてフォーク２７に積載される場合について説明するが、パレット７２のみがフォーク２７に積載されていればパレット７２が荷７０である。

図４には、第１ステレオカメラ４５の撮像範囲を模式的に示している。図４から把握できるように、フォーク２７に荷７０が積載された状態で、第１ステレオカメラ４５の撮像範囲には、パレット７２の左端Ｌ１、パレット７２の上面Ｔ１、搬送物７１の左端Ｌ２及び搬送物７１の上面Ｔ２が含まれている。図示は省略するが、フォーク２７に荷７０が積載された状態で、第２ステレオカメラ４６の撮像範囲には、パレット７２の右端Ｒ１、パレット７２の上面Ｔ１、搬送物７１の右端Ｒ２及び搬送物７１の上面Ｔ２が含まれている。

画像処理部４２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ、及びこれらを接続するバスライン等を備える。画像処理部４２の行う処理は、ＲＯＭ等の実体的なメモリ装置に予め記憶されたプログラムをＣＰＵで実行することによるソフトウェア処理であってもよいし、専用の電子回路によるハードウェア処理であってもよい。画像処理部４２は、カメラ４１から所定の間隔で画像データを取得する。画像データは、例えば、ＲＧＢ形式のデータである。画像処理部４２は、カメラ４１から取得した画像データに対して画像処理を行う。画像処理部４２は、各ステレオカメラ４５，４６から所定の間隔で画像データを取得する。画像データは、例えば、ＲＧＢ形式のデータである。画像処理部４２は、各ステレオカメラ４５，４６から取得した画像データに対して画像処理を行う。画像処理部４２とメインコントローラ３１とは、ＣＡＮ：Controller Area NetworkやＬＩＮ：Local Interconnect Networkなどのプロトコルで互いに通信を行うことが可能である。

車両側無線機４３は、遠隔操作装置５０にカメラ４１から取得した画像データを送信するための通信インターフェースである。車両側無線機４３は、画像処理部４２から出力された画像データを変調して無線信号を生成する。車両側無線機４３は、無線信号を送信する。

無線ユニット４４は、遠隔操作装置５０と相互に通信を行うための通信インターフェースである。無線ユニット４４は、メインコントローラ３１や画像処理部４２から出力されたデータを変調して無線信号を生成する変調部と、遠隔操作装置５０から受信した無線信号を復調して、復調されたデータをメインコントローラ３１に出力する復調部と、を含む。無線ユニット４４は、フォークリフト２０の周辺の情報や、フォークリフト２０の情報を遠隔操作装置５０に送信する。フォークリフト２０の周辺の情報としては、例えば、荷７０に関する情報が挙げられる。フォークリフト２０の情報としては、例えば、フォークリフト２０の操舵角やフォークリフト２０の速度が挙げられる。

次に、遠隔操作装置５０について説明する。
図２に示すように、遠隔操作装置５０は、フォークリフト２０を操作するための操作部５１と、操作コントローラ５２と、第１無線機５３と、第２無線機５４と、表示コントローラ５５と、モニタ５６と、を備える。操作部５１、操作コントローラ５２、表示コントローラ５５、及びモニタ５６は、操作室に設けられている。第１無線機５３及び第２無線機５４は、作業場に設けられている。

操作部５１は、操作室にいる操作者によって操作される。操作部５１は、例えば、傾倒可能なレバー式の操作部である。操作部５１は、遠隔操作装置５０によりフォークリフト２０を操作する際に用いられる。操作部５１には、フォークリフト２０を走行動作させる際に操作される走行操作部と、フォークリフト２０を荷役動作させる際に操作される荷役操作部と、が含まれる。操作部５１の操作量は、図示しない操作量検出部により検出され、操作コントローラ５２に出力される。

操作コントローラ５２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ、及びこれらを接続するバスライン等を備える。操作コントローラ５２の行う処理は、ＲＯＭ等の実体的なメモリ装置に予め記憶されたプログラムをＣＰＵで実行することによるソフトウェア処理であってもよいし、専用の電子回路によるハードウェア処理であってもよい。操作コントローラ５２は、操作部５１の操作量に応じて指令を生成する。

第１無線機５３は、無線ユニット４４と相互の通信を行うための通信インターフェースである。第１無線機５３は、操作コントローラ５２から出力されたデータを変調して無線信号を生成する変調部と、無線ユニット４４から受信した無線信号を復調して、復調されたデータを操作コントローラ５２に出力する復調部と、を含む。

操作コントローラ５２は、操作部５１の操作量に応じた指令を含むデータを第１無線機５３に出力することで、第１無線機５３及び無線ユニット４４を介してメインコントローラ３１に指令を与えることができる。メインコントローラ３１は、操作コントローラ５２からの指令を受信すると、指令に従って駆動機構２８及び荷役機構２９を制御する。これにより、操作室にいる操作者は、フォークリフト２０を遠隔操作することが可能である。また、操作コントローラ５２は、第１無線機５３を介してフォークリフト２０の周辺の情報やフォークリフト２０の情報を認識可能である。本実施形態では、フォークリフト２０は、操作室にいる操作者に操作される。操作室にいる操作者が、荷役車両の操作者となる。

第２無線機５４は、車両側無線機４３からの画像データを受信するための通信インターフェースである。第２無線機５４は、車両側無線機４３から受信した無線信号を復調し、復調された画像データを表示コントローラ５５に出力する。

表示コントローラ５５は、ＣＰＵやＧＰＵ等のプロセッサ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ、及びこれらを接続するバスライン等を備える。表示コントローラ５５の行う処理は、ＲＯＭ等の実体的なメモリ装置に予め記憶されたプログラムをＣＰＵで実行することによるソフトウェア処理であってもよいし、専用の電子回路によるハードウェア処理であってもよい。表示コントローラ５５は、第２無線機５４から取得した画像データをモニタ５６に出力する。また、表示コントローラ５５は、フォークリフト２０の運転に必要となる情報を表示するためのデータをモニタ５６に出力することも可能である。表示コントローラ５５と操作コントローラ５２とは、互いの情報を取得可能に構成されている。

モニタ５６は、表示コントローラ５５から出力された画像データを撮像画像として表示するディスプレイである。モニタ５６は、操作室にいる操作者が視認可能な位置に配置されている。モニタ５６は、表示コントローラ５５から出力された画像データを撮像画像として表示することで、操作者にカメラ４１に撮像されている撮像画像を視認させることができる。また、モニタ５６には、フォークリフト２０の操作を支援するための表示も行われる。操作室にいる操作者は、モニタ５６を見ながらフォークリフト２０を操作することが可能である。

次に、モニタ５６への表示を行うために遠隔操作システム１０で行われる処理について説明する。以下の説明において、フォークリフト２０によって荷置き作業を行う場合を例に挙げて説明する。荷置き作業とは、荷役装置２４に積載された荷７０を荷置き位置に置く作業である。荷置き作業では、荷役装置２４に積載された荷７０を荷置き位置の鉛直方向上方に位置させた後に、フォーク２７を下降させる。荷７０が荷置き位置に置かれた後には、フォークリフト２０を後退させることで、フォーク２７を荷７０から離間させる。

図５に示すように、一例として、ラック８０に荷７０を置く場合について説明する。ラック８０は、柱８１に棚板８２を支持させたものである。操作者は、フォークリフト２０を操作することで、フォーク２７に積載された荷７０を棚板８２に移載する。本実施形態の荷７０は、パレット７２に搬送物７１を積載したものである。棚板８２には、荷役装置２４に積載された荷７０とは異なる荷７３が既に置かれている。操作者は、棚板８２のうち既に置かれた荷７３と、柱８１との間に荷役装置２４に積載された荷７０を移載する。棚板８２のうち既に置かれた荷７３と、柱８１との間の位置Ｐ１が荷置き位置となる。

図６に示すように、ステップＳ１において、画像処理部４２は、ステレオカメラ４５，４６から画像データを取得する。画像処理部４２は、ステレオカメラ４５，４６毎に個別に画像データを取得する。

次に、ステップＳ２において、画像処理部４２は、ステレオ処理を行うことで、視差画像を取得する。視差画像は、画素に対して視差［ｐｘ］を対応付けたものである。視差画像とは、必ずしも表示を要するものではなく、視差画像における各画素に視差が対応付けられたデータのことを示す。視差は、ステレオカメラ４５，４６の備える２つのカメラによって撮像された画像データを比較し、各画像データに写る同一特徴点について画像データ間の画素数の差を導出することで得られる。なお、特徴点とは、物体のエッジなど、境目として認識可能な部分である。特徴点は、輝度情報などから検出することができる。画像処理部４２は、ステレオカメラ４５，４６毎に個別にステレオ処理を行い、ステレオカメラ４５，４６毎に視差画像を取得する。

次に、ステップＳ３において、画像処理部４２は、実空間上の座標系における特徴点の座標を導出する。実空間上の座標系は、フォークリフト２０が水平面に位置している状態で水平方向のうちフォークリフト２０の車幅方向に延びる軸をＸ軸、水平方向のうちＸ軸に直交する軸をＹ軸、鉛直方向に延びる軸をＺ軸とする座標系である。特徴点の座標の導出は、ステレオカメラ４５，４６の基線長、ステレオカメラ４５，４６の焦点距離、及びステップＳ２で得られた視差画像からカメラ座標系における特徴点の座標を導出した後に、当該座標を実空間上の座標系における座標に変換することで行われる。画像処理部４２は、ステップＳ２で取得した視差画像毎に個別に特徴点の座標を導出する。本実施形態では、図７に示すように、ラック８０のエッジや、ラック８０に置かれた荷７３のエッジが特徴点Ｐとして抽出できる。なお、本実施形態では、第１ステレオカメラ４５と、第２ステレオカメラ４６とで座標軸の向きは同一となっているが、原点は一致させていない。従って、画像処理部４２は、第１ステレオカメラ４５と第２ステレオカメラ４６で、個別の座標系で特徴点の座標を導出するといえる。なお、以下の説明において、座標とは、実空間上の座標系における座標を示す。また、実空間上の座標系における座標軸であるＸ軸の延びる方向をＸ軸方向、Ｙ軸の延びる方向をＹ軸方向、Ｚ軸の延びる方向をＺ軸方向として説明を行う。

図６に示すように、ステップＳ４において、画像処理部４２は、特徴点をクラスタ化することで物体の抽出を行う。画像処理部４２は、物体の一部を表す点である特徴点のうち同一物体を表していると想定される特徴点の集合を１つの点群とし、当該点群を物体として抽出する。画像処理部４２は、ステップＳ３で導出された特徴点の座標から、所定範囲内に位置する特徴点を１つの点群とみなすクラスタ化を行う。画像処理部４２は、クラスタ化された点群を１つの物体とみなす。なお、ステップＳ４で行われる特徴点のクラスタ化は種々の手法で行うことができる。画像処理部４２は、各ステレオカメラ４５，４６で得られた特徴点毎に個別に物体の抽出を行う。ステップＳ４の処理を行うことで、画像処理部４２は、物体抽出部として機能している。

次に、ステップＳ５において、画像処理部４２は、実空間上の座標系における荷７０の位置を導出する。荷７０の位置とは、実空間上の座標系における荷７０の座標である。画像処理部４２は、ステップＳ４で抽出された物体のうち荷７０に該当する物体を特定する。ステレオカメラ４５，４６とフォーク２７との位置は一定であるため、画像処理部４２は実空間上の座標系での物体の座標からいずれの物体が荷７０に該当するかを判定することができる。詳細にいえば、フォーク２７に荷７０が積載されている場合に荷７０の特徴点が取り得る座標を予め把握可能であるため、この座標に一致する特徴点を含む点群を荷７０と判定することができる。画像処理部４２は、荷７０に該当する物体を特定することで、特徴点の座標から荷７０の位置を導出することができる。

荷７０の位置は、荷７０に該当すると判定された物体の座標から導出することができる。本実施形態では、荷７０の位置として、荷７０の下面、荷７０の上面、荷７０の左端、及び荷７０の右端の位置を導出する。荷７０の下面とは、パレット７２の下面である。荷７０の上面とは荷７０で最も鉛直方向上方に位置する面であり、パレット７２に搬送物７１が積載されていなければパレット７２の上面Ｔ１であり、パレット７２に搬送物７１が積載されていれば搬送物７１の上面Ｔ２である。荷７０の左端とは荷７０で最も左方に位置する部位であり、パレット７２に搬送物７１が積載されていない場合やパレット７２に積載された搬送物７１がパレット７２の左端よりも左方に突出していなければパレット７２の左端Ｌ１である。一方で、パレット７２に積載された搬送物７１の一部がパレット７２の左端Ｌ１よりも左方に突出していれば搬送物７１の左端Ｌ２が荷７０の左端である。荷７０の右端とは荷７０で最も右方に位置する部位であり、パレット７２に搬送物７１が積載されていない場合やパレット７２に積載された搬送物７１がパレット７２の右端Ｒ１よりも右方に突出していなければパレット７２の右端Ｒ１である。一方で、パレット７２に積載された搬送物７１の一部がパレット７２の右端Ｒ１よりも右方に突出していれば搬送物７１の右端Ｒ２が荷７０の右端である。

ステレオカメラ４５，４６は、パレット７２の上面Ｔ１が撮像範囲に含まれるように配置されている。このため、画像処理部４２は、各ステレオカメラ４５，４６の画像データから得られた視差画像によってパレット７２の上面Ｔ１の座標を導出できる。パレット７２の寸法は規格で定まっており、既知の値である。従って、画像処理部４２は、パレット７２の上面Ｔ１の座標からパレット７２の下面の座標を導出することができる。詳細にいえば、パレット７２の上面Ｔ１の座標のうちＺ座標を、パレット７２の厚み分だけ鉛直方向下方にずらすことで、実空間上の座標系におけるパレット７２の下面の座標を導出することができる。なお、パレット７２の厚みとは、パレット７２の下面とパレット７２の上面とのＺ座標の差である。

ステレオカメラ４５，４６は、荷７０の上面が撮像範囲に含まれるように配置されている。このため、画像処理部４２は、各ステレオカメラ４５，４６の画像データから得られた視差画像によって荷７０の上面の座標を導出できる。

第１ステレオカメラ４５は、撮像範囲に荷７０の左端が含まれるように配置されている。このため、画像処理部４２は、第１ステレオカメラ４５の画像データから得られた視差画像によって荷７０の左端の座標を導出できる。

第２ステレオカメラ４６は、撮像範囲に荷７０の右端が含まれるように配置されている。このため、画像処理部４２は、第２ステレオカメラ４６の画像データから得られた視差画像によって荷７０の右端の座標を導出できる。

画像処理部４２は、第１ステレオカメラ４５の画像データから得られた視差画像から荷７０の座標を導出することで、荷７０の上面、荷７０の下面、及び荷７０の左端の座標を導出可能である。また、画像処理部４２は、パレット７２の右端Ｒ１等、荷７０の右端が画像に写っていれば、荷７０の右端の座標を導出することもできる。パレット７２の寸法は規格で定まっているため、荷７０の右端の座標は、荷７０の左端の座標から導出することも可能である。なお、第１ステレオカメラ４５は、荷７０の左側を撮像するために設けられたものであり、荷７０の右端の座標は導出できなくてもよい。

画像処理部４２は、第２ステレオカメラ４６の画像データから得られた視差画像から荷７０の座標を導出することで、荷７０の上面、荷７０の下面、及び荷７０の右端の座標を導出可能である。また、画像処理部４２は、パレット７２の左端Ｌ１等、荷７０の左端が画像に写っていれば、荷７０の左端の座標を導出することもできる。パレット７２の寸法は規格で定まっているため、荷７０の左端の座標は、荷７０の右端の座標から導出することも可能である。なお、第２ステレオカメラ４６は、荷７０の右側を撮像するために設けられたものであり、荷７０の左端の座標は導出できなくてもよい。

画像処理部４２は、第１ステレオカメラ４５の画像データから、第１ステレオカメラ４５に写る範囲での荷７０の座標を導出するといえる。画像処理部４２は、第２ステレオカメラ４６の画像データから、第２ステレオカメラ４６に写る範囲での荷７０の座標を導出するといえる。

図５及び図６に示すように、ステップＳ６において、画像処理部４２は、実空間上の座標系における荷役空間９１の位置を導出する。荷役空間９１とは、荷役装置２４による荷役作業中に荷７０が占有する空間である。荷役作業には、荷置き作業及び荷取り作業が含まれる。荷置き作業を行う際の荷役空間９１は、フォークリフト２０が荷置き位置から離間した位置から荷置き位置に近づき、荷置き位置に荷７０を置くまでに荷７０が占有すると想定される空間である。荷置き作業を行う際の荷役空間９１は、荷役装置２４に積載された荷７０によって占有される占有空間９２と、占有空間９２をＹ軸方向に延長した延長空間９３と、を含む。占有空間９２とは、荷７０を構成する特徴点によって囲まれる空間であってもよいし、図５に示すように、パレット７２の下面から、パレット７２の下面を荷７０の上面まで延長した空間であってもよい。荷役空間９１の位置とは、荷役空間９１を囲む外縁の座標であり、荷役空間９１を囲む外縁の座標は荷役空間９１の大きさを表しているともいえる。画像処理部４２は、占有空間９２のＹ座標を変更することで、実空間上の座標系における延長空間９３を導出することができる。詳細にいえば、画像処理部４２は、荷７０によって占有される占有空間９２をＹ軸方向のうちフォークリフト２０の前方に向けて延長することで延長空間９３を導出することができる。荷役空間９１とは、ステップＳ１でステレオカメラ４５，４６から画像データを取得した時点での荷役装置２４の状態でフォークリフト２０を前進させた場合に、荷役装置２４に積載された荷７０が通過する空間ともいえる。なお、荷役装置２４の状態とは、フォーク２７の高さ、及び荷役装置２４の向きである。画像処理部４２は、第１ステレオカメラ４５の画像データから得られた荷７０の座標から荷役空間９１を導出する。画像処理部４２は、第２ステレオカメラ４６の画像データから得られた荷７０の座標から荷役空間９１を導出する。画像処理部４２は、第１ステレオカメラ４５を基準とした座標系と、第２ステレオカメラ４６を基準とした座標系とで個別に荷役空間９１を導出するといえる。ステップＳ６の処理を行うことで、画像処理部４２は、荷役空間導出部として機能している。

次に、ステップＳ７において、画像処理部４２は、荷置き位置に位置する荷役空間９１と、当該荷役空間９１に隣り合う隣接物体とのクリアランスの寸法を導出する。荷置き位置に荷７０を置く際には、ラック８０の正面にフォークリフト２０を位置させた後に、フォークリフト２０を前進させて荷置き位置にフォークリフト２０を近づけていく。即ち、荷置き位置に荷７０を移載する際には、延長空間９３が荷置き位置に位置する。前述したように、荷役空間９１とは、ステップＳ１でステレオカメラ４５，４６から画像データを取得した時点での荷役装置２４の状態でフォークリフト２０を前進させた場合に、荷役装置２４に積載された荷７０が通過する位置である。従って、隣接物体と荷役空間９１とのクリアランスとは、フォークリフト２０を前進させて、荷７０が荷置き位置の鉛直方向上方に位置した場合に、荷７０と隣接物体との間に生じるクリアランスといえる。

本実施形態において、画像処理部４２は、荷役空間９１の上下左右に存在するクリアランスの寸法を導出する。図５に示す例では、荷役空間９１の左方には荷７３、荷役空間９１の右方には柱８１、荷役空間９１の上下両側には棚板８２が存在する。従って、荷７３、柱８１及び棚板８２は荷役空間９１に隣接する隣接物体となる。荷７０、柱８１及び棚板８２は、ステップＳ４で行われたクラスタ化によって物体として抽出されている。画像処理部４２は、荷役空間９１の座標と、ステップＳ４で抽出された物体の座標から隣接物体を抽出可能である。ステップＳ４で抽出された物体のうち荷役空間９１よりも鉛直方向上方に位置しており、かつ、Ｚ座標が最も荷役空間９１に近い物体は荷役空間９１の鉛直方向上方に位置する隣接物体といえる。この隣接物体は、荷役空間９１の鉛直方向上方に位置する棚板８２である。ステップＳ４で抽出された物体のうち荷役空間９１よりも鉛直方向下方に位置しており、かつ、Ｚ座標が最も荷役空間９１に近い物体は荷役空間９１の鉛直方向上方に位置する隣接物体といえる。この隣接物体は、荷役空間９１の鉛直方向下方に位置する棚板８２である。ステップＳ４で抽出された物体のうち荷役空間９１よりも左方に位置しており、かつ、Ｘ座標が最も荷役空間９１に近い物体は荷役空間９１の左方に位置する隣接物体といえる。この隣接物体は、棚板８２に置かれた荷７３である。ステップＳ４で抽出された物体のうち荷役空間９１よりも右方に位置しており、かつ、Ｘ座標が最も荷役空間９１に近い物体は荷役空間９１の右方に位置する隣接物体といえる。この隣接物体は、柱８１である。

図７に示すように、画像処理部４２は、荷役空間９１と、各隣接物体との間のクリアランスＣ１，Ｃ２，Ｃ３，Ｃ４の寸法ｄ１，ｄ２，ｄ３，ｄ４を導出する。なお、図７では、荷役空間９１の上方に存在する隣接物体を省略している。画像処理部４２は、荷役空間９１の上下左右のそれぞれに存在するクリアランスＣ１～Ｃ４の寸法ｄ１～ｄ４を導出する。クリアランスＣ１～Ｃ４の寸法ｄ１～ｄ４は、荷役空間９１の座標と、各隣接物体の座標から導出することができる。画像処理部４２は、荷役空間９１のＺ座標と、荷役空間９１の鉛直方向上方に位置する隣接物体のＺ座標との差から、荷役空間９１の上方に存在するクリアランスＣ１の寸法ｄ１を導出できる。画像処理部４２は、荷役空間９１のＺ座標と、荷役空間９１の鉛直方向下方に位置する隣接物体のＺ座標との差から、荷役空間９１の下方に存在するクリアランスＣ２の寸法ｄ２を導出できる。画像処理部４２は、荷役空間９１のＸ座標と、荷役空間９１の左方に位置する隣接物体のＸ座標との差から、荷役空間９１の左方に存在するクリアランスＣ３の寸法ｄ３を導出できる。画像処理部４２は、荷役空間９１のＸ座標と、荷役空間９１の右方に位置する隣接物体のＸ座標との差から、荷役空間９１の右方に存在するクリアランスＣ４の寸法ｄ４を導出できる。画像処理部４２は、第１ステレオカメラ４５を基準とした座標系と、第２ステレオカメラ４６を基準とした座標系とで個別に荷役空間９１と隣接物体とのクリアランスＣ１～Ｃ４の寸法ｄ１～ｄ４を導出する。この際、第１ステレオカメラ４５を基準とした座標系では、荷役空間９１の右方に存在するクリアランスＣ４の寸法ｄ４を導出できなくてもよい。第２ステレオカメラ４６を基準とした座標系では、荷役空間９１の左方に存在するクリアランスＣ３の寸法ｄ３を導出できなくてもよい。即ち、２つのステレオカメラ４５，４６は、互いの死角になり得る部分を補完できるように配置されることで、２つのステレオカメラ４５，４６によって荷役空間９１の上下左右のクリアランスＣ１～Ｃ４を導出可能にされている。ステップＳ７の処理を行うことで、画像処理部４２は、クリアランス導出部として機能している。

図６に示すように、ステップＳ８において、画像処理部４２は、荷７０と隣接物体とが接触するか否かを判定する接触判定を行う。接触判定は、ステップＳ７で導出されたクリアランスＣ１～Ｃ４の寸法ｄ１～ｄ４から行われる。画像処理部４２は、荷７０と隣接物体とのクリアランスＣ１～Ｃ４の寸法ｄ１～ｄ４が閾値未満の場合には、荷７０と隣接物体とが接触すると判定する。なお、画像処理部４２は、荷７０と隣接物体との間にクリアランスＣ１～Ｃ４が存在しない場合であっても、クリアランスＣ１～Ｃ４が閾値未満と判定を行う。閾値としては、例えば、計測誤差やフォークリフト２０の進行方向が路面の起伏等により僅かにずれたことによるずれ量や、マージンを考慮して設定される。画像処理部４２は、荷役空間９１の上下のクリアランスＣ１，Ｃ２であれば、Ｚ軸方向に対する寸法ｄ１，ｄ２が閾値未満か否かを判定し、クリアランスＣ１，Ｃ２のＺ軸方向の寸法ｄ１，ｄ２が閾値未満であれば荷７０と隣接物体とが接触すると判定する。一方で、画像処理部４２は、クリアランスＣ１，Ｃ２のＺ軸方向の寸法ｄ１，ｄ２が閾値以上であれば荷７０と隣接物体とが接触しないと判定する。画像処理部４２は、荷役空間９１の左右のクリアランスＣ３，Ｃ４であれば、クリアランスＣ３，Ｃ４のＸ軸方向の寸法ｄ３，ｄ４が閾値未満か否かを判定し、クリアランスＣ３，Ｃ４のＸ軸方向の寸法ｄ３，ｄ４が閾値未満であれば荷７０と隣接物体とが接触すると判定する。一方で、画像処理部４２は、クリアランスＣ３，Ｃ４のＸ軸方向の寸法ｄ３，ｄ４が閾値以上であれば荷７０と隣接物体とが接触しないと判定する。画像処理部４２は、第１ステレオカメラ４５を基準とした座標系と、第２ステレオカメラ４６を基準とした座標系とで個別に接触判定を行う。

次に、ステップＳ９において、画像処理部４２は、ステップＳ８で行われた接触判定の判定結果を含むデータを無線ユニット４４から無線送信する。接触判定の判定結果とは、荷７０の上下左右のうち隣接物体と接触するおそれのある部位を表示コントローラ５５に認識させるための情報である。本実施形態では、画像処理部４２は、第１ステレオカメラ４５を基準とした座標系と、第２ステレオカメラ４６を基準とした座標系とで個別に接触判定を行っている。このため、一方の座標系では荷７０と隣接物体とが接触すると判定された場合であっても、他方の座標系では荷７０と隣接物体とが接触しないと判定されるおそれがある。例えば、第１ステレオカメラ４５を基準とした座標系では荷役空間９１の上方に存在するクリアランスＣ１の寸法ｄ１が閾値未満となり、第２ステレオカメラ４６を基準とした座標系では荷役空間９１の上方に存在するクリアランスＣ１の寸法ｄ１が閾値以上となるおそれがある。このように、両座標系で、別の判定結果が得られた場合、画像処理部４２は、荷７０と隣接物体とが接触すると判定した判定結果を採用するようにしてもよい。

次に、ステップＳ１０において、表示コントローラ５５は、接触判定の判定結果に応じてモニタ５６への表示を行う。なお、表示コントローラ５５は、接触判定の判定結果を操作コントローラ５２から取得してもよいし、第１無線機５３から取得してもよい。

図８に示すように、表示コントローラ５５は、荷７０を模したシンボルＳＹを撮像画像Ｉに重畳してモニタ５６に表示している。このシンボルＳＹは、モニタ５６に常に表示されていてもよいし、荷役装置２４が荷置き作業を行うときにのみ表示されてもよい。荷役装置２４が荷置き作業を行うときにのみシンボルＳＹを表示する場合、表示コントローラ５５は、例えば、荷置き位置を検出した場合にシンボルＳＹの表示を行う。荷置き位置の検出は、荷置き位置に設けられたマーカーや荷置き位置の形状を画像認識で抽出することで行われる。画像認識としては、例えば、画像処理部４２のＲＯＭ等に予め記憶されたテンプレート画像と画像データとの比較を行い、テンプレート画像に一致する度合いが高い領域を探索するパターンマッチングが用いられる。

表示コントローラ５５は、荷役空間９１と隣接物体との間のクリアランスＣ１～Ｃ４に応じて撮像画像Ｉに重畳して表示するシンボルを異ならせる。クリアランスＣ１～Ｃ４の寸法ｄ１～ｄ４の全てが閾値以上であれば、図８に示すように荷７０を模したシンボルＳＹがモニタ５６に表示される。

図９に示すように、荷役空間９１と、荷役空間９１の右側に位置する隣接物体とのクリアランスＣ４の寸法ｄ４が閾値未満であれば、表示コントローラ５５は、荷７０を模したシンボルＳＹの右側に警告表示Ａが表示されたシンボルＳＹ１をモニタ５６に表示する。図９に示す例では、シンボルＳＹの右側に円形の警告表示Ａを表示することで、荷７０の右側が隣接物体に接触する可能性があることを操作者に警告している。図９では、一例として円形の警告表示Ａを表示しているが、円形以外の形状による警告表示Ａや、シンボルＳＹの右側のみ色彩を変更する警告表示等、シンボルＳＹの右側を強調することができる表示であればどのような表示を警告表示としてもよい。

荷役空間９１と、荷役空間９１の左側に位置する隣接物体とのクリアランスＣ３の寸法ｄ３が閾値未満であれば、表示コントローラ５５は、荷７０を模したシンボルＳＹの左側に警告表示Ａが表示されたシンボルＳＹ２をモニタ５６に表示する。

荷役空間９１と、荷役空間９１の上側に位置する隣接物体とのクリアランスＣ１の寸法ｄ１が閾値未満であれば、表示コントローラ５５は、荷７０を模したシンボルＳＹの上側に警告表示Ａが表示されたシンボルＳＹ３をモニタ５６に表示する。

荷役空間９１と、荷役空間９１の下側に位置する隣接物体とのクリアランスＣ２の寸法ｄ２が閾値未満であれば、表示コントローラ５５は、荷７０を模したシンボルＳＹの下側に警告表示Ａが表示されたシンボルＳＹ４をモニタ５６に表示する。

荷役空間９１と、荷役空間９１の左右両側に位置する隣接物体とのクリアランスＣ３，Ｃ４の寸法ｄ３，ｄ４それぞれが閾値未満の場合にはシンボルＳＹの左右両側に警告表示Ａをすればよい。このように、複数の隣接物体とのクリアランスが閾値未満の場合には、方向に対応して複数の警告表示Ａを行えばよい。

なお、シンボルＳＹ，ＳＹ１～ＳＹ４の重畳表示は、表示コントローラ５５がシンボルＳＹ，ＳＹ１～ＳＹ４を示すＯＳＤ：On Screen Displayデータを生成し、このＯＳＤデータを画像データに合成することで行われる。本実施形態において、クリアランスＣ１～Ｃ４の寸法ｄ１～ｄ４が閾値未満か否かを示すシンボルＳＹ，ＳＹ１～ＳＹ４が、クリアランスＣ１～Ｃ４の寸法に関する情報となる。撮像画像ＩにシンボルＳＹ，ＳＹ１～ＳＹ４を重畳して表示する表示コントローラ５５は、表示部として機能している。

モニタ５６に撮像画像ＩとシンボルＳＹ，ＳＹ１～ＳＹ４を表示することで、操作者はモニタ５６の撮像画像Ｉを見ながらフォークリフト２０を操作することができる。また、撮像画像Ｉのみでは荷７０と隣接物体とのクリアランスＣ１～Ｃ４を把握しにくい場合、操作者はシンボルＳＹ，ＳＹ１～ＳＹ４を見ながらフォークリフト２０を操作することで、荷７０と隣接物体との接触を抑制しながら荷役作業を行うことができる。モニタ５６に表示されたシンボルＳＹ，ＳＹ１～ＳＹ４によって、操作者にはクリアランスＣ１～Ｃ４の寸法ｄ１～ｄ４に関する情報が通知される。従って、モニタ５６が通知部として機能している。

図２に示すように、遠隔操作システム１０に用いられる荷役車両の操作支援装置６０は、クリアランスＣ１～Ｃ４の寸法ｄ１～ｄ４に関する情報を操作者に通知する部材であるカメラ４１、画像処理部４２、車両側無線機４３、ステレオカメラ４５，４６、第２無線機５４、表示コントローラ５５、及びモニタ５６を備えているといえる。

本実施形態の作用について説明する。
ステレオカメラ４５，４６は、２つのカメラによって撮像された画像データの差から、画像処理部４２に実空間上の座標系における特徴点の座標を導出させることができる。即ち、ステレオカメラ４５，４６は、画像処理部４２に３次元計測を行わせることができる。画像処理部４２は、特徴点を座標によってクラスタ化して点群とすることで、実空間上の座標系において物体を抽出することができる。また、ステレオカメラ４５，４６の撮像範囲に荷７０が含まれるようにステレオカメラ４５，４６を配置することで、画像処理部４２は、実空間上の座標系において荷７０が占有する荷役空間９１を導出することができる。実空間上の座標系は、Ｘ軸、Ｙ軸及びＺ軸による３軸直交座標系なので、実空間上の座標系における荷役空間９１を導出することで、荷役空間９１と物体との位置関係を導出することができる。荷役空間９１と隣接物体とのクリアランスＣ１～Ｃ４は、荷役装置２４に積載された荷７０と隣接物体とがＸ軸方向、あるいは、Ｚ軸方向に隣り合っている場合に荷７０と隣接物体との間に生じるクリアランスである。従って、荷役空間９１と隣接物体とのクリアランスＣ１～Ｃ４の寸法を導出することで、荷７０と隣接物体とが接触するか否かを判定することができる。

本実施形態の効果について説明する。
（１）表示コントローラ５５は、荷役空間９１と隣接物体との間のクリアランスＣ１～Ｃ４の寸法に関する情報として、クリアランスＣ１～Ｃ４が閾値未満か否かを操作者に通知するシンボルＳＹ，ＳＹ１～ＳＹ４を表示するようにしている。従って、操作者は、クリアランスＣ１～Ｃ４の寸法に関する情報から、荷７０と隣接物体とが接触するか否かを判別しやすい。

（２）表示コントローラ５５は、クリアランスＣ１～Ｃ４の寸法に関する情報であるシンボルＳＹ，ＳＹ１～ＳＹ４を撮像画像Ｉに重畳してモニタ５６に表示している。フォークリフト２０の操作者は、モニタ５６に表示される撮像画像Ｉを見ながらフォークリフト２０の操作を行う。このモニタ５６にシンボルＳＹ，ＳＹ１～ＳＹ４が表示されることで、クリアランスＣ１～Ｃ４の寸法に関する情報を操作者が把握しやすい。

（３）表示コントローラ５５は、クリアランスＣ１～Ｃ４の寸法に関する情報として、クリアランスＣ１～Ｃ４が閾値未満であることを操作者に通知する表示を行っている。クリアランスＣ１～Ｃ４の寸法に関する情報として、クリアランスＣ１～Ｃ４の寸法を表示する場合に比べて、荷７０と隣接物体が接触するか否かを操作者に認識させやすい。

実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変形例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
○荷役車両の操作支援装置６０は、荷取り作業を行う際に、荷役空間９１と隣接物体とのクリアランスを導出して、クリアランスの寸法に関する情報を操作者に通知するものであってもよい。荷取り作業とは、フォーク２７に荷７０を積載する作業である。即ち、パレット７２の孔にフォーク２７を差し込んだ後にフォーク２７を上昇させることでフォーク２７にパレット７２を支持させる作業である。荷取り作業では、荷取り位置に置かれた荷７０をフォーク２７に積載する。この際、荷取り位置に置かれた荷７０に隣接する隣接物体と荷７０とが接触するおそれがある。また、カメラ４１の取付角度や荷取り位置の周辺環境によってはモニタ５６に表示される撮像画像Ｉから荷７０と隣接物体とのクリアランスを視認しにくい場合がある。従って、荷取り作業を行う際にも、荷置き作業を行う場合と同様に、クリアランスの寸法に関する情報を操作者に通知することで、操作者の支援を行ってもよい。

荷取り作業を行う際に、荷役空間９１と隣接物体とのクリアランスを導出する場合、荷役空間９１は荷役装置２４に積載される荷７０によって占有される占有空間９２となる。荷取り作業を行う場合、荷置き位置に置かれている荷７０と、隣接物体とのクリアランスの寸法を導出するため、占有空間９２をＹ軸方向に延長させる必要がない。荷取り作業を行う際に荷役装置２４に積載される荷７０によって占有される占有空間９２を導出する場合、パレット７２の孔にフォーク２７を差し込んだ段階で、画像処理部４２は占有空間９２を導出可能である。なお、占有空間９２の導出は、実施形態と同様の手法で行うことができる。画像処理部４２は、占有空間９２を導出すると、占有空間９２と隣接物体とのクリアランスを導出する。占有空間９２と隣接物体とのクリアランスは、占有空間９２の座標と隣接物体との座標から導出することができる。占有空間９２と隣接物体とのクリアランスが導出された後の処理は、実施形態と同様である。

なお、荷役車両の操作支援装置６０は、荷取り作業を行う際にのみ、荷役空間９１と隣接物体とのクリアランスを導出して、クリアランスの寸法に関する情報を操作者に通知するものであってもよい。荷役車両の操作支援装置６０は、荷置き作業を行う際にのみ、荷役空間９１と隣接物体とのクリアランスを導出して、クリアランスの寸法に関する情報を操作者に通知するものであってもよい。荷役車両の操作支援装置６０は、荷取り作業、及び荷置き作業の両方を行う際に、荷役空間９１と隣接物体とのクリアランスを導出して、クリアランスの寸法に関する情報を操作者に通知するものであってもよい。即ち、荷役車両の操作支援装置６０は、荷取り作業及び荷置き作業の少なくともいずれかの荷役作業中に、荷役空間９１と隣接物体とのクリアランスを導出して、クリアランスの寸法に関する情報を操作者に通知するものであればよい。

○画像処理部４２は、荷役空間９１とＸ軸方向に隣り合う物体、及び荷役空間９１とＺ軸方向に隣り合う物体のうち少なくともいずれかを隣接物体とすればよく、隣接物体は荷役空間９１とＸ軸方向に隣り合う物体のみであってもよいし、荷役空間９１とＺ軸方向に隣り合う物体のみであってもよい。隣接物体とは、荷役空間９１と鉛直方向に隣り合う物体のみであってもよいし、荷役空間９１と左右方向に隣り合う物体のみであってもよいといえる。即ち、画像処理部４２は、荷役空間９１の上下に存在するクリアランスの寸法のみを導出してもよいし、荷役空間９１の左右に存在するクリアランスの寸法のみを導出してもよい。

○荷役車両の操作支援装置は、操作者としてフォークリフト２０の搭乗者を支援するものであってもよい。この場合、モニタ５６は、フォークリフト２０の搭乗者の視認可能な位置＝運転席から視認可能な位置に配置される。また、フォークリフト２０に表示コントローラ５５を設けて、撮像画像Ｉ及びクリアランスの寸法に関する情報の表示を行えるようにする。画像データを遠隔操作装置５０に送信する必要がないため、遠隔操作装置５０、車両側無線機４３、及び無線ユニット４４は設けられていなくてもよい。この場合、荷役車両の操作支援装置は、カメラ４１と、画像処理部４２と、ステレオカメラ４５，４６と、フォークリフト２０に設けられたモニタ５６と、モニタ５６に撮像画像Ｉ及びクリアランスの寸法に関する情報を表示する表示コントローラ５５と、を備えていればよい。

○クリアランスが閾値未満であることを操作者に通知する表示として、シンボルＳＹ，ＳＹ１～ＳＹ４に代えて、文字による表示を行ってもよい。
○クリアランスの寸法に関する情報は、クリアランスの寸法そのものであってもよい。表示コントローラ５５は、クリアランスに応じたシンボルＳＹ，ＳＹ１～ＳＹ４に代えて、クリアランスの寸法を撮像画像Ｉに重畳して表示する。これにより、操作者は、荷７０と隣接物体とが接触するか否かを判別することができる。

○クリアランスの寸法に関する情報としては、クリアランスの寸法が閾値未満であるクリアランスが存在していることを通知するものでもよく、荷役空間９１のいずれの方向のクリアランスが閾値未満であるかを特定して警告を行わなくてもよい。

○通知部としては、操作者にクリアランスの寸法に関する情報を通知できれば、どのような部材であってもよい。例えば、音によって操作者にクリアランスの寸法に関する情報を通知するものであってもよい。この場合、通知部としては、警告音を生じさせる発音部材であってもよい。発音部材は、荷役空間９１と隣接物体との間のクリアランスが閾値未満の場合に作動させられる。また、通知部としては、音声によって操作者にクリアランスの寸法に関する情報を通知するものであってもよい。この場合、荷役空間９１のいずれの方向のクリアランスが閾値未満かを音声によって通知するようにしてもよい。また、通知部としては、振動することによって操作者にクリアランスの寸法に関する情報を通知する振動部材であってもよい。振動部材は、荷役空間９１と隣接物体との間のクリアランスが閾値未満の場合に作動させられる。

○画像処理部４２は、ステップＳ１でステレオカメラ４５，４６から取得した画像データを遠隔操作装置５０に無線送信することで、表示コントローラ５５にステップＳ２以降の処理を行わせてもよい。画像処理部４２は、ステップＳ２でステレオ処理によって得られた視差画像を遠隔操作装置５０に無線送信することで、ステップＳ３以降の処理を表示コントローラ５５に行わせてもよい。画像処理部４２は、ステップＳ３で導出した特徴点の座標を遠隔操作装置５０に無線送信することで、ステップＳ４以降の処理を表示コントローラ５５に行わせてもよい。画像処理部４２は、ステップＳ４でクラスタ化により得られた物体の座標を遠隔操作装置５０に無線送信することで、表示コントローラ５５にステップＳ５以降の処理を行わせてもよい。画像処理部４２は、ステップＳ４でクラスタ化により得られた物体の座標とステップＳ５で導出された荷７０の位置を遠隔操作装置５０に無線送信することで、表示コントローラ５５にステップＳ６以降の処理を行わせてもよい。画像処理部４２は、ステップＳ４でクラスタ化により得られた物体の座標とステップＳ６で導出された荷役空間９１の位置を遠隔操作装置５０に無線送信することで、表示コントローラ５５にステップＳ７以降の処理を行わせてもよい。画像処理部４２は、ステップＳ７で導出したクリアランスの寸法を遠隔操作装置５０に無線送信することで、表示コントローラ５５にステップＳ８以降の処理を行わせてもよい。このように、ステレオカメラ４５，４６から取得した画像データを用いたクリアランスの導出や、導出されたクリアランスを用いた接触判定は、フォークリフト２０側で行われてもよいし、遠隔操作装置５０側で行われてもよい。

○カメラ４１から取得した画像データを画像処理する画像処理部と、ステレオカメラ４５，４６から取得した画像データを画像処理する画像処理部とは、個別に設けられていてもよい。

○フォークリフト２０は、メインコントローラ３１及び画像処理部４２に代えて、メインコントローラ３１の機能及び画像処理部４２の機能の両方を備えた１つの装置を備えていてもよい。

○遠隔操作装置５０は、操作コントローラ５２及び表示コントローラ５５に代えて、操作コントローラ５２の機能及び表示コントローラ５５の機能の両方を備えた１つの装置を備えていてもよい。

○荷役車両の操作支援装置は、操作室にいる操作者、及びフォークリフト２０の搭乗者の両方を支援するものであってもよい。この場合、モニタ５６は、フォークリフト２０の搭乗者の視認可能な位置にも設けられる。フォークリフト２０が搭乗者により操作されている場合には、フォークリフト２０の搭乗者の視認可能なモニタ５６にカメラ４１によって撮像された撮像画像Ｉ及びクリアランスの寸法に関する情報が表示されるようにする。フォークリフト２０が操作室にいる操作者により操作されている場合には、操作室のモニタ５６にカメラ４１によって撮像された撮像画像Ｉ及びクリアランスの寸法に関する情報が表示されるようにする。

○画像処理部４２は、第１ステレオカメラ４５の原点と第２ステレオカメラ４６の原点とを一致させて処理を行ってもよい。この場合、第１ステレオカメラ４５に撮像された画像データから得られた特徴点の座標と、第２ステレオカメラ４６に撮像された画像データから得られた特徴点の座標とをマージして荷役空間９１と隣接物体との間のクリアランスの寸法を導出することができる。即ち、単一の実空間上の座標系を用いて荷役空間９１と隣接物体とのクリアランスの寸法を導出することができる。

○フォークリフト２０は、人が搭乗できないフォークリフトであってもよい。言い換えれば、フォークリフト２０は、遠隔操作装置５０による操作専用のフォークリフトであってもよい。

○センサとして、ステレオカメラ４５，４６以外の３次元カメラを用いてもよい。３次元カメラとは、３次元計測を行うことが可能なカメラであり、ステレオカメラ４５，４６及びToF:Time of Flightカメラを含む。また、センサとしては、３次元計測を行うことが可能なものであればよく、LIDAR：Laser Imaging Detection and Rangingやミリ波レーダーを用いてもよい。LIDARは、照射角度を変更しながらレーザーを照射し、レーザーが当たった部分から反射された反射光を受光することで周辺環境を認識可能な距離計である。LIDARを用いる場合、物体の一部を表す点とは、レーザーが当たった点である。ミリ波レーダーとは、所定の周波数帯域の電波を周囲に照射することで周辺環境を認識可能なセンサである。ミリ波レーダーを用いる場合、物体の一部を表す点とは、電波が当たった点となる。即ち、物体の一部を表す点とは、センサによって実空間上の座標系における座標を検出できる点といえる。また、センサとしては、３次元カメラとLIDARとの組み合わせ等、複数のセンサを組み合わせたものであってもよい。

○ステレオカメラは、１つであってもよい。この場合、荷役空間９１を導出できるように、荷７０の全体がステレオカメラの撮像範囲に含まれるようにすることが好ましい。また、荷役空間９１とＺ軸方向に隣り合う隣接物体と、荷役空間９１とのクリアランスの寸法を導出する場合等、Ｘ軸方向のクリアランスを導出しなくてもいい場合には、ステレオカメラが１つであってもよい。

○ステレオカメラ４５，４６によって撮像された撮像画像Ｉがモニタ５６に表示されるようにしてもよい。この場合、３次元計測を行うためのセンサと、カメラに表示する撮像画像Ｉを撮像するカメラとしてステレオカメラ４５，４６を兼用することができる。

○カメラ４１の配置位置や数は適宜変更してもよい。
○荷役具としてフォーク２７以外を用いてもよい。例えば、荷役具は、クランプやラムなどのアタッチメントでもよい。

○物体抽出部、荷役空間導出部、及びクリアランス導出部はそれぞれ別の装置であってもよい。
○荷役車両の操作支援装置としては、クレーン車等、フォークリフト２０以外の荷役車両の操作する操作者を支援するためのものであってもよい。

Ｃ１～Ｃ４…クリアランス、ｄ１～ｄ４…寸法、Ｉ…撮像画像、２０…荷役車両としてのフォークリフト、２４…荷役装置、４１…カメラ、４２…物体抽出部、荷役空間導出部、及びクリアランス導出部としての画像処理部、４５，４６…ステレオカメラ、５５…表示部としての表示コントローラ、５６…通知部としてのモニタ、６０…荷役車両の操作支援装置、７０…荷、９１…荷役空間。

Claims (3)

1. 荷役装置に積載された荷の搬送を行う荷役車両の操作支援装置であって、
   センサと、
   水平方向のうち前記荷役車両の車幅方向に延びる軸をＸ軸、水平方向のうち前記Ｘ軸に直交する軸をＹ軸、鉛直方向に延びる軸をＺ軸とする実空間上の座標系において、前記センサの検出結果から物体の一部を表す点の集合である点群を前記物体として抽出する物体抽出部と、
   前記実空間上の座標系において、前記荷役装置による荷役作業中に前記荷が占有する荷役空間を導出する荷役空間導出部と、
   前記物体抽出部により抽出された前記物体のうち前記荷役空間と前記Ｘ軸の延びる方向に隣り合う前記物体、及び前記物体抽出部により抽出された前記物体のうち前記荷役空間と前記Ｚ軸の延びる方向に隣り合う前記物体の少なくともいずれかを隣接物体とすると、前記隣接物体と前記荷役空間とのクリアランスの寸法を導出するクリアランス導出部と、
   前記荷役車両の操作者に対して、前記クリアランスの寸法に関する情報を通知する通知部と、を備える荷役車両の操作支援装置。
2. 前記通知部は、前記荷役車両の操作者に視認可能な位置に配置されており、前記荷役車両に搭載されたカメラによって撮像されている撮像画像が表示されるモニタであり、
   前記撮像画像に前記クリアランスの寸法に関する情報を重畳して表示する表示部と、を備える請求項１に記載の荷役車両の操作支援装置。
3. 前記通知部は、前記クリアランスの寸法が予め定められた閾値未満か否かを前記操作者に対して通知する請求項１又は請求項２に記載の荷役車両の操作支援装置。

Images