JP2021170233A - 車載器、稼働管理装置、運転支援システム、及び運転支援プログラム - Google Patents

Abstract

【課題】工場敷地内や倉庫などの作業現場における不安定な荷物運搬による荷役車両からの荷物落下事故を防止する。【解決手段】車載器は、フォークリフトなどの荷役車両に取り付けられ、車載カメラで荷物やパレットを撮影して、画像認識を行う。荷物の幅や高さとパレットの位置関係に基づいて、荷姿の安定性に関する異常があることを検出した場合、フォークリフトなどの荷役車両の走行速度、旋回速度の制限を実行して、荷物落下による事故を防止する。【選択図】図１４

Description

本発明は、車載器、稼働管理装置、運転支援システム、及び運転支援プログラムに関する。

フォークリフトの運転を支援するための技術が提案されている（例えば、特許文献１、２参照）。特許文献１は、フォークリフトの危険運転をより適切に防止するために利用可能な情報処理システムの技術を示している。この情報処理システムは、フォークリフトに搭載された撮像装置及び情報処理装置と、サーバとを含む。情報処理装置は、フォークリフトが危険運転中であることを検知すると、撮像装置により撮像された画像のうち、危険運転中であることが検知された時点を含む第１期間内の、１以上の画像のデータを、サーバに送信する制御を実行する。サーバは、受信した第１期間内の１以上の画像のデータから、危険運転中であることが検知された時点に撮像された画像を含む、第１期間以下の第２期間内の１以上の画像のデータを生成する。

また、特許文献２は、移動体と障害物との位置関係が把握不能になるのを抑止するための技術を示している。特許文献２に開示される安全装置は、フォークリフトに搭載され、２つの撮像装置（ステレオカメラ）と、画像処理装置と、を備える。撮像装置は、垂直画角の最も上側が水平面よりも上となるように配置されている。画像処理装置は、撮像装置によって撮像された画像から、障害物の位置を算出して記憶する。画像処理装置は、撮像装置によって障害物が撮像されなくなった場合、記憶された位置情報に基づいて、障害物の位置を推定する。

特開２０１９−３５１２号公報 特開２０１９−８９６３６号公報

ところで、例えば工場敷地内や倉庫のようにフォークリフトを使用して荷物を運搬する作業現場では、フォークリフトで運搬中の荷物を落下させてしまい、荷物が破損するような事故が発生している。

この種の実際の作業では、パレット上に載置された状態の荷物をパレットごと下からフォークリフトの爪で持ち上げてそのまま荷物を運搬することになる。
フォークリフトで運搬中の荷物落下の発生頻度は、パレットに載せられた荷物の安定度合に大きく依存する。そのため、運搬中の荷物の落下を未然に防止するために、一般的には運搬する前に、荷物の安定度合を目視等により確認することが望まれる。
フォークリフトで運搬しようとする荷物については、パレットの中央部に重心が位置するように積み上げておくことが理想的である。しかしながら、忙しい作業現場においては慎重な荷物積み上げ作業や、手間のかかる目視の確認作業のために十分な注意を払うことは難しいのが実情である。

一方、フォークリフトで運搬する前や、運搬中に荷物が不安定であることに作業者等が気づいた場合には、その都度、荷物の荷姿を修正することが望ましい。しかし、忙しい作業現場では、手間のかかる荷姿の修正作業を実施する余裕がないので、作業者は「修正しなくても大丈夫だろう」と考えてそのまま荷姿を修正することなく作業を継続してしまう場合がある。

上記特許文献１に記載の技術によれば、危険運転が発生した時点に撮像された画像によって状況を記録し把握することができるものの、荷物落下事故を未然に防止することはできない。また、上記特許文献２に記載の技術によれば、障害物との衝突を回避して、衝突による荷物落下事故を防止し得るものの、衝突によらない荷物落下事故を防止することはできない。

本発明は、上述した事情に鑑みてなされたものであり、その目的は、不安定な荷物運搬による荷役車両からの荷物落下事故を防止することにある。

前述した目的を達成するために、本発明に係る車載器、稼働管理装置、運転支援システム、及び運転支援プログラムは、下記（１）〜（１０）を特徴としている。
（１）荷物が載置された載置台を搬送する荷役車両に搭載される車載器であって、
前記荷役車両に取り付けられ、前記荷物と前記載置台とを含む領域を撮像する撮像装置と、
前記撮像装置により撮像された第一画像、及び前記第一画像の撮像後に撮像された第二画像のそれぞれに基づいて、前記荷物及び前記載置台の外郭座標をそれぞれ取得する外郭情報取得部と、
前記外郭情報取得部が取得した、前記第一画像における前記荷物及び前記載置台の外郭座標、及び、前記第二画像における前記荷物及び前記載置台の外郭座標に基づいて、少なくとも前記荷物が前記載置台の端に配置されている異常の有無を判定する判定部と、
を備える。

（２）前記外郭情報取得部は、前記第一画像における前記荷物及び前記載置台の特徴点である第一特徴点をそれぞれ認識し、前記第二画像における前記荷物及び前記載置台の特徴点である第二特徴点をそれぞれ認識し、前記荷物の前記第一特徴点から前記第二特徴点への移動ベクトルである荷物移動ベクトルを算出し、前記載置台の前記第一特徴点から前記第二特徴点への移動ベクトルである載置台移動ベクトルを算出し、
前記判定部は、前記荷物の上辺における前記荷物移動ベクトルの大きさが、前記載置台における、前記撮像装置の取付位置に近い側の端の前記載置台移動ベクトルの大きさよりも小さい場合に、少なくとも前記荷物が、前記載置台における前記取付位置から遠い側の端に配置されている異常の有無を判定する、
上記（１）に記載の車載器。

（３）荷物が載置された載置台を搬送する荷役車両に搭載される車載器であって、
前記荷役車両に取り付けられ、前記荷物と前記載置台とを含む領域を撮像する撮像装置と、
前記撮像装置により撮像された第一画像、及び前記第一画像の撮像後に撮像された第二画像のそれぞれに基づいて、前記荷物及び前記載置台の外郭座標をそれぞれ取得する外郭情報取得部と、
前記外郭情報取得部が取得した、前記第一画像における前記荷物及び前記載置台の外郭座標、及び、前記第二画像における前記荷物及び前記載置台の外郭座標に基づいて、少なくとも前記荷物の高さが前記載置台に対して高すぎる異常の有無を判定する判定部と、
を備える。

（４）前記外郭情報取得部は、前記第一画像における前記荷物及び前記載置台の特徴点である第一特徴点をそれぞれ認識し、前記第二画像における前記荷物及び前記載置台の特徴点である第二特徴点をそれぞれ認識し、前記荷物の前記第一特徴点から前記第二特徴点への移動ベクトルである荷物移動ベクトルを算出し、前記載置台の前記第一特徴点から前記第二特徴点への移動ベクトルである載置台移動ベクトルを算出し、
前記判定部は、前記荷物の上辺における前記荷物移動ベクトルの大きさが、前記載置台における、前記撮像装置の取付位置に近い側の端の前記載置台移動ベクトルの大きさよりも大きい場合に、少なくとも前記荷物の高さが前記載置台に対して高すぎる異常の有無を判定する
上記（３）に記載の車載器。

（５）前記判定部が、前記異常があると判定した場合に、前記荷役車両の移動速度及び旋回速度の少なくともいずれか一方を制限する制限部を備える
上記（１）〜（４）のいずれか一に記載の車載器。

（６）荷物が載置された載置台を搬送する荷役車両に搭載される車載器であって、
前記荷役車両に取り付けられ、前記荷物と前記載置台とを含む領域を撮像する撮像装置と、
前記撮像装置により撮像された画像に基づいて、前記荷物及び前記載置台の外郭座標をそれぞれ取得する外郭情報取得部と、
前記外郭情報取得部が取得した前記外郭座標に基づいて、少なくとも前記荷物の幅が前記載置台の幅に対して大きすぎる異常の有無を判定する判定部と、
を備える車載器。

（７）前記外郭情報取得部は、前記画像から前記荷物及び前記載置台の特徴点をそれぞれ認識し、前記荷物の底辺の特徴点の間隔から前記荷物の幅を算出し、前記載置台における、前記撮像装置の取付位置に近い側の端の特徴点の間隔から前記載置台の幅を算出する
上記（６）に記載の車載器。

（８）上記（１）〜（７）のいずれか一に記載の車載器が取得した前記荷物の外郭座標に基づいて前記荷物の体積を算出する体積算出部と、
算出した前記体積を、時刻データとともに保存する記録部と、
を備える稼働管理装置。

（９）上記（１）〜（７）のいずれか一に記載の車載器と、
上記（８）に記載の稼働管理装置と、
を備える運転支援システム。

（１０）荷物が載置された載置台を搬送する荷役車両の運転支援を行う運転支援プログラムであって、コンピュータに、
前記荷役車両に取り付けられ前記荷物と前記載置台とを含む領域を撮像する撮像装置から、撮像された画像を取得するステップと、
前記撮像装置により撮像された第一画像、及び前記第一画像の撮像後に撮像された第二画像のそれぞれに基づいて、前記荷物及び前記載置台の外郭座標をそれぞれ取得するステップと、
前記第一画像における前記荷物及び前記載置台の外郭座標、及び、前記第二画像における前記荷物及び前記載置台の外郭座標に基づいて、前記荷物が前記載置台の端に配置されている異常の有無を判定するステップと、
を実行させる運転支援プログラム。

上記（１）の構成の車載器によれば、荷物が載置台の端に偏った状態で配置されている異常の有無を自動的に検知できる。荷物が載置台の端に偏っている状態は、荷物の積載状態（荷姿）が安定しないことを意味している。したがって、この検知結果を荷役車両の運行管理に役立てることができ、荷物の落下を未然に防止できる。

上記（２）の構成の車載器によれば、各特徴点の移動ベクトルを比較することにより、荷物の偏りの異常を容易に判定できる。すなわち、荷役車両側から視て前記載置台の奥側に偏った状態で荷物が配置されている場合には、撮像装置の取付位置に近い側の載置台の端の特徴点と、荷物の上辺の特徴点とは、撮像装置に対する距離が大きく異なる。この違いが各特徴点の移動ベクトルの大きさというスカラー量に反映される。そのため、荷役車両の走行中に荷物移動ベクトルの大きさと載置台移動ベクトルの大きさとを対比することにより、荷物の偏りの異常を検知できる。

上記（３）の構成の車載器によれば、荷物の高さが高すぎる異常の有無を自動的に検知できる。荷物の高さが高すぎる状態は、荷物の積載状態が安定しないことを意味している。したがって、この検知結果を荷役車両の運行管理に役立てることができ、荷物の落下を未然に防止できる。

上記（４）の構成の車載器によれば、各特徴点の移動ベクトルを比較することにより、荷物の高さが高すぎる異常を容易に判定できる。すなわち、撮像装置が比較的高い位置に取り付けてある場合には、荷物の上辺を表す特徴点の高さの違いが、この特徴点と撮像装置との間の距離の違いに反映される。そして、荷役車両の走行中には、距離の違いが移動ベクトルの大きさに反映されるので、荷物の上辺における荷物移動ベクトルの大きさと、撮像装置の取付位置に近い側の端の載置台移動ベクトルの大きさとを対比することにより、荷物の高さが高すぎる異常を検知できる。

上記（５）の構成の車載器によれば、異常の発生を検知した場合に、荷役車両の移動速度や旋回速度を制限することにより、運搬中に荷物が落下する確率を低減することができ、落下事故の防止に役立つ。

上記（６）の構成の車載器によれば、荷物及び載置台の外郭座標から求められる荷物の幅と、載置台の幅とを対比することで、荷物が横方向に前記載置台から大きくはみ出しているような異常を容易に判定できる。このような異常は、荷物幅が広過ぎて荷物の積載状態が安定しないことを意味するので、この異常検知を荷役車両の運行管理に役立てることができ、荷物の落下を未然に防止できる。

上記（７）の構成の車載器によれば、荷物の底辺の特徴点の間隔から算出される荷物の幅と、載置台における、撮像装置の取付位置に近い側の端の特徴点の間隔から算出される載置台の幅とを対比できるので、異常の検出精度を上げることができる。すなわち、荷物の底辺の特徴点の間隔は荷物の高さの影響を受けないので判定の誤差が生じにくい。また載置台における、撮像装置の取付位置に近い側の端の特徴点は、撮像装置の取付位置に近いため荷物の後方に隠れる可能性が小さくなり、画像上で幅を計測する場合の誤差が生じにくくなる。

上記（８）の構成の稼働管理装置によれば、体積算出部が車載器から得られる荷物の外郭座標に基づいて荷物の体積を算出するので、荷物の運搬量の把握が容易になる。また、荷物の運搬量が時刻データとともに記録されるので、この記録データを解析することで、例えば、運搬量の多い時間帯には荷役車両の稼働台数を増やして、荷役車両一台当たりの作業負荷を低減する等、稼働管理に役立てることができる。

上記（９）の構成の運転支援システムによれば、上記車載器を用いることにより、荷物の落下事故を効果的に予防できる。また、稼働管理装置を用いて荷物の運搬量を時系列で把握できるので、荷役車両の稼働管理に役立てることができる。

上記（１０）の構成の運転支援プログラムを所定のコンピュータで実行することにより、荷物の偏りに起因する不安定な状態での荷物運搬を抑制できるので、運搬する荷物が落下する事故の発生を減らすために役立てることができる。

本発明によれば、不安定な荷物運搬による荷役車両からの荷物落下事故を防止するために役立てることができる。

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための最良の形態を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。

図１は、本発明の一実施形態における運転支援システムのハードウェア構成を示すブロック図である。 図２は、作業中のフォークリフトの外観及び荷物の例を示す側面図である。 図３は、荷物撮影カメラとフォークリフトとの関係の代表例を示す側面図である。 図４は、荷物撮影カメラが撮影した画像の一例を示す図である。 図５は、図１に示す車載器における荷物計測動作の例を示すフローチャートである。 図６は、荷物撮影カメラが撮影した画像の一例を示す図である。 図７は、荷物撮影カメラが撮影した画像の一例を示す図である。 図８は、図１に示す車載器における注意喚起動作の例を示すフローチャートである。 図９は、荷物撮影カメラが撮影した画像の一例を示す図である。 図１０は、図１に示す車載器における注意喚起動作の例を示すフローチャートである。 図１１は、荷物撮影カメラが撮影した画像の一例を示す図である。 図１２は、図１に示す車載器における注意喚起動作の例を示すフローチャートである。 図１３は、荷物撮影カメラが撮影した画像の一例を示す図である。 図１４は、図１に示す車載器における注意喚起動作の例を示すフローチャートである。 図１５は本発明の一実施形態における運転支援システムを実現するための機能上の構成例を示すブロック図である。

本発明に関する具体的な実施の形態について、各図を参照しながら以下に説明する。
＜システムの構成＞
本発明の一実施形態における運転支援システムのハードウェア構成を図１に示す。図１に示した運転支援システムは、主としてフォークリフトのような荷役車両を運転して荷物の運搬作業を行う場合の運転支援のために利用される。

図１に示した運転支援システムは、各々の荷役車両に搭載した状態で使用される車載器１０と、各荷役車両、作業者、作業内容等を管理するために所定の事務所に設置される事務所ＰＣ３０とを含んでいる。詳細については後述するが、本実施形態の車載器１０は主要な機能として、荷物運搬作業において荷物の落下等を防止するために役立つ運転支援機能を備えている。

なお、車載器１０と事務所ＰＣ３０との間は、ネットワークを介して接続されていなくてもよく、その場合、車載器１０は、車載器で記録したデータを保持するメモリカード６５を読み込む構成にする。また、車載器１０は例えばドライブレコーダのように一般的な車載器の機能を含むものであってもよい。

事務所ＰＣ３０は、事務所に設置された汎用のコンピュータ装置で構成され、荷役車両の稼働状況や荷物の運搬量などを管理する。図１の例では、車載器１０と事務所ＰＣ３０との間で行われるデータ通信を中継するためにアクセスポイント８０が設置されている。アクセスポイント８０と車載器１０との間の無線通信については、ＬＴＥ（Long Term Evolution）／４Ｇ(4th Generation)等のモバイル通信網（携帯回線網）で行われてもよいし、無線ＬＡＮ（Local Area Network）で行われてもよい。

車載器１０は、様々な信号の入力又は出力を可能にするために、様々なインタフェース（Ｉ／Ｆ）１２Ａ、１２Ｂ、１３、１４、１６、１９、及び２９を備えている。
速度Ｉ／Ｆ１２Ａは、車両側に搭載されている車速センサ５１の出力する車速パルス信号を入力するための機能を有する。エンジン回転Ｉ／Ｆ１２Ｂは、車両側から出力されるエンジン回転パルス信号を入力するための機能を有する。外部入力Ｉ／Ｆ１３は様々な外部信号の入力に利用される。

センサ入力Ｉ／Ｆ１４は、様々なセンサの信号を入力するために利用される。図１の例では、Ｇセンサ２８及びジャイロセンサ５２がセンサ入力Ｉ／Ｆ１４に接続されている。Ｇセンサ２８は、この車載器１０を搭載する車両に加わった様々な方向の加速度の大きさを検知する。ジャイロセンサ５２は、この車載器１０を搭載する車両の角速度を検知することにより、水平面内における車両の旋回速度や方向の変化を示す信号を出力できる。

アナログ入力Ｉ／Ｆ２９は、様々なアナログ信号の入力に利用される。
カメラＩ／Ｆ１６は、車載カメラ２３を接続するための機能を有している。すなわち、車載カメラ２３が出力する映像信号を取り込んでコンピュータの処理に適した所定のデジタル画像データに変換する機能を有している。

音声Ｉ／Ｆ１９は、音声による注意喚起などに利用可能な所定の音声信号を生成する機能を有している。

車載器１０における主要な機能を実現する制御部１１は、マイクロコンピュータ（ＣＰＵ）のプロセッサを主体とする電子回路により構成されている。このマイクロコンピュータは、不揮発メモリ２６Ａなどに予め保持されているプログラムを実行することにより、後述する車載器１０の制御機能を実現する。

制御部１１の入力に、上述の各インタフェース１２Ａ、１２Ｂ、１３、１４、１６、及び２９が接続されている。また、制御部１１の出力に音声Ｉ／Ｆ１９を介してスピーカ２０が接続されている。

また、ＧＰＳ受信部１５、記録部１７、表示部２７、電源部２５、通信部２４、不揮発メモリ２６Ａ、揮発メモリ２６Ｂ、カードＩ／Ｆ１８、ＲＴＣ部２１、スイッチ入力部２２、及び信号出力部５３が制御部１１に接続されている。

ＧＰＳ受信部１５は、複数のＧＰＳ（Global Positioning System）衛星からの電波をアンテナ１５ａを介して受信する。ＧＰＳ受信部１５が受信した複数の受信信号に基づいて、現在位置を表す情報を計算して得ることができる。なお、現在位置の情報を把握するために、ＧＰＳの代わりにビーコンを利用することもできる。

記録部１７は、例えば車載カメラ２３が出力する映像の画像データなどを自動的に記録して一定時間保持するために利用される。
表示部２７は、車載器１０の操作に必要な文字などの可視情報や、運転操作に関する注意喚起の情報などを運転者が視認できるように表示するために利用できる。

電源部２５は、車両側から供給される電源電力に基づいて安定した電源電力を生成し、生成した電源電力を制御部１１を含む車載器１０内の各回路に対して供給する。
通信部２４は、この車載器１０とアクセスポイント８０との間でデータ通信するための無線通信機能を提供する。

不揮発メモリ２６Ａは、半導体メモリにより構成され、制御部１１のマイクロコンピュータが実行可能なプログラムや、制御上必要になる各種定数データ、テーブルなどを予め保持している。

揮発メモリ２６Ｂは、制御部１１が処理中に生成するデータなどを一時的に保持するために利用される。
カードＩ／Ｆ１８には、運転者が所持するメモリカード６５が挿抜自在に接続される。制御部１１は、カードＩ／Ｆ１８に装着されたメモリカード６５からデータを読み出すことができ、制御部１１が生成した各種データをカードＩ／Ｆ１８を介してメモリカード６５にに書き込むこともできる。

ＲＴＣ（real time clock）部２１は、時計の機能を有する集積回路により構成されている。すなわち、ＲＴＣ部２１は、現在時刻の情報を生成したり、経過時間などを把握することができる。

スイッチ入力部２２は、車載器１０の操作に必要な各種スイッチの状態を表す信号を入力するために利用される。
信号出力部５３は、例えば荷役車両の運転を制限するために利用可能な運転制限信号ＳＧＡ、ＳＧＢを車載器１０から出力することができる。運転制限信号ＳＧＡは、例えば荷役車両の走行速度を制限する目的で利用することが想定される。運転制限信号ＳＧＢは、例えば荷役車両における旋回速度を制限する目的で利用することが想定される。

一方、事務所ＰＣ３０は、汎用のオペレーティングシステムで動作するＰＣである。事務所ＰＣ３０は、荷役車両の運転状況を把握したり、荷物の運搬量などを把握するための稼働管理装置として利用できる。事務所ＰＣ３０は、制御部（ＣＰＵ）３１、通信部３２、表示部３３、記憶部３４、カードＩ／Ｆ３５、操作部３６、出力部３７、音声Ｉ／Ｆ３８、及び外部Ｉ／Ｆ４８を有する。

制御部３１は、事務所ＰＣ３０の各部を統括的に制御する。通信部３２は、アクセスポイント８０を介して車載器１０と通信可能である。
表示部３３は、各荷役車両の稼働管理に利用可能な様々な情報を表示することができる。記憶部３４は、各荷役車両に搭載された車載器１０が生成したデータを取得して管理することができる。

カードＩ／Ｆ３５には、メモリカード６５が挿抜自在に装着される。カードＩ／Ｆ３５は、車載器１０で記録された様々なデータをメモリカード６５から入力するために利用される。操作部３６は、キーボードやマウス等を有し、事務所ＰＣ３０の管理者の操作を受け付ける。出力部３７は、各種データを出力する。音声Ｉ／Ｆ３８には、マイク４１及びスピーカ４２が接続される。管理者は、マイク４１及びスピーカ４２を用いて音声通話を行うことも可能である。

外部Ｉ／Ｆ４８には、運行データデータベース（ＤＢ）、ハザードマップデータベース（ＤＢ）といった外部記憶装置（図示せず）等が接続可能である。ハザードマップＤＢは、フォークリフトのような荷役車両が事故を起こしやすい特定地点を表すデータなどを保持することができる。

＜荷役車両の具体例＞
作業中のフォークリフトの外観及び荷物の例を図２に示す。図２において左側がフォークリフトの前進方向を表し、右側が後退方向を表している。

図２に示すように、フォークリフト９０は、運転席の前方に長く突出する複数の（本実施形態では２つの）爪９１及びバックレスト９２を有している。爪９１及びバックレスト９２は、マスト９３に沿って上下方向に昇降可能な状態でマスト９３に支持されている。また、フォークリフト９０は、所定の昇降機構を駆動することにより、爪９１及びバックレスト９２の位置を上下方向に駆動することができる。更に、フォークリフト９０には、爪９１及びバックレスト９２を支持しているマスト９３の傾斜角度を変更する駆動機構が備わっており、爪９１及びバックレスト９２のチルト角を調整することができる。

一方、フォークリフト９０で運搬しようとする様々な荷物１００は、一般的には地面９８上に配置された載置台であるパレット１１０上に載置された状態で保管されている。したがって、この荷物１００を実際に運搬する際には、図２のように爪９１を下方に下げた状態でフォークリフト９０をパレット１１０に向かって前進させ、パレット１１０の内側に爪９１を通した状態にする。その状態でフォークリフト９０が爪９１を上方に持ち上げると、パレット１１０上に載置されている荷物１００をパレット１１０と共に持ち上げることができる。そして、荷物１００及びパレット１１０を持ち上げた状態でフォークリフト９０を移動すれば、荷物１００及びパレット１１０を運搬することができる。

ところで、例えば工場敷地内や倉庫のようにフォークリフトを使用して荷物を運搬する作業現場では、フォークリフトで運搬中の荷物を落下させてしまい、荷物が破損するような事故が度々発生している。

この種の実際の作業では、図２のようにパレット１１０上に載置された状態の荷物１００をパレット１１０ごと下からフォークリフト９０の爪９１で持ち上げてそのまま荷物１００を運搬することになる。

フォークリフトで運搬中の荷物落下の発生頻度は、パレットに載せられた荷物の安定度合に大きく依存する。そのため、運搬中の荷物の落下を未然に防止するために、一般的には運搬する前に、荷物の安定度合を目視等により確認することが望まれる。

フォークリフトで運搬しようとする荷物については、パレットの中央部に重心が位置するように積み上げておくことが理想的である。しかしながら、忙しい作業現場においては慎重な荷物積み上げ作業や、手間のかかる目視の確認作業のために十分な注意を払うことは難しいのが実情である。

一方、フォークリフトで運搬する前や、運搬中に荷物が不安定であることに作業者等が気づいた場合には、その都度、荷物の荷姿を修正することが望ましい。しかし、忙しい作業現場では、手間のかかる荷姿の修正作業を実施する余裕がないので、作業者は「修正しなくても大丈夫だろう」と考えてそのまま荷姿を修正することなく作業を継続してしまう場合がある。

図１に示した車載器１０及びフォークリフト９０の稼働を管理する事務所ＰＣ３０は、フォークリフト９０で運搬中の荷物１００の落下などを防止するために役立つ運転支援機能を備えている。本実施形態では、運転支援に必要な情報を取得するためにフォークリフト９０の車体に取り付けた車載カメラ２３を利用する。

＜車載カメラの取り付け位置、撮影範囲＞
荷物を撮影するための車載カメラ２３とフォークリフト９０との関係の代表例を図３に示す。

図３に示した例では、車載カメラ２３がマスト９３の上部に設置され、撮影方向は、水平方向に対して４５度程度下方に傾斜した方向を向くように調整してある。つまり、図３に示した撮影範囲２３Ａの領域が撮影対象になるので、フォークリフト９０の爪９１や、運搬するパレット１１０及び荷物１００を車載カメラ２３で撮影することができる。車載カメラ２３の撮影範囲２３Ａについては、荷物１００及びパレット１１０の略全域を同時に撮影できるように、例えば１２０度程度の広い範囲にしておくことが望ましい。

＜撮影した画像の例−１＞
荷物１００を撮影するためにフォークリフト９０に設置された車載カメラ２３が撮影した画像の一例を図４に示す。

図４の例では、車載カメラ２３が撮影したカメラ画像２００の中に、地面９８に相当する地面領域２０１や、フォークリフト９０の爪９１に相当する爪パターン２０２が含まれている。図４の例では、荷物１００及びパレット１１０が車載カメラ２３の撮影範囲２３Ａ内には存在しない状況を表している。
また、図４の例ではカメラ画像２００の画面中央上端に近い位置にＦＯＥ（Focus Of Expansion）点（消失点）２０３が存在している。

＜荷物計測動作＞
図１に示す車載器１０における荷物計測動作の例を図５に示す。また、荷物を撮影する車載カメラ２３の撮影した画像の例を図６及び図７に示す。

車載器１０の制御部１１は、不揮発メモリ２６Ａ上にある所定のプログラムを実行することにより、図５に示した荷物計測動作を行うことができる。フォークリフト９０が荷物１００に接近すると、車載カメラ２３の撮影範囲２３Ａの中に荷物１００が含まれる状態になるため、図６に示すようなカメラ画像２００Ａが得られる。

したがって、例えばカメラ画像２００Ａの内容を制御部１１が画像処理して認識することにより、フォークリフト９０が荷物１００に接近したことを検知できる（ステップＳ１１）。制御部１１が荷物を検知すると図５のＳ１１からＳ１２に進む。

図６に示したカメラ画像２００Ａの中には、地面領域２０１、爪パターン２０２の他に、パレット１１０に相当するパレットパターン２１０と、荷物１００に相当する荷物パターン２２０とが現れている。

したがって、制御部１１はカメラ画像２００Ａからパレットパターン２１０及び荷物パターン２２０をそれぞれ認識することができる。制御部１１は、Ｓ１２で特徴点座標の検出を開始する。この動作は繰り返し実行する。ここで検出する各特徴点は、パレットパターン２１０の外郭、すなわちパターン中の最も外側の角部の各座標、及び荷物パターン２２０の外郭の角部の各座標である。

制御部１１は、Ｓ１２で検出した各特徴点座標に基づき、Ｓ１３で荷物パターン２２０における底辺の長さ（荷物幅Ｌｗ１）、及びパレットパターン２１０におけるパレット幅Ｗｐ１の算出を開始する。

カメラ画像２００Ａは逐次更新され、フォークリフト９０の移動に伴ってカメラ画像２００Ａ中の各パターンの位置及び大きさが変化し、各特徴点も変化するので、荷物幅Ｌｗ１）、及びパレット幅Ｗｐ１の算出は制御部１１により繰り返し実行される。

制御部１１は、次のＳ１４で各特徴点の移動ベクトルの計測を開始する。この移動ベクトルの計測は制御部１１により繰り返し実行される。

例えば図６に示したカメラ画像２００Ａが得られる状態から、フォークリフト９０が前進すると、図７のように得られるカメラ画像２００Ｂが変化する。すなわち、フォークリフト９０が荷物１００及びパレット１１０に近づくので、カメラ画像２００Ｂ中の各特徴点の座標が時間の経過と共に移動する。具体的には、ＦＯＥ点２０３の位置からその周辺に向かう放射方向に対してそれぞれ特徴点が移動する。カメラ画像２００Ｂ中の各特徴点の移動量は、車載カメラ２３との間の距離及びフォークリフト９０の走行速度に応じて変化する。各特徴点の移動方向及び単位時間あたりの移動量を表すベクトルが移動ベクトルである。

したがって、制御部１１は図７中に示すように、パレットパターン２１０における各特徴点の移動ベクトルＶＥ１、荷物パターン２２０における各特徴点の移動ベクトルＶＥ２を算出することができる。それぞれの特徴点の移動ベクトルＶＥ１、ＶＥ２は、カメラ画像２００Ｂの更新に伴って変化する。

実際には、ある時刻ｔ１で撮影された第１の画像中の特徴点の座標と、一定時間を経過した後の時刻ｔ２で撮影された第２の画像中の特徴点の座標との間の移動量及び移動方向を算出することで、移動ベクトルＶＥ１、ＶＥ２が得られる。

制御部１１は、逐次変化する移動ベクトルＶＥ１、ＶＥ２のそれぞれについて、一定時間あたりの移動ベクトルＶＥ１、ＶＥ２の大きさを繰り返し算出してそれぞれを記憶する（Ｓ１５）。更に、制御部１１はＳ１３で算出した荷物幅Ｌｗ１、パレット幅Ｗｐ１、及びＳ１５で算出した移動ベクトルＶＥ１、ＶＥ２の大きさを、次のステップＳ１６で監視する。そして異常があることをＳ１６で認識した場合は注意喚起を実施する。

＜注意喚起動作−１＞
図１に示す車載器１０における注意喚起動作の例を図８に示す。すなわち、図５に示したステップＳ１６の具体例−１が図８に示されている。また、荷物を撮影する車載カメラ２３が撮影した画像の一例を図９に示す。

図９に示したカメラ画像２００Ｃにおいては、長尺形状の幅の広い荷物１００を表す荷物パターン２２０が、パレットパターン２１０の上に載置された状況が示されている。図９のカメラ画像２００Ｃのような状況は、パレット１１０上の荷物１００の状態が非常に不安定であることを意味している。つまり、荷物１００が運搬中にフォークリフト９０の爪９１から落下しやすい。そのため、図９の状況では荷物１００の落下を防止するために運転者に注意喚起して安全な運転を支援する必要がある。

制御部１１は、図９のカメラ画像２００Ｃを処理する場合に、図５に示した「荷物計測」において、図９中のパレットパターン２１０、荷物パターン２２０の各特徴点の最新の座標を検知することができる。更に、荷物パターン２２０外郭の下辺の各角部を表す２つの特徴点の間隔として、荷物幅Ｌｗ１を算出できる。また、パレットパターン２１０外郭の下辺の各角部を表す２つの特徴点の間隔として、パレット幅Ｗｐ１を算出できる。

図８のＳ２１では、制御部１１は荷物１００外郭の下辺における荷物幅Ｌｗ１と、パレット１１０外郭の下辺におけるパレット幅Ｗｐ１とを比較する。そして、「Ｌｗ１＞Ｗｐ１」の条件を満たす場合（Ｓ２２でＹＥＳ）は、Ｓ２２からＳ２３に進み、荷物横幅が広すぎることを表す異常を制御部１１が検出する。一方、「Ｌｗ１＞Ｗｐ１」の条件を満たさない場合（Ｓ２２でＮＯ）は、制御部１１は異常を検出しない（荷姿安定判定）。

Ｓ２３で異常を検出した場合には、制御部１１はＳ２４でフォークリフト９０の走行速度、及び／又は旋回速度の制限を実行する。具体的には、走行速度、又は旋回速度が大きい場合に、音声などのメッセージを出力したり、画面表示などを用いて運転者に注意を喚起したり、運転制限信号ＳＧＡ、又はＳＧＢを制御することにより、フォークリフト９０の運転動作に制限を加える。運転制限信号ＳＧＡ、又はＳＧＢを利用する場合には、例えばフォークリフト９０の走行速度が上がらないように制限したり自動的にブレーキをかける。また、フォークリフト９０の旋回速度が上がらないように旋回動作の速度が上がらないように制限する。この制限により、荷物落下事故を防止できる。

なお、Ｓ２１、Ｓ２２における「Ｌｗ１＞Ｗｐ１」の条件については、変更を加えても良い。例えば、荷物幅Ｌｗ１と、パレット幅Ｗｐ１との比率をあるしきい値と比較してもよい。

＜注意喚起動作−２＞
図１に示す車載器１０における注意喚起動作の例を図１０に示す。すなわち、図５に示したステップＳ１６の具体例−２が図１０に示されている。また、荷物を撮影する車載カメラ２３が撮影した画像の一例を図１１に示す。

図１１に示したカメラ画像２００Ｄにおいては、長尺形状の高さの高い荷物１００を表す荷物パターン２２０が、パレットパターン２１０の上に載置された状況が示されている。図１１のカメラ画像２００Ｄのような状況は、パレット１１０上の荷物１００の状態が非常に不安定であることを意味している。つまり、荷物１００が運搬中にフォークリフト９０の爪９１から落下しやすい。そのため、図１１の状況では荷物１００の落下を防止するために運転者に注意喚起して安全な運転を支援する必要がある。

制御部１１は、図１１のカメラ画像２００Ｄを処理する場合に、図５に示した「荷物計測」において、図１１中のパレットパターン２１０、荷物パターン２２０の各特徴点の最新の座標を検知することができる。また、制御部１１は、各特徴点の移動ベクトルＶＥ１、ＶＥ２を検出できる。

ここで、フォークリフト９０の前進する際の走行速度が大きいと、移動ベクトルＶＥ１、ＶＥ２も大きくなる。移動ベクトルＶＥ１、ＶＥ２の大きさの比率は、車載カメラ２３までの距離の違いに応じて変化する。

図１１に示した荷物パターン２２０のように高さの高い荷物１００を運搬する場合には、荷物１００の高さが高くなるほど、荷物パターン２２０外郭の上辺における各特徴点と車載カメラ２３との距離が近くなる。このため、荷物パターン２２０上辺の移動ベクトルＶＥ２が大きくなる。すなわち、荷物１００の高さが高いと、荷物パターン２２０上辺における特徴点が単位時間あたりに移動する距離が大きくなる。

一方、パレットパターン２１０外郭の下辺（車載カメラ２３に近い側）の高さは変わらないので、その特徴点における移動ベクトルＶＥ１は、高さと無関係である。
したがって、荷物パターン２２０外郭の上辺における各特徴点の移動ベクトルＶＥ２と、パレットパターン２１０外郭の下辺における移動ベクトルＶＥ１とを比較することにより、図１１の荷物パターン２２０のような高すぎる荷物１００を検出可能である。

図１０のＳ３１では、制御部１１は荷物パターン２２０外郭の上辺における特徴点の移動ベクトルＶＥ２を移動ベクトルＶｕ１として認識し、パレットパターン２１０外郭の下辺における特徴点の移動ベクトルＶＥ１を移動ベクトルＶｐとして認識する。次に制御部１１は、２つの移動ベクトルＶｕ１、Ｖｐの大きさ（スカラー量）を比較する。そして、「Ｖｕ１＞Ｖｐ」の条件を満たす場合（Ｓ３２でＹＥＳ）は、Ｓ３２からＳ３３に進み、荷物高さが高すぎることを表す異常を制御部１１が検出する。一方、「Ｖｕ１＞Ｖｐ」の条件を満たさない場合（Ｓ３２でＮＯ）は、制御部１１は異常を検出しない（荷姿安定判定）。

Ｓ３３で異常を検出した場合には、制御部１１はＳ３４でフォークリフト９０の走行速度、及び／又は旋回速度の制限を実行する。具体的には、走行速度、又は旋回速度が大きい場合に、音声などのメッセージを出力したり、画面表示などを用いて運転者に注意を喚起したり、運転制限信号ＳＧＡ、又はＳＧＢを制御することにより、フォークリフト９０の運転動作に制限を加える。運転制限信号ＳＧＡ、又はＳＧＢを利用する場合には、例えばフォークリフト９０の走行速度が上がらないように制限したり自動的にブレーキをかける。また、フォークリフト９０の旋回速度が上がらないように旋回動作の速度が上がらないように制限する。この制限により、落下事故を防止できる。

＜注意喚起動作−３＞
図１に示す車載器１０における注意喚起動作の例を図１２に示す。すなわち、図５に示したステップＳ１６の具体例−３が図１２に示されている。また、荷物を撮影する車載カメラ２３が撮影した画像の一例を図１３に示す。

図１３に示したカメラ画像２００Ｅにおいては、大きさ及び形状が一般的な状態の荷物１００を表す荷物パターン２２０が、パレットパターン２１０の上に載置された状況が示されているが、問題がある。すなわち、図１３における荷物パターン２２０の位置は、パレットパターン２１０の奥側（車載カメラ２３から遠い位置）に偏った状態でパレット１１０上に載置されているので、フォークリフト９０で持ち上げて運搬する際に重心位置のバランスが悪いため、非常に不安定である。つまり、荷物１００が運搬中にフォークリフト９０の爪９１から落下しやすい。そのため、図１３の状況では荷物１００の落下を防止するために運転者に注意喚起して安全な運転を支援する必要がある。

制御部１１は、図１３のカメラ画像２００Ｅを処理する場合に、図５に示した「荷物計測」において、図１３中のパレットパターン２１０、荷物パターン２２０の各特徴点の最新の座標を検知することができる。また、各特徴点の移動ベクトルＶＥ１、ＶＥ２を検出できる。

ここで、フォークリフト９０の前進する際の走行速度が大きいと、移動ベクトルＶＥ１、ＶＥ２も大きくなる。移動ベクトルＶＥ１、ＶＥ２の大きさの比率は、車載カメラ２３までの距離の違いに応じて変化する。

図１１に示した荷物パターン２２０のようにパレット１１０上の偏った位置に載置されている荷物１００を運搬する場合には、荷物１００の位置が奥側に偏るほど、荷物パターン２２０外郭の上辺における各特徴点と車載カメラ２３との距離が近くなる。このため、荷物パターン２２０上辺の移動ベクトルＶＥ２が大きくなる。すなわち、荷物１００の位置が偏っていると、荷物パターン２２０上辺における特徴点が単位時間あたりに移動する距離が大きくなる。

また、荷物１００の位置が偏っていると、パレットパターン２１０外郭の下辺（車載カメラ２３に近い側）における特徴点から車載カメラ２３までの距離と、荷物パターン２２０外郭の上辺における各特徴点の距離との差が大きくなる。

したがって、荷物パターン２２０外郭の上辺における各特徴点の移動ベクトルＶＥ２と、パレットパターン２１０外郭の下辺における移動ベクトルＶＥ１とを比較することにより、図１３の荷物パターン２２０のように位置が偏っている荷物１００を検出可能である。

図１２のＳ４１では、制御部１１は荷物パターン２２０外郭の上辺における特徴点の移動ベクトルＶＥ２を移動ベクトルＶｕ１として認識し、パレットパターン２１０外郭の下辺における特徴点の移動ベクトルＶＥ１を移動ベクトルＶｐとして認識する。次に制御部１１は、２つの移動ベクトルＶｕ１、Ｖｐの大きさ（スカラー量）を比較する。そして、「Ｖｕ１＜Ｖｐ」の条件を満たす場合（Ｓ４２でＹＥＳ）は、Ｓ４２からＳ４３に進み、荷物位置が偏っていることを表す異常を制御部１１が検出する。一方、「Ｖｕ１＜Ｖｐ」の条件を満たさない場合（Ｓ４２でＮＯ）は、制御部１１は異常を検知しない。

Ｓ４３で異常を検出した場合には、制御部１１はＳ４４でフォークリフト９０の走行速度、及び／又は旋回速度の制限を実行する。具体的には、走行速度、又は旋回速度が大きい場合に、音声などのメッセージを出力したり、画面表示などを用いて運転者に注意を喚起したり、運転制限信号ＳＧＡ、又はＳＧＢを制御することにより、フォークリフト９０の運転動作に制限を加える。運転制限信号ＳＧＡ、又はＳＧＢを利用する場合には、例えばフォークリフト９０の走行速度が上がらないように制限したり自動的にブレーキをかける。また、フォークリフト９０の旋回速度が上がらないように旋回動作の速度が上がらないように制限する。この制限により、落下事故を防止できる。

＜注意喚起動作−４＞
図１に示す車載器１０における注意喚起動作の例を図１４に示す。すなわち、図５に示したステップＳ１６の具体例−４が図１４に示されている。

図１４のＳ５１では、制御部１１は荷物１００外郭の下辺における荷物幅Ｌｗ１と、パレット１１０外郭の下辺におけるパレット幅Ｗｐ１とを比較する。そして、「Ｌｗ１＞Ｗｐ１」の条件を満たす場合（Ｓ５２でＹＥＳ）は、Ｓ５２からＳ５３に進み、荷物横幅が広すぎることを表す異常を制御部１１が検出する。

また、「Ｌｗ１＞Ｗｐ１」の条件を満たさない場合（Ｓ５２でＮＯ）、制御部１１はＳ５５の処理に進む。Ｓ５５では、制御部１１は、荷物パターン２２０外郭の上辺における特徴点の移動ベクトルＶＥ２を移動ベクトルＶｕ１として認識し、パレットパターン２１０外郭の下辺における特徴点の移動ベクトルＶＥ１を移動ベクトルＶｐとして認識する。次に制御部１１は、２つの移動ベクトルＶｕ１、Ｖｐの大きさを比較する。そして、「Ｖｕ１＞Ｖｐ」の条件を満たす場合（Ｓ５６でＹＥＳ）は、Ｓ５６からＳ５７に進み、荷物高さが高すぎることを表す異常を制御部１１が検出する。

また、「Ｖｕ１＞Ｖｐ」の条件を満たさない場合（Ｓ５６でＮＯ）、制御部１１はＳ５８の処理に進む。ステップＳ５８では、制御部１１は荷物パターン２２０外郭の上辺における特徴点の移動ベクトルＶｕ１と、パレットパターン２１０外郭の下辺における特徴点の移動ベクトルＶｐとを比較する。そして、「Ｖｕ１＜Ｖｐ」の条件を満たす場合（Ｓ５８でＹＥＳ）は、Ｓ５８からＳ５９に進み、荷物位置が偏っていることを表す異常を制御部１１が検出する。一方、「Ｖｕ１＜Ｖｐ」の条件を満たさない場合（Ｓ５８でＮＯ）、制御部１１は異常を検出せず、荷姿安定と判定する（Ｓ６０）。

Ｓ５３、Ｓ５７、Ｓ５９のいずれかで異常を検出した場合には、制御部１１はＳ５４でフォークリフト９０の走行速度、及び／又は旋回速度の制限を実行する。具体的には、走行速度、又は旋回速度が大きい場合に、音声などのメッセージを出力したり、画面表示などを用いて運転者に注意を喚起したり、運転制限信号ＳＧＡ、又はＳＧＢを制御することにより、フォークリフト９０の運転動作に制限を加える。運転制限信号ＳＧＡ、又はＳＧＢを利用する場合には、例えばフォークリフト９０の走行速度が上がらないように制限したり自動的にブレーキをかける。また、フォークリフト９０の旋回速度が上がらないように旋回動作の速度が上がらないように制限する。この制限により、落下事故を防止できる。

＜システムの機能上の構成例＞
図１に示した運転支援システムにおける各特徴事項を実現するために必要とされる機能上の構成例を図１５に示す。図１５に示した各機能は、制御部１１又は事務所ＰＣ３０のコンピュータが予め用意したプログラムを実行することにより実現することもできるし、専用の電子回路のハードウェアを用いて実現することもできる。

図１５に示した例では、車載器１０が画像処理部３０２、画像記憶部３０３、接近検知部３０４、荷物画像認識部３０５、パレット画像認識部３０６、荷物外郭座標検出部３０７、パレット外郭座標検出部３０８の各機能を備えている。また、車載器１０が、荷物移動ベクトル検出部３１１、パレット移動ベクトル検出部３１２、荷物幅異常判定部３１３、荷物偏り異常判定部３１４、荷物高さ異常判定部３１５、警報報知部３１６、走行速度監視部３１７、旋回速度監視部３１８、車両稼働制限部３１９の各機能も備えている。また、車載器１０が、荷物体積算出部３２１、荷物体積記録部３２２、時刻情報管理部３２３、データ記憶部３２４、警報記録部３２５の各機能も備えている。

図１５中に示した機能の一部分については、事務所ＰＣ３０側に配置してもよく、その場合は車載器１０と事務所ＰＣ３０との間のデータ通信、又はメモリカード６５を利用したデータ受け渡しにより、システム全体として適切に動作するように機能させることができる。

画像処理部３０２は、車載カメラ２３から出力される車載カメラ映像３０１を入力して、制御部１１がデータ処理をするのに適した画像データを生成する。画像記憶部３０３は、画像処理部３０２から出力される画像データを一時的に記憶することができる。

接近検知部３０４は、画像処理部３０２から出力される最新の画像フレームにおける画像データに基づいて、荷物１００にフォークリフト９０が接近したことを検知する。

荷物画像認識部３０５は、最新の画像フレームにおける画像データを画像処理部３０２の出力から取り込み、同時に所定時間前（例えば１秒前）に撮影された過去の画像フレームにおける画像データを画像記憶部３０３から読み出して取り込む。そして荷物画像認識部３０５は、時間の異なる２つの画像フレームのそれぞれについて、荷物１００に相当するパターンを認識するための処理を実施する。

パレット画像認識部３０６は、最新の画像フレームにおける画像データを画像処理部３０２の出力から取り込み、同時に所定時間前（例えば１秒前）に撮影された過去の画像フレームにおける画像データを画像記憶部３０３から読み出して取り込む。そして、パレット画像認識部３０６は、時間の異なる２つの画像フレームのそれぞれについて、パレット１１０に相当するパターンを認識するための処理を実施する。

荷物外郭座標検出部３０７は、荷物画像認識部３０５が認識した荷物１００のパターンについて、そのパターン外郭を表す各角部の複数の座標を画像フレーム毎に検出することができる。

パレット外郭座標検出部３０８は、パレット画像認識部３０６が認識したパレット１１０のパターンについて、そのパターン外郭を表す各角部の複数の座標を画像フレーム毎に検出することができる。

荷物移動ベクトル検出部３１１は、荷物外郭座標検出部３０７が検出した荷物１００の各特徴点について、移動ベクトルを検出する。すなわち、荷物移動ベクトル検出部３１１は、ある画像フレームにおける特徴点の座標と、一定時間前の画像フレームにおける特徴点の座標との間の移動量及び方向として、移動ベクトルを特徴点毎に算出する。

パレット移動ベクトル検出部３１２は、パレット外郭座標検出部３０８が検出したパレット１１０の各特徴点について、移動ベクトルを検出する。すなわち、パレット移動ベクトル検出部３１２は、ある画像フレームにおける特徴点の座標と、一定時間前の画像フレームにおける特徴点の座標との間の移動量及び方向として、移動ベクトルを特徴点毎に算出する。

荷物幅異常判定部３１３は、例えば図９に示したような荷物幅Ｌｗ１の異常を判定するための機能を有する。すなわち、荷物幅異常判定部３１３は、荷物１００のパターン外郭の下辺における特徴点の間隔を表す荷物幅Ｌｗ１と、パレット１１０のパターン外郭の下辺における特徴点の間隔を表すパレット幅Ｗｐ１をそれぞれ算出する。そして、荷物幅異常判定部３１３は、荷物幅Ｌｗ１とパレット幅Ｗｐ１を図８のステップＳ２２のように比較することで異常の有無を判定する。

荷物高さ異常判定部３１５は、例えば図１１に示したような荷物の高さが高すぎる異常の有無を判定するための機能を有する。すなわち、荷物高さ異常判定部３１５は、荷物１００のパターン外郭の上辺における特徴点の移動ベクトルＶｕ１を荷物移動ベクトル検出部３１１から入力する。また、荷物高さ異常判定部３１５は、パレット１１０のパターン外郭の下辺における特徴点の移動ベクトルＶｐをパレット移動ベクトル検出部３１２から入力する。そして、荷物高さ異常判定部３１５は、移動ベクトルＶｕ１、Ｖｐを図１０のステップＳ３１、Ｓ３２のように比較することで異常の有無を判定する。

荷物偏り異常判定部３１４は、例えば図１３に示したような荷物位置の偏りに関する異常の有無を判定するための機能を有する。すなわち、荷物偏り異常判定部３１４は、荷物１００のパターン外郭の上辺における特徴点の移動ベクトルＶｕ１を荷物移動ベクトル検出部３１１から入力する。荷物偏り異常判定部３１４は、パレット１１０のパターン外郭の下辺における特徴点の移動ベクトルＶｐをパレット移動ベクトル検出部３１２から入力する。そして、荷物偏り異常判定部３１４は、移動ベクトルＶｕ１、Ｖｐを図１２のステップＳ４１、Ｓ４２のように比較することで異常の有無を判定する。

警報報知部３１６は、荷物幅異常判定部３１３、荷物偏り異常判定部３１４、及び荷物高さ異常判定部３１５の１つ又は複数が異常を検知した場合に、異常の発生を表す警報信号ＳＧ０を生成する。

この警報信号ＳＧ０により、例えば音声Ｉ／Ｆ１９が音声信号を生成し、運転者に注意喚起するための音声アナウンスをスピーカ２０から出力する。また、表示部２７の画面上に注意喚起のメッセージが出力される。

走行速度監視部３１７は、車速センサ５１の出力する信号を監視することにより、フォークリフト９０の走行速度を把握し速度が高すぎないかどうかを監視している。旋回速度監視部３１８は、ジャイロセンサ５２が出力する信号に基づいて角速度を監視し、フォークリフト９０の旋回速度が過大になっていないかどうかを監視している。

車両稼働制限部３１９は、荷物幅異常判定部３１３、荷物偏り異常判定部３１４、及び荷物高さ異常判定部３１５の１つ又は複数が異常を検知した場合に、フォークリフト９０の走行速度や旋回速度を制限するための運転制限信号ＳＧＡ、ＳＧＢを生成する。車両稼働制限部３１９は、走行速度監視部３１７、旋回速度監視部３１８の出力を利用して、運転制限信号ＳＧＡ、ＳＧＢを生成する。これらの運転制限信号ＳＧＡ、ＳＧＢはフォークリフト９０側に入力される。

一方、荷物体積算出部３２１は、それぞれの運搬作業において車載器１０を搭載したフォークリフト９０が実際に運搬している荷物１００の体積を算出して把握する。すなわち、運搬する各荷物１００を表すパターン外郭の各特徴点の座標が荷物外郭座標検出部３０７の出力に得られるので、各特徴点の座標から荷物毎の形状や大きさを計算により推定することができる。また、車載カメラ２３の取り付け位置が一定であり、撮影範囲２３Ａも一定であるため、各座標から各特徴点の位置、距離、座標間の寸法を把握することが可能であり、荷物の体積を算出できる。

荷物体積記録部３２２は、荷物体積算出部３２１が算出した各荷物の体積の情報を、時刻情報管理部３２３が出力する現在時刻の情報と共にデータ記憶部３２４に、例えば一定時間おきに逐次記憶する。

時刻情報管理部３２３は、ＲＴＣ部２１の出力から現在時刻の情報を取得する。
警報記録部３２５は、警報報知部３１６が生成した警報の情報を、時刻情報管理部３２３が出力する現在時刻の情報と共にデータ記憶部３２４に記憶する。

データ記憶部３２４に記憶される体積の情報は、作業を行った時刻と関連付けられている。したがって、データ記憶部３２４上に蓄積されているデータを解析することにより、該当するフォークリフト９０の稼働によって、実際に運搬した荷物１００の体積の総量を正確に把握することが可能である。また、警報の発生回数や発生時刻も把握できる。

事務所ＰＣ３０は、それぞれのフォークリフト９０に搭載された車載器１０がデータ記憶部３２４に蓄積しているデータを、無線データ通信などで取得してリアルタイムで管理することにより、全体の作業の進捗状況などを管理することが容易になる。

なお、図５、図８、図１０、図１２、及び図１４に示した各処理ステップについては、一部分を除いて、車載器１０上の制御部１１、及び事務所ＰＣ３０の制御部３１のいずれが実行してもよい。

ここで、上述した本発明の実施形態に係る車載器、稼働管理装置、運転支援システム、運転支援プログラムの特徴をそれぞれ以下［１］〜［１０］に簡潔に纏めて列記する。
［１］ 荷物（１００）が載置された載置台（パレット１１０）を搬送する荷役車両（フォークリフト９０）に搭載される車載器（１０）であって、
前記荷役車両に取り付けられ、前記荷物と前記載置台とを含む領域を撮像する撮像装置（車載カメラ２３）と、
前記撮像装置により撮像された第一画像、及び前記第一画像の撮像後に撮像された第二画像のそれぞれに基づいて、前記荷物及び前記載置台の外郭座標をそれぞれ取得する外郭情報取得部（Ｓ１２，荷物外郭座標検出部３０７，パレット外郭座標検出部３０８）と、
前記外郭情報取得部が取得した、前記第一画像における前記荷物及び前記載置台の外郭座標、及び、前記第二画像における前記荷物及び前記載置台の外郭座標に基づいて、少なくとも前記荷物が前記載置台の端に配置されている異常の有無を判定する判定部（Ｓ１６，荷物偏り異常判定部３１４）と、
を備える車載器。
［２］ 前記外郭情報取得部は、前記第一画像における前記荷物及び前記載置台の特徴点である第一特徴点をそれぞれ認識し、前記第二画像における前記荷物及び前記載置台の特徴点である第二特徴点をそれぞれ認識し、前記荷物の前記第一特徴点から前記第二特徴点への移動ベクトルである荷物移動ベクトルを算出し（Ｓ１４，荷物移動ベクトル検出部３１１）、前記載置台の前記第一特徴点から前記第二特徴点への移動ベクトルである載置台移動ベクトルを算出し（Ｓ１４，パレット移動ベクトル検出部３１２）、
前記判定部は、前記荷物の上辺における前記荷物移動ベクトルの大きさが、前記載置台における、前記撮像装置の取付位置に近い側の端の前記載置台移動ベクトルの大きさよりも小さい場合に、少なくとも前記荷物が、前記載置台における前記取付位置から遠い側の端に配置されている異常の有無を判定する（Ｓ４２，Ｓ４３）
上記［１］に記載の車載器。
［３］ 荷物（１００）が載置された載置台（パレット１１０）を搬送する荷役車両（フォークリフト９０）に搭載される車載器（１０）であって、
前記荷役車両に取り付けられ、前記荷物と前記載置台とを含む領域を撮像する撮像装置（車載カメラ２３）と、
前記撮像装置により撮像された第一画像、及び前記第一画像の撮像後に撮像された第二画像のそれぞれに基づいて、前記荷物及び前記載置台の外郭座標をそれぞれ取得する外郭情報取得部（Ｓ１２，荷物外郭座標検出部３０７，パレット外郭座標検出部３０８）と、
前記外郭情報取得部が取得した、前記第一画像における前記荷物及び前記載置台の外郭座標、及び、前記第二画像における前記荷物及び前記載置台の外郭座標に基づいて、少なくとも前記荷物の高さが前記載置台に対して高すぎる異常の有無を判定する判定部（Ｓ１６，荷物高さ異常判定部３１５）と、
を備える車載器。
［４］ 前記外郭情報取得部は、前記第一画像における前記荷物及び前記載置台の特徴点である第一特徴点をそれぞれ認識し、前記第二画像における前記荷物及び前記載置台の特徴点である第二特徴点をそれぞれ認識し、前記荷物の前記第一特徴点から前記第二特徴点への移動ベクトルである荷物移動ベクトルを算出し（Ｓ１４，荷物移動ベクトル検出部３１１）、前記載置台の前記第一特徴点から前記第二特徴点への移動ベクトルである載置台移動ベクトルを算出し（Ｓ１４，パレット移動ベクトル検出部３１２）、
前記判定部は、前記荷物の上辺における前記荷物移動ベクトルの大きさが、前記載置台における、前記撮像装置の取付位置に近い側の端の前記載置台移動ベクトルの大きさよりも大きい場合に、少なくとも前記荷物の高さが前記載置台に対して高すぎる異常の有無を判定する（Ｓ３２，Ｓ３３）
上記［２］に記載の車載器。
［５］ 前記判定部が、前記異常があると判定した場合に、前記荷役車両の移動速度及び旋回速度の少なくともいずれか一方を制限する制限部（Ｓ２４，Ｓ３４，Ｓ４４，車両稼働制限部３１９）を備える
上記［１］〜［４］のいずれか一に記載の車載器。
［６］ 荷物（１００）が載置された載置台（パレット１１０）を搬送する荷役車両（フォークリフト９０）に搭載される車載器（１０）であって、
前記荷役車両に取り付けられ、前記荷物と前記載置台とを含む領域を撮像する撮像装置（車載カメラ２３）と、
前記撮像装置により撮像された画像に基づいて、前記荷物及び前記載置台の外郭座標をそれぞれ取得する外郭情報取得部（Ｓ１２）と、
前記外郭情報取得部が取得した前記外郭座標に基づいて、少なくとも前記荷物の幅が前記載置台の幅に対して大きすぎる異常の有無を判定する判定部（Ｓ１６，荷物幅異常判定部３１３）と、
を備える車載器。
［７］ 前記外郭情報取得部は、前記画像から前記荷物及び前記載置台の特徴点をそれぞれ認識し、前記荷物の底辺の特徴点の間隔から前記荷物の幅を算出し（Ｓ１３）、前記載置台における、前記撮像装置の取付位置に近い側の端の特徴点の間隔から前記載置台の幅を算出する（Ｓ１３）
上記［６］に記載の車載器。
［８］ 上記［１］〜［７］のいずれか一に記載の車載器（１０）が取得した前記荷物（１００）の外郭座標に基づいて前記荷物の体積を算出する体積算出部（荷物体積算出部３２１）と、
算出した前記体積を、時刻データとともに保存する記録部（荷物体積記録部３２２）と、
を備える稼働管理装置（車載器１０又は事務所ＰＣ３０）。
［９］ 上記［１］〜［７］のいずれか一に記載の車載器（１０）と、
上記［８］に記載の稼働管理装置（車載器１０又は事務所ＰＣ３０）と、
を備える運転支援システム。
［１０］ 荷物が載置された載置台を搬送する荷役車両の運転支援を行う運転支援プログラムであって、コンピュータ（制御部１１又は３１）に、
前記荷役車両に取り付けられ前記荷物と前記載置台とを含む領域を撮像する撮像装置から、撮像された画像を取得するステップ（画像処理部３０２）と、
前記撮像装置により撮像された第一画像、及び前記第一画像の撮像後に撮像された第二画像のそれぞれに基づいて、前記荷物及び前記載置台の外郭座標をそれぞれ取得するステップ（Ｓ１２）と、
前記第一画像における前記荷物及び前記載置台の外郭座標、及び、前記第二画像における前記荷物及び前記載置台の外郭座標に基づいて、前記荷物が前記載置台の端に配置されている異常の有無を判定するステップ（Ｓ４２，Ｓ４３）と、
を実行させる運転支援プログラム。

１０ 車載器
１１ 制御部
１２Ａ，１２Ｂ，１３，１４，１６，１８，１９，２９ インタフェース（Ｉ／Ｆ）
１５ ＧＰＳ受信部
１７ 記録部
２０ スピーカ
２１ ＲＴＣ部
２２ スイッチ入力部
２３ 車載カメラ
２３Ａ 撮影範囲
２４ 通信部
２５ 電源部
２６Ａ 不揮発メモリ
２６Ｂ 揮発メモリ
２７ 表示部
２８ Ｇセンサ
３０ 事務所ＰＣ
３１ 制御部
３２ 通信部
３３ 表示部
３４ 記憶部
３５，３８，４８ インタフェース
３６ 操作部
３７ 出力部
４１ マイク
４２ スピーカ
５１ 車速センサ
５２ ジャイロセンサ
５３ 信号出力部
６５ メモリカード
８０ アクセスポイント
９０ フォークリフト
９１ 爪
９２ バックレスト
９３ マスト
９８ 地面
１００ 荷物
１１０ パレット
２００，２００Ａ，２００Ｂ，２００Ｃ，２００Ｄ，２００Ｅ カメラ画像
２０１ 地面領域
２０２ 爪パターン
２０３ ＦＯＥ点
２１０ パレットパターン
２１１ パレット下辺
２２０ 荷物パターン
２２１ 荷物上辺
３０１ 車載カメラ映像
３０２ 画像処理部
３０３ 画像記憶部
３０４ 接近検知部
３０５ 荷物画像認識部
３０６ パレット画像認識部
３０７ 荷物外郭座標検出部
３０８ パレット外郭座標検出部
３１１ 荷物移動ベクトル検出部
３１２ パレット移動ベクトル検出部
３１３ 荷物幅異常判定部
３１４ 荷物偏り異常判定部
３１５ 荷物高さ異常判定部
３１６ 警報報知部
３１７ 走行速度監視部
３１８ 旋回速度監視部
３１９ 車両稼働制限部
３２１ 荷物体積算出部
３２２ 荷物体積記録部
３２３ 時刻情報管理部
３２４ データ記憶部
３２５ 警報記録部
ＳＧ０ 警報信号
ＳＧＡ，ＳＧＢ 運転制限信号
ＶＥ１，ＶＥ２ 移動ベクトル
Ｗｐ１ パレット幅
Ｌｗ１ 荷物幅

Claims (10)

1. 荷物が載置された載置台を搬送する荷役車両に搭載される車載器であって、
   前記荷役車両に取り付けられ、前記荷物と前記載置台とを含む領域を撮像する撮像装置と、
   前記撮像装置により撮像された第一画像、及び前記第一画像の撮像後に撮像された第二画像のそれぞれに基づいて、前記荷物及び前記載置台の外郭座標をそれぞれ取得する外郭情報取得部と、
   前記外郭情報取得部が取得した、前記第一画像における前記荷物及び前記載置台の外郭座標、及び、前記第二画像における前記荷物及び前記載置台の外郭座標に基づいて、少なくとも前記荷物が前記載置台の端に配置されている異常の有無を判定する判定部と、 を備える車載器。
2. 前記外郭情報取得部は、前記第一画像における前記荷物及び前記載置台の特徴点である第一特徴点をそれぞれ認識し、前記第二画像における前記荷物及び前記載置台の特徴点である第二特徴点をそれぞれ認識し、前記荷物の前記第一特徴点から前記第二特徴点への移動ベクトルである荷物移動ベクトルを算出し、前記載置台の前記第一特徴点から前記第二特徴点への移動ベクトルである載置台移動ベクトルを算出し、
   前記判定部は、前記荷物の上辺における前記荷物移動ベクトルの大きさが、前記載置台における、前記撮像装置の取付位置に近い側の端の前記載置台移動ベクトルの大きさよりも小さい場合に、少なくとも前記荷物が、前記載置台における前記取付位置から遠い側の端に配置されている異常の有無を判定する
   請求項１に記載の車載器。
3. 荷物が載置された載置台を搬送する荷役車両に搭載される車載器であって、
   前記荷役車両に取り付けられ、前記荷物と前記載置台とを含む領域を撮像する撮像装置と、
   前記撮像装置により撮像された第一画像、及び前記第一画像の撮像後に撮像された第二画像のそれぞれに基づいて、前記荷物及び前記載置台の外郭座標をそれぞれ取得する外郭情報取得部と、
   前記外郭情報取得部が取得した、前記第一画像における前記荷物及び前記載置台の外郭座標、及び、前記第二画像における前記荷物及び前記載置台の外郭座標に基づいて、少なくとも前記荷物の高さが前記載置台に対して高すぎる異常の有無を判定する判定部と、
   を備える車載器。
4. 前記外郭情報取得部は、前記第一画像における前記荷物及び前記載置台の特徴点である第一特徴点をそれぞれ認識し、前記第二画像における前記荷物及び前記載置台の特徴点である第二特徴点をそれぞれ認識し、前記荷物の前記第一特徴点から前記第二特徴点への移動ベクトルである荷物移動ベクトルを算出し、前記載置台の前記第一特徴点から前記第二特徴点への移動ベクトルである載置台移動ベクトルを算出し、
   前記判定部は、前記荷物の上辺における前記荷物移動ベクトルの大きさが、前記載置台における、前記撮像装置の取付位置に近い側の端の前記載置台移動ベクトルの大きさよりも大きい場合に、少なくとも前記荷物の高さが前記載置台に対して高すぎる異常の有無を判定する
   請求項２に記載の車載器。
5. 前記判定部が、前記異常があると判定した場合に、前記荷役車両の移動速度及び旋回速度の少なくともいずれか一方を制限する制限部を備える
   請求項１〜４のいずれか一項に記載の車載器。
6. 荷物が載置された載置台を搬送する荷役車両に搭載される車載器であって、
   前記荷役車両に取り付けられ、前記荷物と前記載置台とを含む領域を撮像する撮像装置と、
   前記撮像装置により撮像された画像に基づいて、前記荷物及び前記載置台の外郭座標をそれぞれ取得する外郭情報取得部と、
   前記外郭情報取得部が取得した前記外郭座標に基づいて、少なくとも前記荷物の幅が前記載置台の幅に対して大きすぎる異常の有無を判定する判定部と、
   を備える車載器。
7. 前記外郭情報取得部は、前記画像から前記荷物及び前記載置台の特徴点をそれぞれ認識し、前記荷物の底辺の特徴点の間隔から前記荷物の幅を算出し、前記載置台における、前記撮像装置の取付位置に近い側の端の特徴点の間隔から前記載置台の幅を算出する
   請求項６に記載の車載器。
8. 前記請求項１〜７のいずれか一項に記載の車載器が取得した前記荷物の外郭座標に基づいて前記荷物の体積を算出する体積算出部と、
   算出した前記体積を、時刻データとともに保存する記録部と、
   を備える稼働管理装置。
9. 請求項１〜７のいずれか一項に記載の車載器と、
   請求項８に記載の稼働管理装置と、
   を備える運転支援システム。
10. 荷物が載置された載置台を搬送する荷役車両の運転支援を行う運転支援プログラムであって、コンピュータに、
    前記荷役車両に取り付けられ前記荷物と前記載置台とを含む領域を撮像する撮像装置から、撮像された画像を取得するステップと、
    前記撮像装置により撮像された第一画像、及び前記第一画像の撮像後に撮像された第二画像のそれぞれに基づいて、前記荷物及び前記載置台の外郭座標をそれぞれ取得するステップと、
    前記第一画像における前記荷物及び前記載置台の外郭座標、及び、前記第二画像における前記荷物及び前記載置台の外郭座標に基づいて、前記荷物が前記載置台の端に配置されている異常の有無を判定するステップと、
    を実行させる運転支援プログラム。

Images