本発明の実施形態に係る特装車の人物認識システムについて、図面を参照して説明する。以下では、特装車が、車台上に架装された塵芥積込装置(作業装置)を備えた塵芥収集車である場合について説明する。なお、以下の説明においては、便宜上、塵芥収集車の前後左右を単に「前後左右」と言うこともある。
本発明の実施形態に係る塵芥収集車100の人物認識システムの概略構成は、図7に示されている。ここでは、まず、人物認識システムに備えられる塵芥収集車100について説明する。図1、図2に示すように、塵芥収集車100では、車台1上に塵芥収容箱2と塵芥投入箱3とが設けられており、塵芥収容箱2の後方の開口部と塵芥投入箱3の前面の開口部とが連通されている。また、塵芥投入箱3は、その上部に設けられた左右方向の枢軸3aによって塵芥収容箱2に対して軸支されており、左右一対の傾動シリンダ(図示省略)によって傾動されるようになっている。
また、塵芥投入箱3の背面における下寄りの部位には、塵芥G(図8参照)を投入するための略矩形状の塵芥投入口4が開口され、昇降可能なテールゲート5によって、塵芥投入口4が開閉されるようになっている。塵芥投入口4の左側方には、塵芥積込装置の作動などの操作のためのスイッチボックス6が設けられている。また、塵芥投入口4の上方には、塵芥投入口4およびその近傍のエリアを撮影するようにカメラユニット7が配設されている。カメラユニット7は、塵芥投入口4より上方に配設された塵芥投入箱3の傾斜後面部(湾曲状の後面部)3bから後方に突出する支持部材80を介して、塵芥投入箱3の上部に固定されている。
より具体的に説明すると、図2~図6に示すように、支持部材80は、傾斜後面部3bの左右両端部に基端部を有する枠状となっている。カメラユニット7は、支持部材80において塵芥投入箱3の左右中央部となる位置に固定されている。カメラユニット7は、塵芥投入口4の近傍の物体の物体像を動画で取得可能な物体像取得部としてのカメラ71と、報知部としての検出ランプ73と、第2の報知部としての作動中ランプ72とを有している。塵芥収集車100の人物認識システムにおいて、カメラ71によって撮影された画像(動画)のデータは、リアルタイムで管理センタの管理センタサーバ200(図7参照)に送信され、管理センタサーバ200のサーバ側記憶部205に保存されるようになっている。
カメラ71は、塵芥投入箱3の後方上部に所定の取付角度で取り付けられている。具体的には、カメラ71は、カメラユニット7の左右中央部に設けられた凹部74の中に取付ブラケット75を介して取り付けられている。カメラ71は、撮像レンズ71aを有しており、この撮像レンズ71aが斜め下方に向くようにしてカメラユニット7の取付ブラケット75に対し水平軸回りに上下回動調整可能に取り付けられている。カメラユニット7の凹部74の左右両側には、水平面に対して後方上傾状の(車両後方に向かうにつれて上方に傾斜する)固定面7aが設けられている。左側の固定面7aには作動中ランプ72が下向きに取り付けられている。また、右側の固定面7aには、検出ランプ73が下向きに取り付けられている。つまり、作動中ランプ72と検出ランプ73は、カメラ71の撮像レンズ71aの近傍となるカメラ71の左右両側に設けられている。
次に、図3に示すように、塵芥投入箱3の内部には、投入された塵芥Gを塵芥収容箱2に積み込む塵芥積込装置(作業装置)が装備されている。この塵芥積込装置によって、塵芥投入箱3に投入された塵芥を、塵芥投入箱3の前方に連設された塵芥収容箱2へ押し込むようになっている。塵芥収容箱2には、収容された塵芥を排出する図示省略の塵芥排出装置が設けられている。この塵芥排出装置としては、例えば塵芥収容箱2を、車台1と塵芥収容箱2との間に介設されたダンプシリンダによって傾動させて塵芥を排出したり、塵芥収容箱2の内部に設けた排出板を排出シリンダにより塵芥収容箱2の後方に移動させて塵芥を排出したりするものが考えられる。
次に、本実施形態の塵芥積込装置について具体的に説明する。本実施形態の塵芥積込装置は、回転板(積込部材)10の回転によって塵芥Gを掻き上げるとともに、押込板20によって塵芥収容箱2内へと押し込む、いわゆる回転板式の塵芥積込装置として構成されている。塵芥投入箱3内の下部においてその幅方向に延びるように回転軸11が架設され、これに回転板10の基端側が固定されている。
図示の例では、回転軸11の端部に減速機構12を介して正逆回転可能な油圧モータ13が連結されている。この油圧モータ13の回転が減速機構12によりトルクアップされて回転軸11に伝達され、この回転軸11と一体に回転板10が回転されることで、その先端部は、断面略半円弧状に形成された塵芥投入箱3の底壁に沿って前後方向に移動するようになる。
一方、押込板20は、回転板10の上方において塵芥投入箱3の幅方向全体に亘って設けられ、その上部に設けられた左右方向の揺動軸21の周りに前後方向に揺動自在に支持されている。また、押込板20には、揺動軸21よりも上方に延びる延設部22が設けられ、この延設部22とその前方の支持ピン23との間に押込シリンダ24が架設されており、その伸縮作動によって押込板20を前後方向に揺動させるようになっている。
具体的には、図3に実線で示すように、押込板20が塵芥収容箱2の側に最も揺動した位置(前進限界位置)にあるときは、この押込板20に干渉することなく回転板10が上方に回動するようになり、これに遅れて押込板20が塵芥投入口4側へ揺動する。そして、押込板20が塵芥投入口4側に最も揺動し、図3に仮想線で示す後退限界位置に達した後も、回転板10の回動は継続される。
このようにして回転する回転板10は、塵芥Gを塵芥収容箱2側に掻き込んで、図3に実線で示すように、前方の塵芥収容箱2側に延びる設定停止位置に一旦、停止する。そうすると、今度は押込板20が塵芥収容箱2側に揺動して、回転板10上の塵芥Gを塵芥収容箱2に押し込んでいく。そして、押込板20が再び前進限界位置に達すると、再び回転板10が上方へ回動するようになる。
このように互いに同期して回転板10の回転および押込板20の揺動が繰り返されることによって、塵芥投入箱3に投入された塵芥Gが連続的に塵芥収容箱2に積み込まれる塵芥積込作動が行われる。このように回転板10および押込板20を作動させるための油圧回路および制御系の構成については後述する。
塵芥投入箱3の内部には、回転板10および押込板20の位置を検出するためのスイッチLS1~LS4が設けられている。具体的には、図3に示すように、押込板20が前進限界位置または後退限界位置にあるときにそれぞれオンになるスイッチLS1,LS2と、回転板10が設定停止位置にあるときにオンになるスイッチLS3と、その設定停止位置から回転板10が正の向き(図1の時計回り)に所定角度回転したときにオンになり、さらに所定角度回転したときにオフになるスイッチLS4とが設けられている。
なお、スイッチLS1,LS2は、押込板20の揺動軸21の端部に設けられたドグ(図示省略)を検出するようになっており、スイッチLS3~LS4は、回転板10の回転軸11の端部に設けられたドグ(図示省略)を検出するようになっている。また、これらのスイッチLS1~LS4としては、例えばリミットスイッチ、光電スイッチ、近接スイッチなどを用いることができる。また、スイッチLS4は、図3にハッチングで示すように、回転板10が塵芥投入口4の前縁部(上縁部)4aの真下から、その後方へ回転しつつ下降して塵芥投入口4の後縁部(下縁部)4bに最も近接するまでの角度範囲Zを検出するもので、回転板10が塵芥投入口4の近傍にて作動していることを検出するためのセンサである。
さらに、図1、図3に示すように、塵芥投入口4の近傍には、塵芥積込装置の作動を停止させるための緊急停止ボタン60,61や、緊急停止プレート62などが配設されている。図1に示すように、塵芥投入口4の左側に設けられたスイッチボックス6の側面に緊急停止ボタン60(図6のスイッチSW1に対応)が配設され、また、図3に破線で示すように、塵芥投入口4の右側に緊急停止ボタン61(図6のスイッチSW3に対応)が配設されている。緊急停止プレート62は、塵芥投入口4の下方においてスイッチSW2をオンオフするように配設されている。また、図2に示すように、スイッチボックス6の後面には、停止解除スイッチ63が配設されている。この停止解除スイッチ63は例えばモーメンタリのスイッチSW4をオンオフするように配設されている。停止解除スイッチ63は、後述する塵芥積込装置の塵芥積込動作の緊急停止を解除する際に操作される。
-塵芥積込装置の制御系-
次に、図5~図7を参照して、塵芥積込装置を作動させるための制御系について説明する。この制御系は、塵芥積込装置の油圧モータ13や、押込シリンダ24などに供給する油圧を制御する油圧回路と、この油圧回路に設けられた電磁制御弁V1,V2に制御信号を出力する本体制御部PLC(プログラマブル ロジック コントローラ)と、カメラ71からの動画のデータに基づく人物認識処理を管理センタサーバ200に実行させる画像処理ユニット9とを備えている。なお、本体制御部PLCは、塵芥積込装置の駆動だけでなく塵芥排出装置の駆動も制御するようになっている。また、画像処理ユニット9と本体制御部PLCとで架装物である塵芥積込装置の制御装置を構成している。
まず、図5を参照して油圧回路について説明する。この油圧回路は、油圧ポンプPと、オイルリザーバTと、押込シリンダ24を制御するための電磁制御弁V1と、油圧モータ13を制御するための電磁制御弁V2とを備えている。なお、油圧ポンプPには、車両走行駆動源としてのエンジン(図示省略)の動力を取り出すPTO(パワー テイク オフ)によって駆動力が伝達されるようになっている。
一例として、電磁制御弁V1,V2は、いずれも6ポート3位置の電磁式の方向切換弁からなる。電磁制御弁V1は、本体制御部PLCによりソレノイドSOLaが励磁されると第1連通位置(図5の上位置)に切り換わって、油圧ポンプPからの作動油を一対の押込シリンダ24のロッド側油室に供給する。一方、電磁制御弁V1は、本体制御部PLCによりソレノイドSOLbが励磁されると第2連通位置(図5の下位置)に切り換わって、作動油をヘッド側油室に供給する。
そして、電磁制御弁V1から作動油がヘッド側油室に供給されると、一対の押込シリンダ24が伸長作動して押込板20を前方に揺動させる。一方、作動油がロッド側油室に供給されると、一対の押込シリンダ24は収縮作動して、押込板20を後方に揺動させる。また、いずれのソレノイドSOLa,SOLbも励磁されていないときに、電磁制御弁V1は中立位置(図5の中央位置)に復帰するようになる。
電磁制御弁V2は、ソレノイドSOLcが励磁されると第1連通位置(図5の下位置)に切り換わって、作動油を油圧モータ13の正転側油室に供給し、当該油圧モータ13を正転作動させるほか、押込シリンダ24も伸縮作動させることができる。一方、ソレノイドSOLdが励磁されると電磁制御弁V2は第2連通位置(図5の上位置)に切り換わって、作動油を油圧モータ13の逆転側油室に供給し、当該油圧モータ13を逆転作動させる。
また、いずれのソレノイドSOLc,SOLdも励磁されていないときに、電磁制御弁V2は中立位置(図5の中央位置)に復帰するようになる。電磁制御弁V1,V2の両方が中立位置にあるとき、作動油はオイルリザーバTへ還流するようになる。なお、図示の油圧回路において、符号V3はチェック弁であり、また、符号V4は、油圧ポンプPの吐出圧の上限を設定するためのリリーフ弁である。
次に、図6を参照して本体制御部PLCおよび画像処理ユニット9の信号の入出力状態について説明する。まず、本体制御部PLCへの電力供給はバッテリBTによって行われる。このバッテリBTの正極から図6の右側に延びてグランドラインK1に至る通電ラインK2には、塵芥収集車100のイグニッションスイッチSWK、PTOスイッチ(駆動源スイッチ)SWP、リレーコイルR1などが介設されている。
また、イグニッションスイッチSWKおよびバッテリBTの中間において通電ラインK2から分岐するように、通電ラインK3の上流端が接続されており、その上流側(バッテリBTに近い側)にはリレーコイルR1の接点(リレースイッチ)r1が介設されている。この通電ラインK3には電源ランプLが介設されており、リレーコイルR1が励磁されて接点r1が閉じられると、通電ラインK3に通電することによって電源ランプLが点灯する。
また、リレーコイルR1の接点r1および電源ランプLの中間において通電ラインK3から分岐するように、通電ラインK4の上流端が接続されており、これにより本体制御部PLCの信号用電力供給部(図示省略)に電力が供給されるようになっている。つまり、接点r1が閉じられると、通電ラインK3,K4を介して本体制御部PLCに電力が供給される。
さらに、通電ラインK4から分岐する通電ラインK5によって、塵芥積込装置の塵芥積込作動中には必ず本体制御部PLCに通電されるようになっている。つまり、通電ラインK5は、いわゆる積込継続信号を入力するラインであり、ここには、上述した緊急停止ボタン60,61および緊急停止プレート62の操作に対応して開閉されるスイッチSW1~SW3などが介設されている。これらのスイッチSW1~SW3によって通電(つまり、積込継続信号の入力)が遮断されると、本体制御部PLCは、電磁制御弁V1,V2のソレノイドSOLa~SOLdを励磁させるための制御信号の出力をオフするようになっている。これにより、電磁制御弁V1,V2が中立位置に復帰するようになり、塵芥積込装置の作動が停止されるようになっている。
また、通電ラインK4にはその途中から分岐する複数の分岐ラインが接続されており、これらの分岐ラインのそれぞれに、上述したスイッチLS1~LS4が介設されている。スイッチLS1~LS4からの信号は本体制御部PLCに入力されるようになっており、これらの信号に基づいて塵芥積込装置の回転板10および押込板20の位置、言い換えれば作動状況が検出される。
さらに、スイッチLS1~LS4の他にも本体制御部PLCへの入力側には、塵芥積込装置をサイクル作動させるためのアクチュエータ操作部としての積込スイッチSW5、塵芥積込装置の塵芥積込動作または塵芥排出装置の塵芥排出動作を切り換えるための切換スイッチSW6、塵芥投入箱3を傾動させて開放するためのスイッチSW7、塵芥積込動作の単動または連続の選択スイッチ(図示省略)、回転板10や押込板20を単独で作動させるスイッチ(図示省略)なども電気的に接続されている。切換スイッチSW6は、通電ラインK4から通電ラインK5が分岐する分岐位置に設けられており、通電ラインK5は、切換スイッチSW6の積込側に接続されている。
上述のように各種スイッチが入力側に接続されている一方、本体制御部PLCの出力側には、上述した電磁制御弁V1,V2のソレノイドSOLa~SOLdなどが接続されている。そして、本体制御部PLCは、スイッチSW1~SW3,LS1~LS4などから入力する信号に基づいて、予め設定された手順に従い、油圧モータ13や押込シリンダ24などを作動させるべく、対応するソレノイドSOLa~SOLdに出力するようにプログラムされている。
具体的には、塵芥積込装置が塵芥積込作動するときには、通電ラインK2上のイグニッションスイッチSWKおよびPTOスイッチSWPがいずれもオンになると、リレーコイルR1が励磁される。これにより、リレーコイルR1の接点r1が閉じられるので、通電ラインK3およびK4によって本体制御部PLCに電力供給されることにより、本体制御部PLCが作動可能な状態になって適宜、ソレノイドSOLa~SOLdに制御信号を出力するようになる。
この制御信号を受けてソレノイドSOLa~SOLdが励磁され、電磁制御弁V1,V2の位置が適宜、切り換えられることで、油圧モータ13や押込シリンダ24などに作動油圧が供給される。これにより、油圧モータ13や押込シリンダ24などがそれぞれ作動し、上述したように、回転板10の回転および押込板20の揺動が互いに同期して繰り返されることになる。
詳細には、まず図3に実線で示すように押込板20が前進限界位置にあって、スイッチLS1からオン信号が出力されるとともに、回転板10が設定停止位置にあって、スイッチLS3からもオン信号が出力されるときに、積込スイッチSW5の信号を受けた本体制御部PLCから制御信号が出力され、電磁制御弁V2が第1連通位置に切り換えられて、油圧モータ13が正転作動を開始する。これにより、回転板10は上方に回動し始める。
そして、所定の期間が経過すると本体制御部PLCから電磁制御弁V1のソレノイドSOLaへ制御信号が出力されて、電磁制御弁V1が第1連通位置に切り換えられ、押込シリンダ24が収縮作動を開始する。これにより押込板20は後方の塵芥投入口4側へ揺動するようになり、この押込板20が後退限界位置に達すると、スイッチLS2からオン信号が出力される。
これを受けて本体制御部PLCがソレノイドSOLaへの制御信号の出力を停止することで、電磁制御弁V1が中立位置に復帰し、押込板20の揺動が停止する。また、そうして押込板20が揺動している間も回転板10の回動は継続しており、塵芥Gを塵芥収容箱2側に掻き込んでゆくが、こうして回動する回転板10が設定停止位置に至り、スイッチLS3からオン信号が出力される。
これを受けて本体制御部PLCが、電磁制御弁V2のソレノイドSOLcへの制御信号の出力を停止することで、電磁制御弁V2が中立位置に復帰し、油圧モータ13の回動が停止する。また、本体制御部PLCは、電磁制御弁V1のソレノイドSOLbへ制御信号を出力し、電磁制御弁V1が第2連通位置に切り換えられて、押込シリンダ24が伸長作動を開始することで、押込板20が前方へ揺動し始める。
こうして前方の塵芥収容箱2側に揺動する押込板20が、回転板10上の塵芥Gを塵芥収容箱2に押し込んでいき、前進限界位置に達すれば、スイッチLS1からオン信号が出力される。これを受けて本体制御部PLCがソレノイドSOLbへの制御信号の出力を停止することで、電磁制御弁V1が中立位置に復帰し、押込シリンダ24の伸長作動、つまり、押込板20の前方への揺動が停止し、一連の動作が終了する。
また、図6に示すように、イグニッションスイッチSWKおよびPTOスイッチSWPの中間において、通電ラインK6の上流端が接続されており、この通電ラインK6には、画像処理ユニット9が接続されている。イグニッションスイッチSWKがオンになると、この通電ラインK6を介して、画像処理ユニット9に電力が供給される。画像処理ユニット9は、通電ラインK7を介してカメラユニット7のカメラ71に接続されている。また、画像処理ユニット9には、通電ラインK8を介して、車両の運転操作に基づく後退信号が入力されるようになっている。
画像処理ユニット9には、所定のプログラムを実行して各種の制御を行う中央処理部CPU、中央処理部CPUにおいて使用されるデータを記憶する記憶部としてのメモリM、中央処理部CPUの指令を受けて監視用のモニタ93(図1参照)に画像処理の結果などを表示させる画像出力部VOP、データログの時刻を計時する計時部C、カメラ71の制御を行うカメラ制御部(図示省略)などが設けられている。なお、リレーコイルR1の接点r1よりも上流側において通電ラインK3から分岐するように、通電ラインK9の上流端が接続されており、この通電ラインK9を介して計時部Cへの電力供給が行われる。このため、イグニッションスイッチSWKがオフの場合にも、計時部Cへの通電が常時行われるようになっている。
また、画像処理ユニット9には、通電ラインK5から分岐する通電ラインK10が接続されている。この通電ラインK10は、塵芥積込装置の塵芥排出動作の際は機能せず、塵芥積込装置の塵芥積込動作の際に機能するための積込信号ラインになっている。通電ラインK10は、切換スイッチSW6の積込側に接続されており、PTOスイッチSWPがオンであって、切換スイッチSW6が積込側に切り換えられている場合に、画像処理ユニット9に積込ライン信号が入力されるようになっている。
画像処理ユニット9と、本体制御部PLCとの間には、作動スイッチSWSが介在されている。画像処理ユニット9には、人物安全信号の出力ポートが設けられており、この出力ポートと作動スイッチSWSとが通電ラインK16により接続されている。また、画像処理ユニット9には、データログ開始信号の入力ポートが設けられており、この入力ポートと作動スイッチSWSとが通電ラインK17により接続されている。また、作動スイッチSWSには、通電ラインK10から分岐された通電ラインK15が接続されている。
作動スイッチSWSがオン側に切り換えられている場合、通電ラインK16と通電ラインK12とを介して、画像処理ユニット9の人物安全信号の出力ポートと本体制御部PLCとが接続される。
ここで、画像処理ユニット9から出力される人物安全信号は、通電ラインK16と通電ラインK12とを通って本体制御部PLCに入力されるようになっている。しかし、塵芥積込装置の塵芥積込動作の際に人物が侵入禁止エリア(後述の第2の検知エリアY12)に入ると、画像処理ユニット9から人物安全信号が出力されず、本体制御部PLCに人物安全信号が入力されない。本体制御部PLCは、人物安全信号の入力がないことを条件の1つとして、塵芥積込装置の塵芥積込動作の緊急停止を行うようになっている。
また、作動スイッチSWSがオン側に切り換えられている場合、通電ラインK6から分岐された通電ラインK11が通電ラインK17と接続される。この場合、イグニッションスイッチSWKがオンになると、通電ラインK6に通電が行われることにより、通電ラインK11と通電ラインK17を通じて、データログ開始信号が画像処理ユニット9に送られる。そして、それをトリガとしてデータログが実行される。
一方、作動スイッチSWSがオフ側に切り換えられている場合、通電ラインK15と通電ラインK12とを介して、通電ラインK10と本体制御部PLCとが接続される。この場合、画像処理ユニット9に積込ライン信号が入力されているときに、通電ラインK10からの電圧が、人物安全信号の代わりに本体制御部PLCに入力される。このため、侵入禁止エリアで人物を認識したか否かにかかわらず、本体制御部PLCは、人物安全信号の入力が常時あると認識するようになっている。
なお、作動スイッチSWSがオフ側に切り換えられている場合、通電ラインK17への通電は行われず、データログは開始されないようになっている。
また、画像処理ユニット9と、本体制御部PLCとの間には、停止解除スイッチ63に対応するスイッチSW4が介在されている。スイッチSW4は、通電ラインK10から分岐された通電ラインK13に介設されている。停止解除スイッチ63がオン操作されていない場合には、スイッチSW4がオフ状態になっており、本体制御部PLCには、信号が入力されないようになっている。一方、停止解除スイッチ63がオン操作された場合には、スイッチSW4がオン状態になり、画像処理ユニット9に積込ライン信号が入力されているときに、通電ラインK10からの電圧が、停止解除のオン信号として本体制御部PLCに入力されるようになっている。なお、塵芥積込装置の塵芥排出動作の際には、画像処理ユニット9に積込ライン信号が入力されないため、停止解除スイッチ63の機能が無効になる。
本体制御部PLCは、停止解除スイッチ63のオン信号を認識した場合、画像処理ユニット9からの人物安全信号の入力がなくなったとしてもそれを条件として塵芥積込装置の塵芥積込動作の緊急停止を行わないようになっている。
画像処理ユニット9には、運転席周辺に配設されているパイロットランプ(図示省略)、塵芥投入口4の近傍に配設されている報知部としての作動中ランプ72および検出ランプ73が電気的に接続されており、それらの点灯制御が中央処理部CPUにより行われる。また、画像処理ユニット9には、後退警告音を出力するブザー91が接続されており、この制御についても中央処理部CPUにより行われる。作動中ランプ72、検出ランプ73およびブザー91の低電位側は、通電ラインK13を介してグランドラインK1に接続されている。
また、図7に示すように、塵芥収集車100の人物認識システムにおいて、画像処理ユニット9は、管理センタサーバ200に通信接続可能になっている。詳細には、画像処理ユニット9は、塵芥収集車100に備えられた第1通信部101と接続されている。そして、この第1通信部101が、例えばインターネット等のネットワークを介して、管理センタ内の管理センタサーバ200に備えられた第2通信部201と相互に通信可能になっている。画像処理ユニット9から第1通信部101を介して管理センタサーバ200へ、カメラ71によって撮影された動画のデータがリアルタイムで送信される。管理センタサーバ200で受信された動画のデータは、サーバ側記憶部205に保存される。また、管理センタサーバ200から第1通信部101を介して画像処理ユニット9へ、人物認識処理の判定結果がリアルタイムで送信される。画像処理ユニット9で受信された人物認識処理の判定結果は、メモリMに保存される。
塵芥収集車100には、上述した第1通信部101、作動スイッチSWS、PTOスイッチ(駆動源スイッチ)SWP、積込スイッチ(アクチュエータ操作部)SW5、作動中ランプ72、検出ランプ73に加え、位置情報取得部102などが備えられている。位置情報取得部102は、例えば図示しないGPS衛星からの電波を受信することにより塵芥収集車100の位置情報を取得することが可能になっている。
第1通信部101は、管理センタサーバ200に対し、メモリMに保存された塵芥収集車100の使用車種情報およびユーザ情報と、カメラ71によって撮影された動画のデータと、位置情報取得部102により取得された位置情報と、積込ライン信号と、後退信号とを送信するようになっている。
管理センタサーバ200が設置される管理センタは、例えば、画像処理ユニット9を含む塵芥収集車100を製造販売する架装メーカーが有するものである。なお、管理センタは、例えば収集業者の事業所であってもよい。
管理センタサーバ200には、上述した第2通信部201、サーバ側記憶部205に加え、画像解析部202、学習用画像抽出部203、機械学習部204などが備えられている。画像解析部202は、カメラ71によって取得され、管理センタサーバ200に入力された動画のデータに基づいて人物認識処理を行うものである。学習用画像抽出部203は、カメラ71によって取得され、管理センタサーバ200に入力された動画のデータから、辞書データを更新するための学習用画像データを所定タイミングで抽出してサーバ側記憶部205に保存するものである。機械学習部204は、学習用画像抽出部203により抽出された学習用画像データに基づいて、機械学習により更新用辞書データを作成してサーバ側記憶部205に保存するものである。
管理センタサーバ200では、学習用画像抽出部203で抽出された学習用画像データに基づいて、機械学習部204による機械学習が行われ、更新用辞書データが作成される。また、機械学習部204によって作成された更新用辞書データに基づいて、サーバ側記憶部205に保存されている辞書データが更新される。そして、画像解析部202による人物認識処理の際には、更新用辞書データを用いて更新されたサーバ側記憶部205の辞書データが参照される。
サーバ側記憶部205には、人物認識処理の際に参照される辞書データが保存されている。サーバ側記憶部205に保存される辞書データとしては、積込用(作業用)の辞書データと、後退用の辞書データとがある。また、サーバ側記憶部205には、学習用画像抽出部203により抽出された学習用画像データが保存される。サーバ側記憶部205に保存される学習用画像データとしては、積込用(作業用)の学習用画像データと、後退用の学習用画像データとがある。また、サーバ側記憶部205には、機械学習部204により作成された更新用辞書データが保存される。サーバ側記憶部205に保存される更新用辞書データとしては、積込用(作業用)の更新用辞書データと、後退用の更新用辞書データとがある。
ここで、サーバ側記憶部205に保存される積込用(作業用)の辞書データは、塵芥収集車100のユーザごとに区別して設けられており、また、塵芥収集車100の車種ごとに区別して設けられている。また、サーバ側記憶部205に保存される後退用の辞書データは、ユーザごとに区別して設けられており、また、使用車種ごとに区別して設けられている。そして、画像処理ユニット9から送信された塵芥収集車100の車種情報およびユーザ情報に基づいて、画像解析部202の判定の際に参照する辞書データが切り換えられるようになっている。
さらに、サーバ側記憶部205には、人物認識処理に用いられる人物検出用エリアも保存されている。サーバ側記憶部205に保存される人物検出用エリアとしては、積込用(作業用)の人物検出用エリア(第1の検知エリアY11、第2の検知エリアY12)と、後退用の人物検出用エリア(第3の検知エリアY2)とがある。
本実施形態では、カメラ71の撮像レンズ71aの左右両側に、作動中ランプ72および検出ランプ73が配設されている(図4参照)。作動中ランプ72は、原則として画像処理ユニット9に積込ライン信号が入力されている場合にオンされる(点灯される)。検出ランプ73は、原則として画像処理ユニット9に積込ライン信号が入力され、かつ、後述する人物認識処理によって塵芥投入口4近傍の人物検出用エリアに人物が入っていると判定された場合にオンされる(点灯される)。
また、図1、図3、図7に示すように、塵芥投入箱3の背面の上部、言い換えれば、塵芥投入口4の上方にはカメラ71が所定の取付角度で取り付けられ、その撮像レンズ71aが後方の斜め下に向けられている。図7、図8には、塵芥投入口4の近傍に立った人物H(作業者)が両腕を前方に伸ばして、塵芥G(図7、図8では、ごみ袋)を積み込む様子が示されている。カメラ71は本来、塵芥収集車100の運転者が後方を監視するためのバックカメラとして用いられるものであり、図7、図8に一例を示すように塵芥投入口4およびその後方の所定範囲を撮影する。
カメラ71の撮像レンズ71aの光軸は、図3のX1線に沿う方向に延びており、塵芥投入口4の後方を撮影するために、鉛直下向きから後方に振り向けられて、塵芥投入口4の近傍の人物Hおよび塵芥Gを上方から撮影するようになっている。そして、カメラ71によって撮影(取得)され、管理センタサーバ200に送信された画像のデータに基づいて、管理センタサーバ200は、作業者などの人物Hが塵芥投入口4およびその後方の人物検出用エリア(図8において破線で囲まれたエリアと実線で囲まれたエリア)にいるか否かを判定するようにしている。また、管理センタサーバ200が人物検出用エリアに人物Hがいると判定すれば、その判定結果を画像処理ユニット9へ送信し、画像処理ユニット9が、管理センタサーバ200の判定結果に基づいて本体制御部PLCに人物安全信号を出力するか否かを判定するようにしている。本体制御部PLCは、画像処理ユニット9から人物安全信号を受信した否かと、スイッチLS4により回転板10が角度範囲Zにあることが検出された否かに基づいて、塵芥積込装置の作動を停止させるか否かを判定するようにしている。
具体的に説明すると、積込用の人物検出用エリアは、第1の検知エリアY11(図8に破線で示す)と第2の検知エリアY12(図8に実線で示す)とに分かれている。第2の検知エリアY12は、第1の検知エリアY11よりも塵芥投入口4の近傍に設けられ、侵入禁止エリアとしての機能を有している。例えば、第1の検知エリアY11は、作業者が塵芥積込作業を行う際の通常エリアであり、塵芥投入口4の近傍の矩形のエリアに設定される。第2の検知エリアY12は、塵芥投入口4の前縁部4aと後縁部4b近傍との間の矩形のエリアに設定される。この第2の検知エリアY12は、少なくとも塵芥投入口4の前縁部4a、後縁部4b、左縁部4c、および右縁部4dで囲まれた領域の一部を含むように設定される。
一方、車両の後退時には、管理センタサーバ200は、積込ライン信号は受信せずに後退信号を受信することになる。この条件に基づいて、管理センタサーバ200は、使用車種とユーザ情報に合わせた後退用の辞書データを設定し、人物Hが塵芥投入口4の後方の第3の検知エリアY2(図7、図8に1点鎖線で示す)にいるか否かを判定するようになっている。そして、管理センタサーバ200は、第3の検知エリアY2に人物Hがいると判定すれば、画像処理ユニット9にその判定結果を送信し、画像処理ユニット9が運転者に報知して注意を喚起するようにしている。第3の検知エリアY2は、第2の検知エリアY12、第1の検知エリアY11、およびその後方のエリアを含む矩形のエリアに設定される。なお、塵芥収集車100のモニタ93上には、カメラ71の画像とともに、第1の検知エリアY11の外縁に対応するライン(図8に破線で示す)、第2の検知エリア(侵入禁止エリア)Y12の外縁に対応するライン(図8に実線で示す)、第3の検知エリアY2の外縁に対応するライン(図8に1点鎖線で示す)が表示されている。
-人物認識システムの画像処理のルーチン-
次に、図9、図10のフローチャートを参照して、塵芥収集車100の人物認識システムで行われる画像処理に基づく制御のルーチンについて説明する。図9、図10では、便宜上、図9に示す画像処理ユニット9が実行する制御と、図10に示す管理センタサーバ200が実行する制御とに分けて示している。
まず、スタート後のステップS1において、塵芥収集車100のACC電源をオフからオンに切り換える操作が作業者により行われると、画像処理ユニット9の電源がオフからオンになる。ステップS2において、画像処理ユニット9の初期化処理(起動処理)が行われる。ステップS3において、PTOスイッチSWPをオフからオンに切り換える操作が作業者により行われると、ステップS4において、画像処理ユニット9の中央処理部CPUは、作動スイッチSWSがオンか否かを判定する。作動スイッチSWSがオンの場合(YES)、ステップS5に進み、作動スイッチSWSがオフの場合(NO)、ステップS30に進む。ステップS30において、画像処理ユニット9は、作動中ランプ72のオン信号および検出ランプ73のオフ信号を出力せず、ステップS17に進む。
ステップS5において、画像処理ユニット9の中央処理部CPUは、管理センタの管理センタサーバ200との通信接続の開始処理を行う。これにより、塵芥収集車100の第1通信部101と、管理センタサーバ200の第2通信部201とが、例えば5Gの移動通信システムおよびインターネット等のネットワークを介して接続される。この際、塵芥収集車100の使用車種の情報およびユーザ情報が管理センタサーバ200に送信される。
ステップS6において、画像処理ユニット9の中央処理部CPUは、第1通信部101と第2通信部201との通信接続が完了したか否かを判定する。そして、第1通信部101と第2通信部201との接続が完了できた場合(YES)、ステップS7に進む。一方、第1通信部101と第2通信部201との接続が完了できなかった場合(NO)、ステップS30に進む。
ステップS7において、画像処理ユニット9の中央処理部CPUは、車両の運転操作に基づく後退信号が入力されていないか否かを判定する。後退信号は、車両の後退操作があった場合に通電ラインK8を介して画像処理ユニット9に入力され、この後退信号の有無に基づいて、ステップS7の判定が行われる。そして、後退信号の入力がなかった場合(NO)、ステップS8に進み、後退信号の入力があった場合(YES)、ステップS23に進む。
ステップS8において、画像処理ユニット9の中央処理部CPUは、作業信号である積込ライン信号が入力されたか否かを判定する。積込ライン信号は、PTOスイッチSWPがオンであって、切換スイッチSW6が積込側に切り換えられている場合に、通電ラインK10を介して画像処理ユニット9に入力される。この積込ライン信号の有無に基づいて、ステップS8の判定が行われる。そして、積込ライン信号の入力があった場合(YES)、ステップS9に進み、積込ライン信号の入力がなかった場合(NO)、ステップS30に進む。
ステップS9において、画像処理ユニット9の中央処理部CPUは、積込ライン信号の入力があったことを管理センタサーバ200に送信する。ステップS10において、画像処理ユニット9の中央処理部CPUは、作動中ランプ72を点灯させる。
ステップS11において、画像処理ユニット9の中央処理部CPUは、カメラ71によって撮影された積込時(作業時)の動画のデータを管理センタサーバ200にリアルタイムで送信する。後述するように、画像処理ユニット9から動画のデータを受信した管理センタサーバ200は、人物認識処理(ステップT7)を行って、所定の人物検出用エリア(第1の検知エリアY11、第2の検知エリアY12)に人物が入っているか否かを判定する。
次に、ステップS12において、画像処理ユニット9の中央処理部CPUは、管理センタサーバ200から人物認識処理(ステップT7)の判定結果をリアルタイムで受信する。具体的には、判定結果として、人物検出信号の出力の有無(ステップT76)、および停止信号の出力の有無(ステップT78)を管理センタサーバ200から受信する。
ステップS13において、画像処理ユニット9の中央処理部CPUは、ステップS12で受信した人物認識処理の判定結果に基づいて、第1の検知エリアY11または第2の検知エリアY12内に人物が検出されたか否かを判定する。この際、管理センタサーバ200から受信した人物検出信号の出力の有無(ステップT76)に基づいて、第1の検知エリアY11または第2の検知エリアY12内に人物が検出されたか否かが判定される。そして、第1の検知エリアY11または第2の検知エリアY12内に人物が検出された場合(YES)、ステップS14に進み、人物が検出されなかった場合(NO)、ステップS21に進む。
次に、ステップS14において、画像処理ユニット9の中央処理部CPUは、ステップS12で受信した人物認識処理の判定結果に基づいて、侵入禁止エリアとしての第2の検知エリアY12内に人物が侵入したか否かを判定する。この際、管理センタサーバ200から受信した停止信号の出力の有無(ステップT78)に基づいて、第2の検知エリアY12内に人物が侵入したか否かが判定される。そして、第2の検知エリアY12への人物の侵入があった場合(YES)、ステップS15に進み、人物の侵入がなかった場合(NO)、ステップS19に進む。
次に、画像処理ユニット9の中央処理部CPUは、ステップS15において、検出ランプ73のオン信号を出力し、ステップS16において、人物安全信号を本体制御部PLCに出力せず、その後、ステップS17に進む。また、中央処理部CPUは、ステップS19において、検出ランプ73のオン信号を出力し、ステップS20において、人物安全信号を本体制御部PLCに出力し、その後、ステップS17に進む。さらに、中央処理部CPUは、ステップS21において、検出ランプ73のオン信号を出力せず、ステップS22において、人物安全信号を本体制御部PLCに出力し、その後、ステップS17に進む。
上述したステップS7の判定で後退信号の入力があった場合(YES)、ステップS23において、画像処理ユニット9の中央処理部CPUは、後退信号の入力があったことを管理センタサーバ200に送信する。ステップS24において、画像処理ユニット9の中央処理部CPUは、作動中ランプ72のオン信号および検出ランプ73のオフ信号を出力せず、ステップS25に進む。
ステップS25において、画像処理ユニット9の中央処理部CPUは、カメラ71によって撮影された後退時の動画のデータを管理センタサーバ200にリアルタイムで送信する。後述するように、画像処理ユニット9から動画のデータを受信した管理センタサーバ200は、人物認識処理(ステップT19)を行って、所定の人物検出用エリア(第3の検知エリアY2)に人物が入っているか否かを判定する。
次に、ステップS26において、画像処理ユニット9の中央処理部CPUは、管理センタサーバ200から人物認識処理(ステップT19)の判定結果をリアルタイムで受信する。具体的には、人物検出信号の出力の有無を管理センタサーバ200から受信する。
ステップS27において、画像処理ユニット9の中央処理部CPUは、ステップS26で受信した人物認識処理の判定結果に基づいて、第3の検知エリアY2に人物が検出されたか否かを判定する。この際、管理センタサーバ200から受信した人物検出信号の出力の有無に基づいて、第3の検知エリアY2に人物が検出されたか否かが判定される。そして、第3の検知エリアY2に人物が検出された場合(YES)、ステップS28において、画像処理ユニット9の中央処理部CPUは、ブザー91を作動させて後退警告音を出力し、その後、ステップS17に進む。一方、第3の検知エリアY2に人物が検出されなかった場合(NO)、ステップS29において、画像処理ユニット9の中央処理部CPUは、ブザー91を作動させず、その後、ステップS17に進む。
ステップS17において、画像処理ユニット9の中央処理部CPUは、PTOスイッチSWPをオンからオフに切り換える操作が作業者により行われたか否かを判定する。そして、PTOスイッチSWPがオフに切り換えられた場合(YES)、ステップS18に進み、PTOスイッチSWPがオフに切り換えられていない場合(NO)、ステップS4に戻り、上述した処理を繰り返し行う。
その後、ステップS18において、画像処理ユニット9の中央処理部CPUは、管理センタサーバ200との通信接続の終了処理を行い、ルーチンを終了する。これにより、塵芥収集車100の第1通信部101と、管理センタサーバ200の第2通信部201との通信接続が解除される。
続いて、管理センタの管理センタサーバ200が実行する制御の流れについて、図10のフローチャートを参照して説明する。図10に示すように、スタート後のステップT1において、管理センタサーバ200が、塵芥収集車100の画像処理ユニット9から通信接続開始の信号を受信すると、ステップT2において、管理センタサーバ200の第2通信部201と、塵芥収集車100の第1通信部101とが、例えば5Gの移動通信システムおよびインターネット等のネットワークを介して接続される。この際、管理センタサーバ200は、塵芥収集車100の画像処理ユニット9から送信された使用車種の情報およびユーザ情報を受信する。管理センタサーバ200は、受信した塵芥収集車100の使用車種の情報およびユーザ情報をサーバ側記憶部205に保存する。
ステップT3において、管理センタサーバ200は、車両の後退信号の入力があったことを塵芥収集車100の画像処理ユニット9から受信したか否かを判定する。車両の後退信号の入力があったことは、上述したステップS23の処理で画像処理ユニット9から送信されるものであって、後退信号の入力があったことを受信しなかった場合(NO)、ステップT4に進み、後退信号の入力があったことを受信した場合(YES)、ステップT17に進む。
ステップT4において、管理センタサーバ200は、積込ライン信号の入力があったことを塵芥収集車100の画像処理ユニット9から受信したか否かを判定する。積込ライン信号の入力があったことは、上述したステップS9の処理で画像処理ユニット9から送信されるものであって、積込ライン信号の入力があったことを受信した場合(YES)、ステップT5に進み、積込ライン信号の入力があったことを受信しなかった場合(NO)、ステップT15に進む。
ステップT5において、管理センタサーバ200は、人物認識処理に用いる辞書データを積込用(作業用)の辞書データに設定し、また、人物検出判定に用いる検知エリアを積込用(作業用)の人物検出用エリアに設定する。積込用辞書データは、後述する人物認識処理(ステップT7)の際に参照されるものであって、管理センタサーバ200のサーバ側記憶部205に格納されている。積込用辞書データは、予め多くの人物の頭部の画像を撮影して、その大きさや形状などの特徴を機械学習により抽出したものである。積込用辞書データとして抽出される特徴については、人物を上方から見たときの頭部形状を主体としている。積込用の人物検出用エリアは、人物検出判定の際に用いられるものであって、管理センタサーバ200のサーバ側記憶部205に格納されている。上述したように、積込用の人物検出用エリアは、作業者が塵芥積込作業を行う際の通常エリアとして設定された第1の検知エリアY11と、侵入禁止エリアとしての第2の検知エリアY12とに分かれており、それぞれのエリアが管理センタサーバ200のサーバ側記憶部205に格納されている。
本実施形態では、積込用辞書データは、塵芥収集車100の使用車種およびユーザごとにそれぞれ設定されるものになっており、塵芥収集車100の使用車種ごとの積込用辞書データと、ユーザごとの積込用辞書データとが、サーバ側記憶部205に格納されている。そして、ステップT2で受信した塵芥収集車100の使用車種の情報およびユーザ情報に基づいて、積込用辞書データが設定される。つまり、画像処理ユニット9から送信された塵芥収集車100の車種情報およびユーザ情報に基づいて、画像解析部202の判定の際に参照する積込用辞書データが切り換えられる。
次に、ステップT6において、管理センタサーバ200は、カメラ71によって撮影された積込時(作業時)の動画のデータを画像処理ユニット9からリアルタイムで受信する。この際、上述したステップS11の処理で画像処理ユニット9から送信された積込時の動画のデータが受信される。
ステップT7において、管理センタサーバ200は、ステップT6で受信した積込時の動画のデータに基づいて、画像解析部202に人物認識処理を実行させる。管理センタサーバ200の画像解析部202が実行する人物認識処理の詳細について、図11のフローチャートを参照して説明する。
まず、スタート後のステップT71において、カメラ71によって撮影され、画像処理ユニット9を介して管理センタサーバ200に入力される動画のデータ(入力画像データ)に対する二値化処理が、画像解析部202によって行われる。この二値化処理は、例えば、入力画像データについて各画素の輝度値が予め設定された閾値以上である場合に最大輝度値とし、閾値未満であれば最小輝度値とする処理である。生成される二値化画像データは、ノイズや光量変化の影響の多くが除去されたものとなる。
次に、ステップT72において、画像解析部202によってラベリング処理が行われる。このラベリング処理は、二値化画像データにおいて互いに近接する各画素を領域化するものであり、例えば同じ輝度値に属するとともに、所定距離内で密接する複数の画素について1つの領域とみなす処理である。ラベリング処理は画像平面全体について行われ、これにより1つの領域とされたものが、それぞれ物体像として認識される。
そして、ステップT73~T75において、画像解析部202によって、上述した第1の検知エリアY11または第2の検知エリアY12内で検知されたそれぞれの物体像についての人物識別処理が行われる。本実施形態では、塵芥投入口4の上方にカメラ71を配設し、下方の塵芥投入口4近傍を略真上から撮影するようにしている。このため、その画像には、図8に一例を示すように人物Hの頭部が大きく表示されるとともに、上方から見た顔の一部も表示されることになる。そこで、ステップT73では、予め設定されている積込用辞書データを参照し、この積込用辞書データの条件を満たすような物体像を、仮に人物Hの頭部と判定する。
次に、頭部と仮判定した物体像について、それ以外の物体像と識別する処理をステップT74,T75で行う。まず、ステップT74において、カメラ71から時系列に入力される複数の画像データの差分処理(各画素毎の輝度値の差を求める処理)によって、物体像の位置の変化を検出する。この位置の変化、つまり、物体像の移動距離を、それに要した時間(画像データを取得する時間間隔)で除算して、物体像の移動速度を算出する。
次に、ステップT75において、ステップT74で算出された移動速度が予め設定した閾値以下であるか否かを判定する。この閾値は、塵芥投入口4に塵芥を投入する作業者の頭部の移動速度と、投入される塵芥の移動速度とを区別できるように、予め実験などによって設定されている。そして、算出された移動速度が閾値よりも高ければ、動作が速すぎるので人物Hの頭部ではないと識別し、否定判定して(NO)、ルーチンを終了する(エンド)。
一方、ステップT75において、算出された移動速度が閾値以下であると肯定判定すれば(YES)、物体像は人物Hの頭部であると判定(本判定)して、ステップT76に進み、人物検出信号を出力する。
次に、ステップT77において、人物Hの頭部であると判定された物体像が、上述した第2の検知エリアY12に入っているか否かを判定する。ステップT77の判定は、物体像を形成する領域の外形をなす画素の位置座標が、第2の検知エリアY12に一部分でも含まれているか否かによって判定することが可能である。
そして、人物Hの頭部と識別した物体像が、第2の検知エリアY12に入っていると肯定判定すれば(YES)、ステップT78に進んで塵芥積込装置の作動を停止させるべく、停止信号を出力し、ルーチンを終了する(エンド)。一方、物体像が第2の検知エリアY12に入っていないと否定判定すれば(NO)、停止信号は出力せずにルーチンを終了する(エンド)。
図10のフローチャートに戻って、ステップT8において、管理センタサーバ200は、ステップT7の人物認識処理で人物Hの頭部と判定された物体像が、積込用辞書データの機械学習用の画像として収集可能なユーザのものであるか否かを判定する。そして、画像収集可能なユーザのものである場合(YES)、ステップT9に進み、画像収集可能なユーザのものではない場合(NO)、ステップT10に進む。
ステップT9において、管理センタサーバ200は、カメラ71によって取得された動画のデータから、所定タイミングの物体像の画像データを学習用画像抽出部203により抽出し、積込用(作業用)の学習用画像データとしてサーバ側記憶部205に保存する。積込用(作業用)の学習用画像データは、積込用辞書データの機械学習に用いられるもので、人物であると判定された物体像があった場合に、カメラ71によって取得された動画のデータから学習用画像抽出部203により所定タイミングで抽出される。
積込用(作業用)の学習用画像データは、抽出時の位置情報および時刻情報と関連付けてサーバ側記憶部205に保存される。積込用(作業用)の学習用画像データの抽出タイミング(取得タイミング)としては、例えば積込作業の開始時、積込スイッチSW5の操作時、緊急停止スイッチ(緊急停止ボタン60,61、緊急停止プレート62)の操作時、積込作業の終了時などがある。このうち、積込作業の開始時および終了時は、塵芥積込装置(作業装置)の駆動源としてのPTOがオンまたはオフされたタイミングであり、言い換えれば、駆動源スイッチとしてのPTOスイッチSWPがオンまたはオフに操作されたタイミングである。また、積込スイッチSW5の操作時は、塵芥積込装置(作業装置)を駆動する作業用アクチュエータを駆動するアクチュエータ操作部が操作されたタイミングである。そして、学習用画像抽出部203で抽出された積込用(作業用)の学習用画像データに基づいて、機械学習部204による機械学習が行われ、積込用(作業用)の更新用辞書データが作成される。さらに、機械学習部204によって作成された積込用(作業用)の更新用辞書データに基づいて、サーバ側記憶部205に保存されている積込用(作業用)の辞書データが更新される。
次に、ステップT10において、管理センタサーバ200は、第1の検知エリアY11または第2の検知エリアY12内に人物が検出されたか否かを判定する。また、ステップT11において、管理センタサーバ200は、侵入禁止エリアとしての第2の検知エリアY12内に人物が侵入したか否かを判定する。
ステップT10,T11の判定は、ステップT7の人物認識処理に基づいて行われる。具体的には、ステップT7の人物認識処理で人物検出信号の出力があり、停止信号の出力があった場合(ステップT10でYES、ステップT11でYES)、ステップT12に進み、管理センタサーバ200は、ステップT7の人物認識処理での判定結果を塵芥収集車100の画像処理ユニット9に送信する。この際、管理センタサーバ200は、第2の検知エリアY12内に人物が侵入したことを表す判定結果を塵芥収集車100の画像処理ユニット9に送信する。例えばステップT7の人物認識処理で人物検出信号を出力したこと、および停止信号を出力したことを、塵芥収集車100の画像処理ユニット9に送信すればよい。
また、ステップT7の人物認識処理で人物検出信号を出力し、停止信号を出力しなかった場合(ステップT10でYES、ステップT11でNO)、ステップT13に進み、管理センタサーバ200は、ステップT7の人物認識処理での判定結果を塵芥収集車100の画像処理ユニット9に送信する。この際、管理センタサーバ200は、第1の検知エリアY11または第2の検知エリアY12内に人物が検出されたことを表す判定結果を塵芥収集車100の画像処理ユニット9に送信する。例えばステップT7の人物認識処理で人物検出信号を出力したこと、および停止信号を出力しなかったことを、塵芥収集車100の画像処理ユニット9に送信すればよい。
一方、ステップT7の人物認識処理で人物検出信号を出力しなかった場合(ステップT10でNO)、ステップT14に進み、管理センタサーバ200は、ステップT7の人物認識処理での判定結果を塵芥収集車100の画像処理ユニット9に送信する。この際、管理センタサーバ200は、第1の検知エリアY11または第2の検知エリアY12内に人物が検出されなかったことを表す判定結果を塵芥収集車100の画像処理ユニット9に送信する。例えばステップT7の人物認識処理で人物検出信号を出力しなかったこと、および停止信号を出力しなかったことを、塵芥収集車100の画像処理ユニット9に送信すればよい。
上述したステップT3の判定で車両の後退信号の入力があったことを受信した場合(YES)、ステップT17において、管理センタサーバ200は、人物認識処理に用いる辞書データを後退用辞書データに設定し、また、人物検出判定に用いる検知エリアを後退用の第3の検知エリアY2に設定する。後退用辞書データは、後述する人物認識処理(ステップT19)の際に参照されるものであって、管理センタサーバ200のサーバ側記憶部205に格納されている。後退用辞書データは、予め多くの人物の頭部の画像を撮影して、頭部の大きさや形状などの特徴を機械学習により抽出したものである。後退用辞書データとして抽出される特徴については、人物を上述した積込用辞書データよりも前方寄りの斜め上方から見たときの頭部形状を主体としている。第3の検知エリアY2は、人物検出判定の際に用いられるものであって、管理センタサーバ200のサーバ側記憶部205に格納されている。上述したように、第3の検知エリアY2には積込用の第2の検知エリアY12と第1の検知エリアY11、およびその後方のエリアが含まれている。
本実施形態では、後退用辞書データは、塵芥収集車100の使用車種およびユーザごとにそれぞれ設定されるものになっており、塵芥収集車100の使用車種ごとの後退用辞書データと、ユーザごとの積込用辞書データとが、サーバ側記憶部205に格納されている。そして、ステップT2で受信した塵芥収集車100の使用車種の情報およびユーザ情報に基づいて、後退用辞書データが設定される。つまり、画像処理ユニット9から送信された塵芥収集車100の車種情報およびユーザ情報に基づいて、画像解析部202の判定の際に参照する後退用辞書データが切り換えられる。
次に、ステップT18において、管理センタサーバ200は、カメラ71によって撮影された後退時の動画のデータを画像処理ユニット9からリアルタイムで受信する。この際、上述したステップS25の処理で画像処理ユニット9から送信された後退時の動画のデータが受信される。
ステップT19において、管理センタサーバ200は、ステップT18で受信した後退時の動画のデータに基づいて、画像解析部202に人物認識処理を実行させる。ステップT19の人物認識処理は、上述したステップT7の人物認識処理(図11参照)と略同様であって、二値化処理、ラベリング処理、人物識別処理等を含んでいる。なお、人物識別処理では、ステップT16で設定された後退用辞書データが用いられる、この後退用辞書データの条件を満たすような物体像を、人物Hと判定する。なお、人物Hの認識については、頭部形状を識別することに限定されず、例えば手や足などを識別するようにしてもよい。
そして、ステップT20において、管理センタサーバ200は、ステップT19の人物認識処理で人物Hの頭部と判定された物体像が、後退用辞書データの機械学習用の画像として収集可能なユーザのものであるか否かを判定する。そして、画像収集可能なユーザのものである場合(YES)、ステップT21に進み、画像収集可能なユーザのものではない場合(NO)、ステップT22に進む。
ステップT21において、管理センタサーバ200は、カメラ71によって取得された動画のデータから、所定タイミングの物体像の画像データを学習用画像抽出部203により抽出し、後退用の学習用画像データとしてサーバ側記憶部205に保存する。後退用の学習用画像データは、後退用辞書データの機械学習に用いられるもので、人物であると判定された物体像があった場合に、カメラ71によって取得された動画のデータから学習用画像抽出部203により所定タイミングで抽出される。後退用の学習用画像データは、抽出時の位置情報および時刻情報と関連付けてサーバ側記憶部205に保存される。後退用の学習用画像データの抽出タイミング(取得タイミング)としては、例えば数秒ごと等の所定時間ごととされる。そして、学習用画像抽出部203で抽出された後退用の学習用画像データに基づいて、機械学習部204による機械学習が行われ、後退用の更新用辞書データが作成される。さらに、機械学習部204によって作成された後退用の更新用辞書データに基づいて、サーバ側記憶部205に保存されている後退用の辞書データが更新される。
次に、ステップT22において、管理センタサーバ200は、第3の検知エリアY2に人物が検出されたか否かを判定する。ステップT22の判定は、ステップT19の人物認識処理に基づいて行われる。具体的には、ステップT19の人物認識処理で人物検出信号を出力した場合、ステップT23に進み、管理センタサーバ200は、ステップT19の人物認識処理での判定結果を塵芥収集車100の画像処理ユニット9に送信する。この際、管理センタサーバ200は、第3の検知エリアY2に人物が検出されたことを表す判定結果を塵芥収集車100の画像処理ユニット9に送信する。例えばステップT19の人物認識処理で人物検出信号を出力したことを、塵芥収集車100の画像処理ユニット9に送信すればよい。
一方、ステップT19の人物認識処理で人物検出信号を出力しなかった場合、ステップT24に進み、管理センタサーバ200は、ステップT19の人物認識処理での判定結果を塵芥収集車100の画像処理ユニット9に送信する。この際、管理センタサーバ200は、第3の検知エリアY2に人物が検出されなかったことを表す判定結果を塵芥収集車100の画像処理ユニット9に送信する。例えばステップT19の人物認識処理で人物検出信号を出力しなかったことを、塵芥収集車100の画像処理ユニット9に送信すればよい。
そして、ステップT15において、管理センタサーバ200は、塵芥収集車100の画像処理ユニット9から通信接続終了の信号を受信したか否かを判定する。画像処理ユニット9から通信接続終了の信号を受信した場合(YES)、ステップT16に進み、管理センタサーバ200は、画像処理ユニット9との通信接続の終了処理を行い、ルーチンを終了する。一方、画像処理ユニット9から通信接続終了の信号を受信していない場合(NO)、ステップT3に戻り、上述した処理を繰り返し行う。
本実施形態の人物認識システムでは、管理センタサーバ200のメモリMに保存された辞書データを参照することによって、塵芥収集車100の塵芥積込装置の近傍の人物検出用エリア(第1の検知エリアY11、第2の検知エリアY12、第3の検知エリアY2)に人物が入っているか否かを判定するようにしている。これにより、個々の塵芥収集車100に辞書データを持たせるのではなく管理センタサーバ200に辞書データを持たせることができるので、管理センタサーバ200で辞書データを一括して管理することができる。そのため、塵芥収集車100にサービスステーションまで来てもらうことなく、管理センタ側において、辞書データの更新作業を一括して行うことができる。その結果、辞書データの更新作業を容易に行うことができる。また、辞書データを更新するための高性能な機械学習機能は管理センタサーバ200のみに設ければよいので、塵芥収集車100のコストアップを抑えることができる。
また、塵芥収集車100から、カメラ71によって取得された動画のデータがリアルタイムで管理センタサーバ200に送信され、その動画のデータに基づいて、画像解析部202によって塵芥投入口4の近傍の人物検出用エリアに人物が入っているか否かを判定している。そして、管理センタサーバ200から、画像解析部202の判定結果がリアルタイムで塵芥収集車100に送信され、その判定結果に基づいて、塵芥収集車100が塵芥積込装置の動作を制御するようにしている。このように、塵芥収集車100と管理センタサーバ200の間で、カメラ71によって取得された動画のデータおよび画像解析部202の判定結果がリアルタイムで送受信可能になっているので、天候、時間帯、収集場所等が変化する塵芥収集車100の使用環境に合わせて、管理センタサーバ200は、最適な辞書データにすぐに切り換えて使用することができる。特に、塵芥収集車100の1日の収集作業の中においても複数回の辞書データの切り換えが可能となる。
また、塵芥収集車100では、作業装置である塵芥積込装置の動作中のみ、管理センタサーバ200から送信される画像解析部202の判定結果を受信しているので、塵芥収集車100と管理センタサーバ200の間で、不要な通信を避けることで、管理センタサーバ200の処理負担を軽減することができ、より多くの塵芥収集車100が人物認識システムを効率よく利用することができる。
また、管理センタサーバ200では、カメラ71により取得された動画のデータから、所定タイミングで学習用画像データ(積込用の学習用画像データ、後退用の学習用画像データ)を抽出してサーバ側記憶部205に保存する学習用画像抽出部203と、学習用画像抽出部203により抽出された学習用画像データに基づいて、機械学習により更新用辞書データ(積込用の更新用辞書データ、後退用の更新用辞書データ)を作成する機械学習部204とを備え、機械学習部204によって作成された更新用辞書データに基づいて、サーバ側記憶部205に保存されている辞書データ(積込用辞書データ、後退用辞書データ)の更新を行うようにしている。
また、管理センタサーバ200は、多くのユーザが使用している多くの塵芥収集車100から、辞書データを更新するための学習用画像データを容易に収集することができる。また、管理センタサーバ200がカメラ71によって取得された動画のデータから学習用画像データを抽出するに際し、学習用画像抽出部203が所定タイミングで学習用画像データの抽出を行うので、人物の立ち位置や動作、背景の種類等が特定された学習用画像データを抽出することができる。これにより、不規則なタイミングで学習用画像データの抽出を行う場合と比較して、機械学習させる人物の特徴を予め絞り込むことができる。また、所定タイミングで抽出された学習用画像データはサーバ側記憶部205に保存されるので、この保存された学習用画像データを使用して、辞書データをそれぞれの塵芥収集車100の使用環境等に適したものに更新することができる。これにより、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができ、作業者等の安全性を確保することができる。
また、管理センタサーバ200では、サーバ側記憶部205に保存される辞書データ(積込用の更新用辞書データ、後退用の更新用辞書データ)が、塵芥収集車100の車種ごと、ユーザごとに区別して設けられており、塵芥収集車100から送信された塵芥収集車100の車種情報およびユーザ情報に基づいて、画像解析部202の判定の際に参照する辞書データを切り換えるようにしている。これにより、ユーザが使用中における塵芥収集車100の車種や塵芥収集車100の使用方法に大きな変化が生じたとしても、管理センタサーバ200は、それぞれの塵芥収集車100の車種またはユーザごとの使用環境等に適した辞書データにすぐに切り換えることができる。また、管理センタサーバ200は、それぞれの塵芥収集車100の車種またはユーザごとの使用環境等に適した辞書データを用いて人物認識処理を行うことができるので、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができ、作業者等の安全性を確保することができる。
-その他の実施形態-
今回、開示した実施形態は全ての点で例示であって、限定的な解釈の根拠となるものではない。本発明の技術的範囲は、前記した実施形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、本発明の技術的範囲には、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれる。
上記実施形態では、塵芥収集車100に本体制御部PLCおよび画像処理ユニット9を設けた場合について説明したが、塵芥収集車100に単一の制御部のみを設ける構成としてもよい。例えば、本体制御部PLCに画像処理ユニット9の機能も備えさせ、本体制御部PLCに、図9のフローチャートを実行させるようにしてもよい。
上述した人物検出用エリア(第1の検知エリアY11、第2の検知エリアY12、第3の検知エリアY2)は一例であって、上記以外のエリアを採用してもよい。例えば、塵芥投入口4の後縁部4bよりも前方側のエリア全体を第2の検知エリアY12(侵入禁止エリア)として設定してもよい。この場合、ステップT77の判定で、上述した物体像を形成する領域の外形をなす画素の位置座標が、塵芥投入口4の後縁部4bよりも前方側に含まれている場合には、第2の検知エリアY12に人物であると識別された物体像が検出されたと判定すればよい。
また、上記実施形態では、物体像取得部としてカメラ71を用いたが、物体像取得部はカメラ71以外であってもよく、例えば、距離画像センサや、ステレオカメラ、3D-LIDAR等のような画像の取得および距離の計測が可能なものであってもよい。
上記実施形態では、いわゆる回転板式の塵芥積込装置を装備した塵芥収集車100として本発明を具現化した場合について説明しており、塵芥積込装置の主要部は回転板10および押込板20により構成されている。しかし、これに限らず、塵芥積込装置の主要部は昇降板および押込板によって構成されていてもよく、その構造を特に限定するものではない。また、本発明はダンプトラック、ミキサ車、タンクローリ、コンテナ荷役車両、吸引車など、塵芥収集車以外の特装車の人物認識システムにも適用することが可能であり、車台に架装される作業装置としては塵芥積込装置以外の種々のものが考えられる。