JP7394000B2 - Specially equipped vehicle - Google Patents
Specially equipped vehicle Download PDFInfo
- Publication number
- JP7394000B2 JP7394000B2 JP2020060549A JP2020060549A JP7394000B2 JP 7394000 B2 JP7394000 B2 JP 7394000B2 JP 2020060549 A JP2020060549 A JP 2020060549A JP 2020060549 A JP2020060549 A JP 2020060549A JP 7394000 B2 JP7394000 B2 JP 7394000B2
- Authority
- JP
- Japan
- Prior art keywords
- garbage
- processing unit
- dictionary data
- image processing
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 85
- 238000004891 communication Methods 0.000 claims description 52
- 238000010801 machine learning Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 6
- 230000001960 triggered effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 171
- 238000000034 method Methods 0.000 description 55
- 230000008569 process Effects 0.000 description 53
- 239000003921 oil Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 239000010720 hydraulic oil Substances 0.000 description 7
- 230000007935 neutral effect Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000011144 upstream manufacturing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000428 dust Substances 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Refuse-Collection Vehicles (AREA)
Description
本発明は、例えば塵芥収集車等の特装車に関し、特に、車台上に架装された可動装置の近傍に人物がいると判定すれば、その可動装置の作動を停止させるようにした特装車に関する。 The present invention relates to a specially equipped vehicle such as a garbage collection vehicle, and more particularly to a specially equipped vehicle that stops the operation of a movable device mounted on a chassis if it is determined that there is a person near the movable device.
従来、一例として塵芥収集車においては、車台の後部に設けられた塵芥投入箱内に塵芥積込装置(可動装置)が装備されており、その塵芥投入箱内に塵芥投入口から投入される塵芥を回転板や積込板などによって掻き込んで、塵芥収容箱に積み込むようになっている。また、そうして塵芥投入口に塵芥を投入する作業者等が、不注意によって塵芥積込装置に巻き込まれることを防止するために、塵芥投入口の近傍の人物を認識するようにした人物認識装置が提案されている(例えば、特許文献1参照)。 Conventionally, as an example, in a garbage collection vehicle, a garbage loading device (movable device) is installed in a garbage input box provided at the rear of the vehicle, and the garbage loaded into the garbage input box from the garbage input port is loaded into the garbage input box. The waste is scraped into the garbage storage box using a rotating plate or a loading plate. In addition, in order to prevent workers who put garbage into the garbage inlet from getting caught in the garbage loading device due to inadvertence, we have developed a person recognition system that recognizes people near the garbage inlet. A device has been proposed (for example, see Patent Document 1).
この特許文献1に記載の技術では、塵芥投入箱の後方上部に物体像取得部としてのカメラを配設して、塵芥投入口の近傍の所定エリアを撮影するようにしている。そして、塵芥積込装置の作動中にカメラによって撮影した画像のデータを画像処理装置に送信し、この画像において予め設定されている侵入禁止エリア内に人物が侵入したと判定すれば、塵芥積込装置の作動を停止させるようにしている。
In the technique described in
上述したような従来の技術では、人物認識処理の際、予め記憶部に保存された辞書データを参照し、カメラによって撮影された画像から抽出された物体像のデータを辞書データと比較することによって、塵芥投入口の近傍の人物をより正確に認識できるようにしている。辞書データは、予め多くの人物の画像(例えば人物の頭部の画像)を撮影して、その大きさや形状などの特徴を機械学習により抽出したものである。 In the conventional technology described above, when performing person recognition processing, dictionary data stored in advance in a storage unit is referred to, and object image data extracted from an image taken by a camera is compared with the dictionary data. This makes it possible to more accurately recognize people near the garbage inlet. The dictionary data is obtained by photographing many images of people (for example, images of people's heads) in advance and extracting their characteristics such as size and shape using machine learning.
上述の辞書データは、製造時に記憶部に保存され、その後は、同一の辞書データが継続して使用されていた。また、製造される全ての塵芥収集車に対して単一の辞書データが使用されていた。一方、塵芥収集車の使用環境等に応じて、辞書データを更新していくことも効果的であると考えられるものの、辞書データの更新は、作業者等の安全性を確保する観点から慎重に行う必要があった。具体的に説明すると、辞書データを使用環境等に応じたものに更新するためには、塵芥収集車の使用時に物体像取得部から得られた画像のデータを機械学習の教師データ用に使用していく必要がある。しかし、使用する画像のデータの質が悪い場合、辞書データの更新によって、今まで人物であると認識されていた作業者等が、人物ではないと誤認識される可能性があり、安全性を確保することが困難になる。 The above-mentioned dictionary data is stored in the storage unit at the time of manufacture, and the same dictionary data is continuously used thereafter. Additionally, a single dictionary data was used for all garbage collection vehicles manufactured. On the other hand, although it is considered effective to update the dictionary data depending on the environment in which the garbage collection vehicle is used, updating the dictionary data should be done carefully from the perspective of ensuring the safety of workers, etc. It needed to be done. Specifically, in order to update the dictionary data to match the usage environment, image data obtained from the object image acquisition unit when using the garbage truck is used as training data for machine learning. I need to go. However, if the quality of the image data used is poor, updating the dictionary data may cause workers, etc., who were previously recognized as people, to be mistakenly recognized as not being people, which may lead to safety concerns. It becomes difficult to secure.
本発明は、上述したような実情を考慮してなされたものであって、安全性を確保しつつ、使用環境に適した辞書データに更新することが可能な特装車を提供することを目的とする。 The present invention has been made in consideration of the above-mentioned circumstances, and aims to provide a specially equipped vehicle that can update dictionary data suitable for the usage environment while ensuring safety. .
本発明は、上述の課題を解決するための手段を以下のように構成している。すなわち、本発明は、車台上に可動装置が架装された特装車であって、前記可動装置の近傍の物体の物体像を動画で取得可能な物体像取得部と、前記物体像取得部により取得された動画のデータから、所定タイミングで学習用画像データを抽出する学習用画像抽出部と、前記物体像取得部によって取得された動画のデータに基づいて、辞書データを参照することによって、前記可動装置の近傍の人物検出用エリアに人物が入っているか否かを判定する人物検出部と、前記辞書データおよび前記学習用画像データを記憶する記憶部と、更新用辞書データを作成する管理センタと前記更新用辞書データおよび前記学習用画像データを通信可能な制御部とを備え、前記制御部は、前記学習用画像データを前記管理センタへ送信し、前記学習用画像データを用いた前記管理センタの機械学習によって作成された前記更新用辞書データを受信し、受信した前記更新用辞書データを用いて前記記憶部内の前記辞書データの更新を行うことを特徴とする。 The present invention constitutes means for solving the above-mentioned problems as follows. That is, the present invention provides a specially equipped vehicle in which a movable device is mounted on a vehicle chassis, and an object image acquisition section that can acquire an object image of an object near the movable device in a moving image, and an object image acquired by the object image acquisition section. A learning image extraction unit extracts learning image data from the video data obtained at a predetermined timing, and the object image acquisition unit references the dictionary data based on the video data acquired by the object image acquisition unit. A person detection unit that determines whether a person is in a person detection area near the movable device, a storage unit that stores the dictionary data and the learning image data, and a management center that creates update dictionary data. and a control unit capable of communicating the update dictionary data and the learning image data , the control unit transmitting the learning image data to the management center, and transmitting the learning image data to the management center using the learning image data. The update dictionary data created by machine learning at a center is received, and the dictionary data in the storage unit is updated using the received update dictionary data .
上記構成によれば、物体像取得部によって取得された動画のデータから学習用画像データを抽出するに際し、学習用画像抽出部が所定タイミングで学習用画像データの抽出を行うので、人物の立ち位置や動作、背景の種類等が特定された学習用画像データを抽出することができる。これにより、不規則なタイミングで学習用画像データの抽出を行う場合と比較して、機械学習させる人物の特徴を予め絞り込むことができる。また、所定タイミングで抽出された学習用画像データは記憶部に保存されるので、この保存された学習用画像データを使用して、管理センタと通信することにより辞書データをそれぞれの特装車の使用環境等に適したものに更新することができる。これにより、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができ、作業者等の安全性を確保することができる。 According to the above configuration, when extracting the learning image data from the video data acquired by the object image acquisition section, the learning image extraction section extracts the learning image data at a predetermined timing, so that the person's standing position It is possible to extract learning image data in which the image, motion, background type, etc. are specified. Thereby, compared to the case where learning image data is extracted at irregular timings, it is possible to narrow down the characteristics of a person to be subjected to machine learning in advance. In addition, since the learning image data extracted at a predetermined timing is saved in the storage unit, this saved learning image data is used to communicate with the management center to transfer dictionary data to the usage environment of each specially equipped vehicle. You can update it to something more suitable for your needs. Thereby, it is possible to suppress erroneous recognition in the person recognition process, improve the accuracy of the person recognition process, and ensure the safety of workers and the like.
本発明において、車両位置を取得可能な位置情報取得部を備え、前記制御部は、前記位置情報取得部で取得された前記車両位置が所定位置にあることをトリガにして、前記管理センタと相互に通信可能な状態とされることが好ましい。より詳細には、前記制御部は、近距離無線通信が可能になっており、前記制御部は、前記位置情報取得部で取得された前記車両位置が事業所内の所定位置に入った場合には、前記近距離無線通信により事業所内のサーバと接続とされ、当該サーバを介して、前記管理センタと相互に通信可能な状態とされることが好ましい。 In the present invention, a position information acquisition unit capable of acquiring a vehicle position is provided, and the control unit is configured to interact with the management center when the vehicle position acquired by the position information acquisition unit is at a predetermined position. It is preferable to be in a state where communication is possible. More specifically, the control unit is capable of short-range wireless communication, and the control unit is configured to perform short-range wireless communication when the vehicle position acquired by the position information acquisition unit enters a predetermined position within the business office. It is preferable that the computer be connected to a server in the office by the short-range wireless communication, and be able to communicate with the management center via the server.
上記構成によれば、車両位置が事業所内の所定位置に入ると、近距離無線通信により事業所内のサーバを介して、管理センタと通信可能な状態とされるので、学習用画像データや、更新用辞書データのデータ量が大きい場合であっても、学習用画像データの管理センタへの送信や、管理センタからの更新用辞書データの受信、記憶部内の辞書データの更新を確実かつ速やかに行うことができる。 According to the above configuration, when the vehicle enters a predetermined location within the office, it is enabled to communicate with the management center via the server within the office using short-range wireless communication. Even if the amount of dictionary data is large, the learning image data can be sent to the management center, the dictionary data for update can be received from the management center, and the dictionary data in the storage can be updated reliably and promptly. be able to.
本発明において、前記制御部は、車両のエンジンが停止されたことをトリガにして、前記管理センタと相互に通信可能な状態とされることが好ましい。 In the present invention, it is preferable that the control unit is set in a state in which it can communicate with the management center using the stoppage of the engine of the vehicle as a trigger.
上記構成によれば、作業者等が近くにいなくても、エンジンの停止後に学習用画像データの管理センタへの送信や、管理センタからの更新用辞書データの受信、記憶部内の辞書データの更新を自動的に行うことができる。 According to the above configuration, even if an operator is not nearby, learning image data can be sent to the management center after the engine has stopped, dictionary data for update can be received from the management center, and dictionary data in the storage can be updated. Updates can be done automatically.
本発明において、車両のエンジンの停止中に電力を供給可能な内蔵バッテリを備え、前記制御部は、車両のエンジンが停止されている場合には、前記内蔵バッテリの電力によって前記管理センタと相互に通信可能な状態とされることが好ましい。 In the present invention, the control unit includes a built-in battery capable of supplying power while the engine of the vehicle is stopped, and when the engine of the vehicle is stopped, the control unit communicates with the management center using the power of the built-in battery. It is preferable that the device be in a communicable state.
上記構成によれば、エンジンの停止後であっても、内蔵バッテリの電力により学習用画像データの管理センタへの送信や、管理センタからの更新用辞書データの受信、記憶部内の辞書データの更新を確実に行うことができる。 According to the above configuration, even after the engine has stopped, the power of the built-in battery can be used to transmit learning image data to the management center, receive update dictionary data from the management center, and update dictionary data in the storage unit. can be done reliably.
本発明において、特装車としては、例えば塵芥収集車を挙げることができ、この場合、前記可動装置は、塵芥投入箱の内部に配設された塵芥積込装置であり、前記人物検出部は、前記物体像取得部によって取得された動画のデータに基づいて、前記塵芥投入箱の背面に開口する塵芥投入口の近傍の人物検出用エリアに人物が入っているか否かを判定する構成とすることが好ましい。 In the present invention, the specially equipped vehicle may be, for example, a garbage collection vehicle; in this case, the movable device is a garbage loading device disposed inside a garbage dumping box, and the person detection unit is The apparatus may be configured to determine whether or not a person is present in a person detection area near a garbage input port opened at the back of the garbage input box, based on video data acquired by the object image acquisition unit. preferable.
上記構成によれば、実際に塵芥収集車を使用する作業者を撮影した動画のデータに基づいて学習用画像データを抽出することができ、それぞれの塵芥収集車の使用環境等に適した辞書データを使用して人物認識処理を行うことができる。これにより、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができ、作業者等の安全性を確保することができる。 According to the above configuration, it is possible to extract learning image data based on video data of a worker actually using a garbage collection vehicle, and dictionary data suitable for the usage environment of each garbage collection vehicle. can be used to perform person recognition processing. Thereby, it is possible to suppress erroneous recognition in the person recognition process, improve the accuracy of the person recognition process, and ensure the safety of workers and the like.
本発明に係る特装車によれば、学習用画像抽出部が所定タイミングで学習用画像データの抽出を行うので、機械学習させる人物の特徴を予め絞り込むことができる。これにより、記憶部に保存された学習用画像データを使用して、管理センタと通信することにより辞書データをそれぞれの特装車の使用環境等に適したものに更新することができる。その結果、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができ、作業者等の安全性を確保することができる。 According to the specially equipped vehicle according to the present invention, since the learning image extraction section extracts the learning image data at a predetermined timing, it is possible to narrow down the characteristics of the person to be subjected to machine learning in advance. Thereby, by using the learning image data stored in the storage unit and communicating with the management center, the dictionary data can be updated to be suitable for the usage environment of each specially equipped vehicle. As a result, erroneous recognition in the person recognition process can be suppressed, the accuracy of the person recognition process can be improved, and the safety of workers and the like can be ensured.
本発明を塵芥収集車に適用した実施形態について、図面を参照して説明する。つまり、本発明に係る特装車が、車台上に架装された塵芥積込装置(可動装置)を備えた塵芥収集車である場合について説明する。なお、以下の説明においては、便宜上、塵芥収集車の前後左右を単に「前後左右」と言うこともある。 An embodiment in which the present invention is applied to a garbage collection vehicle will be described with reference to the drawings. That is, a case will be described in which the specially equipped vehicle according to the present invention is a garbage collection vehicle equipped with a garbage loading device (movable device) mounted on the chassis. In addition, in the following description, for convenience, the front, rear, left, and right of the garbage collection vehicle may be simply referred to as "front, rear, left, and right."
図1、図2には、本発明の実施形態に係る塵芥収集車100を示している。塵芥収集車100では、車台1上に塵芥収容箱2と塵芥投入箱3とが設けられており、塵芥収容箱2の後方の開口部と塵芥投入箱3の前面の開口部とが連通されている。また、塵芥投入箱3は、その上部に設けられた左右方向の枢軸3aによって塵芥収容箱2に対して軸支されており、左右一対の傾動シリンダ(図示省略)によって傾動されるようになっている。
1 and 2 show a
また、塵芥投入箱3の背面における下寄りの部位には、塵芥G(図8参照)を投入するための略矩形状の塵芥投入口4が開口され、昇降可能なテールゲート5によって、塵芥投入口4が開閉されるようになっている。塵芥投入口4の左側方には、塵芥積込装置の作動などの操作のためのスイッチボックス6が設けられている。また、塵芥投入口4の上方には、塵芥投入口4およびその近傍のエリアを撮影するようにカメラユニット7が配設されている。カメラユニット7は、塵芥投入口4より上方に配設された塵芥投入箱3の傾斜後面部(湾曲状の後面部)3bから後方に突出する支持部材80を介して、塵芥投入箱3の上部に固定されている。
In addition, a roughly rectangular
より具体的に説明すると、図2~図6に示すように、支持部材80は、傾斜後面部3bの左右両端部に基端部を有する枠状となっている。カメラユニット7は、支持部材80において塵芥投入箱3の左右中央部となる位置に固定されている。カメラユニット7は、塵芥投入口4の近傍の物体の物体像を動画で取得可能な物体像取得部としてのカメラ71と、報知部としての検出ランプ73と、第2の報知部としての作動中ランプ72とを有している。カメラ71によって撮影された画像(動画)のデータは、後述する画像処理ユニット9のメモリMに保存されるようになっている。
More specifically, as shown in FIGS. 2 to 6, the
カメラ71は、塵芥投入箱3の後方上部に所定の取付角度で取り付けられている。具体的には、カメラ71は、カメラユニット7の左右中央部に設けられた凹部74の中に取付ブラケット75を介して取り付けられている。カメラ71は、撮像レンズ71aを有しており、この撮像レンズ71aが斜め下方に向くようにしてカメラユニット7の取付ブラケット75に対し水平軸回りに上下回動調整可能に取り付けられている。カメラユニット7の凹部74の左右両側には、水平面に対して後方上傾状の(車両後方に向かうにつれて上方に傾斜する)固定面7aが設けられている。左側の固定面7aには作動中ランプ72が下向きに取り付けられている。また、右側の固定面7aには、検出ランプ73が下向きに取り付けられている。つまり、作動中ランプ72と検出ランプ73は、カメラ71の撮像レンズ71aの近傍となるカメラ71の左右両側に設けられている。
The
次に、図3に示すように、塵芥投入箱3の内部には、投入された塵芥Gを塵芥収容箱2に積み込む塵芥積込装置(可動装置)が装備されている。この塵芥積込装置によって、塵芥投入箱3に投入された塵芥を、塵芥投入箱3の前方に連設された塵芥収容箱2へ押し込むようになっている。塵芥収容箱2には、収容された塵芥を排出する図示省略の塵芥排出装置が設けられている。この塵芥排出装置としては、例えば塵芥収容箱2を、車台1と塵芥収容箱2との間に介設されたダンプシリンダによって傾動させて塵芥を排出したり、塵芥収容箱2の内部に設けた排出板を排出シリンダにより塵芥収容箱2の後方に移動させて塵芥を排出したりするものが考えられる。
Next, as shown in FIG. 3, the inside of the
次に、本実施形態の塵芥積込装置について具体的に説明する。本実施形態の塵芥積込装置は、回転板(積込部材)10の回転によって塵芥Gを掻き上げるとともに、押込板20によって塵芥収容箱2内へと押し込む、いわゆる回転板式の塵芥積込装置として構成されている。塵芥投入箱3内の下部においてその幅方向に延びるように回転軸11が架設され、これに回転板10の基端側が固定されている。
Next, the garbage loading device of this embodiment will be specifically explained. The garbage loading device of this embodiment is a so-called rotating plate type garbage loading device that scoops up garbage G by rotating a rotating plate (loading member) 10 and pushes it into the
図示の例では、回転軸11の端部に減速機構12を介して正逆回転可能な油圧モータ13が連結されている。この油圧モータ13の回転が減速機構12によりトルクアップされて回転軸11に伝達され、この回転軸11と一体に回転板10が回転されることで、その先端部は、断面略半円弧状に形成された塵芥投入箱3の底壁に沿って前後方向に移動するようになる。
In the illustrated example, a
一方、押込板20は、回転板10の上方において塵芥投入箱3の幅方向全体に亘って設けられ、その上部に設けられた左右方向の揺動軸21の周りに前後方向に揺動自在に支持されている。また、押込板20には、揺動軸21よりも上方に延びる延設部22が設けられ、この延設部22とその前方の支持ピン23との間に押込シリンダ24が架設されており、その伸縮作動によって押込板20を前後方向に揺動させるようになっている。
On the other hand, the
具体的には、図3に実線で示すように、押込板20が塵芥収容箱2の側に最も揺動した位置(前進限界位置)にあるときは、この押込板20に干渉することなく回転板10が上方に回動するようになり、これに遅れて押込板20が塵芥投入口4側へ揺動する。そして、押込板20が塵芥投入口4側に最も揺動し、図3に仮想線で示す後退限界位置に達した後も、回転板10の回動は継続される。
Specifically, as shown by the solid line in FIG. 3, when the pushing
このようにして回転する回転板10は、塵芥Gを塵芥収容箱2側に掻き込んで、図3に実線で示すように、前方の塵芥収容箱2側に延びる設定停止位置に一旦、停止する。そうすると、今度は押込板20が塵芥収容箱2側に揺動して、回転板10上の塵芥Gを塵芥収容箱2に押し込んでいく。そして、押込板20が再び前進限界位置に達すると、再び回転板10が上方へ回動するようになる。
The
このように互いに同期して回転板10の回転および押込板20の揺動が繰り返されることによって、塵芥投入箱3に投入された塵芥Gが連続的に塵芥収容箱2に積み込まれる塵芥積込作動が行われる。このように回転板10および押込板20を作動させるための油圧回路および制御系の構成については後述する。
By repeating the rotation of the
塵芥投入箱3の内部には、回転板10および押込板20の位置を検出するためのスイッチLS1~LS4が設けられている。具体的には、図3に示すように、押込板20が前進限界位置または後退限界位置にあるときにそれぞれオンになるスイッチLS1,LS2と、回転板10が設定停止位置にあるときにオンになるスイッチLS3と、その設定停止位置から回転板10が正の向き(図1の時計回り)に所定角度回転したときにオンになり、さらに所定角度回転したときにオフになるスイッチLS4とが設けられている。
Inside the
なお、スイッチLS1,LS2は、押込板20の揺動軸21の端部に設けられたドグ(図示省略)を検出するようになっており、スイッチLS3~LS4は、回転板10の回転軸11の端部に設けられたドグ(図示省略)を検出するようになっている。また、これらのスイッチLS1~LS4としては、例えばリミットスイッチ、光電スイッチ、近接スイッチなどを用いることができる。また、スイッチLS4は、図3にハッチングで示すように、回転板10が塵芥投入口4の前縁部(上縁部)4aの真下から、その後方へ回転しつつ下降して塵芥投入口4の後縁部(下縁部)4bに最も近接するまでの角度範囲Zを検出するもので、回転板10が塵芥投入口4の近傍にて作動していることを検出するためのセンサである。
The switches LS1 and LS2 are designed to detect a dog (not shown) provided at the end of the
さらに、図1、図3に示すように、塵芥投入口4の近傍には、塵芥積込装置の作動を停止させるための緊急停止ボタン60,61や、緊急停止プレート62などが配設されている。図1に示すように、塵芥投入口4の左側に設けられたスイッチボックス6の側面に緊急停止ボタン60(図6のスイッチSW1に対応)が配設され、また、図3に破線で示すように、塵芥投入口4の右側に緊急停止ボタン61(図6のスイッチSW3に対応)が配設されている。緊急停止プレート62は、塵芥投入口4の下方においてスイッチSW2をオンオフするように配設されている。また、図2に示すように、スイッチボックス6の後面には、停止解除スイッチ63が配設されている。この停止解除スイッチ63は例えばモーメンタリのスイッチSW4をオンオフするように配設されている。停止解除スイッチ63は、後述する塵芥積込装置の塵芥積込動作の緊急停止を解除する際に操作される。
Furthermore, as shown in FIGS. 1 and 3,
-塵芥積込装置の制御系-
次に、図5~図7を参照して、塵芥積込装置を作動させるための制御系について説明する。この制御系は、塵芥積込装置の油圧モータ13や、押込シリンダ24などに供給する油圧を制御する油圧回路と、この油圧回路に設けられた電磁制御弁V1,V2に制御信号を出力する本体制御部PLC(プログラマブル ロジック コントローラ)と、カメラ71からの画像データに基づいて人物認識処理を行う人物検出部としての画像処理ユニット9とを備えている。なお、本体制御部PLCは、塵芥積込装置の駆動だけでなく塵芥排出装置の駆動も制御するようになっている。また、画像処理ユニット9と本体制御部PLCとで架装物である塵芥積込装置の制御装置を構成している。
-Control system of garbage loading device-
Next, a control system for operating the garbage loading device will be described with reference to FIGS. 5 to 7. This control system includes a hydraulic circuit that controls the hydraulic pressure supplied to the
まず、図5を参照して油圧回路について説明する。この油圧回路は、油圧ポンプPと、オイルリザーバTと、押込シリンダ24を制御するための電磁制御弁V1と、油圧モータ13を制御するための電磁制御弁V2とを備えている。なお、油圧ポンプPには、車両走行駆動源としてのエンジン(図示省略)の動力を取り出すPTO(パワー テイク オフ)によって駆動力が伝達されるようになっている。
First, the hydraulic circuit will be explained with reference to FIG. This hydraulic circuit includes a hydraulic pump P, an oil reservoir T, an electromagnetic control valve V1 for controlling the
一例として、電磁制御弁V1,V2は、いずれも6ポート3位置の電磁式の方向切換弁からなる。電磁制御弁V1は、本体制御部PLCによりソレノイドSOLaが励磁されると第1連通位置(図5の上位置)に切り換わって、油圧ポンプPからの作動油を一対の押込シリンダ24のロッド側油室に供給する。一方、電磁制御弁V1は、本体制御部PLCによりソレノイドSOLbが励磁されると第2連通位置(図5の下位置)に切り換わって、作動油をヘッド側油室に供給する。
As an example, the electromagnetic control valves V1 and V2 are both 6-port, 3-position electromagnetic directional switching valves. When the solenoid SOLa is excited by the main body control unit PLC, the electromagnetic control valve V1 switches to the first communication position (upper position in FIG. 5), and transfers the hydraulic oil from the hydraulic pump P to the rod side of the pair of
そして、電磁制御弁V1から作動油がヘッド側油室に供給されると、一対の押込シリンダ24が伸長作動して押込板20を前方に揺動させる。一方、作動油がロッド側油室に供給されると、一対の押込シリンダ24は収縮作動して、押込板20を後方に揺動させる。また、いずれのソレノイドSOLa,SOLbも励磁されていないときに、電磁制御弁V1は中立位置(図5の中央位置)に復帰するようになる。
Then, when hydraulic oil is supplied from the electromagnetic control valve V1 to the head-side oil chamber, the pair of
電磁制御弁V2は、ソレノイドSOLcが励磁されると第1連通位置(図5の下位置)に切り換わって、作動油を油圧モータ13の正転側油室に供給し、当該油圧モータ13を正転作動させるほか、押込シリンダ24も伸縮作動させることができる。一方、ソレノイドSOLdが励磁されると電磁制御弁V2は第2連通位置(図5の上位置)に切り換わって、作動油を油圧モータ13の逆転側油室に供給し、当該油圧モータ13を逆転作動させる。
When the solenoid SOLc is excited, the electromagnetic control valve V2 switches to the first communication position (lower position in FIG. 5), supplies hydraulic oil to the normal rotation side oil chamber of the
また、いずれのソレノイドSOLc,SOLdも励磁されていないときに、電磁制御弁V2は中立位置(図5の中央位置)に復帰するようになる。電磁制御弁V1,V2の両方が中立位置にあるとき、作動油はオイルリザーバTへ還流するようになる。なお、図示の油圧回路において、符号V3はチェック弁であり、また、符号V4は、油圧ポンプPの吐出圧の上限を設定するためのリリーフ弁である。 Furthermore, when neither of the solenoids SOLc and SOLd is energized, the electromagnetic control valve V2 returns to the neutral position (center position in FIG. 5). When both the electromagnetic control valves V1 and V2 are in the neutral position, the hydraulic oil returns to the oil reservoir T. In the illustrated hydraulic circuit, reference numeral V3 is a check valve, and reference numeral V4 is a relief valve for setting the upper limit of the discharge pressure of the hydraulic pump P.
次に、図6を参照して本体制御部PLCおよび画像処理ユニット9の信号の入出力状態について説明する。まず、本体制御部PLCへの電力供給はバッテリBTによって行われる。このバッテリBTの正極から図6の右側に延びてグランドラインK1に至る通電ラインK2には、塵芥収集車100のイグニッションスイッチSWK、PTOスイッチ(動力源スイッチ)SWP、リレーコイルR1などが介設されている。
Next, the input/output state of signals of the main body control section PLC and the
また、イグニッションスイッチSWKおよびバッテリBTの中間において通電ラインK2から分岐するように、通電ラインK3の上流端が接続されており、その上流側(バッテリBTに近い側)にはリレーコイルR1の接点(リレースイッチ)r1が介設されている。この通電ラインK3には電源ランプLが介設されており、リレーコイルR1が励磁されて接点r1が閉じられると、通電ラインK3に通電することによって電源ランプLが点灯する。 In addition, the upstream end of the current-carrying line K3 is connected so as to branch from the current-carrying line K2 midway between the ignition switch SWK and the battery BT, and the contact of the relay coil R1 ( A relay switch) r1 is provided. A power lamp L is interposed in this energizing line K3, and when the relay coil R1 is energized and the contact r1 is closed, the power lamp L is turned on by energizing the energizing line K3.
また、リレーコイルR1の接点r1および電源ランプLの中間において通電ラインK3から分岐するように、通電ラインK4の上流端が接続されており、これにより本体制御部PLCの信号用電力供給部(図示省略)に電力が供給されるようになっている。つまり、接点r1が閉じられると、通電ラインK3,K4を介して本体制御部PLCに電力が供給される。 In addition, the upstream end of the energizing line K4 is connected so as to branch from the energizing line K3 at a point between the contact r1 of the relay coil R1 and the power lamp L. (omitted). That is, when the contact r1 is closed, power is supplied to the main body control unit PLC via the energizing lines K3 and K4.
さらに、通電ラインK4から分岐する通電ラインK5によって、塵芥積込装置の塵芥積込作動中には必ず本体制御部PLCに通電されるようになっている。つまり、通電ラインK5は、いわゆる積込継続信号を入力するラインであり、ここには、上述した緊急停止ボタン60,61および緊急停止プレート62の操作に対応して開閉されるスイッチSW1~SW3などが介設されている。これらのスイッチSW1~SW3によって通電(つまり、積込継続信号の入力)が遮断されると、本体制御部PLCは、電磁制御弁V1,V2のソレノイドSOLa~SOLdを励磁させるための制御信号の出力をオフするようになっている。これにより、電磁制御弁V1,V2が中立位置に復帰するようになり、塵芥積込装置の作動が停止されるようになっている。
Furthermore, the main body control unit PLC is always energized by the energizing line K5 branching from the energizing line K4 during the garbage loading operation of the garbage loading device. In other words, the energization line K5 is a line for inputting a so-called loading continuation signal, and includes switches SW1 to SW3 that are opened and closed in response to the operation of the
また、通電ラインK4にはその途中から分岐する複数の分岐ラインが接続されており、これらの分岐ラインのそれぞれに、上述したスイッチLS1~LS4が介設されている。スイッチLS1~LS4からの信号は本体制御部PLCに入力されるようになっており、これらの信号に基づいて塵芥積込装置の回転板10および押込板20の位置、言い換えれば作動状況が検出される。
Further, a plurality of branch lines branching from the middle of the energizing line K4 are connected, and the above-mentioned switches LS1 to LS4 are interposed in each of these branch lines. Signals from the switches LS1 to LS4 are input to the main body control unit PLC, and based on these signals, the positions of the
さらに、スイッチLS1~LS4の他にも本体制御部PLCへの入力側には、塵芥積込装置をサイクル作動させるためのアクチュエータ操作部としての積込スイッチSW5、塵芥積込装置の塵芥積込動作または塵芥排出装置の塵芥排出動作を切り換えるための切換スイッチSW6、塵芥投入箱3を傾動させて開放するためのスイッチSW7、塵芥積込動作の単動または連続の選択スイッチ(図示省略)、回転板10や押込板20を単独で作動させるスイッチ(図示省略)なども電気的に接続されている。切換スイッチSW6は、通電ラインK4から通電ラインK5が分岐する分岐位置に設けられており、通電ラインK5は、切換スイッチSW6の積込側に接続されている。
Furthermore, in addition to switches LS1 to LS4, on the input side to the main body control unit PLC, there is a loading switch SW5 as an actuator operation unit for cyclic operation of the garbage loading device, and a garbage loading operation of the garbage loading device. Or a changeover switch SW6 for switching the dust discharge operation of the dust discharge device, a switch SW7 for tilting and opening the
上述のように各種スイッチが入力側に接続されている一方、本体制御部PLCの出力側には、上述した電磁制御弁V1,V2のソレノイドSOLa~SOLdなどが接続されている。そして、本体制御部PLCは、スイッチSW1~SW3,LS1~LS4などから入力する信号に基づいて、予め設定された手順に従い、油圧モータ13や押込シリンダ24などを作動させるべく、対応するソレノイドSOLa~SOLdに出力するようにプログラムされている。
While various switches are connected to the input side as described above, the solenoids SOLa to SOLd of the electromagnetic control valves V1 and V2 mentioned above are connected to the output side of the main body control unit PLC. Then, the main body control unit PLC operates the corresponding solenoids SOLa to SOLa to operate the
具体的には、塵芥積込装置が塵芥積込作動するときには、通電ラインK2上のイグニッションスイッチSWKおよびPTOスイッチSWPがいずれもオンになると、リレーコイルR1が励磁される。これにより、リレーコイルR1の接点r1が閉じられるので、通電ラインK3およびK4によって本体制御部PLCに電力供給されることにより、本体制御部PLCが作動可能な状態になって適宜、ソレノイドSOLa~SOLdに制御信号を出力するようになる。 Specifically, when the garbage loading device operates to load garbage, when both the ignition switch SWK and the PTO switch SWP on the energizing line K2 are turned on, the relay coil R1 is excited. As a result, contact r1 of relay coil R1 is closed, and power is supplied to the main body control unit PLC through the energizing lines K3 and K4, so that the main body control unit PLC becomes operable and the solenoids SOLa to SOLd are activated as appropriate. A control signal will be output to.
この制御信号を受けてソレノイドSOLa~SOLdが励磁され、電磁制御弁V1,V2の位置が適宜、切り換えられることで、油圧モータ13や押込シリンダ24などに作動油圧が供給される。これにより、油圧モータ13や押込シリンダ24などがそれぞれ作動し、上述したように、回転板10の回転および押込板20の揺動が互いに同期して繰り返されることになる。
In response to this control signal, the solenoids SOLa to SOLd are excited, and the positions of the electromagnetic control valves V1 and V2 are appropriately switched, thereby supplying hydraulic pressure to the
詳細には、まず図3に実線で示すように押込板20が前進限界位置にあって、スイッチLS1からオン信号が出力されるとともに、回転板10が設定停止位置にあって、スイッチLS3からもオン信号が出力されるときに、積込スイッチSW5の信号を受けた本体制御部PLCから制御信号が出力され、電磁制御弁V2が第1連通位置に切り換えられて、油圧モータ13が正転作動を開始する。これにより、回転板10は上方に回動し始める。
In detail, first, as shown by the solid line in FIG. 3, the
そして、所定の期間が経過すると本体制御部PLCから電磁制御弁V1のソレノイドSOLaへ制御信号が出力されて、電磁制御弁V1が第1連通位置に切り換えられ、押込シリンダ24が収縮作動を開始する。これにより押込板20は後方の塵芥投入口4側へ揺動するようになり、この押込板20が後退限界位置に達すると、スイッチLS2からオン信号が出力される。
When a predetermined period of time has elapsed, a control signal is output from the main body control unit PLC to the solenoid SOLa of the electromagnetic control valve V1, the electromagnetic control valve V1 is switched to the first communication position, and the
これを受けて本体制御部PLCがソレノイドSOLaへの制御信号の出力を停止することで、電磁制御弁V1が中立位置に復帰し、押込板20の揺動が停止する。また、そうして押込板20が揺動している間も回転板10の回動は継続しており、塵芥Gを塵芥収容箱2側に掻き込んでゆくが、こうして回動する回転板10が設定停止位置に至り、スイッチLS3からオン信号が出力される。
In response to this, the main body control unit PLC stops outputting the control signal to the solenoid SOLa, so that the electromagnetic control valve V1 returns to the neutral position and the swinging of the
これを受けて本体制御部PLCが、電磁制御弁V2のソレノイドSOLcへの制御信号の出力を停止することで、電磁制御弁V2が中立位置に復帰し、油圧モータ13の回動が停止する。また、本体制御部PLCは、電磁制御弁V1のソレノイドSOLbへ制御信号を出力し、電磁制御弁V1が第2連通位置に切り換えられて、押込シリンダ24が伸長作動を開始することで、押込板20が前方へ揺動し始める。
In response to this, the main body control unit PLC stops outputting the control signal to the solenoid SOLc of the electromagnetic control valve V2, so that the electromagnetic control valve V2 returns to the neutral position and the rotation of the
こうして前方の塵芥収容箱2側に揺動する押込板20が、回転板10上の塵芥Gを塵芥収容箱2に押し込んでいき、前進限界位置に達すれば、スイッチLS1からオン信号が出力される。これを受けて本体制御部PLCがソレノイドSOLbへの制御信号の出力を停止することで、電磁制御弁V1が中立位置に復帰し、押込シリンダ24の伸長作動、つまり、押込板20の前方への揺動が停止し、一連の動作が終了する。
In this way, the pushing
また、図6に示すように、イグニッションスイッチSWKおよびPTOスイッチSWPの中間において、通電ラインK6の上流端が接続されており、この通電ラインK6には、画像処理ユニット9が接続されている。イグニッションスイッチSWKがオンになると、この通電ラインK6を介して、画像処理ユニット9に電力が供給される。画像処理ユニット9は、通電ラインK7を介してカメラユニット7のカメラ71に接続されている。また、画像処理ユニット9には、通電ラインK8を介して、車両の運転操作に基づく後退信号が入力されるようになっている。
Further, as shown in FIG. 6, the upstream end of the energizing line K6 is connected between the ignition switch SWK and the PTO switch SWP, and the
画像処理ユニット9には、所定のプログラムを実行して各種の制御を行う中央処理部CPU、カメラ71からの画像データを取得し画像処理を行う画像処理部DSP、中央処理部CPUや画像処理部DSPにおいて使用されるデータを記憶する記憶部としてのメモリM、中央処理部CPUの指令を受けて監視用のモニタ93(図1参照)に画像処理の結果などを表示させる画像出力部VOP、データログの時刻を計時する計時部C、カメラ71の制御を行うカメラ制御部(図示省略)などが設けられている。画像処理部DSPは、画像処理ロジックを高速で行う集積回路であり、例えば図11のフローチャートに示すような人物認識処理のルーチンを実行する。なお、リレーコイルR1の接点r1よりも上流側において通電ラインK3から分岐するように、通電ラインK9の上流端が接続されており、この通電ラインK9を介して計時部Cへの電力供給が行われる。このため、イグニッションスイッチSWKがオフの場合にも、計時部Cへの通電が常時行われるようになっている。
The
また、画像処理ユニット9には、通電ラインK5から分岐する通電ラインK10が接続されている。この通電ラインK10は、画像処理ユニット9による人物認識処理について、塵芥積込装置の塵芥排出動作の際は機能せず、塵芥積込装置の塵芥積込動作の際に機能するための積込信号ラインになっている。通電ラインK10は、切換スイッチSW6の積込側に接続されており、PTOスイッチSWPがオンであって、切換スイッチSW6が積込側に切り換えられている場合に、画像処理ユニット9に積込ライン信号が入力されるようになっている。
Further, the
画像処理ユニット9と、本体制御部PLCとの間には、作動スイッチSWSが介在されている。画像処理ユニット9には、人物安全信号の出力ポートが設けられており、この出力ポートと作動スイッチSWSとが通電ラインK16により接続されている。また、画像処理ユニット9には、データログ開始信号の入力ポートが設けられており、この入力ポートと作動スイッチSWSとが通電ラインK17により接続されている。また、作動スイッチSWSには、通電ラインK10から分岐された通電ラインK15が接続されている。
An actuation switch SWS is interposed between the
作動スイッチSWSがオン側に切り換えられている場合、通電ラインK16と通電ラインK12とを介して、画像処理ユニット9の人物安全信号の出力ポートと本体制御部PLCとが接続される。
When the operation switch SWS is switched to the on side, the output port of the person safety signal of the
ここで、画像処理ユニット9から出力される人物安全信号は、通電ラインK16と通電ラインK12とを通って本体制御部PLCに入力されるようになっている。しかし、塵芥積込装置の塵芥積込動作の際に人物が侵入禁止エリア(後述の第2の検知エリアY12)に入ると、画像処理ユニット9から人物安全信号が出力されず、本体制御部PLCに人物安全信号が入力されない。本体制御部PLCは、人物安全信号の入力がないことを条件の1つとして、塵芥積込装置の塵芥積込動作の緊急停止を行うようになっている。
Here, the person safety signal output from the
また、作動スイッチSWSがオン側に切り換えられている場合、通電ラインK6から分岐された通電ラインK11が通電ラインK17と接続される。この場合、イグニッションスイッチSWKがオンになると、通電ラインK6に通電が行われることにより、通電ラインK11と通電ラインK17を通じて、データログ開始信号が画像処理ユニット9に送られる。そして、それをトリガとしてデータログが実行される。
Moreover, when the operation switch SWS is switched to the on side, the energization line K11 branched from the energization line K6 is connected to the energization line K17. In this case, when the ignition switch SWK is turned on, the energization line K6 is energized, and a data logging start signal is sent to the
一方、作動スイッチSWSがオフ側に切り換えられている場合、通電ラインK15と通電ラインK12とを介して、通電ラインK10と本体制御部PLCとが接続される。この場合、画像処理ユニット9に積込ライン信号が入力されているときに、通電ラインK10からの電圧が、人物安全信号の代わりに本体制御部PLCに入力される。このため、画像処理ユニット9が侵入禁止エリアで人物を認識したか否かにかかわらず、本体制御部PLCは、人物安全信号の入力が常時あると認識するようになっている。
On the other hand, when the operation switch SWS is switched to the off side, the energization line K10 and the main body control unit PLC are connected via the energization line K15 and the energization line K12. In this case, when the loading line signal is being input to the
なお、作動スイッチSWSがオフ側に切り換えられている場合、通電ラインK17への通電は行われず、データログは開始されないようになっている。 Note that when the operating switch SWS is switched to the off side, the energization line K17 is not energized and data logging is not started.
また、画像処理ユニット9と、本体制御部PLCとの間には、停止解除スイッチ63に対応するスイッチSW4が介在されている。スイッチSW4は、通電ラインK10から分岐された通電ラインK13に介設されている。停止解除スイッチ63がオン操作されていない場合には、スイッチSW4がオフ状態になっており、本体制御部PLCには、信号が入力されないようになっている。一方、停止解除スイッチ63がオン操作された場合には、スイッチSW4がオン状態になり、画像処理ユニット9に積込ライン信号が入力されているときに、通電ラインK10からの電圧が、停止解除のオン信号として本体制御部PLCに入力されるようになっている。なお、塵芥積込装置の塵芥排出動作の際には、画像処理ユニット9に積込ライン信号が入力されないため、停止解除スイッチ63の機能が無効になる。
Further, a switch SW4 corresponding to the
本体制御部PLCは、停止解除スイッチ63のオン信号を認識した場合、画像処理ユニット9からの人物安全信号の入力がなくなったとしてもそれを条件として塵芥積込装置の塵芥積込動作の緊急停止を行わないようになっている。
When the main body control unit PLC recognizes the ON signal of the
画像処理ユニット9には、運転席周辺に配設されているパイロットランプ(図示省略)、塵芥投入口4の近傍に配設されている報知部としての作動中ランプ72および検出ランプ73が電気的に接続されており、それらの点灯制御が中央処理部CPUにより行われる。また、画像処理ユニット9には、後退警告音を出力するブザー91が接続されており、この制御についても中央処理部CPUにより行われる。作動中ランプ72、検出ランプ73およびブザー91の低電位側は、通電ラインK13を介してグランドラインK1に接続されている。
The
また、図7に示すように、画像処理ユニット9には、上述した中央処理部CPU、画像処理部DSP、メモリM、画像出力部VOP、計時部Cに加え、内蔵バッテリ94、学習用画像抽出部95などが備えられている。さらに、画像処理ユニット9は、事業所サーバ300を経由して管理センタサーバ200に接続可能になっている。詳細には、塵芥収集車100には、第1通信部101が備えられており、この第1通信部101が画像処理ユニット9と接続されている。第1通信部101は、例えばWi-Fi(登録商標)通信等の近距離無線通信により、事業所内の事業所サーバ300に備えられた第3通信部301と相互に通信可能になっている。また、事業所サーバ300の第3通信部301が、例えばインターネット等のネットワークを介して、管理センタ内の管理センタサーバ200に備えられた第2通信部201と相互に通信可能になっている。
As shown in FIG. 7, the
また、図7に示すように、塵芥収集車100には、上述した第1通信部101、作動スイッチSWS、PTOスイッチ(駆動源スイッチ)SWP、積込スイッチ(アクチュエータ操作部)SW5、作動中ランプ72、検出ランプ73に加え、位置情報取得部102、機能メンテナンススイッチ103、通信状態表示部104などが備えられている。管理センタサーバ200には、機械学習部202、サーバ側記憶部203などが備えられている。
Further, as shown in FIG. 7, the
内蔵バッテリ94は、塵芥収集車100のエンジンが停止されている場合に、管理センタサーバ200、事業所サーバ300と通信するための電力を供給するものである。学習用画像抽出部95は、カメラ71によって取得された動画のデータから、所定タイミングで学習用画像データを抽出してメモリMに保存するものである。位置情報取得部102は、画像処理ユニット9と接続され、例えば図示しないGPS衛星からの電波を受信することにより塵芥収集車100の位置情報を取得することが可能になっている。機能メンテナンススイッチ103は、画像処理ユニット9と接続され、後述する辞書データ更新処理を行う場合にオン操作される。通信状態表示部104は、塵芥収集車100の第1通信部101と、事業所サーバ300の第3通信部301との通信状態を表示可能になっている。
The built-in
事業所サーバ300が設置される事業所は、例えば収集業者の事業所である。事業所内の予め設定された所定位置に塵芥収集車100が駐車(停車)されるようになっている。管理センタサーバ200が設置される管理センタは、例えば、画像処理ユニット9を含む塵芥収集車100を製造販売する架装メーカーが有するものである。機械学習部202による機械学習によって、積込用辞書データおよび後退用辞書データの更新用辞書データが作成される。機械学習部202によって作成された更新用辞書データは、サーバ側記憶部203に保存される。
The business office where the
そして、画像処理ユニット9の学習用画像抽出部95で取得された学習用画像データが、事業所サーバ300に送信され、さらに、管理センタサーバ200に送信されるようになっている。管理センタサーバ200では、受信した学習用画像データに基づいて、機械学習部202による機械学習が行われ、積込用辞書データおよび後退用辞書データの更新用辞書データが作成される。機械学習部202によって作成された更新用辞書データは、サーバ側記憶部203に保存される。
The learning image data acquired by the learning
また、管理センタサーバ200の機械学習部202で作成された更新用辞書データ(サーバ側記憶部203に保存された更新用辞書データ)が、事業所サーバ300に送信され、さらに、画像処理ユニット9に送信されるようになっている。画像処理ユニット9では、受信した更新用辞書データに基づいて、メモリMに保存された積込用辞書データおよび後退用辞書データが更新される。このように、塵芥収集車100の画像処理ユニット9、管理センタサーバ200、および事業所サーバ300によって辞書データ更新システムが構成されている。
Further, the update dictionary data created by the
本実施形態では、カメラ71の撮像レンズ71aの左右両側に、作動中ランプ72および検出ランプ73が配設されている(図4参照)。作動中ランプ72は、原則として画像処理ユニット9に積込ライン信号が入力されている場合にオンされる(点灯される)。検出ランプ73は、原則として画像処理ユニット9に積込ライン信号が入力され、かつ、後述する人物認識処理によって塵芥投入口4近傍の人物検出用エリアに人物が入っていると判定された場合にオンされる(点灯される)。
In this embodiment, an operating
また、図1、図3、図7に示すように、塵芥投入箱3の背面の上部、言い換えれば、塵芥投入口4の上方にはカメラ71が所定の取付角度で取り付けられ、その撮像レンズ71aが後方の斜め下に向けられている。図7、図8には、塵芥投入口4の近傍に立った人物H(作業者)が両腕を前方に伸ばして、塵芥G(図7、図8では、ごみ袋)を積み込む様子が示されている。カメラ71は本来、塵芥収集車100の運転者が後方を監視するためのバックカメラとして用いられるものであり、図7、図8に一例を示すように塵芥投入口4およびその後方の所定範囲を撮影する。
Further, as shown in FIGS. 1, 3, and 7, a
カメラ71の撮像レンズ71aの光軸は、図3のX1線に沿う方向に延びており、塵芥投入口4の後方を撮影するために、鉛直下向きから後方に振り向けられて、塵芥投入口4の近傍の人物Hおよび塵芥Gを上方から撮影するようになっている。そして、カメラ71によって撮影(取得)され、画像処理ユニット9に入力された画像のデータに基づいて、画像処理ユニット9は、作業者などの人物Hが塵芥投入口4およびその後方の人物検出用エリア(図8において破線で囲まれたエリアと実線で囲まれたエリア)にいるか否かを判定するようにしている。また、画像処理ユニット9が人物検出用エリアに人物Hがいると判定すれば、本体制御部PLCは、塵芥積込装置の作動を停止させるか否かを判定するようにしている。
The optical axis of the
具体的に説明すると、積込用の人物検出用エリアは、第1の検知エリアY11(図8に破線で示す)と第2の検知エリアY12(図8に実線で示す)とに分かれている。第2の検知エリアY12は、第1の検知エリアY11よりも塵芥投入口4の近傍に設けられ、侵入禁止エリアとしての機能を有している。画像処理ユニット9は、第1の検知エリアY11または第2の検知エリアY12に人物Hがいるか否かを判定し、侵入禁止エリアとしての第2の検知エリアY12に人物Hがいると判定すれば停止信号を本体制御部PLCに送り、本体制御部PLCが塵芥積込装置の作動を停止させるようにしている。例えば、第1の検知エリアY11は、作業者が塵芥積込作業を行う際の通常エリアであり、塵芥投入口4の近傍の矩形のエリアに設定される。第2の検知エリアY12は、塵芥投入口4の前縁部4aと後縁部4b近傍との間の矩形のエリアに設定される。この第2の検知エリアY12は、少なくとも塵芥投入口4の前縁部4a、後縁部4b、左縁部4c、および右縁部4dで囲まれた領域の一部を含むように設定される。
Specifically, the area for detecting people for loading is divided into a first detection area Y11 (indicated by a broken line in FIG. 8) and a second detection area Y12 (indicated by a solid line in FIG. 8). . The second detection area Y12 is provided closer to the
これに加え、車両の後退時、人物Hが塵芥投入口4の後方の第3の検知エリアY2(図7、図8に1点鎖線で示す)にいるか否かが画像処理ユニット9により判定される。そして、第3の検知エリアY2に人物Hがいると判定すれば、画像処理ユニット9が運転者に報知して注意を喚起するようにしている。第3の検知エリアY2は、第2の検知エリアY12、第1の検知エリアY11、およびその後方のエリアを含む矩形のエリアに設定される。なお、モニタ93上には、カメラ71の画像とともに、第1の検知エリアY11の外縁に対応するライン(図8に破線で示す)、第2の検知エリア(侵入禁止エリア)Y12の外縁に対応するライン(図8に実線で示す)、第3の検知エリアY2の外縁に対応するライン(図8に1点鎖線で示す)が表示されている。
In addition, when the vehicle is reversing, the
-画像処理のルーチン-
次に、塵芥収集車100で行われる画像処理制御のルーチンについて、図9のフローチャートを参照して説明する。図9は、塵芥収集車100で行われる画像処理制御において、画像処理ユニット9が実行する制御の流れを示すフローチャートである。
-Image processing routine-
Next, the image processing control routine performed in the
まず、スタート後のステップS1において、ACC電源をオフからオンに切り換える操作が作業者により行われると、画像処理ユニット9の電源がオフからオンになる。ステップS2において、画像処理ユニット9の初期化処理(起動処理)が行われる。ステップS3において、画像処理ユニット9の内蔵バッテリ94が充電される。
First, in step S1 after the start, when the operator performs an operation to switch the ACC power from off to on, the power of the
次に、ステップS4において、画像処理ユニット9の中央処理部CPUは、作動スイッチSWSがオンか否かを判定する。作動スイッチSWSがオンの場合(YES)、ステップS5に進み、作動スイッチSWSがオフの場合(NO)、ステップS26に進む。ステップS26において、画像処理ユニット9は、作動中ランプ72のオン信号および検出ランプ73のオフ信号を出力せず、ステップS27において、データログをオフとし、画像処理ユニット9のメモリMへのログ保存を行わないようにする。
Next, in step S4, the central processing unit CPU of the
そして、ステップS5において、画像処理ユニット9の中央処理部CPUは、車両の運転操作に基づく後退信号が入力されていないか否かを判定する。後退信号は、車両の後退操作があった場合に通電ラインK8を介して画像処理ユニット9に入力され、この後退信号の有無に基づいて、ステップS5の判定が行われる。そして、後退信号の入力がなかった場合(YES)、ステップS6に進み、後退信号の入力があった場合(NO)、ステップS19に進む。
Then, in step S5, the central processing unit CPU of the
次に、ステップS6において、画像処理ユニット9の中央処理部CPUは、積込ライン信号が入力されたか否かを判定する。積込ライン信号は、PTOスイッチSWPがオンであって、切換スイッチSW6が積込側に切り換えられている場合に、通電ラインK10を介して画像処理ユニット9に入力される。この積込ライン信号の有無に基づいて、ステップS6の判定が行われる。そして、積込ライン信号の入力があった場合(YES)、ステップS7に進み、積込ライン信号の入力がなかった場合(NO)、ステップS26に進む。
Next, in step S6, the central processing unit CPU of the
次に、ステップS7において、画像処理ユニット9の中央処理部CPUは、作動中ランプ72を点灯させる。そして、ステップS8において、中央処理部CPUは、人物認識処理に用いる辞書データ(特徴データ)を積込用辞書データに設定し、また、人物検出判定に用いる検知エリアを積込用の人物検出用エリアに設定する。積込用辞書データは、後述する人物認識処理(ステップS9)の際に参照されるものであって、画像処理ユニット9のメモリMに格納されている。積込用辞書データは、予め多くの人物の頭部の画像を撮影して、その大きさや形状などの特徴を抽出したものである。積込用辞書データとして抽出される特徴については、人物を上方から見たときの頭部形状を主体としている。積込用の人物検出用エリアは、人物検出判定の際に用いられるものであって、画像処理ユニット9のメモリMに格納されている。上述したように、積込用の人物検出用エリアは、作業者が塵芥積込作業を行う際の通常エリアとして設定された第1の検知エリアY11と、侵入禁止エリアとしての第2の検知エリアY12とに分かれており、それぞれのエリアがメモリMに格納されている。
Next, in step S7, the central processing unit CPU of the
次に、ステップS9において、画像処理ユニット9の中央処理部CPUは、画像処理部DSPに人物認識処理を実行させる。画像処理ユニット9の画像処理部DSPが実行する人物認識処理の詳細について、図10のフローチャートを参照して説明する。
Next, in step S9, the central processing unit CPU of the
まず、スタート後のステップS91において、カメラ71によって撮影され、画像処理ユニット9に入力される画像のデータ(入力画像データ)に対する二値化処理が、画像処理部DSPによって行われる。この二値化処理は、例えば、入力画像データについて各画素の輝度値が予め設定された閾値以上である場合に最大輝度値とし、閾値未満であれば最小輝度値とする処理である。生成される二値化画像データは、ノイズや光量変化の影響の多くが除去されたものとなる。
First, in step S91 after the start, the image processing unit DSP performs a binarization process on image data (input image data) taken by the
次に、ステップS92において、画像処理部DSPによってラベリング処理が行われる。このラベリング処理は、二値化画像データにおいて互いに近接する各画素を領域化するものであり、例えば同じ輝度値に属するとともに、所定距離内で密接する複数の画素について1つの領域とみなす処理である。ラベリング処理は画像平面全体について行われ、これにより1つの領域とされたものが、それぞれ物体像として認識される。 Next, in step S92, labeling processing is performed by the image processing unit DSP. This labeling process is a process of regionalizing each pixel that is close to each other in the binarized image data. For example, it is a process in which multiple pixels that belong to the same luminance value and are close to each other within a predetermined distance are considered as one region. . The labeling process is performed on the entire image plane, and each region defined as one area is recognized as an object image.
そして、ステップS93~S95において、画像処理部DSPによって、上述した第1の検知エリアY11または第2の検知エリアY12内で検知されたそれぞれの物体像についての人物識別処理が行われる。本実施形態では、塵芥投入口4の上方にカメラ71を配設し、下方の塵芥投入口4近傍を略真上から撮影するようにしている。このため、その画像には、図8に一例を示すように人物Hの頭部が大きく表示されるとともに、上方から見た顔の一部も表示されることになる。そこで、ステップS93では、予め設定されている積込用辞書データを参照し、この積込用辞書データの条件を満たすような物体像を、仮に人物Hの頭部と判定する。
Then, in steps S93 to S95, the image processing unit DSP performs a person identification process on each object image detected within the first detection area Y11 or the second detection area Y12. In this embodiment, a
次に、頭部と仮判定した物体像について、それ以外の物体像と識別する処理をステップS94,S95で行う。まず、ステップS94において、カメラ71から時系列に入力される複数の画像データの差分処理(各画素毎の輝度値の差を求める処理)によって、物体像の位置の変化を検出する。この位置の変化、つまり、物体像の移動距離を、それに要した時間(画像データを取得する時間間隔)で除算して、物体像の移動速度を算出する。 Next, in steps S94 and S95, the object image tentatively determined to be a head is distinguished from other object images. First, in step S94, a change in the position of the object image is detected by differential processing of a plurality of image data inputted in time series from the camera 71 (processing to find the difference in luminance value for each pixel). The moving speed of the object image is calculated by dividing this change in position, that is, the moving distance of the object image, by the time required for the change (time interval for acquiring image data).
次に、ステップS95において、ステップS94で算出された移動速度が予め設定した閾値以下であるか否かを判定する。この閾値は、塵芥投入口4に塵芥を投入する作業者の頭部の移動速度と、投入される塵芥の移動速度とを区別できるように、予め実験などによって設定されている。そして、算出された移動速度が閾値よりも高ければ、動作が速すぎるので人物Hの頭部ではないと識別し、否定判定して(NO)、ルーチンを終了する(エンド)。
Next, in step S95, it is determined whether the moving speed calculated in step S94 is less than or equal to a preset threshold. This threshold value is set in advance through experiments or the like so that the moving speed of the head of the worker who throws garbage into the
一方、ステップS95において、算出された移動速度が閾値以下であると肯定判定すれば(YES)、物体像は人物Hの頭部であると判定(本判定)して、ステップS96に進み、人物検出信号を出力する。 On the other hand, if it is determined in step S95 that the calculated moving speed is less than or equal to the threshold value (YES), it is determined that the object image is the head of person H (main determination), and the process proceeds to step S96. Outputs a detection signal.
次に、ステップS97において、人物Hの頭部であると判定された物体像が、上述した第2の検知エリアY12に入っているか否かを判定する。ステップS97の判定は、物体像を形成する領域の外形をなす画素の位置座標が、第2の検知エリアY12に一部分でも含まれているか否かによって判定することが可能である。 Next, in step S97, it is determined whether the object image determined to be the head of the person H is within the second detection area Y12 described above. The determination in step S97 can be made based on whether the position coordinates of pixels forming the outline of the area forming the object image are even partially included in the second detection area Y12.
そして、人物Hの頭部と識別した物体像が、第2の検知エリアY12に入っていると肯定判定すれば(YES)、ステップS98に進んで塵芥積込装置の作動を停止させるべく、中央処理部CPUへ停止信号を出力し、ルーチンを終了する(エンド)。一方、物体像が第2の検知エリアY12に入っていないと否定判定すれば(NO)、停止信号は出力せずにルーチンを終了する(エンド)。 If it is affirmatively determined that the object image identified as the head of the person H is within the second detection area Y12 (YES), the process proceeds to step S98 and the central A stop signal is output to the processing unit CPU, and the routine ends (end). On the other hand, if a negative determination is made that the object image does not enter the second detection area Y12 (NO), the routine is ended without outputting a stop signal (END).
図9のフローチャートに戻って、ステップS10において、画像処理ユニット9の中央処理部CPUは、上述したステップS9の人物認識処理の処理結果(ログ)をメモリMに保存する。具体的には、人物検出信号の出力の有無(ステップS96)や、停止信号の出力の有無(ステップS98)が、画像処理ユニット9のメモリMにログ保存される。この際、カメラ71によって取得された動画のデータから、学習用画像抽出部95によって抽出された学習用画像データも、画像処理ユニット9のメモリMにログ保存される。学習用画像データは、積込用辞書データの機械学習に用いられるもので、人物であると判定された物体像があった場合に、カメラ71によって取得された動画のデータから所定タイミングで抽出される。積込用(作業用)の学習用画像データは、抽出時の位置情報および時刻情報と関連付けて保存される。積込用(作業用)の学習用画像データの抽出タイミング(取得タイミング)としては、例えば積込作業の開始時、積込スイッチSW5の操作時、緊急停止スイッチ(緊急停止ボタン60,61、緊急停止プレート62)の操作時、積込作業の終了時などがある。このうち、積込作業の開始時および終了時は、塵芥積込装置(可動装置)の駆動源としてのPTOがオンまたはオフされたタイミングであり、言い換えれば、駆動源スイッチとしてのPTOスイッチSWPがオンまたはオフに操作されたタイミングである。また、積込スイッチSW5の操作時は、塵芥積込装置(可動装置)を駆動する作業用アクチュエータを駆動するアクチュエータ操作部が操作されたタイミングである。
Returning to the flowchart of FIG. 9, in step S10, the central processing unit CPU of the
次に、ステップS11において、画像処理ユニット9の中央処理部CPUは、ステップS9の人物認識処理によって第1の検知エリアY11または第2の検知エリアY12内に人物が検出されたか否かを判定する。この際、画像処理ユニット9のメモリMを参照して、人物検出信号の出力があったか否かが判定される。そして、人物検出信号の出力があった場合(YES)、ステップS12に進み、人物検出信号の出力がなかった場合(NO)、ステップS17に進む。
Next, in step S11, the central processing unit CPU of the
次に、ステップS12において、画像処理ユニット9の中央処理部CPUは、ステップS9の人物認識処理によって侵入禁止エリアとしての第2の検知エリアY12内に人物が侵入したか否かを判定する。この際、画像処理ユニット9のメモリMを参照して、停止信号の出力があったか否かが判定される。そして、停止信号の出力があった場合(YES)、ステップS13に進み、停止信号の出力がなかった場合(NO)、ステップS15に進む。
Next, in step S12, the central processing unit CPU of the
次に、画像処理ユニット9の中央処理部CPUは、ステップS13において、検出ランプ73のオン信号を出力し、ステップS14において、人物安全信号を本体制御部PLCに出力せず、その後、ステップS28に進む。また、中央処理部CPUは、ステップS15において、検出ランプ73のオン信号を出力し、ステップS16において、人物安全信号を本体制御部PLCに出力し、その後、ステップS28に進む。さらに、中央処理部CPUは、ステップS17において、検出ランプ73のオン信号を出力せず、ステップS18において、人物安全信号を本体制御部PLCに出力し、その後、ステップS28に進む。
Next, the central processing unit CPU of the
上述したステップS5の判定で後退信号の入力があった場合(NO)、画像処理ユニット9は、ステップS19において、作動中ランプ72のオン信号および検出ランプ73のオフ信号を出力せず、ステップS20に進む。
If the reverse signal is input in the determination in step S5 described above (NO), the
そして、ステップS20において、人物認識処理に用いる辞書データ(特徴データ)を後退用辞書データに設定し、また、人物検出判定に用いる検知エリアを後退用の第3の検知エリアY2に設定する。後退用辞書データは、後述する人物認識処理(ステップS21)の際に参照されるものであって、画像処理ユニット9のメモリMに格納されている。後退用辞書データは、予め多くの人物の頭部の画像を撮影して、頭部の大きさや形状などの特徴を抽出したものである。後退用辞書データとして抽出される特徴については、人物を上述した積込用辞書データよりも前方寄りの斜め上方から見たときの頭部形状を主体としている。第3の検知エリアY2は、人物検出判定の際に用いられるものであって、画像処理ユニット9のメモリMに格納されている。上述したように、第3の検知エリアY2には積込用の第2の検知エリアY12と第1の検知エリアY11、およびその後方のエリアが含まれている。
Then, in step S20, the dictionary data (feature data) used for the person recognition process is set as the dictionary data for retreating, and the detection area used for the person detection determination is set as the third detection area Y2 for retreating. The backward dictionary data is referred to in the person recognition process (step S21) described later, and is stored in the memory M of the
次に、ステップS21において、画像処理部DSPによって人物認識処理が行われる。ステップS21の人物認識処理は、上述したステップS9の人物認識処理(図10参照)と略同様であって、二値化処理、ラベリング処理、人物識別処理等を含んでいる。なお、人物識別処理では、ステップS20で設定された後退用辞書データが用いられる、この後退用辞書データの条件を満たすような物体像を、人物Hと判定する。なお、人物Hの認識については、頭部形状を識別することに限定されず、例えば手や足などを識別するようにしてもよい。 Next, in step S21, a person recognition process is performed by the image processing unit DSP. The person recognition process in step S21 is substantially the same as the person recognition process in step S9 described above (see FIG. 10), and includes binarization processing, labeling processing, person identification processing, and the like. In the person identification process, the backward dictionary data set in step S20 is used, and an object image that satisfies the conditions of the backward dictionary data is determined to be the person H. Note that the recognition of the person H is not limited to identifying the shape of the head, but may also identify the hands, feet, etc., for example.
そして、ステップS22において、画像処理ユニット9の中央処理部CPUは、上述したステップS21の人物認識処理の処理結果(ログ)をメモリMに保存する。この際、カメラ71によって取得された動画のデータから、学習用画像抽出部95によって抽出された学習用画像データも、画像処理ユニット9のメモリMにログ保存される。学習用画像データは、後退用辞書データの機械学習に用いられるもので、人物であると判定された物体像があった場合に、カメラ71によって取得された動画のデータから所定タイミングで抽出される。後退用の学習用画像データは、抽出時の位置情報および時刻情報と関連付けて保存される。後退用の学習用画像データの抽出タイミング(取得タイミング)としては、例えば数秒ごと等の所定時間ごととされる。
Then, in step S22, the central processing unit CPU of the
次に、ステップS23において、画像処理ユニット9の中央処理部CPUは、ステップS21の人物認識処理によって第3の検知エリアY2内に人物が検出されたか否かを判定する。この際、画像処理ユニット9のメモリMを参照して、人物検出信号の出力があったか否かが判定される。そして、人物検出信号の出力があった場合(YES)、ステップS24において、画像処理ユニット9は、ブザー91を作動させて後退警告音を出力し、その後、ステップS28に進む。一方、人物検出信号の出力がなかった場合(NO)、ステップS25において、画像処理ユニット9は、ブザー91を作動させず、その後、ステップS28に進む。
Next, in step S23, the central processing unit CPU of the
続いて、ステップS28において、画像処理ユニット9は、ACC電源がオンのままである場合(NO)、ステップS3に戻り、再度ステップS3以降の処理を実行する。一方、ステップS28において、ACC電源の電源がオフになった場合(YES)、ステップS29に進む。ステップS29~S37は、各収集場所での収集作業を終えた塵芥収集車100が事業所に戻りエンジンを停止して、駐車(停車)した後に行われる辞書データ更新処理の手順である。
Subsequently, in step S28, if the ACC power source remains on (NO), the
ステップS29において、機能メンテナンススイッチ103をオンに切り換える操作が作業者により行われた場合(YES)、ステップS30に進み、機能メンテナンススイッチ103がオフのままである場合(NO)、ルーチンを終了する。つまり、作業者によって機能メンテナンススイッチ103のオン操作が行われた場合に、以降の辞書データ更新処理が実行される。
In step S29, if the operator performs an operation to turn on the functional maintenance switch 103 (YES), the process advances to step S30, and if the
ステップS30において、画像処理ユニット9の中央処理部CPUは、塵芥収集車100の車両位置が事業所内の予め設定された所定位置にあるか否かを判定する。この判定は、位置情報取得部102によって取得されたGPS信号に基づいて行われる。所定位置は、塵芥収集車100が事業所内に入ったことを判定可能であり、事業所サーバ300との無線通信が可能であれば、任意の位置あるいはエリアを設定することが可能である。そして、塵芥収集車100の車両位置が事業所内の所定位置にある場合(YES)、ステップS31に進む。一方、塵芥収集車100の車両位置が事業所内の所定位置にない場合(NO)、ステップS37に進む。
In step S30, the central processing unit CPU of the
ステップS31において、画像処理ユニット9の中央処理部CPUは、事業所内に設置された無線通信用のアクセスポイントを検索し、無線通信(例えばWi-Fi通信)の自動接続を行う。これにより、塵芥収集車100の第1通信部101と、事業所サーバ300の第3通信部301とが、無線通信により接続される。
In step S31, the central processing unit CPU of the
ステップS32において、画像処理ユニット9の中央処理部CPUは、第1通信部101と第3通信部301との無線通信による接続が完了したか否かを判定する。そして、第1通信部101と第3通信部301との接続が完了できた場合(YES)、ステップS33に進む。一方、第1通信部101と第3通信部301との接続が完了できなかった場合(NO)、ステップS37に進む。ステップS37において、画像処理ユニット9の中央処理部CPUは、第1通信部101と第3通信部301とが通信できない状態であることを表すエラー表示を通信状態表示部104にて行い、エラーログを作成し、ルーチンを終了する。
In step S32, the central processing unit CPU of the
次に、ステップS33において、画像処理ユニット9の中央処理部CPUは、メモリMに保存された積込用の学習用画像データおよび後退用の学習用画像データを事業所サーバ300に送信する。事業所サーバ300に送信された積込用の学習用画像データおよび後退用の学習用画像データは、事業所サーバ300から管理センタサーバ200に送信される。管理センタサーバ200では、受信した積込用の学習用画像データおよび後退用の学習用画像データに基づいて、機械学習部202による機械学習が行われ、積込用辞書データおよび後退用辞書データの更新用辞書データが作成される。この際、積込用の学習用画像データに関連付けられた位置情報および時刻情報に基づいて、積込用辞書データの更新用辞書データが作成される。また、後退用の学習用画像データに関連付けられた位置情報および時刻情報に基づいて、後退用辞書データの更新用辞書データが作成される。機械学習部202によって作成された積込用辞書データおよび後退用辞書データの更新用辞書データは、サーバ側記憶部203に保存されるとともに、事業所サーバ300に送信される。
Next, in step S33, the central processing unit CPU of the
そして、ステップS34において、画像処理ユニット9の中央処理部CPUは、事業所サーバ300から積込用辞書データおよび後退用辞書データの更新用辞書データを受信する。ステップS35において、画像処理ユニット9の中央処理部CPUは、事業所サーバ300から受信した積込用辞書データの更新用辞書データに基づいてメモリMの積込用辞書データを更新する。また、中央処理部CPUは、事業所サーバ300から受信した後退用辞書データの更新用辞書データに基づいてメモリMの後退用辞書データを更新する。その後、ステップS36において、画像処理ユニット9の中央処理部CPUは、第1通信部101と第3通信部301との無線通信による接続を解除し、ルーチンを終了する。
Then, in step S34, the central processing unit CPU of the
本実施形態では、カメラ71により取得された動画のデータから、所定タイミングで学習用画像データ(積込用の学習用画像データ、後退用の学習用画像データ)を抽出してメモリMに保存する学習用画像抽出部95と、更新用辞書データ(積込用辞書データの更新用辞書データ、後退用辞書データの更新用辞書データ)を作成する管理センタサーバ200と通信可能な画像処理ユニット9(制御部)とを備え、画像処理ユニット9は、学習用画像データの管理センタサーバ200への送信、および、管理センタサーバ200から受信した更新用辞書データによるメモリMの辞書データ(積込用辞書データ、後退用辞書データ)の更新を行う。本実施形態によれば、カメラ71によって取得された動画のデータから学習用画像データを抽出するに際し、学習用画像抽出部95が所定タイミングで学習用画像データの抽出を行うので、人物の立ち位置や動作、背景の種類等が特定された学習用画像データを抽出することができる。これにより、不規則なタイミングで学習用画像データの抽出を行う場合と比較して、機械学習させる人物の特徴を予め絞り込むことができる。また、所定タイミングで抽出された学習用画像データはメモリMに保存されるので、この保存された学習用画像データを使用して、管理センタの管理センタサーバ200と通信することにより辞書データをそれぞれの塵芥収集車100の使用環境等に適したものに更新することができる。これにより、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができ、作業者等の安全性を確保することができる。
In this embodiment, learning image data (learning image data for loading, learning image data for reversing) is extracted from video data acquired by the
上述したように、画像処理ユニット9は、位置情報取得部102で取得された塵芥収集車100の車両位置が、事業所内の予め設定された所定位置にあることをトリガにして、管理センタサーバ200と相互に通信可能な状態とされる。より詳細には、画像処理ユニット9は、例えばWi-Fi通信等の近距離無線通信が可能になっており、位置情報取得部102で取得された塵芥収集車100の車両位置が、事業所内の所定位置に入った場合には、近距離無線通信により事業所サーバ300と接続とされ、事業所サーバ300を介して、管理センタサーバ200と相互に通信可能な状態とされる。
As described above, the
このように、塵芥収集車100の車両位置が事業所内の所定位置に入ると、近距離無線通信により事業所サーバ300を介して、管理センタサーバ200と通信可能な状態とされるので、学習用画像データや、更新用辞書データのデータ量が大きい場合であっても、学習用画像データの管理センタサーバ200への送信や、管理センタサーバ200からの更新用辞書データの受信、メモリMの辞書データの更新を確実かつ速やかに行うことができる。
In this way, when the
また、画像処理ユニット9は、塵芥収集車100のエンジンが停止されたことをトリガにして、管理センタサーバ200と相互に通信可能な状態とされるので、作業者等が近くにいなくても、エンジンの停止後に学習用画像データの管理センタサーバ200への送信や、管理センタサーバ200からの更新用辞書データの受信、メモリMの辞書データの更新を自動的に行うことができる。
In addition, the
さらに、画像処理ユニット9は、塵芥収集車100のエンジンが停止されている場合には、内蔵バッテリ94の電力によって管理センタサーバ200と相互に通信可能な状態とされるので、エンジンの停止後であっても、内蔵バッテリ94の電力により学習用画像データの管理センタサーバ200への送信や、管理センタサーバ200からの更新用辞書データの受信、メモリMの辞書データの更新を確実に行うことができる。
Furthermore, when the engine of the
-その他の実施形態-
今回、開示した実施形態は全ての点で例示であって、限定的な解釈の根拠となるものではない。本発明の技術的範囲は、前記した実施形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、本発明の技術的範囲には、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれる。
-Other embodiments-
The embodiments disclosed herein are illustrative in all respects, and are not the basis for restrictive interpretation. The technical scope of the present invention is not to be interpreted only by the above-described embodiments, but is defined based on the claims. Further, the technical scope of the present invention includes all changes within the meaning and scope equivalent to the scope of the claims.
上記実施形態では、画像処理ユニット9が、学習用画像データ(積込用の学習用画像データ、後退用の学習用画像データ)の管理センタサーバ200への送信処理、および、管理センタサーバ200から受信した更新用辞書データ(積込用辞書データの更新用辞書データ、後退用辞書データの更新用辞書データ)によるメモリMの辞書データ(積込用辞書データ、後退用辞書データ)の更新処理の両方を行った。しかし、これに限らず、画像処理ユニット9は、管理センタサーバ200への送信処理、および、メモリMの辞書データの更新処理のうち一方だけを行うものであってもよい。例えば、本体制御部PLCによって、管理センタサーバ200への送信処理を行ってもよいし、あるいは、本体制御部PLCによって、管理センタサーバ200への送信処理、および、メモリMの辞書データの更新処理の両方を行ってもよい。
In the embodiment described above, the
上記実施形態では、塵芥収集車100の画像処理ユニット9を、事業所サーバ300を経由して管理センタサーバ200に接続可能としたが、塵芥収集車100の画像処理ユニット9を、事業所サーバ300を介さずに、例えばインターネット等のネットワークを介して管理センタサーバ200に接続可能としてもよい。
In the embodiment described above, the
上述した人物検出用エリア(第1の検知エリアY11、第2の検知エリアY12、第3の検知エリアY2)は一例であって、上記以外のエリアを採用してもよい。例えば、塵芥投入口4の後縁部4bよりも前方側のエリア全体を第2の検知エリアY12(侵入禁止エリア)として設定してもよい。この場合、ステップT87の判定で、上述した物体像を形成する領域の外形をなす画素の位置座標が、塵芥投入口4の後縁部4bよりも前方側に含まれている場合には、第2の検知エリアY12に人物であると識別された物体像が検出されたと判定すればよい。
The above-mentioned areas for person detection (first detection area Y11, second detection area Y12, and third detection area Y2) are merely examples, and areas other than those described above may be adopted. For example, the entire area in front of the
上記実施形態では、いわゆる回転板式の塵芥積込装置を装備した塵芥収集車100として本発明を具現化した場合について説明しており、塵芥積込装置の主要部は回転板10および押込板20により構成されている。しかし、これに限らず、塵芥積込装置の主要部は昇降板および押込板によって構成されていてもよく、その構造を特に限定するものではない。また、本発明はダンプトラック、ミキサ車、タンクローリ、コンテナ荷役車両、吸引車など、塵芥収集車以外の特装車にも適用することが可能であり、車台に架装される可動装置としては塵芥積込装置以外の種々のものが考えられる。
In the above embodiment, a case has been described in which the present invention is embodied as a
本発明は、車台上に可動装置が架装された特装車に利用可能であり、例えば塵芥投入箱の内部に配設された塵芥積込装置と、塵芥投入箱に取り付けられて塵芥投入箱の塵芥投入口の近傍の画像を取得する物体像取得部とを備えた塵芥収集車に利用可能である。 INDUSTRIAL APPLICABILITY The present invention can be used for specially equipped vehicles in which a movable device is mounted on the chassis, and for example, a garbage loading device installed inside a garbage input box, and a garbage loading device attached to the garbage input box to load garbage in the garbage input box. The present invention can be used in a garbage collection vehicle equipped with an object image acquisition unit that acquires an image near the input port.
1 車台
3 塵芥投入箱
4 塵芥投入口
9 画像処理ユニット(制御部)
71 カメラ(物体像取得部)
95 学習用画像抽出部
100 塵芥収集車(特装車)
200 管理センタサーバ
M メモリ(記憶部)
1
71 Camera (object image acquisition unit)
95 Learning
200 Management center server M Memory (storage unit)
Claims (6)
前記可動装置の近傍の物体の物体像を動画で取得可能な物体像取得部と、
前記物体像取得部により取得された動画のデータから、所定タイミングで学習用画像データを抽出する学習用画像抽出部と、
前記物体像取得部によって取得された動画のデータに基づいて、辞書データを参照することによって、前記可動装置の近傍の人物検出用エリアに人物が入っているか否かを判定する人物検出部と、
前記辞書データおよび前記学習用画像データを記憶する記憶部と、
更新用辞書データを作成する管理センタと前記更新用辞書データおよび前記学習用画像データを通信可能な制御部とを備え、
前記制御部は、前記学習用画像データを前記管理センタへ送信し、前記学習用画像データを用いた前記管理センタの機械学習によって作成された前記更新用辞書データを受信し、受信した前記更新用辞書データを用いて前記記憶部内の前記辞書データの更新を行うことを特徴とする特装車。 A specially equipped vehicle with a movable device mounted on the chassis,
an object image acquisition unit capable of acquiring a moving image of an object near the movable device;
a learning image extraction unit that extracts learning image data at a predetermined timing from the video data acquired by the object image acquisition unit;
a person detection unit that determines whether or not a person is in a person detection area near the movable device by referring to dictionary data based on the video data acquired by the object image acquisition unit; ,
a storage unit that stores the dictionary data and the learning image data;
comprising a management center that creates update dictionary data and a control unit that can communicate the update dictionary data and the learning image data ,
The control unit transmits the learning image data to the management center, receives the update dictionary data created by machine learning of the management center using the learning image data , and receives the update dictionary data. A specially equipped vehicle, characterized in that the dictionary data in the storage section is updated using dictionary data .
車両位置を取得可能な位置情報取得部を備え、
前記制御部は、前記位置情報取得部で取得された前記車両位置が所定位置にあることをトリガにして、前記管理センタと相互に通信可能な状態とされることを特徴とする特装車。 The specially equipped vehicle according to claim 1,
Equipped with a position information acquisition unit that can acquire the vehicle position,
The specially equipped vehicle is characterized in that the control section is set in a state where it can communicate with the management center using the fact that the vehicle position acquired by the position information acquisition section is at a predetermined position as a trigger.
前記制御部は、近距離無線通信が可能になっており、
前記制御部は、前記位置情報取得部で取得された前記車両位置が事業所内の所定位置に入った場合には、前記近距離無線通信により事業所内のサーバと接続とされ、当該サーバを介して、前記管理センタと相互に通信可能な状態とされることを特徴とする特装車。 The specially equipped vehicle according to claim 2,
The control unit is capable of short-range wireless communication,
When the vehicle position acquired by the location information acquisition unit enters a predetermined position within the business office, the control unit connects to a server within the business office via the near field communication, and connects the vehicle via the server. , a specially equipped vehicle that is capable of communicating with the management center.
前記制御部は、車両のエンジンが停止されたことをトリガにして、前記管理センタと相互に通信可能な状態とされることを特徴とする特装車。 The specially equipped vehicle according to claim 1,
The specially-equipped vehicle is characterized in that the control unit is triggered by the engine of the vehicle being stopped and placed in a state where it can communicate with the management center.
車両のエンジンの停止中に電力を供給可能な内蔵バッテリを備え、
前記制御部は、車両のエンジンが停止されている場合には、前記内蔵バッテリの電力によって前記管理センタと相互に通信可能な状態とされることを特徴とする特装車。 The specially equipped vehicle according to any one of claims 1 to 4,
Equipped with a built-in battery that can supply power when the vehicle engine is stopped,
The specially equipped vehicle is characterized in that the control section is enabled to communicate with the management center using power from the built-in battery when the engine of the vehicle is stopped.
前記可動装置は、塵芥投入箱の内部に配設された塵芥積込装置であり、
前記人物検出部は、前記物体像取得部によって取得された動画のデータに基づいて、前記塵芥投入箱の背面に開口する塵芥投入口の近傍の人物検出用エリアに人物が入っているか否かを判定する構成になっていることを特徴とする特装車。 The specially equipped vehicle according to any one of claims 1 to 5,
The movable device is a garbage loading device disposed inside a garbage input box,
The person detection unit determines whether or not a person is in a person detection area near a garbage input opening opened at the back of the garbage input box based on the video data acquired by the object image acquisition unit. A specially equipped vehicle characterized by being configured to make judgments.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020060549A JP7394000B2 (en) | 2020-03-30 | 2020-03-30 | Specially equipped vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020060549A JP7394000B2 (en) | 2020-03-30 | 2020-03-30 | Specially equipped vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021160836A JP2021160836A (en) | 2021-10-11 |
JP7394000B2 true JP7394000B2 (en) | 2023-12-07 |
Family
ID=78002371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020060549A Active JP7394000B2 (en) | 2020-03-30 | 2020-03-30 | Specially equipped vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7394000B2 (en) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001261107A (en) | 2000-03-21 | 2001-09-26 | Isuzu Motors Ltd | Refuse wagon and traffic control system therefor |
JP2004269137A (en) | 2003-03-07 | 2004-09-30 | Fuji Heavy Ind Ltd | Monitoring system of refuse collecting vehicle |
JP2005008339A (en) | 2003-06-18 | 2005-01-13 | Yazaki Corp | Domestic refuse collecting system, refuse collecting bag with ic tag, domestic refuse collection managing system, domestic refuse collection managing method, and domestic refuse collection managing program |
JP2007161081A (en) | 2005-12-14 | 2007-06-28 | Alpine Electronics Inc | Electronic device for automobile use |
JP2018036848A (en) | 2016-08-31 | 2018-03-08 | 株式会社デンソーアイティーラボラトリ | Object state estimation system, object state estimation device, object state estimation method and object state estimation program |
JP2019108214A (en) | 2017-12-19 | 2019-07-04 | 新明和工業株式会社 | Garbage collector |
JP2019156566A (en) | 2018-03-13 | 2019-09-19 | 新明和工業株式会社 | Garbage summing-up system of garbage collection vehicle |
JP2019156564A (en) | 2018-03-13 | 2019-09-19 | 新明和工業株式会社 | Garbage collection vehicle and person recognition device installed thereon |
JP2020046928A (en) | 2018-09-19 | 2020-03-26 | キヤノン株式会社 | Information processor, information processing system, and information processing method and program |
-
2020
- 2020-03-30 JP JP2020060549A patent/JP7394000B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001261107A (en) | 2000-03-21 | 2001-09-26 | Isuzu Motors Ltd | Refuse wagon and traffic control system therefor |
JP2004269137A (en) | 2003-03-07 | 2004-09-30 | Fuji Heavy Ind Ltd | Monitoring system of refuse collecting vehicle |
JP2005008339A (en) | 2003-06-18 | 2005-01-13 | Yazaki Corp | Domestic refuse collecting system, refuse collecting bag with ic tag, domestic refuse collection managing system, domestic refuse collection managing method, and domestic refuse collection managing program |
JP2007161081A (en) | 2005-12-14 | 2007-06-28 | Alpine Electronics Inc | Electronic device for automobile use |
JP2018036848A (en) | 2016-08-31 | 2018-03-08 | 株式会社デンソーアイティーラボラトリ | Object state estimation system, object state estimation device, object state estimation method and object state estimation program |
JP2019108214A (en) | 2017-12-19 | 2019-07-04 | 新明和工業株式会社 | Garbage collector |
JP2019156566A (en) | 2018-03-13 | 2019-09-19 | 新明和工業株式会社 | Garbage summing-up system of garbage collection vehicle |
JP2019156564A (en) | 2018-03-13 | 2019-09-19 | 新明和工業株式会社 | Garbage collection vehicle and person recognition device installed thereon |
JP2020046928A (en) | 2018-09-19 | 2020-03-26 | キヤノン株式会社 | Information processor, information processing system, and information processing method and program |
Also Published As
Publication number | Publication date |
---|---|
JP2021160836A (en) | 2021-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6798971B2 (en) | Garbage truck | |
JP2023105008A (en) | Person recognition device of trash collecting vehicle | |
JP6752533B2 (en) | Garbage truck and person recognition device equipped on it | |
JP7057169B2 (en) | Garbage truck | |
JP7394000B2 (en) | Specially equipped vehicle | |
JP7429590B2 (en) | Specially equipped vehicle | |
JP7016600B2 (en) | Garbage truck | |
JP7421402B2 (en) | Person recognition system for specially equipped vehicles | |
JP7394004B2 (en) | Specially equipped vehicle | |
JP7464367B2 (en) | Refuse collection truck | |
JP7284670B2 (en) | garbage truck | |
JP6799496B2 (en) | Garbage truck and emergency stop device equipped on it | |
JP6895802B2 (en) | Garbage truck and person recognition device equipped on it | |
JP7393905B2 (en) | garbage collection truck | |
JP7146370B2 (en) | Specially equipped vehicle | |
JP7311377B2 (en) | Garbage truck maintenance equipment | |
JP2024042484A (en) | Person recognition device and garbage collecting vehicle | |
JP7339785B2 (en) | garbage truck | |
JP7299080B2 (en) | garbage truck | |
JP6887306B2 (en) | Garbage truck and person recognition device equipped on it | |
JP7438636B2 (en) | work vehicle | |
JP7076933B2 (en) | Garbage truck and emergency stop device equipped on it | |
JP2021160835A (en) | Garbage collecting vehicle | |
JP2022156310A (en) | Garbage collection vehicle | |
JP2022054768A (en) | Image recognition inspection apparatus and image recognition inspection system including the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231020 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7394000 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |