JP7421402B2 - Person recognition system for specially equipped vehicles - Google Patents
Person recognition system for specially equipped vehicles Download PDFInfo
- Publication number
- JP7421402B2 JP7421402B2 JP2020063215A JP2020063215A JP7421402B2 JP 7421402 B2 JP7421402 B2 JP 7421402B2 JP 2020063215 A JP2020063215 A JP 2020063215A JP 2020063215 A JP2020063215 A JP 2020063215A JP 7421402 B2 JP7421402 B2 JP 7421402B2
- Authority
- JP
- Japan
- Prior art keywords
- garbage
- person
- management center
- center server
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 122
- 238000010801 machine learning Methods 0.000 claims description 34
- 238000010191 image analysis Methods 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 168
- 238000000034 method Methods 0.000 description 88
- 230000008569 process Effects 0.000 description 85
- 238000004891 communication Methods 0.000 description 39
- 230000006870 function Effects 0.000 description 10
- 239000003921 oil Substances 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 239000010720 hydraulic oil Substances 0.000 description 7
- 230000007935 neutral effect Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 238000011144 upstream manufacturing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000428 dust Substances 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000001788 irregular Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Refuse-Collection Vehicles (AREA)
Description
本発明は、例えば塵芥収集車等の特装車の人物認識システムに関し、特に、車台上に架装された作業装置の近傍に人物がいるという判定に基づいて、その作業装置の作動を制御するようにした特装車の人物認識システムに関する。 The present invention relates to a person recognition system for a specially equipped vehicle such as a garbage collection vehicle, and in particular, to a system for controlling the operation of a working device mounted on a vehicle chassis based on a determination that a person is near the working device. Regarding the human recognition system for specially equipped vehicles.
従来、一例として塵芥収集車においては、車台の後部に設けられた塵芥投入箱内に塵芥積込装置(作業装置)が装備されており、その塵芥投入箱内に塵芥投入口から投入される塵芥を回転板や積込板などによって掻き込んで、塵芥収容箱に積み込むようになっている。また、そうして塵芥投入口に塵芥を投入する作業者等が、不注意によって塵芥積込装置に巻き込まれることを防止するために、塵芥投入口の近傍の人物を認識するようにした人物認識装置が提案されている(例えば、特許文献1参照)。 Conventionally, as an example, in a garbage collection vehicle, a garbage loading device (working device) is installed in a garbage input box provided at the rear of the vehicle, and the garbage loaded from the garbage input port into the garbage input box is loaded into the garbage input box. The waste is scraped into the garbage storage box using a rotating plate or a loading plate. In addition, in order to prevent workers who put garbage into the garbage inlet from getting caught in the garbage loading device due to inadvertence, we have developed a person recognition system that recognizes people near the garbage inlet. A device has been proposed (for example, see Patent Document 1).
この特許文献1に記載の技術では、塵芥投入箱の後方上部に物体像取得部としてのカメラを配設して、塵芥投入口の近傍の所定エリアを撮影するようにしている。そして、塵芥積込装置の作動中にカメラによって撮影した画像のデータを画像処理装置に送信し、この画像において予め設定されている侵入禁止エリア内に人物が侵入したと判定すれば、塵芥積込装置の作動を停止させるようにしている。
In the technique described in
上述したような従来の技術では、人物認識処理の際、予め記憶部に保存された辞書データを参照し、カメラによって撮影された画像から抽出された物体像のデータを辞書データと比較することによって、塵芥投入口の近傍の人物をより正確に認識できるようにしている。辞書データは、予め多くの人物の画像(例えば人物の頭部の画像)を撮影して、その大きさや形状などの特徴を機械学習により抽出したものである。 In the conventional technology described above, when performing person recognition processing, dictionary data stored in advance in a storage unit is referred to, and object image data extracted from an image taken by a camera is compared with the dictionary data. This makes it possible to more accurately recognize people near the garbage inlet. The dictionary data is obtained by photographing many images of people (for example, images of people's heads) in advance and extracting their characteristics such as size and shape using machine learning.
従来の辞書データは、特装車の製造時に記憶部に保存され、その後は、同一の辞書データが継続して使用されていた。また、製造される全ての特装車に対して単一の辞書データが使用されていた。一方、特装車の使用環境等に応じて、辞書データを更新していくことが効果的であると考えられるものの、既に多くのユーザに利用されている多くの特装車に対し、都度サービスステーションに来てもらって辞書データの更新作業を行うのは煩雑であった。 Conventional dictionary data is stored in a storage unit when a specially equipped vehicle is manufactured, and the same dictionary data is continuously used thereafter. Also, a single dictionary data was used for all special purpose vehicles produced. On the other hand, although it is considered effective to update the dictionary data according to the usage environment of the specially equipped vehicle, it is difficult for many specially equipped vehicles that are already used by many users to come to the service station each time. It was a hassle to update the dictionary data after receiving it.
一方、個々の特装車に対し、辞書データを更新可能な機械学習機能を備えるようにすれば、都度サービステーションに来てもらわなくても良いようになる。しかし、その場合、特装車に高性能な機械学習機能を搭載する分、特装車の大幅なコストアップを招くことから、実際には一部の特装車にしか搭載できないといった問題点がある。 On the other hand, if each specially equipped vehicle is equipped with a machine learning function that can update dictionary data, there will be no need for the vehicle to come to a service station every time. However, in that case, the problem is that installing a high-performance machine learning function on a specially equipped vehicle would lead to a significant increase in the cost of the specially equipped vehicle, so in reality it can only be installed on some specially equipped vehicles.
また、従来の特装車は、天候、時間帯、作業場所等が変化する特装車の使用環境に合わせて最適な辞書データに切り換えたいと思ってもすぐに交換することができなかった。 Furthermore, in conventional specially equipped vehicles, it was not possible to immediately switch to the optimal dictionary data according to the usage environment of the specially equipped vehicle, which changes due to changes in weather, time of day, work location, etc.
本発明は、上述したような実情を考慮してなされたものであって、コストアップを抑えつつ、辞書データの更新作業や切換作業を容易に行うことが可能な特装車の人物認識システムを提供することを目的とする。 The present invention has been made in consideration of the above-mentioned circumstances, and provides a person recognition system for specially equipped vehicles that is capable of easily updating and switching dictionary data while suppressing cost increases. The purpose is to
本発明は、上述の課題を解決するための手段を以下のように構成している。すなわち、本発明は、車台上に作業装置が架装された特装車の人物認識システムであって、前記特装車は、前記作業装置の近傍の物体の物体像を動画で取得可能な物体像取得部と、管理センタサーバと通信可能な制御部とを備え、前記管理センタサーバは、前記物体像取得部によって取得され、前記特装車から送信された動画のデータを保存する記憶部と、前記特装車から送信された動画のデータに基づいて、前記記憶部に保存された辞書データを参照することによって、前記作業装置の近傍の人物検出用エリアに人物が入っているか否かを判定する画像解析部とを備え、前記制御部は、前記管理センタサーバから送信された前記画像解析部の判定結果に基づいて、前記作業装置の動作を制御し、前記辞書データは、前記特装車の車種またはユーザごとに区別して設けられており、前記管理センタサーバは、前記特装車から送信された前記特装車の車種情報およびユーザ情報に基づいて、前記画像解析部の判定の際に参照する前記辞書データを切り換えることを特徴とする。 The present invention constitutes means for solving the above-mentioned problems as follows. That is, the present invention provides a person recognition system for a specially equipped vehicle in which a working device is mounted on the chassis, and the specially equipped vehicle includes an object image acquisition unit capable of acquiring a moving image of an object near the working device. , a control unit capable of communicating with a management center server, and the management center server includes a storage unit that stores video data acquired by the object image acquisition unit and transmitted from the specially equipped vehicle; an image analysis unit that determines whether or not a person is in a person detection area near the working device by referring to dictionary data stored in the storage unit based on the video data stored in the work device. , the control unit controls the operation of the working device based on the determination result of the image analysis unit transmitted from the management center server , and the dictionary data is provided separately for each type of specially equipped vehicle or for each user. The management center server is characterized in that the management center server switches the dictionary data to be referred to when the image analysis unit makes a determination, based on the vehicle type information and user information of the specially equipped vehicle transmitted from the specially equipped vehicle.
上記構成によれば、特装車と管理センタサーバの間で、物体像取得部によって取得された動画のデータおよび画像解析部の判定結果がリアルタイムで送受信可能になっている。また、管理センタサーバは、管理センタサーバの記憶部に保存された辞書データを参照することによって、特装車の作業装置の近傍の人物検出用エリアに人物が入っているか否かを判定するようにしている。これにより、個々の特装車に辞書データを持たせるのではなく管理センタサーバに辞書データを持たせることができるので、管理センタサーバで辞書データを一括して管理することができる。そのため、特装車にサービスステーションまで来てもらうことなく、管理センタ側において、辞書データの更新作業を一括して行うことができる。その結果、辞書データの更新作業を容易に行うことができる。また、辞書データを更新するための高性能な機械学習機能は管理センタサーバのみに設ければよいので、特装車のコストアップを抑えることができる。 According to the above configuration, the data of the moving image acquired by the object image acquisition section and the determination result of the image analysis section can be transmitted and received in real time between the specially equipped vehicle and the management center server. Furthermore, the management center server determines whether or not a person is in the person detection area near the working equipment of the specially equipped vehicle by referring to the dictionary data stored in the storage unit of the management center server. There is. As a result, the dictionary data can be stored in the management center server rather than in each specially equipped vehicle, so that the dictionary data can be collectively managed by the management center server. Therefore, the dictionary data can be updated all at once at the management center without having a specially equipped vehicle come to the service station. As a result, dictionary data can be easily updated. Furthermore, since a high-performance machine learning function for updating dictionary data need only be provided in the management center server, an increase in the cost of specially equipped vehicles can be suppressed.
また、特装車と管理センタサーバの間で、物体像取得部によって取得された動画のデータおよび画像解析部の判定結果がリアルタイムで送受信可能になっているため、天候、時間帯、作業場所等が変化する特装車の使用環境に合わせて、管理センタサーバは、最適な辞書データにすぐに切り換えて使用することができる。特に、特装車の1日の作業の中においても複数回の辞書データの切り換えが可能となる。さらに、ユーザが使用中における特装車の車種や特装車の使用方法に大きな変化が生じたとしても、管理センタサーバは、それぞれの特装車の車種またはユーザごとの使用環境等に適した辞書データにすぐに切り換えることができる。また、管理センタサーバは、それぞれの特装車の車種またはユーザごとの使用環境等に適した辞書データを用いて人物認識処理を行うことができるので、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができ、作業者等の安全性を確保することができる。 In addition, the video data acquired by the object image acquisition unit and the judgment results of the image analysis unit can be exchanged in real time between the specially equipped vehicle and the management center server, so weather, time of day, work location, etc. may change. The management center server can immediately switch to and use the most suitable dictionary data according to the usage environment of the specially equipped vehicle. In particular, dictionary data can be switched multiple times even during one day's work on a specially equipped vehicle. Furthermore, even if there is a major change in the type of specially equipped vehicle being used by a user or the way in which the specially equipped vehicle is used, the management center server can immediately switch to the dictionary data that is appropriate for each type of specially equipped vehicle or usage environment for each user. be able to. In addition, the management center server can perform person recognition processing using dictionary data suitable for the vehicle type of each specially equipped vehicle or the usage environment of each user, so that erroneous recognition in person recognition processing can be suppressed and person recognition Processing accuracy can be improved and safety of workers etc. can be ensured.
本発明において、前記管理センタサーバは、前記特装車から送信された動画のデータから、前記辞書データを更新するための学習用画像データを所定タイミングで抽出する学習用画像抽出部と、前記学習用画像抽出部により抽出された学習用画像データに基づいて、機械学習により更新用辞書データを作成する機械学習部とを備え、前記機械学習部によって作成された更新用辞書データに基づいて、前記記憶部に保存されている前記辞書データが更新されることが好ましい。 In the present invention, the management center server includes a learning image extraction unit that extracts learning image data for updating the dictionary data at a predetermined timing from video data transmitted from the specially equipped vehicle; a machine learning section that creates update dictionary data by machine learning based on the learning image data extracted by the extraction section; Preferably, the dictionary data stored in the computer is updated.
上記構成によれば、管理センタサーバは、多くのユーザが使用している多くの特装車から、辞書データを更新するための学習用画像データを容易に収集することができる。また、物体像取得部によって取得された動画のデータから学習用画像データを抽出するに際し、学習用画像抽出部が所定タイミングで学習用画像データの抽出を行うので、人物の立ち位置や動作、背景の種類等が特定された学習用画像データを抽出することができる。これにより、不規則なタイミングで学習用画像データの抽出を行う場合と比較して、機械学習させる人物の特徴を予め絞り込むことができる。また、所定タイミングで抽出された学習用画像データは記憶部に保存されるので、この保存された学習用画像データを使用して、辞書データをそれぞれの特装車の使用環境等に適したものに更新することができる。 According to the above configuration, the management center server can easily collect learning image data for updating dictionary data from many specially equipped vehicles used by many users. In addition, when extracting learning image data from video data acquired by the object image acquisition unit, the learning image extraction unit extracts the learning image data at a predetermined timing, so it is possible to extract the learning image data from the video data acquired by the object image acquisition unit. It is possible to extract learning image data whose type etc. have been specified. Thereby, compared to the case where learning image data is extracted at irregular timings, it is possible to narrow down the characteristics of a person to be subjected to machine learning in advance. In addition, since the learning image data extracted at a predetermined timing is saved in the storage unit, this saved learning image data is used to update the dictionary data to be suitable for the usage environment of each specially equipped vehicle. can do.
本発明において、前記制御部は、前記作業装置の動作中のみ、前記管理センタサーバから送信される前記画像解析部の判定結果を受信することが好ましい。 In the present invention, it is preferable that the control unit receives the determination result of the image analysis unit transmitted from the management center server only while the work device is in operation.
上記構成によれば、特装車と管理センタサーバの間で、不要な通信を避けることで、管理センタサーバの処理負担を軽減することができ、より多くの特装車が人物認識システムを効率よく利用することができる。 According to the above configuration, by avoiding unnecessary communication between the specially equipped vehicle and the management center server, the processing load on the management center server can be reduced, and more specially equipped vehicles can efficiently use the human recognition system. Can be done.
本発明において、前記作業装置は、塵芥投入箱の内部に配設された塵芥積込装置であり、前記画像解析部は、前記特装車から送信された動画のデータに基づいて、前記塵芥投入箱の背面に開口する塵芥投入口の近傍の人物検出用エリアに人物が入っているか否かを判定する構成になっていることが好ましい。 In the present invention, the working device is a garbage loading device disposed inside the garbage disposal box, and the image analysis unit is configured to determine whether the garbage disposal box is installed on the basis of video data transmitted from the specially equipped vehicle. Preferably, the device is configured to determine whether or not a person is present in the person detection area near the garbage inlet opening on the back side.
上記構成によれば、個々の塵芥収集車に辞書データを持たせるのではなく管理センタサーバに辞書データを持たせることができるので、管理センタサーバは、辞書データを一括して管理することができる。そのため、塵芥収集車にサービスステーションまで来てもらうことなく、管理センタ側において、辞書データの更新作業を一括して行うことができる。その結果、辞書データの更新作業を容易に行うことができる。また、辞書データを更新するための高性能な機械学習機能は管理センタのみに設ければよいので、塵芥収集車のコストアップを抑えることができる。 According to the above configuration, the management center server can have the dictionary data instead of having each garbage collection vehicle have the dictionary data, so the management center server can manage the dictionary data collectively. . Therefore, the dictionary data can be updated all at once at the management center without requiring a garbage collection vehicle to come to the service station. As a result, dictionary data can be easily updated. Furthermore, since a high-performance machine learning function for updating dictionary data only needs to be provided in the management center, it is possible to suppress an increase in the cost of garbage collection vehicles.
また、天候、時間帯、収集場所等が変化する塵芥収集車の使用環境に合わせて、管理センタサーバは、最適な辞書データにすぐに切り換えて使用することができる。 Furthermore, the management center server can immediately switch to and use the most suitable dictionary data according to the environment in which the garbage collection vehicle is used, which changes in weather, time of day, collection location, etc.
本発明に係る特装車の人物認識システムによれば、特装車と管理センタサーバの間で、物体像取得部によって取得された動画のデータおよび画像解析部の判定結果がリアルタイムで送受信可能になっており、管理センタサーバに辞書データを持たせているので、辞書データの更新作業を容易に行うことができる。また、辞書データを更新するための高性能な機械学習機能は管理センタのみに設ければよいので、特装車のコストアップを抑えることができる。 According to the person recognition system for a specially equipped vehicle according to the present invention, video data acquired by the object image acquisition section and judgment results from the image analysis section can be transmitted and received in real time between the specially equipped vehicle and the management center server. Since the management center server has dictionary data, it is possible to easily update the dictionary data. Furthermore, since a high-performance machine learning function for updating dictionary data only needs to be provided in the management center, it is possible to suppress an increase in the cost of specially equipped vehicles.
また、特装車と管理センタサーバの間で、物体像取得部によって取得された動画のデータおよび画像解析部の判定結果がリアルタイムで送受信可能になっているため、特装車の使用環境に合わせて、管理センタサーバは、最適な辞書データにすぐに切り換えて使用することができる。 In addition, since the video data acquired by the object image acquisition unit and the judgment results of the image analysis unit can be exchanged in real time between the specially equipped vehicle and the management center server, the management center server can The server can immediately switch to and use the most suitable dictionary data.
本発明の実施形態に係る特装車の人物認識システムについて、図面を参照して説明する。以下では、特装車が、車台上に架装された塵芥積込装置(作業装置)を備えた塵芥収集車である場合について説明する。なお、以下の説明においては、便宜上、塵芥収集車の前後左右を単に「前後左右」と言うこともある。 A person recognition system for a specially equipped vehicle according to an embodiment of the present invention will be described with reference to the drawings. In the following, a case will be described in which the specially equipped vehicle is a garbage collection vehicle equipped with a garbage loading device (work device) mounted on the chassis. In addition, in the following description, for convenience, the front, rear, left, and right of the garbage collection vehicle may be simply referred to as "front, rear, left, and right."
本発明の実施形態に係る塵芥収集車100の人物認識システムの概略構成は、図7に示されている。ここでは、まず、人物認識システムに備えられる塵芥収集車100について説明する。図1、図2に示すように、塵芥収集車100では、車台1上に塵芥収容箱2と塵芥投入箱3とが設けられており、塵芥収容箱2の後方の開口部と塵芥投入箱3の前面の開口部とが連通されている。また、塵芥投入箱3は、その上部に設けられた左右方向の枢軸3aによって塵芥収容箱2に対して軸支されており、左右一対の傾動シリンダ(図示省略)によって傾動されるようになっている。
A schematic configuration of a person recognition system for a
また、塵芥投入箱3の背面における下寄りの部位には、塵芥G(図8参照)を投入するための略矩形状の塵芥投入口4が開口され、昇降可能なテールゲート5によって、塵芥投入口4が開閉されるようになっている。塵芥投入口4の左側方には、塵芥積込装置の作動などの操作のためのスイッチボックス6が設けられている。また、塵芥投入口4の上方には、塵芥投入口4およびその近傍のエリアを撮影するようにカメラユニット7が配設されている。カメラユニット7は、塵芥投入口4より上方に配設された塵芥投入箱3の傾斜後面部(湾曲状の後面部)3bから後方に突出する支持部材80を介して、塵芥投入箱3の上部に固定されている。
In addition, a roughly rectangular
より具体的に説明すると、図2~図6に示すように、支持部材80は、傾斜後面部3bの左右両端部に基端部を有する枠状となっている。カメラユニット7は、支持部材80において塵芥投入箱3の左右中央部となる位置に固定されている。カメラユニット7は、塵芥投入口4の近傍の物体の物体像を動画で取得可能な物体像取得部としてのカメラ71と、報知部としての検出ランプ73と、第2の報知部としての作動中ランプ72とを有している。塵芥収集車100の人物認識システムにおいて、カメラ71によって撮影された画像(動画)のデータは、リアルタイムで管理センタの管理センタサーバ200(図7参照)に送信され、管理センタサーバ200のサーバ側記憶部205に保存されるようになっている。
More specifically, as shown in FIGS. 2 to 6, the
カメラ71は、塵芥投入箱3の後方上部に所定の取付角度で取り付けられている。具体的には、カメラ71は、カメラユニット7の左右中央部に設けられた凹部74の中に取付ブラケット75を介して取り付けられている。カメラ71は、撮像レンズ71aを有しており、この撮像レンズ71aが斜め下方に向くようにしてカメラユニット7の取付ブラケット75に対し水平軸回りに上下回動調整可能に取り付けられている。カメラユニット7の凹部74の左右両側には、水平面に対して後方上傾状の(車両後方に向かうにつれて上方に傾斜する)固定面7aが設けられている。左側の固定面7aには作動中ランプ72が下向きに取り付けられている。また、右側の固定面7aには、検出ランプ73が下向きに取り付けられている。つまり、作動中ランプ72と検出ランプ73は、カメラ71の撮像レンズ71aの近傍となるカメラ71の左右両側に設けられている。
The
次に、図3に示すように、塵芥投入箱3の内部には、投入された塵芥Gを塵芥収容箱2に積み込む塵芥積込装置(作業装置)が装備されている。この塵芥積込装置によって、塵芥投入箱3に投入された塵芥を、塵芥投入箱3の前方に連設された塵芥収容箱2へ押し込むようになっている。塵芥収容箱2には、収容された塵芥を排出する図示省略の塵芥排出装置が設けられている。この塵芥排出装置としては、例えば塵芥収容箱2を、車台1と塵芥収容箱2との間に介設されたダンプシリンダによって傾動させて塵芥を排出したり、塵芥収容箱2の内部に設けた排出板を排出シリンダにより塵芥収容箱2の後方に移動させて塵芥を排出したりするものが考えられる。
Next, as shown in FIG. 3, the inside of the
次に、本実施形態の塵芥積込装置について具体的に説明する。本実施形態の塵芥積込装置は、回転板(積込部材)10の回転によって塵芥Gを掻き上げるとともに、押込板20によって塵芥収容箱2内へと押し込む、いわゆる回転板式の塵芥積込装置として構成されている。塵芥投入箱3内の下部においてその幅方向に延びるように回転軸11が架設され、これに回転板10の基端側が固定されている。
Next, the garbage loading device of this embodiment will be specifically explained. The garbage loading device of this embodiment is a so-called rotating plate type garbage loading device that scoops up garbage G by rotating a rotating plate (loading member) 10 and pushes it into the
図示の例では、回転軸11の端部に減速機構12を介して正逆回転可能な油圧モータ13が連結されている。この油圧モータ13の回転が減速機構12によりトルクアップされて回転軸11に伝達され、この回転軸11と一体に回転板10が回転されることで、その先端部は、断面略半円弧状に形成された塵芥投入箱3の底壁に沿って前後方向に移動するようになる。
In the illustrated example, a
一方、押込板20は、回転板10の上方において塵芥投入箱3の幅方向全体に亘って設けられ、その上部に設けられた左右方向の揺動軸21の周りに前後方向に揺動自在に支持されている。また、押込板20には、揺動軸21よりも上方に延びる延設部22が設けられ、この延設部22とその前方の支持ピン23との間に押込シリンダ24が架設されており、その伸縮作動によって押込板20を前後方向に揺動させるようになっている。
On the other hand, the
具体的には、図3に実線で示すように、押込板20が塵芥収容箱2の側に最も揺動した位置(前進限界位置)にあるときは、この押込板20に干渉することなく回転板10が上方に回動するようになり、これに遅れて押込板20が塵芥投入口4側へ揺動する。そして、押込板20が塵芥投入口4側に最も揺動し、図3に仮想線で示す後退限界位置に達した後も、回転板10の回動は継続される。
Specifically, as shown by the solid line in FIG. 3, when the pushing
このようにして回転する回転板10は、塵芥Gを塵芥収容箱2側に掻き込んで、図3に実線で示すように、前方の塵芥収容箱2側に延びる設定停止位置に一旦、停止する。そうすると、今度は押込板20が塵芥収容箱2側に揺動して、回転板10上の塵芥Gを塵芥収容箱2に押し込んでいく。そして、押込板20が再び前進限界位置に達すると、再び回転板10が上方へ回動するようになる。
The
このように互いに同期して回転板10の回転および押込板20の揺動が繰り返されることによって、塵芥投入箱3に投入された塵芥Gが連続的に塵芥収容箱2に積み込まれる塵芥積込作動が行われる。このように回転板10および押込板20を作動させるための油圧回路および制御系の構成については後述する。
By repeating the rotation of the
塵芥投入箱3の内部には、回転板10および押込板20の位置を検出するためのスイッチLS1~LS4が設けられている。具体的には、図3に示すように、押込板20が前進限界位置または後退限界位置にあるときにそれぞれオンになるスイッチLS1,LS2と、回転板10が設定停止位置にあるときにオンになるスイッチLS3と、その設定停止位置から回転板10が正の向き(図1の時計回り)に所定角度回転したときにオンになり、さらに所定角度回転したときにオフになるスイッチLS4とが設けられている。
Inside the
なお、スイッチLS1,LS2は、押込板20の揺動軸21の端部に設けられたドグ(図示省略)を検出するようになっており、スイッチLS3~LS4は、回転板10の回転軸11の端部に設けられたドグ(図示省略)を検出するようになっている。また、これらのスイッチLS1~LS4としては、例えばリミットスイッチ、光電スイッチ、近接スイッチなどを用いることができる。また、スイッチLS4は、図3にハッチングで示すように、回転板10が塵芥投入口4の前縁部(上縁部)4aの真下から、その後方へ回転しつつ下降して塵芥投入口4の後縁部(下縁部)4bに最も近接するまでの角度範囲Zを検出するもので、回転板10が塵芥投入口4の近傍にて作動していることを検出するためのセンサである。
The switches LS1 and LS2 are designed to detect a dog (not shown) provided at the end of the
さらに、図1、図3に示すように、塵芥投入口4の近傍には、塵芥積込装置の作動を停止させるための緊急停止ボタン60,61や、緊急停止プレート62などが配設されている。図1に示すように、塵芥投入口4の左側に設けられたスイッチボックス6の側面に緊急停止ボタン60(図6のスイッチSW1に対応)が配設され、また、図3に破線で示すように、塵芥投入口4の右側に緊急停止ボタン61(図6のスイッチSW3に対応)が配設されている。緊急停止プレート62は、塵芥投入口4の下方においてスイッチSW2をオンオフするように配設されている。また、図2に示すように、スイッチボックス6の後面には、停止解除スイッチ63が配設されている。この停止解除スイッチ63は例えばモーメンタリのスイッチSW4をオンオフするように配設されている。停止解除スイッチ63は、後述する塵芥積込装置の塵芥積込動作の緊急停止を解除する際に操作される。
Furthermore, as shown in FIGS. 1 and 3,
-塵芥積込装置の制御系-
次に、図5~図7を参照して、塵芥積込装置を作動させるための制御系について説明する。この制御系は、塵芥積込装置の油圧モータ13や、押込シリンダ24などに供給する油圧を制御する油圧回路と、この油圧回路に設けられた電磁制御弁V1,V2に制御信号を出力する本体制御部PLC(プログラマブル ロジック コントローラ)と、カメラ71からの動画のデータに基づく人物認識処理を管理センタサーバ200に実行させる画像処理ユニット9とを備えている。なお、本体制御部PLCは、塵芥積込装置の駆動だけでなく塵芥排出装置の駆動も制御するようになっている。また、画像処理ユニット9と本体制御部PLCとで架装物である塵芥積込装置の制御装置を構成している。
-Control system of garbage loading device-
Next, a control system for operating the garbage loading device will be described with reference to FIGS. 5 to 7. This control system includes a hydraulic circuit that controls the hydraulic pressure supplied to the
まず、図5を参照して油圧回路について説明する。この油圧回路は、油圧ポンプPと、オイルリザーバTと、押込シリンダ24を制御するための電磁制御弁V1と、油圧モータ13を制御するための電磁制御弁V2とを備えている。なお、油圧ポンプPには、車両走行駆動源としてのエンジン(図示省略)の動力を取り出すPTO(パワー テイク オフ)によって駆動力が伝達されるようになっている。
First, the hydraulic circuit will be explained with reference to FIG. This hydraulic circuit includes a hydraulic pump P, an oil reservoir T, an electromagnetic control valve V1 for controlling the
一例として、電磁制御弁V1,V2は、いずれも6ポート3位置の電磁式の方向切換弁からなる。電磁制御弁V1は、本体制御部PLCによりソレノイドSOLaが励磁されると第1連通位置(図5の上位置)に切り換わって、油圧ポンプPからの作動油を一対の押込シリンダ24のロッド側油室に供給する。一方、電磁制御弁V1は、本体制御部PLCによりソレノイドSOLbが励磁されると第2連通位置(図5の下位置)に切り換わって、作動油をヘッド側油室に供給する。
As an example, the electromagnetic control valves V1 and V2 are both 6-port, 3-position electromagnetic directional switching valves. When the solenoid SOLa is excited by the main body control unit PLC, the electromagnetic control valve V1 switches to the first communication position (upper position in FIG. 5), and transfers the hydraulic oil from the hydraulic pump P to the rod side of the pair of
そして、電磁制御弁V1から作動油がヘッド側油室に供給されると、一対の押込シリンダ24が伸長作動して押込板20を前方に揺動させる。一方、作動油がロッド側油室に供給されると、一対の押込シリンダ24は収縮作動して、押込板20を後方に揺動させる。また、いずれのソレノイドSOLa,SOLbも励磁されていないときに、電磁制御弁V1は中立位置(図5の中央位置)に復帰するようになる。
Then, when hydraulic oil is supplied from the electromagnetic control valve V1 to the head-side oil chamber, the pair of
電磁制御弁V2は、ソレノイドSOLcが励磁されると第1連通位置(図5の下位置)に切り換わって、作動油を油圧モータ13の正転側油室に供給し、当該油圧モータ13を正転作動させるほか、押込シリンダ24も伸縮作動させることができる。一方、ソレノイドSOLdが励磁されると電磁制御弁V2は第2連通位置(図5の上位置)に切り換わって、作動油を油圧モータ13の逆転側油室に供給し、当該油圧モータ13を逆転作動させる。
When the solenoid SOLc is excited, the electromagnetic control valve V2 switches to the first communication position (lower position in FIG. 5), supplies hydraulic oil to the normal rotation side oil chamber of the
また、いずれのソレノイドSOLc,SOLdも励磁されていないときに、電磁制御弁V2は中立位置(図5の中央位置)に復帰するようになる。電磁制御弁V1,V2の両方が中立位置にあるとき、作動油はオイルリザーバTへ還流するようになる。なお、図示の油圧回路において、符号V3はチェック弁であり、また、符号V4は、油圧ポンプPの吐出圧の上限を設定するためのリリーフ弁である。 Furthermore, when neither of the solenoids SOLc and SOLd is energized, the electromagnetic control valve V2 returns to the neutral position (center position in FIG. 5). When both the electromagnetic control valves V1 and V2 are in the neutral position, the hydraulic oil returns to the oil reservoir T. In the illustrated hydraulic circuit, reference numeral V3 is a check valve, and reference numeral V4 is a relief valve for setting the upper limit of the discharge pressure of the hydraulic pump P.
次に、図6を参照して本体制御部PLCおよび画像処理ユニット9の信号の入出力状態について説明する。まず、本体制御部PLCへの電力供給はバッテリBTによって行われる。このバッテリBTの正極から図6の右側に延びてグランドラインK1に至る通電ラインK2には、塵芥収集車100のイグニッションスイッチSWK、PTOスイッチ(駆動源スイッチ)SWP、リレーコイルR1などが介設されている。
Next, the input/output state of signals of the main body control section PLC and the
また、イグニッションスイッチSWKおよびバッテリBTの中間において通電ラインK2から分岐するように、通電ラインK3の上流端が接続されており、その上流側(バッテリBTに近い側)にはリレーコイルR1の接点(リレースイッチ)r1が介設されている。この通電ラインK3には電源ランプLが介設されており、リレーコイルR1が励磁されて接点r1が閉じられると、通電ラインK3に通電することによって電源ランプLが点灯する。 In addition, the upstream end of the current-carrying line K3 is connected so as to branch from the current-carrying line K2 midway between the ignition switch SWK and the battery BT, and the contact of the relay coil R1 ( A relay switch) r1 is provided. A power lamp L is interposed in this energizing line K3, and when the relay coil R1 is energized and the contact r1 is closed, the power lamp L is turned on by energizing the energizing line K3.
また、リレーコイルR1の接点r1および電源ランプLの中間において通電ラインK3から分岐するように、通電ラインK4の上流端が接続されており、これにより本体制御部PLCの信号用電力供給部(図示省略)に電力が供給されるようになっている。つまり、接点r1が閉じられると、通電ラインK3,K4を介して本体制御部PLCに電力が供給される。 In addition, the upstream end of the energizing line K4 is connected so as to branch from the energizing line K3 at a point between the contact r1 of the relay coil R1 and the power lamp L. (omitted). That is, when the contact r1 is closed, power is supplied to the main body control unit PLC via the energizing lines K3 and K4.
さらに、通電ラインK4から分岐する通電ラインK5によって、塵芥積込装置の塵芥積込作動中には必ず本体制御部PLCに通電されるようになっている。つまり、通電ラインK5は、いわゆる積込継続信号を入力するラインであり、ここには、上述した緊急停止ボタン60,61および緊急停止プレート62の操作に対応して開閉されるスイッチSW1~SW3などが介設されている。これらのスイッチSW1~SW3によって通電(つまり、積込継続信号の入力)が遮断されると、本体制御部PLCは、電磁制御弁V1,V2のソレノイドSOLa~SOLdを励磁させるための制御信号の出力をオフするようになっている。これにより、電磁制御弁V1,V2が中立位置に復帰するようになり、塵芥積込装置の作動が停止されるようになっている。
Furthermore, the main body control unit PLC is always energized by the energizing line K5 branching from the energizing line K4 during the garbage loading operation of the garbage loading device. In other words, the energization line K5 is a line for inputting a so-called loading continuation signal, and includes switches SW1 to SW3 that are opened and closed in response to the operation of the
また、通電ラインK4にはその途中から分岐する複数の分岐ラインが接続されており、これらの分岐ラインのそれぞれに、上述したスイッチLS1~LS4が介設されている。スイッチLS1~LS4からの信号は本体制御部PLCに入力されるようになっており、これらの信号に基づいて塵芥積込装置の回転板10および押込板20の位置、言い換えれば作動状況が検出される。
Further, a plurality of branch lines branching from the middle of the energizing line K4 are connected, and the above-mentioned switches LS1 to LS4 are interposed in each of these branch lines. Signals from the switches LS1 to LS4 are input to the main body control unit PLC, and based on these signals, the positions of the
さらに、スイッチLS1~LS4の他にも本体制御部PLCへの入力側には、塵芥積込装置をサイクル作動させるためのアクチュエータ操作部としての積込スイッチSW5、塵芥積込装置の塵芥積込動作または塵芥排出装置の塵芥排出動作を切り換えるための切換スイッチSW6、塵芥投入箱3を傾動させて開放するためのスイッチSW7、塵芥積込動作の単動または連続の選択スイッチ(図示省略)、回転板10や押込板20を単独で作動させるスイッチ(図示省略)なども電気的に接続されている。切換スイッチSW6は、通電ラインK4から通電ラインK5が分岐する分岐位置に設けられており、通電ラインK5は、切換スイッチSW6の積込側に接続されている。
Furthermore, in addition to switches LS1 to LS4, on the input side to the main body control unit PLC, there is a loading switch SW5 as an actuator operation unit for cyclic operation of the garbage loading device, and a garbage loading operation of the garbage loading device. Or a changeover switch SW6 for switching the dust discharge operation of the dust discharge device, a switch SW7 for tilting and opening the
上述のように各種スイッチが入力側に接続されている一方、本体制御部PLCの出力側には、上述した電磁制御弁V1,V2のソレノイドSOLa~SOLdなどが接続されている。そして、本体制御部PLCは、スイッチSW1~SW3,LS1~LS4などから入力する信号に基づいて、予め設定された手順に従い、油圧モータ13や押込シリンダ24などを作動させるべく、対応するソレノイドSOLa~SOLdに出力するようにプログラムされている。
While various switches are connected to the input side as described above, the solenoids SOLa to SOLd of the electromagnetic control valves V1 and V2 mentioned above are connected to the output side of the main body control unit PLC. Then, the main body control unit PLC operates the corresponding solenoids SOLa to SOLa to operate the
具体的には、塵芥積込装置が塵芥積込作動するときには、通電ラインK2上のイグニッションスイッチSWKおよびPTOスイッチSWPがいずれもオンになると、リレーコイルR1が励磁される。これにより、リレーコイルR1の接点r1が閉じられるので、通電ラインK3およびK4によって本体制御部PLCに電力供給されることにより、本体制御部PLCが作動可能な状態になって適宜、ソレノイドSOLa~SOLdに制御信号を出力するようになる。 Specifically, when the garbage loading device operates to load garbage, when both the ignition switch SWK and the PTO switch SWP on the energizing line K2 are turned on, the relay coil R1 is excited. As a result, contact r1 of relay coil R1 is closed, and power is supplied to the main body control unit PLC through the energizing lines K3 and K4, so that the main body control unit PLC becomes operable and the solenoids SOLa to SOLd are activated as appropriate. A control signal will be output to.
この制御信号を受けてソレノイドSOLa~SOLdが励磁され、電磁制御弁V1,V2の位置が適宜、切り換えられることで、油圧モータ13や押込シリンダ24などに作動油圧が供給される。これにより、油圧モータ13や押込シリンダ24などがそれぞれ作動し、上述したように、回転板10の回転および押込板20の揺動が互いに同期して繰り返されることになる。
In response to this control signal, the solenoids SOLa to SOLd are excited, and the positions of the electromagnetic control valves V1 and V2 are appropriately switched, thereby supplying hydraulic pressure to the
詳細には、まず図3に実線で示すように押込板20が前進限界位置にあって、スイッチLS1からオン信号が出力されるとともに、回転板10が設定停止位置にあって、スイッチLS3からもオン信号が出力されるときに、積込スイッチSW5の信号を受けた本体制御部PLCから制御信号が出力され、電磁制御弁V2が第1連通位置に切り換えられて、油圧モータ13が正転作動を開始する。これにより、回転板10は上方に回動し始める。
In detail, first, as shown by the solid line in FIG. 3, the
そして、所定の期間が経過すると本体制御部PLCから電磁制御弁V1のソレノイドSOLaへ制御信号が出力されて、電磁制御弁V1が第1連通位置に切り換えられ、押込シリンダ24が収縮作動を開始する。これにより押込板20は後方の塵芥投入口4側へ揺動するようになり、この押込板20が後退限界位置に達すると、スイッチLS2からオン信号が出力される。
When a predetermined period of time has elapsed, a control signal is output from the main body control unit PLC to the solenoid SOLa of the electromagnetic control valve V1, the electromagnetic control valve V1 is switched to the first communication position, and the
これを受けて本体制御部PLCがソレノイドSOLaへの制御信号の出力を停止することで、電磁制御弁V1が中立位置に復帰し、押込板20の揺動が停止する。また、そうして押込板20が揺動している間も回転板10の回動は継続しており、塵芥Gを塵芥収容箱2側に掻き込んでゆくが、こうして回動する回転板10が設定停止位置に至り、スイッチLS3からオン信号が出力される。
In response to this, the main body control unit PLC stops outputting the control signal to the solenoid SOLa, so that the electromagnetic control valve V1 returns to the neutral position and the swinging of the
これを受けて本体制御部PLCが、電磁制御弁V2のソレノイドSOLcへの制御信号の出力を停止することで、電磁制御弁V2が中立位置に復帰し、油圧モータ13の回動が停止する。また、本体制御部PLCは、電磁制御弁V1のソレノイドSOLbへ制御信号を出力し、電磁制御弁V1が第2連通位置に切り換えられて、押込シリンダ24が伸長作動を開始することで、押込板20が前方へ揺動し始める。
In response to this, the main body control unit PLC stops outputting the control signal to the solenoid SOLc of the electromagnetic control valve V2, so that the electromagnetic control valve V2 returns to the neutral position and the rotation of the
こうして前方の塵芥収容箱2側に揺動する押込板20が、回転板10上の塵芥Gを塵芥収容箱2に押し込んでいき、前進限界位置に達すれば、スイッチLS1からオン信号が出力される。これを受けて本体制御部PLCがソレノイドSOLbへの制御信号の出力を停止することで、電磁制御弁V1が中立位置に復帰し、押込シリンダ24の伸長作動、つまり、押込板20の前方への揺動が停止し、一連の動作が終了する。
In this way, the pushing
また、図6に示すように、イグニッションスイッチSWKおよびPTOスイッチSWPの中間において、通電ラインK6の上流端が接続されており、この通電ラインK6には、画像処理ユニット9が接続されている。イグニッションスイッチSWKがオンになると、この通電ラインK6を介して、画像処理ユニット9に電力が供給される。画像処理ユニット9は、通電ラインK7を介してカメラユニット7のカメラ71に接続されている。また、画像処理ユニット9には、通電ラインK8を介して、車両の運転操作に基づく後退信号が入力されるようになっている。
Further, as shown in FIG. 6, the upstream end of the energizing line K6 is connected between the ignition switch SWK and the PTO switch SWP, and the
画像処理ユニット9には、所定のプログラムを実行して各種の制御を行う中央処理部CPU、中央処理部CPUにおいて使用されるデータを記憶する記憶部としてのメモリM、中央処理部CPUの指令を受けて監視用のモニタ93(図1参照)に画像処理の結果などを表示させる画像出力部VOP、データログの時刻を計時する計時部C、カメラ71の制御を行うカメラ制御部(図示省略)などが設けられている。なお、リレーコイルR1の接点r1よりも上流側において通電ラインK3から分岐するように、通電ラインK9の上流端が接続されており、この通電ラインK9を介して計時部Cへの電力供給が行われる。このため、イグニッションスイッチSWKがオフの場合にも、計時部Cへの通電が常時行われるようになっている。
The
また、画像処理ユニット9には、通電ラインK5から分岐する通電ラインK10が接続されている。この通電ラインK10は、塵芥積込装置の塵芥排出動作の際は機能せず、塵芥積込装置の塵芥積込動作の際に機能するための積込信号ラインになっている。通電ラインK10は、切換スイッチSW6の積込側に接続されており、PTOスイッチSWPがオンであって、切換スイッチSW6が積込側に切り換えられている場合に、画像処理ユニット9に積込ライン信号が入力されるようになっている。
Further, the
画像処理ユニット9と、本体制御部PLCとの間には、作動スイッチSWSが介在されている。画像処理ユニット9には、人物安全信号の出力ポートが設けられており、この出力ポートと作動スイッチSWSとが通電ラインK16により接続されている。また、画像処理ユニット9には、データログ開始信号の入力ポートが設けられており、この入力ポートと作動スイッチSWSとが通電ラインK17により接続されている。また、作動スイッチSWSには、通電ラインK10から分岐された通電ラインK15が接続されている。
An actuation switch SWS is interposed between the
作動スイッチSWSがオン側に切り換えられている場合、通電ラインK16と通電ラインK12とを介して、画像処理ユニット9の人物安全信号の出力ポートと本体制御部PLCとが接続される。
When the operation switch SWS is switched to the on side, the output port of the person safety signal of the
ここで、画像処理ユニット9から出力される人物安全信号は、通電ラインK16と通電ラインK12とを通って本体制御部PLCに入力されるようになっている。しかし、塵芥積込装置の塵芥積込動作の際に人物が侵入禁止エリア(後述の第2の検知エリアY12)に入ると、画像処理ユニット9から人物安全信号が出力されず、本体制御部PLCに人物安全信号が入力されない。本体制御部PLCは、人物安全信号の入力がないことを条件の1つとして、塵芥積込装置の塵芥積込動作の緊急停止を行うようになっている。
Here, the person safety signal output from the
また、作動スイッチSWSがオン側に切り換えられている場合、通電ラインK6から分岐された通電ラインK11が通電ラインK17と接続される。この場合、イグニッションスイッチSWKがオンになると、通電ラインK6に通電が行われることにより、通電ラインK11と通電ラインK17を通じて、データログ開始信号が画像処理ユニット9に送られる。そして、それをトリガとしてデータログが実行される。
Moreover, when the operation switch SWS is switched to the on side, the energization line K11 branched from the energization line K6 is connected to the energization line K17. In this case, when the ignition switch SWK is turned on, the energization line K6 is energized, and a data logging start signal is sent to the
一方、作動スイッチSWSがオフ側に切り換えられている場合、通電ラインK15と通電ラインK12とを介して、通電ラインK10と本体制御部PLCとが接続される。この場合、画像処理ユニット9に積込ライン信号が入力されているときに、通電ラインK10からの電圧が、人物安全信号の代わりに本体制御部PLCに入力される。このため、侵入禁止エリアで人物を認識したか否かにかかわらず、本体制御部PLCは、人物安全信号の入力が常時あると認識するようになっている。
On the other hand, when the operation switch SWS is switched to the off side, the energization line K10 and the main body control unit PLC are connected via the energization line K15 and the energization line K12. In this case, when the loading line signal is being input to the
なお、作動スイッチSWSがオフ側に切り換えられている場合、通電ラインK17への通電は行われず、データログは開始されないようになっている。 Note that when the operating switch SWS is switched to the off side, the energization line K17 is not energized and data logging is not started.
また、画像処理ユニット9と、本体制御部PLCとの間には、停止解除スイッチ63に対応するスイッチSW4が介在されている。スイッチSW4は、通電ラインK10から分岐された通電ラインK13に介設されている。停止解除スイッチ63がオン操作されていない場合には、スイッチSW4がオフ状態になっており、本体制御部PLCには、信号が入力されないようになっている。一方、停止解除スイッチ63がオン操作された場合には、スイッチSW4がオン状態になり、画像処理ユニット9に積込ライン信号が入力されているときに、通電ラインK10からの電圧が、停止解除のオン信号として本体制御部PLCに入力されるようになっている。なお、塵芥積込装置の塵芥排出動作の際には、画像処理ユニット9に積込ライン信号が入力されないため、停止解除スイッチ63の機能が無効になる。
Further, a switch SW4 corresponding to the
本体制御部PLCは、停止解除スイッチ63のオン信号を認識した場合、画像処理ユニット9からの人物安全信号の入力がなくなったとしてもそれを条件として塵芥積込装置の塵芥積込動作の緊急停止を行わないようになっている。
When the main body control unit PLC recognizes the ON signal of the
画像処理ユニット9には、運転席周辺に配設されているパイロットランプ(図示省略)、塵芥投入口4の近傍に配設されている報知部としての作動中ランプ72および検出ランプ73が電気的に接続されており、それらの点灯制御が中央処理部CPUにより行われる。また、画像処理ユニット9には、後退警告音を出力するブザー91が接続されており、この制御についても中央処理部CPUにより行われる。作動中ランプ72、検出ランプ73およびブザー91の低電位側は、通電ラインK13を介してグランドラインK1に接続されている。
The
また、図7に示すように、塵芥収集車100の人物認識システムにおいて、画像処理ユニット9は、管理センタサーバ200に通信接続可能になっている。詳細には、画像処理ユニット9は、塵芥収集車100に備えられた第1通信部101と接続されている。そして、この第1通信部101が、例えばインターネット等のネットワークを介して、管理センタ内の管理センタサーバ200に備えられた第2通信部201と相互に通信可能になっている。画像処理ユニット9から第1通信部101を介して管理センタサーバ200へ、カメラ71によって撮影された動画のデータがリアルタイムで送信される。管理センタサーバ200で受信された動画のデータは、サーバ側記憶部205に保存される。また、管理センタサーバ200から第1通信部101を介して画像処理ユニット9へ、人物認識処理の判定結果がリアルタイムで送信される。画像処理ユニット9で受信された人物認識処理の判定結果は、メモリMに保存される。
Further, as shown in FIG. 7, in the person recognition system for the
塵芥収集車100には、上述した第1通信部101、作動スイッチSWS、PTOスイッチ(駆動源スイッチ)SWP、積込スイッチ(アクチュエータ操作部)SW5、作動中ランプ72、検出ランプ73に加え、位置情報取得部102などが備えられている。位置情報取得部102は、例えば図示しないGPS衛星からの電波を受信することにより塵芥収集車100の位置情報を取得することが可能になっている。
In addition to the above-mentioned
第1通信部101は、管理センタサーバ200に対し、メモリMに保存された塵芥収集車100の使用車種情報およびユーザ情報と、カメラ71によって撮影された動画のデータと、位置情報取得部102により取得された位置情報と、積込ライン信号と、後退信号とを送信するようになっている。
The
管理センタサーバ200が設置される管理センタは、例えば、画像処理ユニット9を含む塵芥収集車100を製造販売する架装メーカーが有するものである。なお、管理センタは、例えば収集業者の事業所であってもよい。
The management center in which the
管理センタサーバ200には、上述した第2通信部201、サーバ側記憶部205に加え、画像解析部202、学習用画像抽出部203、機械学習部204などが備えられている。画像解析部202は、カメラ71によって取得され、管理センタサーバ200に入力された動画のデータに基づいて人物認識処理を行うものである。学習用画像抽出部203は、カメラ71によって取得され、管理センタサーバ200に入力された動画のデータから、辞書データを更新するための学習用画像データを所定タイミングで抽出してサーバ側記憶部205に保存するものである。機械学習部204は、学習用画像抽出部203により抽出された学習用画像データに基づいて、機械学習により更新用辞書データを作成してサーバ側記憶部205に保存するものである。
The
管理センタサーバ200では、学習用画像抽出部203で抽出された学習用画像データに基づいて、機械学習部204による機械学習が行われ、更新用辞書データが作成される。また、機械学習部204によって作成された更新用辞書データに基づいて、サーバ側記憶部205に保存されている辞書データが更新される。そして、画像解析部202による人物認識処理の際には、更新用辞書データを用いて更新されたサーバ側記憶部205の辞書データが参照される。
In the
サーバ側記憶部205には、人物認識処理の際に参照される辞書データが保存されている。サーバ側記憶部205に保存される辞書データとしては、積込用(作業用)の辞書データと、後退用の辞書データとがある。また、サーバ側記憶部205には、学習用画像抽出部203により抽出された学習用画像データが保存される。サーバ側記憶部205に保存される学習用画像データとしては、積込用(作業用)の学習用画像データと、後退用の学習用画像データとがある。また、サーバ側記憶部205には、機械学習部204により作成された更新用辞書データが保存される。サーバ側記憶部205に保存される更新用辞書データとしては、積込用(作業用)の更新用辞書データと、後退用の更新用辞書データとがある。
The server-
ここで、サーバ側記憶部205に保存される積込用(作業用)の辞書データは、塵芥収集車100のユーザごとに区別して設けられており、また、塵芥収集車100の車種ごとに区別して設けられている。また、サーバ側記憶部205に保存される後退用の辞書データは、ユーザごとに区別して設けられており、また、使用車種ごとに区別して設けられている。そして、画像処理ユニット9から送信された塵芥収集車100の車種情報およびユーザ情報に基づいて、画像解析部202の判定の際に参照する辞書データが切り換えられるようになっている。
Here, the dictionary data for loading (work) stored in the server
さらに、サーバ側記憶部205には、人物認識処理に用いられる人物検出用エリアも保存されている。サーバ側記憶部205に保存される人物検出用エリアとしては、積込用(作業用)の人物検出用エリア(第1の検知エリアY11、第2の検知エリアY12)と、後退用の人物検出用エリア(第3の検知エリアY2)とがある。
Furthermore, the server-
本実施形態では、カメラ71の撮像レンズ71aの左右両側に、作動中ランプ72および検出ランプ73が配設されている(図4参照)。作動中ランプ72は、原則として画像処理ユニット9に積込ライン信号が入力されている場合にオンされる(点灯される)。検出ランプ73は、原則として画像処理ユニット9に積込ライン信号が入力され、かつ、後述する人物認識処理によって塵芥投入口4近傍の人物検出用エリアに人物が入っていると判定された場合にオンされる(点灯される)。
In this embodiment, an operating
また、図1、図3、図7に示すように、塵芥投入箱3の背面の上部、言い換えれば、塵芥投入口4の上方にはカメラ71が所定の取付角度で取り付けられ、その撮像レンズ71aが後方の斜め下に向けられている。図7、図8には、塵芥投入口4の近傍に立った人物H(作業者)が両腕を前方に伸ばして、塵芥G(図7、図8では、ごみ袋)を積み込む様子が示されている。カメラ71は本来、塵芥収集車100の運転者が後方を監視するためのバックカメラとして用いられるものであり、図7、図8に一例を示すように塵芥投入口4およびその後方の所定範囲を撮影する。
Further, as shown in FIGS. 1, 3, and 7, a
カメラ71の撮像レンズ71aの光軸は、図3のX1線に沿う方向に延びており、塵芥投入口4の後方を撮影するために、鉛直下向きから後方に振り向けられて、塵芥投入口4の近傍の人物Hおよび塵芥Gを上方から撮影するようになっている。そして、カメラ71によって撮影(取得)され、管理センタサーバ200に送信された画像のデータに基づいて、管理センタサーバ200は、作業者などの人物Hが塵芥投入口4およびその後方の人物検出用エリア(図8において破線で囲まれたエリアと実線で囲まれたエリア)にいるか否かを判定するようにしている。また、管理センタサーバ200が人物検出用エリアに人物Hがいると判定すれば、その判定結果を画像処理ユニット9へ送信し、画像処理ユニット9が、管理センタサーバ200の判定結果に基づいて本体制御部PLCに人物安全信号を出力するか否かを判定するようにしている。本体制御部PLCは、画像処理ユニット9から人物安全信号を受信した否かと、スイッチLS4により回転板10が角度範囲Zにあることが検出された否かに基づいて、塵芥積込装置の作動を停止させるか否かを判定するようにしている。
The optical axis of the
具体的に説明すると、積込用の人物検出用エリアは、第1の検知エリアY11(図8に破線で示す)と第2の検知エリアY12(図8に実線で示す)とに分かれている。第2の検知エリアY12は、第1の検知エリアY11よりも塵芥投入口4の近傍に設けられ、侵入禁止エリアとしての機能を有している。例えば、第1の検知エリアY11は、作業者が塵芥積込作業を行う際の通常エリアであり、塵芥投入口4の近傍の矩形のエリアに設定される。第2の検知エリアY12は、塵芥投入口4の前縁部4aと後縁部4b近傍との間の矩形のエリアに設定される。この第2の検知エリアY12は、少なくとも塵芥投入口4の前縁部4a、後縁部4b、左縁部4c、および右縁部4dで囲まれた領域の一部を含むように設定される。
Specifically, the area for detecting people for loading is divided into a first detection area Y11 (indicated by a broken line in FIG. 8) and a second detection area Y12 (indicated by a solid line in FIG. 8). . The second detection area Y12 is provided closer to the
一方、車両の後退時には、管理センタサーバ200は、積込ライン信号は受信せずに後退信号を受信することになる。この条件に基づいて、管理センタサーバ200は、使用車種とユーザ情報に合わせた後退用の辞書データを設定し、人物Hが塵芥投入口4の後方の第3の検知エリアY2(図7、図8に1点鎖線で示す)にいるか否かを判定するようになっている。そして、管理センタサーバ200は、第3の検知エリアY2に人物Hがいると判定すれば、画像処理ユニット9にその判定結果を送信し、画像処理ユニット9が運転者に報知して注意を喚起するようにしている。第3の検知エリアY2は、第2の検知エリアY12、第1の検知エリアY11、およびその後方のエリアを含む矩形のエリアに設定される。なお、塵芥収集車100のモニタ93上には、カメラ71の画像とともに、第1の検知エリアY11の外縁に対応するライン(図8に破線で示す)、第2の検知エリア(侵入禁止エリア)Y12の外縁に対応するライン(図8に実線で示す)、第3の検知エリアY2の外縁に対応するライン(図8に1点鎖線で示す)が表示されている。
On the other hand, when the vehicle is reversing, the
-人物認識システムの画像処理のルーチン-
次に、図9、図10のフローチャートを参照して、塵芥収集車100の人物認識システムで行われる画像処理に基づく制御のルーチンについて説明する。図9、図10では、便宜上、図9に示す画像処理ユニット9が実行する制御と、図10に示す管理センタサーバ200が実行する制御とに分けて示している。
- Image processing routine for human recognition system -
Next, a control routine based on image processing performed by the person recognition system of the
まず、スタート後のステップS1において、塵芥収集車100のACC電源をオフからオンに切り換える操作が作業者により行われると、画像処理ユニット9の電源がオフからオンになる。ステップS2において、画像処理ユニット9の初期化処理(起動処理)が行われる。ステップS3において、PTOスイッチSWPをオフからオンに切り換える操作が作業者により行われると、ステップS4において、画像処理ユニット9の中央処理部CPUは、作動スイッチSWSがオンか否かを判定する。作動スイッチSWSがオンの場合(YES)、ステップS5に進み、作動スイッチSWSがオフの場合(NO)、ステップS30に進む。ステップS30において、画像処理ユニット9は、作動中ランプ72のオン信号および検出ランプ73のオフ信号を出力せず、ステップS17に進む。
First, in step S1 after the start, when the operator performs an operation to switch the ACC power of the
ステップS5において、画像処理ユニット9の中央処理部CPUは、管理センタの管理センタサーバ200との通信接続の開始処理を行う。これにより、塵芥収集車100の第1通信部101と、管理センタサーバ200の第2通信部201とが、例えば5Gの移動通信システムおよびインターネット等のネットワークを介して接続される。この際、塵芥収集車100の使用車種の情報およびユーザ情報が管理センタサーバ200に送信される。
In step S5, the central processing unit CPU of the
ステップS6において、画像処理ユニット9の中央処理部CPUは、第1通信部101と第2通信部201との通信接続が完了したか否かを判定する。そして、第1通信部101と第2通信部201との接続が完了できた場合(YES)、ステップS7に進む。一方、第1通信部101と第2通信部201との接続が完了できなかった場合(NO)、ステップS30に進む。
In step S6, the central processing unit CPU of the
ステップS7において、画像処理ユニット9の中央処理部CPUは、車両の運転操作に基づく後退信号が入力されていないか否かを判定する。後退信号は、車両の後退操作があった場合に通電ラインK8を介して画像処理ユニット9に入力され、この後退信号の有無に基づいて、ステップS7の判定が行われる。そして、後退信号の入力がなかった場合(NO)、ステップS8に進み、後退信号の入力があった場合(YES)、ステップS23に進む。
In step S7, the central processing unit CPU of the
ステップS8において、画像処理ユニット9の中央処理部CPUは、作業信号である積込ライン信号が入力されたか否かを判定する。積込ライン信号は、PTOスイッチSWPがオンであって、切換スイッチSW6が積込側に切り換えられている場合に、通電ラインK10を介して画像処理ユニット9に入力される。この積込ライン信号の有無に基づいて、ステップS8の判定が行われる。そして、積込ライン信号の入力があった場合(YES)、ステップS9に進み、積込ライン信号の入力がなかった場合(NO)、ステップS30に進む。
In step S8, the central processing unit CPU of the
ステップS9において、画像処理ユニット9の中央処理部CPUは、積込ライン信号の入力があったことを管理センタサーバ200に送信する。ステップS10において、画像処理ユニット9の中央処理部CPUは、作動中ランプ72を点灯させる。
In step S9, the central processing unit CPU of the
ステップS11において、画像処理ユニット9の中央処理部CPUは、カメラ71によって撮影された積込時(作業時)の動画のデータを管理センタサーバ200にリアルタイムで送信する。後述するように、画像処理ユニット9から動画のデータを受信した管理センタサーバ200は、人物認識処理(ステップT7)を行って、所定の人物検出用エリア(第1の検知エリアY11、第2の検知エリアY12)に人物が入っているか否かを判定する。
In step S11, the central processing unit CPU of the
次に、ステップS12において、画像処理ユニット9の中央処理部CPUは、管理センタサーバ200から人物認識処理(ステップT7)の判定結果をリアルタイムで受信する。具体的には、判定結果として、人物検出信号の出力の有無(ステップT76)、および停止信号の出力の有無(ステップT78)を管理センタサーバ200から受信する。
Next, in step S12, the central processing unit CPU of the
ステップS13において、画像処理ユニット9の中央処理部CPUは、ステップS12で受信した人物認識処理の判定結果に基づいて、第1の検知エリアY11または第2の検知エリアY12内に人物が検出されたか否かを判定する。この際、管理センタサーバ200から受信した人物検出信号の出力の有無(ステップT76)に基づいて、第1の検知エリアY11または第2の検知エリアY12内に人物が検出されたか否かが判定される。そして、第1の検知エリアY11または第2の検知エリアY12内に人物が検出された場合(YES)、ステップS14に進み、人物が検出されなかった場合(NO)、ステップS21に進む。
In step S13, the central processing unit CPU of the
次に、ステップS14において、画像処理ユニット9の中央処理部CPUは、ステップS12で受信した人物認識処理の判定結果に基づいて、侵入禁止エリアとしての第2の検知エリアY12内に人物が侵入したか否かを判定する。この際、管理センタサーバ200から受信した停止信号の出力の有無(ステップT78)に基づいて、第2の検知エリアY12内に人物が侵入したか否かが判定される。そして、第2の検知エリアY12への人物の侵入があった場合(YES)、ステップS15に進み、人物の侵入がなかった場合(NO)、ステップS19に進む。
Next, in step S14, the central processing unit CPU of the
次に、画像処理ユニット9の中央処理部CPUは、ステップS15において、検出ランプ73のオン信号を出力し、ステップS16において、人物安全信号を本体制御部PLCに出力せず、その後、ステップS17に進む。また、中央処理部CPUは、ステップS19において、検出ランプ73のオン信号を出力し、ステップS20において、人物安全信号を本体制御部PLCに出力し、その後、ステップS17に進む。さらに、中央処理部CPUは、ステップS21において、検出ランプ73のオン信号を出力せず、ステップS22において、人物安全信号を本体制御部PLCに出力し、その後、ステップS17に進む。
Next, the central processing unit CPU of the
上述したステップS7の判定で後退信号の入力があった場合(YES)、ステップS23において、画像処理ユニット9の中央処理部CPUは、後退信号の入力があったことを管理センタサーバ200に送信する。ステップS24において、画像処理ユニット9の中央処理部CPUは、作動中ランプ72のオン信号および検出ランプ73のオフ信号を出力せず、ステップS25に進む。
If a backward signal has been input in the determination in step S7 described above (YES), in step S23, the central processing unit CPU of the
ステップS25において、画像処理ユニット9の中央処理部CPUは、カメラ71によって撮影された後退時の動画のデータを管理センタサーバ200にリアルタイムで送信する。後述するように、画像処理ユニット9から動画のデータを受信した管理センタサーバ200は、人物認識処理(ステップT19)を行って、所定の人物検出用エリア(第3の検知エリアY2)に人物が入っているか否かを判定する。
In step S25, the central processing unit CPU of the
次に、ステップS26において、画像処理ユニット9の中央処理部CPUは、管理センタサーバ200から人物認識処理(ステップT19)の判定結果をリアルタイムで受信する。具体的には、人物検出信号の出力の有無を管理センタサーバ200から受信する。
Next, in step S26, the central processing unit CPU of the
ステップS27において、画像処理ユニット9の中央処理部CPUは、ステップS26で受信した人物認識処理の判定結果に基づいて、第3の検知エリアY2に人物が検出されたか否かを判定する。この際、管理センタサーバ200から受信した人物検出信号の出力の有無に基づいて、第3の検知エリアY2に人物が検出されたか否かが判定される。そして、第3の検知エリアY2に人物が検出された場合(YES)、ステップS28において、画像処理ユニット9の中央処理部CPUは、ブザー91を作動させて後退警告音を出力し、その後、ステップS17に進む。一方、第3の検知エリアY2に人物が検出されなかった場合(NO)、ステップS29において、画像処理ユニット9の中央処理部CPUは、ブザー91を作動させず、その後、ステップS17に進む。
In step S27, the central processing unit CPU of the
ステップS17において、画像処理ユニット9の中央処理部CPUは、PTOスイッチSWPをオンからオフに切り換える操作が作業者により行われたか否かを判定する。そして、PTOスイッチSWPがオフに切り換えられた場合(YES)、ステップS18に進み、PTOスイッチSWPがオフに切り換えられていない場合(NO)、ステップS4に戻り、上述した処理を繰り返し行う。
In step S17, the central processing unit CPU of the
その後、ステップS18において、画像処理ユニット9の中央処理部CPUは、管理センタサーバ200との通信接続の終了処理を行い、ルーチンを終了する。これにより、塵芥収集車100の第1通信部101と、管理センタサーバ200の第2通信部201との通信接続が解除される。
Thereafter, in step S18, the central processing unit CPU of the
続いて、管理センタの管理センタサーバ200が実行する制御の流れについて、図10のフローチャートを参照して説明する。図10に示すように、スタート後のステップT1において、管理センタサーバ200が、塵芥収集車100の画像処理ユニット9から通信接続開始の信号を受信すると、ステップT2において、管理センタサーバ200の第2通信部201と、塵芥収集車100の第1通信部101とが、例えば5Gの移動通信システムおよびインターネット等のネットワークを介して接続される。この際、管理センタサーバ200は、塵芥収集車100の画像処理ユニット9から送信された使用車種の情報およびユーザ情報を受信する。管理センタサーバ200は、受信した塵芥収集車100の使用車種の情報およびユーザ情報をサーバ側記憶部205に保存する。
Next, the flow of control executed by the
ステップT3において、管理センタサーバ200は、車両の後退信号の入力があったことを塵芥収集車100の画像処理ユニット9から受信したか否かを判定する。車両の後退信号の入力があったことは、上述したステップS23の処理で画像処理ユニット9から送信されるものであって、後退信号の入力があったことを受信しなかった場合(NO)、ステップT4に進み、後退信号の入力があったことを受信した場合(YES)、ステップT17に進む。
In step T3, the
ステップT4において、管理センタサーバ200は、積込ライン信号の入力があったことを塵芥収集車100の画像処理ユニット9から受信したか否かを判定する。積込ライン信号の入力があったことは、上述したステップS9の処理で画像処理ユニット9から送信されるものであって、積込ライン信号の入力があったことを受信した場合(YES)、ステップT5に進み、積込ライン信号の入力があったことを受信しなかった場合(NO)、ステップT15に進む。
In step T4, the
ステップT5において、管理センタサーバ200は、人物認識処理に用いる辞書データを積込用(作業用)の辞書データに設定し、また、人物検出判定に用いる検知エリアを積込用(作業用)の人物検出用エリアに設定する。積込用辞書データは、後述する人物認識処理(ステップT7)の際に参照されるものであって、管理センタサーバ200のサーバ側記憶部205に格納されている。積込用辞書データは、予め多くの人物の頭部の画像を撮影して、その大きさや形状などの特徴を機械学習により抽出したものである。積込用辞書データとして抽出される特徴については、人物を上方から見たときの頭部形状を主体としている。積込用の人物検出用エリアは、人物検出判定の際に用いられるものであって、管理センタサーバ200のサーバ側記憶部205に格納されている。上述したように、積込用の人物検出用エリアは、作業者が塵芥積込作業を行う際の通常エリアとして設定された第1の検知エリアY11と、侵入禁止エリアとしての第2の検知エリアY12とに分かれており、それぞれのエリアが管理センタサーバ200のサーバ側記憶部205に格納されている。
In step T5, the
本実施形態では、積込用辞書データは、塵芥収集車100の使用車種およびユーザごとにそれぞれ設定されるものになっており、塵芥収集車100の使用車種ごとの積込用辞書データと、ユーザごとの積込用辞書データとが、サーバ側記憶部205に格納されている。そして、ステップT2で受信した塵芥収集車100の使用車種の情報およびユーザ情報に基づいて、積込用辞書データが設定される。つまり、画像処理ユニット9から送信された塵芥収集車100の車種情報およびユーザ情報に基づいて、画像解析部202の判定の際に参照する積込用辞書データが切り換えられる。
In this embodiment, the loading dictionary data is set for each vehicle type and user of the
次に、ステップT6において、管理センタサーバ200は、カメラ71によって撮影された積込時(作業時)の動画のデータを画像処理ユニット9からリアルタイムで受信する。この際、上述したステップS11の処理で画像処理ユニット9から送信された積込時の動画のデータが受信される。
Next, in step T6, the
ステップT7において、管理センタサーバ200は、ステップT6で受信した積込時の動画のデータに基づいて、画像解析部202に人物認識処理を実行させる。管理センタサーバ200の画像解析部202が実行する人物認識処理の詳細について、図11のフローチャートを参照して説明する。
In step T7, the
まず、スタート後のステップT71において、カメラ71によって撮影され、画像処理ユニット9を介して管理センタサーバ200に入力される動画のデータ(入力画像データ)に対する二値化処理が、画像解析部202によって行われる。この二値化処理は、例えば、入力画像データについて各画素の輝度値が予め設定された閾値以上である場合に最大輝度値とし、閾値未満であれば最小輝度値とする処理である。生成される二値化画像データは、ノイズや光量変化の影響の多くが除去されたものとなる。
First, in step T71 after the start, the
次に、ステップT72において、画像解析部202によってラベリング処理が行われる。このラベリング処理は、二値化画像データにおいて互いに近接する各画素を領域化するものであり、例えば同じ輝度値に属するとともに、所定距離内で密接する複数の画素について1つの領域とみなす処理である。ラベリング処理は画像平面全体について行われ、これにより1つの領域とされたものが、それぞれ物体像として認識される。
Next, in step T72, labeling processing is performed by the
そして、ステップT73~T75において、画像解析部202によって、上述した第1の検知エリアY11または第2の検知エリアY12内で検知されたそれぞれの物体像についての人物識別処理が行われる。本実施形態では、塵芥投入口4の上方にカメラ71を配設し、下方の塵芥投入口4近傍を略真上から撮影するようにしている。このため、その画像には、図8に一例を示すように人物Hの頭部が大きく表示されるとともに、上方から見た顔の一部も表示されることになる。そこで、ステップT73では、予め設定されている積込用辞書データを参照し、この積込用辞書データの条件を満たすような物体像を、仮に人物Hの頭部と判定する。
Then, in steps T73 to T75, the
次に、頭部と仮判定した物体像について、それ以外の物体像と識別する処理をステップT74,T75で行う。まず、ステップT74において、カメラ71から時系列に入力される複数の画像データの差分処理(各画素毎の輝度値の差を求める処理)によって、物体像の位置の変化を検出する。この位置の変化、つまり、物体像の移動距離を、それに要した時間(画像データを取得する時間間隔)で除算して、物体像の移動速度を算出する。 Next, in steps T74 and T75, the object image tentatively determined to be a head is distinguished from other object images. First, in step T74, a change in the position of the object image is detected by differential processing of a plurality of image data inputted in time series from the camera 71 (processing to find the difference in luminance value for each pixel). The moving speed of the object image is calculated by dividing this change in position, that is, the moving distance of the object image, by the time required for the change (time interval for acquiring image data).
次に、ステップT75において、ステップT74で算出された移動速度が予め設定した閾値以下であるか否かを判定する。この閾値は、塵芥投入口4に塵芥を投入する作業者の頭部の移動速度と、投入される塵芥の移動速度とを区別できるように、予め実験などによって設定されている。そして、算出された移動速度が閾値よりも高ければ、動作が速すぎるので人物Hの頭部ではないと識別し、否定判定して(NO)、ルーチンを終了する(エンド)。
Next, in step T75, it is determined whether the moving speed calculated in step T74 is less than or equal to a preset threshold. This threshold value is set in advance through experiments or the like so that the moving speed of the head of the worker who throws garbage into the
一方、ステップT75において、算出された移動速度が閾値以下であると肯定判定すれば(YES)、物体像は人物Hの頭部であると判定(本判定)して、ステップT76に進み、人物検出信号を出力する。 On the other hand, if it is determined in step T75 that the calculated moving speed is less than or equal to the threshold (YES), it is determined that the object image is the head of person H (main determination), and the process proceeds to step T76. Outputs a detection signal.
次に、ステップT77において、人物Hの頭部であると判定された物体像が、上述した第2の検知エリアY12に入っているか否かを判定する。ステップT77の判定は、物体像を形成する領域の外形をなす画素の位置座標が、第2の検知エリアY12に一部分でも含まれているか否かによって判定することが可能である。 Next, in step T77, it is determined whether the object image determined to be the head of the person H is within the second detection area Y12 described above. The determination in step T77 can be made based on whether the position coordinates of pixels forming the outline of the area forming the object image are even partially included in the second detection area Y12.
そして、人物Hの頭部と識別した物体像が、第2の検知エリアY12に入っていると肯定判定すれば(YES)、ステップT78に進んで塵芥積込装置の作動を停止させるべく、停止信号を出力し、ルーチンを終了する(エンド)。一方、物体像が第2の検知エリアY12に入っていないと否定判定すれば(NO)、停止信号は出力せずにルーチンを終了する(エンド)。 If it is affirmatively determined that the object image identified as the head of the person H is within the second detection area Y12 (YES), the process proceeds to step T78 and the operation of the garbage loading device is stopped. Outputs a signal and ends the routine (end). On the other hand, if a negative determination is made that the object image does not enter the second detection area Y12 (NO), the routine is ended without outputting a stop signal (END).
図10のフローチャートに戻って、ステップT8において、管理センタサーバ200は、ステップT7の人物認識処理で人物Hの頭部と判定された物体像が、積込用辞書データの機械学習用の画像として収集可能なユーザのものであるか否かを判定する。そして、画像収集可能なユーザのものである場合(YES)、ステップT9に進み、画像収集可能なユーザのものではない場合(NO)、ステップT10に進む。
Returning to the flowchart of FIG. 10, in step T8, the
ステップT9において、管理センタサーバ200は、カメラ71によって取得された動画のデータから、所定タイミングの物体像の画像データを学習用画像抽出部203により抽出し、積込用(作業用)の学習用画像データとしてサーバ側記憶部205に保存する。積込用(作業用)の学習用画像データは、積込用辞書データの機械学習に用いられるもので、人物であると判定された物体像があった場合に、カメラ71によって取得された動画のデータから学習用画像抽出部203により所定タイミングで抽出される。
In step T9, the
積込用(作業用)の学習用画像データは、抽出時の位置情報および時刻情報と関連付けてサーバ側記憶部205に保存される。積込用(作業用)の学習用画像データの抽出タイミング(取得タイミング)としては、例えば積込作業の開始時、積込スイッチSW5の操作時、緊急停止スイッチ(緊急停止ボタン60,61、緊急停止プレート62)の操作時、積込作業の終了時などがある。このうち、積込作業の開始時および終了時は、塵芥積込装置(作業装置)の駆動源としてのPTOがオンまたはオフされたタイミングであり、言い換えれば、駆動源スイッチとしてのPTOスイッチSWPがオンまたはオフに操作されたタイミングである。また、積込スイッチSW5の操作時は、塵芥積込装置(作業装置)を駆動する作業用アクチュエータを駆動するアクチュエータ操作部が操作されたタイミングである。そして、学習用画像抽出部203で抽出された積込用(作業用)の学習用画像データに基づいて、機械学習部204による機械学習が行われ、積込用(作業用)の更新用辞書データが作成される。さらに、機械学習部204によって作成された積込用(作業用)の更新用辞書データに基づいて、サーバ側記憶部205に保存されている積込用(作業用)の辞書データが更新される。
The learning image data for loading (work) is stored in the server-
次に、ステップT10において、管理センタサーバ200は、第1の検知エリアY11または第2の検知エリアY12内に人物が検出されたか否かを判定する。また、ステップT11において、管理センタサーバ200は、侵入禁止エリアとしての第2の検知エリアY12内に人物が侵入したか否かを判定する。
Next, in step T10, the
ステップT10,T11の判定は、ステップT7の人物認識処理に基づいて行われる。具体的には、ステップT7の人物認識処理で人物検出信号の出力があり、停止信号の出力があった場合(ステップT10でYES、ステップT11でYES)、ステップT12に進み、管理センタサーバ200は、ステップT7の人物認識処理での判定結果を塵芥収集車100の画像処理ユニット9に送信する。この際、管理センタサーバ200は、第2の検知エリアY12内に人物が侵入したことを表す判定結果を塵芥収集車100の画像処理ユニット9に送信する。例えばステップT7の人物認識処理で人物検出信号を出力したこと、および停止信号を出力したことを、塵芥収集車100の画像処理ユニット9に送信すればよい。
The determinations in steps T10 and T11 are performed based on the person recognition process in step T7. Specifically, if a person detection signal is output and a stop signal is output in the person recognition process in step T7 (YES in step T10, YES in step T11), the process proceeds to step T12, and the
また、ステップT7の人物認識処理で人物検出信号を出力し、停止信号を出力しなかった場合(ステップT10でYES、ステップT11でNO)、ステップT13に進み、管理センタサーバ200は、ステップT7の人物認識処理での判定結果を塵芥収集車100の画像処理ユニット9に送信する。この際、管理センタサーバ200は、第1の検知エリアY11または第2の検知エリアY12内に人物が検出されたことを表す判定結果を塵芥収集車100の画像処理ユニット9に送信する。例えばステップT7の人物認識処理で人物検出信号を出力したこと、および停止信号を出力しなかったことを、塵芥収集車100の画像処理ユニット9に送信すればよい。
If the person recognition process in step T7 outputs a person detection signal but does not output a stop signal (YES in step T10, NO in step T11), the process proceeds to step T13, and the
一方、ステップT7の人物認識処理で人物検出信号を出力しなかった場合(ステップT10でNO)、ステップT14に進み、管理センタサーバ200は、ステップT7の人物認識処理での判定結果を塵芥収集車100の画像処理ユニット9に送信する。この際、管理センタサーバ200は、第1の検知エリアY11または第2の検知エリアY12内に人物が検出されなかったことを表す判定結果を塵芥収集車100の画像処理ユニット9に送信する。例えばステップT7の人物認識処理で人物検出信号を出力しなかったこと、および停止信号を出力しなかったことを、塵芥収集車100の画像処理ユニット9に送信すればよい。
On the other hand, if the person detection signal is not output in the person recognition process in step T7 (NO in step T10), the process proceeds to step T14, and the
上述したステップT3の判定で車両の後退信号の入力があったことを受信した場合(YES)、ステップT17において、管理センタサーバ200は、人物認識処理に用いる辞書データを後退用辞書データに設定し、また、人物検出判定に用いる検知エリアを後退用の第3の検知エリアY2に設定する。後退用辞書データは、後述する人物認識処理(ステップT19)の際に参照されるものであって、管理センタサーバ200のサーバ側記憶部205に格納されている。後退用辞書データは、予め多くの人物の頭部の画像を撮影して、頭部の大きさや形状などの特徴を機械学習により抽出したものである。後退用辞書データとして抽出される特徴については、人物を上述した積込用辞書データよりも前方寄りの斜め上方から見たときの頭部形状を主体としている。第3の検知エリアY2は、人物検出判定の際に用いられるものであって、管理センタサーバ200のサーバ側記憶部205に格納されている。上述したように、第3の検知エリアY2には積込用の第2の検知エリアY12と第1の検知エリアY11、およびその後方のエリアが含まれている。
If it is received in step T3 that a vehicle reverse signal has been input (YES), in step T17, the
本実施形態では、後退用辞書データは、塵芥収集車100の使用車種およびユーザごとにそれぞれ設定されるものになっており、塵芥収集車100の使用車種ごとの後退用辞書データと、ユーザごとの積込用辞書データとが、サーバ側記憶部205に格納されている。そして、ステップT2で受信した塵芥収集車100の使用車種の情報およびユーザ情報に基づいて、後退用辞書データが設定される。つまり、画像処理ユニット9から送信された塵芥収集車100の車種情報およびユーザ情報に基づいて、画像解析部202の判定の際に参照する後退用辞書データが切り換えられる。
In this embodiment, the reversing dictionary data is set for each vehicle type and user of the
次に、ステップT18において、管理センタサーバ200は、カメラ71によって撮影された後退時の動画のデータを画像処理ユニット9からリアルタイムで受信する。この際、上述したステップS25の処理で画像処理ユニット9から送信された後退時の動画のデータが受信される。
Next, in step T18, the
ステップT19において、管理センタサーバ200は、ステップT18で受信した後退時の動画のデータに基づいて、画像解析部202に人物認識処理を実行させる。ステップT19の人物認識処理は、上述したステップT7の人物認識処理(図11参照)と略同様であって、二値化処理、ラベリング処理、人物識別処理等を含んでいる。なお、人物識別処理では、ステップT16で設定された後退用辞書データが用いられる、この後退用辞書データの条件を満たすような物体像を、人物Hと判定する。なお、人物Hの認識については、頭部形状を識別することに限定されず、例えば手や足などを識別するようにしてもよい。
In step T19, the
そして、ステップT20において、管理センタサーバ200は、ステップT19の人物認識処理で人物Hの頭部と判定された物体像が、後退用辞書データの機械学習用の画像として収集可能なユーザのものであるか否かを判定する。そして、画像収集可能なユーザのものである場合(YES)、ステップT21に進み、画像収集可能なユーザのものではない場合(NO)、ステップT22に進む。
Then, in step T20, the
ステップT21において、管理センタサーバ200は、カメラ71によって取得された動画のデータから、所定タイミングの物体像の画像データを学習用画像抽出部203により抽出し、後退用の学習用画像データとしてサーバ側記憶部205に保存する。後退用の学習用画像データは、後退用辞書データの機械学習に用いられるもので、人物であると判定された物体像があった場合に、カメラ71によって取得された動画のデータから学習用画像抽出部203により所定タイミングで抽出される。後退用の学習用画像データは、抽出時の位置情報および時刻情報と関連付けてサーバ側記憶部205に保存される。後退用の学習用画像データの抽出タイミング(取得タイミング)としては、例えば数秒ごと等の所定時間ごととされる。そして、学習用画像抽出部203で抽出された後退用の学習用画像データに基づいて、機械学習部204による機械学習が行われ、後退用の更新用辞書データが作成される。さらに、機械学習部204によって作成された後退用の更新用辞書データに基づいて、サーバ側記憶部205に保存されている後退用の辞書データが更新される。
In step T21, the
次に、ステップT22において、管理センタサーバ200は、第3の検知エリアY2に人物が検出されたか否かを判定する。ステップT22の判定は、ステップT19の人物認識処理に基づいて行われる。具体的には、ステップT19の人物認識処理で人物検出信号を出力した場合、ステップT23に進み、管理センタサーバ200は、ステップT19の人物認識処理での判定結果を塵芥収集車100の画像処理ユニット9に送信する。この際、管理センタサーバ200は、第3の検知エリアY2に人物が検出されたことを表す判定結果を塵芥収集車100の画像処理ユニット9に送信する。例えばステップT19の人物認識処理で人物検出信号を出力したことを、塵芥収集車100の画像処理ユニット9に送信すればよい。
Next, in step T22, the
一方、ステップT19の人物認識処理で人物検出信号を出力しなかった場合、ステップT24に進み、管理センタサーバ200は、ステップT19の人物認識処理での判定結果を塵芥収集車100の画像処理ユニット9に送信する。この際、管理センタサーバ200は、第3の検知エリアY2に人物が検出されなかったことを表す判定結果を塵芥収集車100の画像処理ユニット9に送信する。例えばステップT19の人物認識処理で人物検出信号を出力しなかったことを、塵芥収集車100の画像処理ユニット9に送信すればよい。
On the other hand, if a person detection signal is not output in the person recognition process in step T19, the process proceeds to step T24, and the
そして、ステップT15において、管理センタサーバ200は、塵芥収集車100の画像処理ユニット9から通信接続終了の信号を受信したか否かを判定する。画像処理ユニット9から通信接続終了の信号を受信した場合(YES)、ステップT16に進み、管理センタサーバ200は、画像処理ユニット9との通信接続の終了処理を行い、ルーチンを終了する。一方、画像処理ユニット9から通信接続終了の信号を受信していない場合(NO)、ステップT3に戻り、上述した処理を繰り返し行う。
Then, in step T15, the
本実施形態の人物認識システムでは、管理センタサーバ200のメモリMに保存された辞書データを参照することによって、塵芥収集車100の塵芥積込装置の近傍の人物検出用エリア(第1の検知エリアY11、第2の検知エリアY12、第3の検知エリアY2)に人物が入っているか否かを判定するようにしている。これにより、個々の塵芥収集車100に辞書データを持たせるのではなく管理センタサーバ200に辞書データを持たせることができるので、管理センタサーバ200で辞書データを一括して管理することができる。そのため、塵芥収集車100にサービスステーションまで来てもらうことなく、管理センタ側において、辞書データの更新作業を一括して行うことができる。その結果、辞書データの更新作業を容易に行うことができる。また、辞書データを更新するための高性能な機械学習機能は管理センタサーバ200のみに設ければよいので、塵芥収集車100のコストアップを抑えることができる。
In the person recognition system of this embodiment, by referring to the dictionary data stored in the memory M of the
また、塵芥収集車100から、カメラ71によって取得された動画のデータがリアルタイムで管理センタサーバ200に送信され、その動画のデータに基づいて、画像解析部202によって塵芥投入口4の近傍の人物検出用エリアに人物が入っているか否かを判定している。そして、管理センタサーバ200から、画像解析部202の判定結果がリアルタイムで塵芥収集車100に送信され、その判定結果に基づいて、塵芥収集車100が塵芥積込装置の動作を制御するようにしている。このように、塵芥収集車100と管理センタサーバ200の間で、カメラ71によって取得された動画のデータおよび画像解析部202の判定結果がリアルタイムで送受信可能になっているので、天候、時間帯、収集場所等が変化する塵芥収集車100の使用環境に合わせて、管理センタサーバ200は、最適な辞書データにすぐに切り換えて使用することができる。特に、塵芥収集車100の1日の収集作業の中においても複数回の辞書データの切り換えが可能となる。
Further, video data acquired by the
また、塵芥収集車100では、作業装置である塵芥積込装置の動作中のみ、管理センタサーバ200から送信される画像解析部202の判定結果を受信しているので、塵芥収集車100と管理センタサーバ200の間で、不要な通信を避けることで、管理センタサーバ200の処理負担を軽減することができ、より多くの塵芥収集車100が人物認識システムを効率よく利用することができる。
In addition, since the
また、管理センタサーバ200では、カメラ71により取得された動画のデータから、所定タイミングで学習用画像データ(積込用の学習用画像データ、後退用の学習用画像データ)を抽出してサーバ側記憶部205に保存する学習用画像抽出部203と、学習用画像抽出部203により抽出された学習用画像データに基づいて、機械学習により更新用辞書データ(積込用の更新用辞書データ、後退用の更新用辞書データ)を作成する機械学習部204とを備え、機械学習部204によって作成された更新用辞書データに基づいて、サーバ側記憶部205に保存されている辞書データ(積込用辞書データ、後退用辞書データ)の更新を行うようにしている。
In addition, the
また、管理センタサーバ200は、多くのユーザが使用している多くの塵芥収集車100から、辞書データを更新するための学習用画像データを容易に収集することができる。また、管理センタサーバ200がカメラ71によって取得された動画のデータから学習用画像データを抽出するに際し、学習用画像抽出部203が所定タイミングで学習用画像データの抽出を行うので、人物の立ち位置や動作、背景の種類等が特定された学習用画像データを抽出することができる。これにより、不規則なタイミングで学習用画像データの抽出を行う場合と比較して、機械学習させる人物の特徴を予め絞り込むことができる。また、所定タイミングで抽出された学習用画像データはサーバ側記憶部205に保存されるので、この保存された学習用画像データを使用して、辞書データをそれぞれの塵芥収集車100の使用環境等に適したものに更新することができる。これにより、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができ、作業者等の安全性を確保することができる。
Furthermore, the
また、管理センタサーバ200では、サーバ側記憶部205に保存される辞書データ(積込用の更新用辞書データ、後退用の更新用辞書データ)が、塵芥収集車100の車種ごと、ユーザごとに区別して設けられており、塵芥収集車100から送信された塵芥収集車100の車種情報およびユーザ情報に基づいて、画像解析部202の判定の際に参照する辞書データを切り換えるようにしている。これにより、ユーザが使用中における塵芥収集車100の車種や塵芥収集車100の使用方法に大きな変化が生じたとしても、管理センタサーバ200は、それぞれの塵芥収集車100の車種またはユーザごとの使用環境等に適した辞書データにすぐに切り換えることができる。また、管理センタサーバ200は、それぞれの塵芥収集車100の車種またはユーザごとの使用環境等に適した辞書データを用いて人物認識処理を行うことができるので、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができ、作業者等の安全性を確保することができる。
In addition, in the
-その他の実施形態-
今回、開示した実施形態は全ての点で例示であって、限定的な解釈の根拠となるものではない。本発明の技術的範囲は、前記した実施形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、本発明の技術的範囲には、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれる。
-Other embodiments-
The embodiments disclosed herein are illustrative in all respects, and are not the basis for restrictive interpretation. The technical scope of the present invention is not to be interpreted only by the above-described embodiments, but is defined based on the claims. Further, the technical scope of the present invention includes all changes within the meaning and scope equivalent to the scope of the claims.
上記実施形態では、塵芥収集車100に本体制御部PLCおよび画像処理ユニット9を設けた場合について説明したが、塵芥収集車100に単一の制御部のみを設ける構成としてもよい。例えば、本体制御部PLCに画像処理ユニット9の機能も備えさせ、本体制御部PLCに、図9のフローチャートを実行させるようにしてもよい。
In the above embodiment, a case has been described in which the
上述した人物検出用エリア(第1の検知エリアY11、第2の検知エリアY12、第3の検知エリアY2)は一例であって、上記以外のエリアを採用してもよい。例えば、塵芥投入口4の後縁部4bよりも前方側のエリア全体を第2の検知エリアY12(侵入禁止エリア)として設定してもよい。この場合、ステップT77の判定で、上述した物体像を形成する領域の外形をなす画素の位置座標が、塵芥投入口4の後縁部4bよりも前方側に含まれている場合には、第2の検知エリアY12に人物であると識別された物体像が検出されたと判定すればよい。
The above-mentioned areas for person detection (first detection area Y11, second detection area Y12, and third detection area Y2) are merely examples, and areas other than those described above may be adopted. For example, the entire area in front of the
また、上記実施形態では、物体像取得部としてカメラ71を用いたが、物体像取得部はカメラ71以外であってもよく、例えば、距離画像センサや、ステレオカメラ、3D-LIDAR等のような画像の取得および距離の計測が可能なものであってもよい。
Further, in the above embodiment, the
上記実施形態では、いわゆる回転板式の塵芥積込装置を装備した塵芥収集車100として本発明を具現化した場合について説明しており、塵芥積込装置の主要部は回転板10および押込板20により構成されている。しかし、これに限らず、塵芥積込装置の主要部は昇降板および押込板によって構成されていてもよく、その構造を特に限定するものではない。また、本発明はダンプトラック、ミキサ車、タンクローリ、コンテナ荷役車両、吸引車など、塵芥収集車以外の特装車の人物認識システムにも適用することが可能であり、車台に架装される作業装置としては塵芥積込装置以外の種々のものが考えられる。
In the above embodiment, a case is described in which the present invention is embodied as a
本発明は、車台上に作業装置が架装された特装車の人物認識システムに利用可能であり、例えば塵芥投入箱の内部に配設された塵芥積込装置と、塵芥投入箱に取り付けられて塵芥投入箱の塵芥投入口の近傍の画像を取得する物体像取得部とを備えた塵芥収集車の人物認識システムに利用可能である。 INDUSTRIAL APPLICABILITY The present invention can be used in a person recognition system for a specially equipped vehicle with a working device mounted on the chassis, and can be used, for example, in a garbage loading device disposed inside a garbage disposal box, and in a garbage loading device attached to the garbage disposal box. The present invention can be used in a person recognition system for a garbage collection vehicle, which is equipped with an object image acquisition unit that acquires an image of the vicinity of the garbage input port of the input box.
1 車台
3 塵芥投入箱
4 塵芥投入口
9 画像処理ユニット
71 カメラ(物体像取得部)
100 塵芥収集車(特装車)
200 管理センタサーバ
202 画像解析部
205 サーバ側記憶部
1
100 Garbage collection vehicle (specially equipped vehicle)
200
Claims (4)
前記特装車は、
前記作業装置の近傍の物体の物体像を動画で取得可能な物体像取得部と、
管理センタサーバと通信可能な制御部とを備え、
前記管理センタサーバは、
前記物体像取得部によって取得され、前記特装車から送信された動画のデータを保存する記憶部と、
前記特装車から送信された動画のデータに基づいて、前記記憶部に保存された辞書データを参照することによって、前記作業装置の近傍の人物検出用エリアに人物が入っているか否かを判定する画像解析部とを備え、
前記制御部は、前記管理センタサーバから送信された前記画像解析部の判定結果に基づいて、前記作業装置の動作を制御し、
前記辞書データは、前記特装車の車種またはユーザごとに区別して設けられており、
前記管理センタサーバは、前記特装車から送信された前記特装車の車種情報およびユーザ情報に基づいて、前記画像解析部の判定の際に参照する前記辞書データを切り換えることを特徴とする特装車の人物認識システム。 A person recognition system for a specially equipped vehicle with a working device mounted on the chassis,
The specially equipped vehicle is
an object image acquisition unit capable of acquiring a moving image of an object near the work device;
Equipped with a control unit that can communicate with the management center server,
The management center server is
a storage unit that stores video data acquired by the object image acquisition unit and transmitted from the specially equipped vehicle;
An image for determining whether or not a person is in a person detection area near the working device by referring to dictionary data stored in the storage unit based on video data transmitted from the specially equipped vehicle. Equipped with an analysis department,
The control unit controls the operation of the work device based on the determination result of the image analysis unit transmitted from the management center server ,
The dictionary data is provided separately for each type of specially equipped vehicle or for each user,
The management center server switches the dictionary data referred to in the determination by the image analysis unit based on the vehicle type information and user information of the specially equipped vehicle transmitted from the specially equipped vehicle. .
前記管理センタサーバは、
前記特装車から送信された動画のデータから、前記辞書データを更新するための学習用画像データを所定タイミングで抽出する学習用画像抽出部と、
前記学習用画像抽出部により抽出された学習用画像データに基づいて、機械学習により更新用辞書データを作成する機械学習部とを備え、
前記機械学習部によって作成された更新用辞書データに基づいて、前記記憶部に保存されている前記辞書データが更新されることを特徴とする特装車の人物認識システム。 The person recognition system for specially equipped vehicles according to claim 1,
The management center server is
a learning image extraction unit that extracts learning image data for updating the dictionary data at a predetermined timing from video data transmitted from the specially equipped vehicle;
a machine learning unit that creates update dictionary data by machine learning based on the learning image data extracted by the learning image extraction unit;
A person recognition system for a specially equipped vehicle, wherein the dictionary data stored in the storage section is updated based on update dictionary data created by the machine learning section.
前記制御部は、前記作業装置の動作中のみ、前記管理センタサーバから送信される前記画像解析部の判定結果を受信することを特徴とする特装車の人物認識システム。 The person recognition system for a specially equipped vehicle according to claim 1 or 2,
A person recognition system for a specially equipped vehicle, wherein the control unit receives the determination result of the image analysis unit transmitted from the management center server only while the work device is in operation.
前記作業装置は、塵芥投入箱の内部に配設された塵芥積込装置であり、
前記画像解析部は、前記特装車から送信された動画のデータに基づいて、前記塵芥投入箱の背面に開口する塵芥投入口の近傍の人物検出用エリアに人物が入っているか否かを判定する構成になっていることを特徴とする特装車の人物認識システム。 The person recognition system for a specially equipped vehicle according to any one of claims 1 to 3 ,
The working device is a garbage loading device disposed inside a garbage input box,
The image analysis unit is configured to determine whether or not a person is in a person detection area near a garbage input port opened at the back of the garbage input box, based on video data transmitted from the specially equipped vehicle. A person recognition system for specially equipped vehicles.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020063215A JP7421402B2 (en) | 2020-03-31 | 2020-03-31 | Person recognition system for specially equipped vehicles |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020063215A JP7421402B2 (en) | 2020-03-31 | 2020-03-31 | Person recognition system for specially equipped vehicles |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021160869A JP2021160869A (en) | 2021-10-11 |
JP7421402B2 true JP7421402B2 (en) | 2024-01-24 |
Family
ID=78002457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020063215A Active JP7421402B2 (en) | 2020-03-31 | 2020-03-31 | Person recognition system for specially equipped vehicles |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7421402B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018036848A (en) | 2016-08-31 | 2018-03-08 | 株式会社デンソーアイティーラボラトリ | Object state estimation system, object state estimation device, object state estimation method and object state estimation program |
JP2019108214A (en) | 2017-12-19 | 2019-07-04 | 新明和工業株式会社 | Garbage collector |
-
2020
- 2020-03-31 JP JP2020063215A patent/JP7421402B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018036848A (en) | 2016-08-31 | 2018-03-08 | 株式会社デンソーアイティーラボラトリ | Object state estimation system, object state estimation device, object state estimation method and object state estimation program |
JP2019108214A (en) | 2017-12-19 | 2019-07-04 | 新明和工業株式会社 | Garbage collector |
Also Published As
Publication number | Publication date |
---|---|
JP2021160869A (en) | 2021-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6798971B2 (en) | Garbage truck | |
JP6752533B2 (en) | Garbage truck and person recognition device equipped on it | |
JP2021178736A (en) | Person recognition device for garbage truck | |
JP2019156565A (en) | Garbage collector | |
JP7421402B2 (en) | Person recognition system for specially equipped vehicles | |
JP7429590B2 (en) | Specially equipped vehicle | |
JP7394000B2 (en) | Specially equipped vehicle | |
JP7284670B2 (en) | garbage truck | |
JP7394004B2 (en) | Specially equipped vehicle | |
JP7016600B2 (en) | Garbage truck | |
JP7464367B2 (en) | Refuse collection truck | |
JP2018154464A (en) | Garbage collector and person recognition device mounted in the same | |
JP6799496B2 (en) | Garbage truck and emergency stop device equipped on it | |
JP7123573B2 (en) | Perimeter monitoring device, working machine, control method and display device for perimeter monitoring | |
JP6895802B2 (en) | Garbage truck and person recognition device equipped on it | |
JP7393905B2 (en) | garbage collection truck | |
JP6887308B2 (en) | Garbage truck and person recognition device equipped on it | |
JP7339785B2 (en) | garbage truck | |
JP7146370B2 (en) | Specially equipped vehicle | |
JP7299080B2 (en) | garbage truck | |
JP6887306B2 (en) | Garbage truck and person recognition device equipped on it | |
JP7311377B2 (en) | Garbage truck maintenance equipment | |
JP2024042484A (en) | Person recognition device and garbage collecting vehicle | |
JP2021160835A (en) | Garbage collecting vehicle | |
JP7076933B2 (en) | Garbage truck and emergency stop device equipped on it |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7421402 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |