JP2024042484A - Person recognition device and garbage collecting vehicle - Google Patents
Person recognition device and garbage collecting vehicle Download PDFInfo
- Publication number
- JP2024042484A JP2024042484A JP2022147235A JP2022147235A JP2024042484A JP 2024042484 A JP2024042484 A JP 2024042484A JP 2022147235 A JP2022147235 A JP 2022147235A JP 2022147235 A JP2022147235 A JP 2022147235A JP 2024042484 A JP2024042484 A JP 2024042484A
- Authority
- JP
- Japan
- Prior art keywords
- person
- garbage
- object image
- recognition device
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 213
- 230000008569 process Effects 0.000 claims abstract description 212
- 238000012545 processing Methods 0.000 claims description 191
- 238000001514 detection method Methods 0.000 claims description 92
- 238000013459 approach Methods 0.000 claims description 32
- 238000010801 machine learning Methods 0.000 claims description 4
- 239000002699 waste material Substances 0.000 claims description 2
- 238000002372 labelling Methods 0.000 description 32
- 238000004891 communication Methods 0.000 description 9
- 239000010720 hydraulic oil Substances 0.000 description 8
- 239000003921 oil Substances 0.000 description 8
- 230000007935 neutral effect Effects 0.000 description 7
- 239000000428 dust Substances 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000009434 installation Methods 0.000 description 5
- 238000011144 upstream manufacturing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
Images
Landscapes
- Refuse-Collection Vehicles (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、塵芥収集車に備えられ、塵芥投入口近傍の人物を認識する人物認識装置に関する。 The present invention relates to a person recognition device that is installed in a garbage collection vehicle and recognizes a person near a garbage inlet.
従来、塵芥収集車においては、車台の後部に設けられた塵芥投入箱内に塵芥積込装置が装備されており、塵芥投入箱の塵芥投入口から塵芥投入箱内に投入される塵芥を回転板や積込板などによって掻き込んで、塵芥収容箱に積み込むようになっている。また、塵芥収集車には、塵芥を投入する作業者などが不注意によって塵芥積込装置に巻き込まれることを防止する安全性の観点から、塵芥投入口近傍の所定エリアへの人物の侵入有無を判定する人物認識装置が提案されている(たとえば、特許文献1)。 Conventionally, in a garbage collection vehicle, a garbage loading device is installed in the garbage input box provided at the rear of the vehicle chassis, and the garbage that is thrown into the garbage input box from the garbage input port of the garbage input box is loaded into the garbage input box by a rotating plate. The waste is scraped into the garbage storage box by scraping it up with a tray or loading board. In addition, from the viewpoint of safety, to prevent workers loading garbage from getting caught in the garbage loading device due to inadvertence, garbage collection vehicles are equipped with a system that monitors whether or not a person has entered a designated area near the garbage input port. A person recognition device for determining a person has been proposed (for example, Patent Document 1).
特許文献1の人物認識装置がそうであるように、日射しが撮像レンズに入射し画像のコントラストが低下したり、撮像レンズに雨や雪が付着して視野が遮られたりする問題を防止する関係で、カメラは塵芥収集車の塵芥投入口の上方に設置され、撮像レンズの光軸は下向きに設定される。このため、人物認識装置は、カメラの設置位置との関係で塵芥の積み込み作業時に撮影しやすい人物の頭部の画像に基づき、人物の認識を行うようになっている。
This is to prevent problems such as sunlight entering the imaging lens and reducing the contrast of the image, or rain or snow adhering to the imaging lens and obstructing the field of view, as in the person recognition device of
ところで、物流拠点のプラットホームにおいてトラック荷台の高さに対応する高さが設定された段差場から塵芥収集車に塵芥を積み込む場合など、塵芥を積み込む作業者等の人物が立つ位置は、必ずしも塵芥収集車の接地面と同じとは限らない現状がある。 By the way, when loading garbage onto a garbage collection vehicle from a platform at a distribution center where the height is set to correspond to the height of the truck loading platform, the position where the worker or other person loading the garbage stands is not necessarily the same as the garbage collection area. The current situation is that it is not necessarily the same as the ground contact surface of a car.
そのため、従来の人物認識装置においては、塵芥収集車の接地面よりも高い段差場に立って行う塵芥の積み込み作業の際には、カメラの設置位置との関係で人物の頭部がカメラの撮影範囲からはみ出してしまい人物と認識できないことがある、という問題があった。 Therefore, with conventional person recognition devices, when loading garbage while standing on a step that is higher than the ground level of the garbage collection truck, there was a problem in that the person's head may be outside the camera's shooting range due to the camera's installation position, and the person may not be recognized.
本発明は上記課題に鑑みてなされたものであり、人物の認識がより確実に行われ、もって塵芥投入口近傍の所定エリアへの人物侵入の有無判定がより確実に行われる人物認識装置およびこれを備える塵芥収集車を提供することを目的とする。 The present invention has been made in view of the above-mentioned problems, and provides a person recognition device and a person recognition device that more reliably recognizes a person and thereby more reliably determines whether or not a person has entered a predetermined area near a garbage inlet. The purpose is to provide a garbage collection vehicle equipped with
本発明の第1の態様に係る人物認識装置は、塵芥収集車の塵芥投入口の上方に設置されたカメラと、該カメラにより撮影された画像のデータに基づき塵芥投入口近傍の人物を認識する画像処理装置とを備えた人物認識装置であって、前記画像処理装置は、前記画像に含まれる物体像を人物の予め定められた身体上部の特徴データと比較して、前記物体像が前記身体上部を表すものか否かを判定する身体上部判定処理と、前記画像に含まれる物体像を人物の予め定められた身体下部の特徴データと比較して、前記物体像が前記身体下部を表すものか否かを判定する身体下部判定処理とを実行可能な人物判定手段と、前記人物判定手段により前記身体上部または前記身体下部を表すと判定された物体像が、前記塵芥投入口近傍の所定エリアに入っているか否かを判定する侵入判定手段と、を有し、前記人物判定手段は、前記身体上部判定処理を実行して前記物体像が前記身体上部を表すものでないと判定した場合に前記身体下部判定処理を実行し、または前記身体下部判定処理を実行して前記物体像が前記身体下部を表すものでないと判定した場合に前記身体上部判定処理を実行する、ことを特徴とする。 A person recognition device according to a first aspect of the present invention recognizes a person near the garbage inlet based on a camera installed above the garbage inlet of a garbage collection vehicle and image data taken by the camera. a person recognition device comprising an image processing device, the image processing device compares an object image included in the image with predetermined feature data of the upper body of the person, and determines whether the object image A body upper part determination process for determining whether the image represents the upper part of the body, and comparing the object image included in the image with predetermined feature data of the lower body part of the person to determine whether the object image represents the lower part of the body. a person determining means capable of executing a body lower part determination process for determining whether or not the object image is determined to represent the upper body part or the lower body part in a predetermined area near the garbage inlet; intrusion determining means for determining whether or not the object image is inside the body; The present invention is characterized in that the lower body determination process is executed, or when the lower body determination process is executed and it is determined that the object image does not represent the lower body part, the upper body determination process is executed.
「身体上部」と「身体下部」は、それぞれ相対的なものであり、身体上で2つ以上の領域を特定した場合において、相対的に上に位置する部分が「身体上部」であり、相対的に下に位置する部分が「身体下部」である。以下、同様である。 The terms "upper body" and "lower body" are relative to each other; when two or more areas of the body are identified, the part that is relatively higher is the "upper body" and the part that is relatively lower is the "lower body". The same applies below.
塵芥収集車の接地面よりも高い所定の段差場に立って行う塵芥の積み込み作業においては、カメラの設置位置との関係で人物の身体上部(たとえば、頭部)がカメラの撮影範囲からはみ出してしまう場合がある。このような場合でも、第1の態様に係る人物認識装置においては、画像処理装置の人物判定手段により、前記画像に含まれる物体像が人物の予め定められた身体下部(たとえば、脚部)の特徴データと比較されて前記物体像が人物の脚部を表すものであるか否かが判定されるので、前記物体像が人物を表すものであるか否かの判定が可能となる。 When loading garbage while standing on a specified step that is higher than the ground surface of the garbage collection truck, the upper part of the person's body (e.g., the head) may be outside the camera's shooting range due to the camera's installation position. Even in such a case, in the person recognition device of the first aspect, the person determination means of the image processing device compares the object image included in the image with feature data of a predetermined lower part of the person's body (e.g., the legs) to determine whether the object image represents the person's legs, making it possible to determine whether the object image represents a person.
一方、塵芥収集車の接地面である路面等に立って行う塵芥の積み込み作業においては、カメラの設置位置との関係で人物の身体下部(たとえば、脚部)が当該人物の身体上部や前記塵芥収集車の影に隠れてしまう場合がある。このような場合でも、第1の態様に係る人物認識装置においては、画像処理装置の人物判定手段により、前記画像に含まれる物体像が人物の予め定められた身体上部(たとえば、頭部)の特徴データと比較されて前記物体像が人物の頭部を表すものであるか否かが判定されるので、前記物体像が人物を表すものであるか否かの判定が可能となる。 On the other hand, when loading garbage while standing on the road surface, which is the ground surface of the garbage collection vehicle, the lower part of the person's body (e.g., legs) may be lower than the upper part of the person's body or the garbage due to the position of the camera. It may be hidden behind the collection vehicle. Even in such a case, in the person recognition device according to the first aspect, the person determination means of the image processing device determines whether the object image included in the image is a predetermined upper part of the person's body (for example, the head). Since it is determined whether the object image represents a person's head by comparing it with the feature data, it is possible to determine whether the object image represents a person.
もちろん、人物の前記身体上部および前記身体下部の両方が撮影されている場合も、前記物体像が人物を表すものであるか否かの判定が可能である。前記身体上部または前記身体下部を表すと判定された物体像は、前記画像処理装置の侵入判定手段により行われる、前記塵芥投入口近傍の所定エリアに入っているか否かの判定に用いられる。 Of course, it is also possible to determine whether the object image represents a person even when both the upper body and the lower body of the person are photographed. The object image determined to represent the upper part of the body or the lower part of the body is used to determine whether or not the object image has entered a predetermined area near the garbage inlet, which is performed by the intrusion determining means of the image processing device.
したがって、第1の態様に係る人物認識装置によれば、人物の頭部の画像に基づいて人物の認識を行う従来の人物認識装置と比較して人物の認識がより確実に行われ、もって塵芥投入口近傍の所定エリアへの人物の侵入有無の判定がより確実に行われるようになる。 Therefore, according to the person recognition device according to the first aspect, a person can be recognized more reliably than a conventional person recognition device that recognizes a person based on an image of the person's head, and thus the garbage can be removed. It becomes possible to more reliably determine whether a person has entered the predetermined area near the input port.
本発明の第2の態様に係る人物認識装置は、塵芥収集車の塵芥投入口の上方に設置されたカメラと、該カメラにより撮影された画像のデータに基づき塵芥投入口近傍の人物を認識する画像処理装置とを備えた人物認識装置であって、前記画像処理装置は、前記塵芥収集車の接地面よりも高い所定の段差場から塵芥を積み込む段差作業が行われているか否かを判定する作業判定手段と、前記作業判定手段により前記段差作業が行われていないと判定された場合は、前記画像に含まれる物体像を人物の予め定められた身体上部の特徴データと比較して、前記物体像が前記身体上部を表すものか否かを判定し、前記作業判定手段により前記段差作業が行われていると判定された場合は、前記画像に含まれる物体像を人物の予め定められた身体下部の特徴データと比較して、前記物体像が前記身体下部を表すものか否かを判定する人物判定手段と、前記人物判定手段により前記身体上部または前記身体下部を表すと判定された物体像が、前記塵芥投入口近傍の所定エリアに入っているか否かを判定する侵入判定手段と、を有する、ことを特徴とする。 A person recognition device according to a second aspect of the present invention recognizes a person near the garbage inlet based on a camera installed above the garbage inlet of a garbage collection vehicle and image data taken by the camera. A person recognition device comprising an image processing device, the image processing device determining whether step work is being performed to load garbage from a predetermined step field higher than a ground plane of the garbage collection vehicle. When the work determining means and the work determining means determine that the step work is not being performed, the object image included in the image is compared with predetermined characteristic data of the upper body of the person; It is determined whether the object image represents the upper part of the body, and if it is determined by the work determination means that the step work is being performed, the object image included in the image is replaced with a predetermined figure of the person. a person determining means for determining whether the object image represents the lower body by comparing it with feature data of the lower body; and an object determined by the person determining means to represent the upper body or the lower body. The apparatus is characterized by comprising an intrusion determining means for determining whether or not the image has entered a predetermined area near the garbage input port.
第2の態様に係る人物認識装置では、前記人物認識装置の作業判定手段により、前記塵芥収集車の接地面よりも高い所定の段差場から塵芥を積み込む段差作業が行われているか否かが判定される。前記作業判定手段により段差作業が行われていないと判定された場合には、つまり、カメラの設置位置との関係で人物の身体上部(たとえば、頭部)が撮影されやすい状況では、前記画像処理装置の人物判定手段により、前記画像に含まれる物体像が人物の予め定められた身体上部(たとえば、頭部)の特徴データと比較されて、前記物体像が前記身体上部(たとえば、頭部)を表すものか否かが判定される。 In the person recognition device according to the second aspect, the work determination means of the person recognition device determines whether or not step work is being performed to load garbage from a predetermined step field higher than the ground contact surface of the garbage collection vehicle. be done. If it is determined by the work determination means that work on a step is not being performed, that is, in a situation where the upper body of the person (for example, the head) is likely to be photographed due to the installation position of the camera, the image processing is performed. The person determining means of the device compares the object image included in the image with predetermined characteristic data of the upper body part (for example, the head) of the person, and determines whether the object image is the upper part of the body (for example, the head). It is determined whether or not it represents.
一方、前記人物認識装置の作業判定手段により段差作業が行われていると判定された場合には、つまり、カメラの設置位置との関係で人物の身体上部(たとえば、頭部)がカメラの撮影範囲からはみ出してしまうことが比較的多い状況では、前記画像処理装置の人物判定手段により、前記画像に含まれる物体像が人物の予め定められた身体下部(たとえば、脚部)の特徴データと比較されて、前記物体像が前記身体下部(たとえば、脚部)を表すものか否かが判定される。 On the other hand, if the work determination means of the person recognition device determines that work is being performed on a step, in other words, the upper part of the person's body (for example, the head) is In a situation where objects are relatively often out of range, the person determining means of the image processing device compares the object image included in the image with predetermined characteristic data of the lower body part (for example, legs) of the person. Then, it is determined whether the object image represents the lower part of the body (for example, a leg).
そして、前記身体上部または前記身体下部を表すと判定された物体像は、前記画像処理装置の侵入判定手段により行われる、前記塵芥投入口近傍の所定エリアに入っているか否かの判定に用いられる。 The object image determined to represent the upper part of the body or the lower part of the body is used to determine whether or not the object image has entered a predetermined area near the garbage inlet, which is performed by the intrusion determining means of the image processing device. .
したがって、第2の態様に係る人物認識装置によれば、人物の頭部の画像に基づいて人物の認識を行う従来の人物認識装置と比較して人物の認識がより確実に行われ、もって塵芥投入口近傍の所定エリアへの人物の侵入有無の判定がより確実に行われるようになる。さらに、前記画像に含まれる物体像の特徴データは、人物の予め定められた身体上部の特徴データと身体下部の特徴データのいずれか一方と比較するだけでよいので、第1の態様に係る人物認識装置と比較し、人物の認識に必要な処理の負荷軽減も図られる。 Therefore, according to the person recognition device according to the second aspect, a person can be recognized more reliably than a conventional person recognition device that recognizes a person based on an image of the person's head, and thus the garbage can be removed. It becomes possible to more reliably determine whether a person has entered the predetermined area near the input port. Furthermore, since the feature data of the object image included in the image need only be compared with either predetermined feature data of the upper body of the person or feature data of the lower body of the person, the person according to the first aspect Compared to recognition devices, the processing load required for person recognition can also be reduced.
本発明の第3の態様に係る人物認識装置は、第1または第2の態様に係る人物認識装置において、前記身体上部の特徴データには、前記身体上部への装着物の大きさ、位置および形状が含まれており、前記身体下部の特徴データには、前記身体下部への装着物の大きさ、位置および形状が含まれていることを特徴とする。 In a person recognition device according to a third aspect of the present invention, in the person recognition device according to the first or second aspect, the feature data of the upper body includes the size, position, and position of an item attached to the upper body. The characteristic data of the lower part of the body includes the size, position, and shape of an item attached to the lower part of the body.
本発明の第4の態様に係る人物位置判定部は、第3の態様に係る人物位置判定部において、前記身体上部の特徴データは、前記塵芥収集車の接地面に立つ人物の予め定められた身体上部の複数の画像の機械学習により取得されたものであり、前記身体下部の特徴データは、前記身体上部が撮影されない高さ位置に立つ人物の予め定められた身体下部の複数の画像の機械学習により取得されたものであることを特徴とする。 The person position determination unit according to a fourth aspect of the present invention is configured such that, in the person position determination unit according to the third aspect, the upper body feature data is a predetermined characteristic data of a person standing on a ground surface of the garbage collection vehicle. The feature data of the lower body is obtained by machine learning of multiple images of the upper body, and the feature data of the lower body is acquired by machine learning of multiple images of the lower body of a person standing at a height where the upper body is not photographed. It is characterized by being acquired through learning.
本発明の第5の態様に係る人物認識装置は、第4の態様に係る人物認識装置において、前記身体上部は、頭部であり、前記身体下部は、脚部であることを特徴とする。 A person recognition device according to a fifth aspect of the present invention is characterized in that in the person recognition device according to the fourth aspect, the upper body portion is a head, and the lower body portion is a leg portion.
本発明の第6の態様に係る人物認識装置は、第2の態様に係る人物認識装置において、前記作業判定手段は、前記画像に含まれる物体像を前記段差場の特徴データと比較して、前記物体像が前記段差場を表すものか否かの判定を行い、前記物体像が前記段差場を表すものでないと判定した場合には前記段差作業が行われていないと判定し、前記物体像が前記段差場を表すものと判定した場合には前記段差作業が行われていると判定することを特徴とする。 A person recognition device according to a sixth aspect of the present invention is the person recognition device according to the second aspect, in which the work determining means compares an object image included in the image with characteristic data of the step field. It is determined whether the object image represents the step field, and if it is determined that the object image does not represent the step field, it is determined that the step work is not being performed, and the object image is If it is determined that represents the step field, it is determined that the step work is being performed.
本発明の第7の態様に係る人物認識装置は、第2の態様に係る人物認識装置において、所定の接近信号を発信する、前記段差場に設けられた接近信号発信機と、前記接近信号発信機との距離が所定値以内となる場合に、前記接近信号を検知する、前記塵芥収集車に設けられた接近信号検知装置と、をさらに備え、前記画像処理装置の作業判定手段は、前記接近信号検知装置が前記接近信号を検知していない場合には前記段差作業が行われていないと判定し、前記接近信号検知装置が前記接近信号を受信している場合には前記段差作業が行われていると判定する、ことを特徴とする。 A person recognition device according to a seventh aspect of the present invention is the person recognition device according to the second aspect, which includes: an approach signal transmitter provided at the step field that transmits a predetermined approach signal; further comprising: an approach signal detection device provided on the garbage collection vehicle that detects the approach signal when the distance to the garbage collection vehicle is within a predetermined value; If the signal detection device does not detect the approach signal, it is determined that the step work is not being performed, and if the approach signal detection device has received the approach signal, the step work is not performed. It is characterized by the fact that it is determined that the
本発明の第8の態様に係る人物認識装置は、第2の態様に係る人物認識装置において、衛星測位システムを利用して前記塵芥収集車の位置情報を取得する位置情報取得装置をさらに備え、前記画像処理装置の作業判定手段は、前記位置情報取得装置が取得した位置情報を参照し、前記塵芥収集車が所定の位置にない場合には前記段差作業が行われていないと判定し、前記塵芥収集車が所定の位置にある場合には前記段差作業が行われていると判定する、ことを特徴とする。 A person recognition device according to an eighth aspect of the present invention is the person recognition device according to the second aspect, further comprising a position information acquisition device that acquires position information of the garbage collection vehicle using a satellite positioning system, The work determination means of the image processing device refers to the position information acquired by the position information acquisition device, determines that the step work is not being performed when the garbage collection vehicle is not at a predetermined position, and determines that the step work is not being performed. The present invention is characterized in that it is determined that the step work is being performed when the garbage collection vehicle is at a predetermined position.
本発明の第9の態様は、第1または第2の態様の人物認識装置を備えた塵芥収集車である。 A ninth aspect of the present invention is a garbage collection vehicle equipped with the person recognition device of the first or second aspect.
本発明に係る人物認識装置またはこれを備える塵芥収集車によれば、人物の認識が従来よりも確実に行われ、もって塵芥投入口近傍の所定エリアへの人物侵入の有無判定がより確実に行われる。 According to the person recognition device or the garbage collection vehicle equipped with the same according to the present invention, a person can be recognized more reliably than before, and therefore it is possible to more reliably determine whether or not a person has entered a predetermined area near the garbage inlet. be exposed.
以下、本発明の第1実施形態に係る人物認識装置ついて、添付の図面を参照して説明する。第1実施形態に係る人物認識装置は、図1に示す塵芥収集車100に適用されている。なお、以下の説明において、前後左右は塵芥収集車の進行方向に視たときを基準とする。
DESCRIPTION OF THE PREFERRED EMBODIMENTS A person recognition device according to a first embodiment of the present invention will be described below with reference to the accompanying drawings. The person recognition device according to the first embodiment is applied to a
塵芥収集車100は、図1に示すように、車台1上に塵芥収容箱2と塵芥投入箱3を備える。塵芥収容箱2の後方の開口部と塵芥投入箱3の前面の開口部とは連通している。塵芥投入箱3は、その上部に設けられた左右方向のヒンジ3aによって塵芥収容箱2に対して軸支されており、左右一対の傾動シリンダ(図示省略)により傾動可能になっている。
As shown in FIG. 1, the
塵芥投入箱3の背面における下寄りの部位には、塵芥を投入するための略矩形状の塵芥投入口4が設けられ、昇降可能なテールゲート5によって塵芥投入口4が開閉されるようになっている。塵芥投入口4の左方側には、塵芥積込装置31(図3)を操作するためのスイッチボックス6が設けられている。また、塵芥投入口4の上方には、塵芥投入口4およびその近傍のエリアを撮影するためのカメラユニット7が設置されている。カメラユニット7は、塵芥投入口4よりも上方に設定された塵芥投入箱3の傾斜後面部(湾曲状の後面部)3bの前方側から後方側に向かって突出する支持部材80を介し、塵芥投入箱3の上部に固定されている。
A roughly rectangular
具体的に説明すると、支持部材80は、図2~図4に示すように傾斜後面部3bの左右両端部に基端部を有する枠状となっている。カメラユニット7は、支持部材80の後端かつ左右方向中央部に固定されていて、カメラ71、作動中ランプ72、検出ランプ73を有する。
Specifically, the
カメラ71は、カメラユニット7の左右方向中央部に設けられた凹部74内に取付ブラケット75を介して取り付けられており、撮像レンズ71aの光軸が斜め下方を向くように方向設定されている。このカメラ71は、取付ブラケット75を介して水平軸回りに上下回動可能になっている。カメラユニット7の凹部74の左右両側には、水平面に対して後方上傾状の(車両後方に向かうにつれて上方に傾斜する)固定面7aが設けられている。左側の固定面7aには作動中ランプ72が下向きに取り付けられている。また、右側の固定面7aには、検出ランプ73が下向きに取り付けられている。
The
図3に示すように、塵芥投入箱3の内部には、投入された塵芥Gを塵芥収容箱2に積み込む塵芥積込装置31が備えられている。この塵芥積込装置31により、塵芥投入箱3に投入された塵芥を塵芥投入箱3の前方に連設された塵芥収容箱2へ押し込むようになっている。なお、塵芥収容箱2には、収容した塵芥を排出する図示しない塵芥排出装置が設けられている。
As shown in FIG. 3, inside the
塵芥積込装置31は、塵芥投入箱3に投入された塵芥を回転板10の回転によって掻き上げるとともに押込板20よって塵芥収容箱2内へと押し込む、いわゆる回転板式の塵芥積込装置である。塵芥投入箱3内の下部においてその幅方向に延びるように回転軸11が架設され、これに回転板10の基端側が固定されている。図示の例では、回転軸11の端部に減速機構12を介して正逆回転可能な油圧モータ13が連結されている。油圧モータ13の回転が減速機構12によりトルクアップされて回転軸11に伝達され、この回転軸11と一体になって回転板10が回転する。回転板10が回転することにより、回転板10の先端部は、断面略半円弧状に形成された塵芥投入箱3の底壁に沿って前後方向に移動するようになる。
The
一方、押込板20は、回転板10の上方において塵芥投入箱3の幅方向全体に亘って設けられ、その上部に設けられた左右方向の揺動軸21の周りに前後方向に揺動自在に支持されている。また、塵芥投入箱3内において揺動軸21よりも上方であって前方側の位置には支持ピン23が備えられている。そして、押込板20には揺動軸21よりも上方に延びる延設部22が設けられていて、この延設部22と支持ピン23との間には押込シリンダ24が架設されている。この押込シリンダ24を伸縮させることによって、押込板20を前後方向に揺動させるようになっている。
On the other hand, the
ここで、塵芥積込装置31の動作について説明する。図3に実線で示すように、押込板20が揺動して塵芥収容箱2側に最も接近した位置(前進限界位置)にあるときは、この押込板20に干渉することなく回転板10が上方に回動するようになり、これに遅れて押込板20が塵芥投入口4側へ揺動する。そして、押込板20が揺動して塵芥投入口4側に最も接近し、図3に仮想線で示す位置(後退限界位置)に達した後も、回転板10の回動は継続する。
Here, the operation of the
このように回転する回転板10は、塵芥を塵芥収容箱2側に掻き込んで、図3に実線で示すように、前方の塵芥収容箱2側に延びる設定停止位置で一旦停止する。そうすると、今度は押込板20が塵芥収容箱2側に揺動して、回転板10上の塵芥を塵芥収容箱2に押し込んでいく。そして、押込板20が再び前進限界位置に達すると、再び回転板10が上方へ回動するようになる。
The
このように互いに同期して回転板10の回転および押込板20の揺動が繰り返されることにより、塵芥投入箱3に投入された塵芥が連続的に塵芥収容箱2に積み込まれる塵芥積込動作が行われる。この回転板10および押込板20を作動させるための油圧回路および制御系の構成について後述する。
By repeating the rotation of the
塵芥投入箱3の内部には、回転板10および押込板20の位置を検出するためのスイッチLS1~LS4が設けられている。具体的には、図3に示すように、押込板20が前進限界位置または後退限界位置にあるときにそれぞれオンになるスイッチLS1,LS2と、回転板10が設定停止位置にあるときにオンになるスイッチLS3と、その設定停止位置から回転板10が正の向き(図1の時計回り)に所定角度回転したときにオンになり、さらに所定角度回転したときにオフになるスイッチLS4とが設けられている。
Inside the
なお、スイッチLS1,LS2は、押込板20の揺動軸21の端部に設けられたドグ(図示省略)を検出するようになっており、スイッチLS3~LS4は、回転板10の回転軸11の端部に設けられたドグ(図示省略)を検出するようになっている。また、これらのスイッチLS1~LS4としては、たとえばリミットスイッチ、光電スイッチ、近接スイッチなどを用いることができる。また、スイッチLS4は、図3にハッチングで示すように、回転板10が塵芥投入口4の前縁部4aの真下から、その後方へ回転しつつ下降して塵芥投入口4の後縁部4bに最も近接するまでの角度範囲Zを検出するもので、回転板10が塵芥投入口4の近傍にて作動していることを検出するためのセンサである。
The switches LS1 and LS2 are designed to detect a dog (not shown) provided at the end of the
さらに、図1、図3に示すように、塵芥投入口4の近傍には、塵芥積込装置31の作動を停止させるための緊急停止ボタン60,61や、緊急停止プレート62などが配設されている。図1に示すように、塵芥投入口4の左側に設けられたスイッチボックス6の側面に緊急停止ボタン60(図6のスイッチSW1に対応)が配設され、また、図3に破線で示すように、塵芥投入口4の右側に緊急停止ボタン61(図6のスイッチSW3に対応)が配設されている。緊急停止プレート62は、塵芥投入口4の下方においてスイッチSW2をオンオフするように配設されている。また、図2に示すように、スイッチボックス6の後面には、停止解除スイッチ63が配設されている。この停止解除スイッチ63はたとえばモーメンタリのスイッチSW4をオンオフするように配設されている。停止解除スイッチ63は、後述するように、画像認識による塵芥積込装置31の塵芥積込動作の緊急停止を一時的に解除する際に操作される。
Furthermore, as shown in Figs. 1 and 3,
次に、塵芥積込装置31の制御系を構成している油圧回路C(図5)、ならびに制御装置PLC(プログラマブルロジックコントローラ)および画像処理ユニット9を含む電気回路E(図6)について説明する。なお、制御装置PLCは、塵芥積込装置31の駆動だけでなく塵芥排出装置の駆動も制御するようになっている。
Next, the hydraulic circuit C (FIG. 5), which constitutes the control system of the
油圧回路Cは、図5に示すように、油圧ポンプPと、オイルリザーバTと、押込シリンダ24を制御するための第1電磁制御弁V1と、油圧モータ13を制御するための第2電磁制御弁V2とを有する。なお、油圧ポンプPには、図示しないエンジンの動力を取り出すPTO(パワーテイクオフ)によって駆動力が伝達されるようになっている。
As shown in FIG. 5, the hydraulic circuit C includes a hydraulic pump P, an oil reservoir T, a first electromagnetic control valve V1 for controlling the
第1、第2電磁制御弁V1,V2は、いずれも6ポート3位置の電磁式の方向切替弁からなる。第1電磁制御弁V1は、制御装置PLCによりソレノイドSOLaが励磁されると第1連通位置(図5の上位置)に切り替わり、油圧ポンプPからの作動油を一対の押込シリンダ24のロッド側油室に供給する。一方、第1電磁制御弁V1は、制御装置PLCによりソレノイドSOLbが励磁されると第2連通位置(図5の下位置)に切り替わり、作動油をヘッド側油室に供給する。
The first and second electromagnetic control valves V1 and V2 are both 6-port, 3-position electromagnetic directional switching valves. The first electromagnetic control valve V1 switches to the first communication position (upper position in FIG. 5) when the solenoid SOLa is excited by the control device PLC, and transfers the hydraulic oil from the hydraulic pump P to the rod side oil of the pair of
第1電磁制御弁V1から作動油がヘッド側油室に供給されると、一対の押込シリンダ24が伸長して押込板20を前方に揺動させる。一方、作動油がロッド側油室に供給されると、一対の押込シリンダ24は収縮して押込板20を後方に揺動させる。いずれのソレノイドSOLa,SOLbも励磁されていないときには、第1電磁制御弁V1は中立位置(図5の中央位置)に復帰する。
When hydraulic oil is supplied from the first electromagnetic control valve V1 to the head-side oil chamber, the pair of
第2電磁制御弁V2は、ソレノイドSOLcが励磁されると第1連通位置(図5の下位置)に切り替わり、作動油を油圧モータ13の正転側油室に供給し、油圧モータ13を正転させるほか、押込シリンダ24も伸縮させることができる。一方、ソレノイドSOLdが励磁されると第2電磁制御弁V2は第2連通位置(図5の上位置)に切り替わり、作動油を油圧モータ13の逆転側油室に供給し、油圧モータ13を逆転させる。
When the solenoid SOLc is excited, the second electromagnetic control valve V2 switches to the first communication position (lower position in FIG. 5), supplies hydraulic oil to the normal rotation side oil chamber of the
また、いずれのソレノイドSOLc,SOLdも励磁されていないときに、第2電磁制御弁V2は中立位置(図5の中央位置)に復帰する。第1、第2電磁制御弁V1,V2の両方が中立位置にあるとき、作動油はオイルリザーバTへ還流するようになる。なお、油圧回路Cには、作動油の流れ方向を規制するチェック弁V3、油圧ポンプPの吐出圧上限を調節するためのリリーフ弁V4が設けられている。 Furthermore, when neither of the solenoids SOLc and SOLd is energized, the second electromagnetic control valve V2 returns to the neutral position (center position in FIG. 5). When both the first and second electromagnetic control valves V1 and V2 are in the neutral position, the hydraulic oil returns to the oil reservoir T. The hydraulic circuit C is provided with a check valve V3 for regulating the flow direction of hydraulic oil and a relief valve V4 for regulating the upper limit of the discharge pressure of the hydraulic pump P.
次に、図6を参照して制御装置PLCおよび画像処理ユニット9における信号の流れを説明する。制御装置PLCへの電力供給はバッテリBTによって行われる。このバッテリBTの正極から図6の右側に延びてグランドラインK1に至る通電ラインK2には、塵芥収集車100のイグニッションスイッチSWK、PTOスイッチSWP、リレーコイルR1などが介設されている。
Next, the flow of signals in the control device PLC and the
また、通電ラインK2から分岐する通電ラインK3の上流端がイグニッションスイッチSWKとバッテリBTとの間に接続されており、その上流側(バッテリBTに近い側)にはリレーコイルR1の接点(リレースイッチ)r1が介設されている。この通電ラインK3には電源ランプLが介設されており、リレーコイルR1が励磁されて接点r1が閉じられると、通電ラインK3に通電することによって電源ランプLが点灯する。 In addition, the upstream end of the current-carrying line K3 branching from the current-carrying line K2 is connected between the ignition switch SWK and the battery BT, and the contact point of the relay coil R1 (the relay switch ) r1 is interposed. A power lamp L is interposed in this energizing line K3, and when the relay coil R1 is energized and the contact r1 is closed, the power lamp L is turned on by energizing the energizing line K3.
また、通電ラインK3から分岐する通電ラインK4の上流端がリレーコイルR1の接点r1と電源ランプLとの間に接続されており、これにより制御装置PLCの信号用電力供給部(図示省略)に電力が供給されるようになっている。つまり、接点r1が閉じられると、通電ラインK3,K4を介して制御装置PLCに電力が供給される。 The upstream end of the current carrying line K4, which branches off from the current carrying line K3, is connected between the contact r1 of the relay coil R1 and the power lamp L, thereby supplying power to the signal power supply section (not shown) of the control device PLC. In other words, when the contact r1 is closed, power is supplied to the control device PLC via the current carrying lines K3 and K4.
さらに、通電ラインK4から分岐する通電ラインK5により、塵芥積込装置31の塵芥積込作動中には必ず制御装置PLCに通電されるようになっている。つまり、通電ラインK5は、いわゆる積込継続信号を入力するラインであり、ここには、上述した緊急停止ボタン60,61および緊急停止プレート62の操作に対応して開閉されるスイッチSW1~SW3などが介設されている。これらのスイッチSW1~SW3によって通電(つまり、積込継続信号の入力)が遮断されると、制御装置PLCは、第1、第2電磁制御弁V1,V2のソレノイドSOLa~SOLdを励磁させるための制御信号の出力をオフするようになっている。これにより、第1、第2電磁制御弁V1,V2が中立位置に復帰し、塵芥積込装置31の作動が停止するようになっている。
Further, an energization line K5 branching from the energization line K4 ensures that the control device PLC is always energized during the garbage loading operation of the
また、通電ラインK4にはその途中から分岐する複数の分岐ラインが接続されており、これらの分岐ラインのそれぞれに、上述したスイッチLS1~LS4が介設されている。スイッチLS1~LS4からの信号は制御装置PLCに入力されるようになっており、これらの信号に基づいて塵芥積込装置31の回転板10および押込板20の位置、つまり、動作状況が検出される。
Further, a plurality of branch lines branching from the middle of the energizing line K4 are connected, and the above-described switches LS1 to LS4 are interposed in each of these branch lines. Signals from the switches LS1 to LS4 are input to the control device PLC, and based on these signals, the positions of the
さらに、スイッチLS1~LS4の他にも制御装置PLCへの入力側には、塵芥積込装置31を作動させるための積込スイッチ(積込ボタン)SW5、塵芥積込装置31の塵芥積込動作または塵芥排出装置の塵芥排出動作を切り替えるための切替スイッチSW6、塵芥投入箱3を傾動および開放させるためのスイッチSW7が接続されている。このほか、塵芥積込動作の単動または連続の選択スイッチ(図示省略)、回転板10や押込板20を単独で作動させるスイッチ(図示省略)なども電気的に接続されている。切替スイッチSW6は、通電ラインK4から通電ラインK5が分岐する分岐位置に設けられており、通電ラインK5は切替スイッチSW6の積込側に接続されている。
Furthermore, in addition to the switches LS1 to LS4, on the input side to the control device PLC, there is a loading switch (loading button) SW5 for operating the
上述のように制御装置PLCの入力側には各種スイッチが接続されている一方、制御装置PLCの出力側には第1、第2電磁制御弁V1,V2のソレノイドSOLa~SOLdなどが接続されている。そして、制御装置PLCは、スイッチSW1~SW3,LS1~LS4などから入力する信号に基づいて、予め設定された手順に従い、油圧モータ13や押込シリンダ24などを作動させるべく、対応するソレノイドSOLa~SOLdに出力するようにプログラムされている。
As mentioned above, various switches are connected to the input side of the control device PLC, while solenoids SOLa to SOLd of the first and second electromagnetic control valves V1 and V2 are connected to the output side of the control device PLC. There is. Then, the control device PLC operates the corresponding solenoids SOLa to SOLd in order to operate the
具体的には、塵芥積込装置31が塵芥積込動作するときには、通電ラインK2上のイグニッションスイッチSWKおよびPTOスイッチSWPがいずれもオンになると、リレーコイルR1が励磁される。これにより、リレーコイルR1の接点r1が閉じられるので、通電ラインK3およびK4によって制御装置PLCに電力供給される。これにより、制御装置PLCが作動可能な状態になり、ソレノイドSOLa~SOLdに制御信号を出力しうるようになる。
Specifically, when the
制御信号を受けたソレノイドSOLa~SOLdは励磁され、第1、第2電磁制御弁V1,V2の連通位置が適宜切り替えられ、そして、油圧モータ13や押込シリンダ24などに作動油圧が適宜供給される。これにより、油圧モータ13や押込シリンダ24などがそれぞれ作動し、上述したように回転板10の回転および押込板20の揺動が互いに同期して繰り返されることになる。
The solenoids SOLa to SOLd that receive the control signal are excited, the communication positions of the first and second electromagnetic control valves V1 and V2 are appropriately switched, and the hydraulic pressure is appropriately supplied to the
より詳細には、図3に実線で示すように押込板20が前進限界位置にあり、スイッチLS1からオン信号が出力されるとともに、回転板10が設定停止位置にあり、スイッチLS3からもオン信号が出力されたときに、積込スイッチSW5の信号を受けた制御装置PLCから制御信号が出力される。そして、第2電磁制御弁V2が第1連通位置に切り替えられて油圧モータ13が正転動作を開始し、回転板10が上方に回動し始める。
More specifically, as shown by the solid line in FIG. 3, the
所定の期間が経過すると制御装置PLCからソレノイドSOLaへ制御信号が出力される。これにより、第1電磁制御弁V1が第1連通位置に切り替えられ、押込シリンダ24が収縮動作を開始し、押込板20は後方の塵芥投入口4側へと揺動する。押込板20が後退限界位置に達すると、スイッチLS2からオン信号が出力される。
When a predetermined period has elapsed, a control signal is output from the control device PLC to the solenoid SOLa. As a result, the first electromagnetic control valve V1 is switched to the first communication position, the
制御装置PLCは、スイッチLS2からのオン信号を受けると、ソレノイドSOLaへの制御信号の出力を停止する。これにより、第1電磁制御弁V1が中立位置に復帰し、押込板20の揺動が停止する。また、押込板20が揺動している間も回転板10の回動は継続し塵芥を塵芥収容箱2側に掻き込んでいくが、こうして回動する回転板10が設定停止位置に至ると、スイッチLS3からオン信号が出力される。
When the control device PLC receives the ON signal from the switch LS2, it stops outputting the control signal to the solenoid SOLa. As a result, the first electromagnetic control valve V1 returns to the neutral position, and the swinging of the
制御装置PLCは、スイッチLS3からのオン信号を受けると、ソレノイドSOLcへの制御信号の出力を停止する。これにより、第2電磁制御弁V2が中立位置に復帰し、油圧モータ13の回動が停止する。また、制御装置PLCは、ソレノイドSOLbへ制御信号を出力する。これにより、第1電磁制御弁V1が第2連通位置に切り替えられて、押込シリンダ24が伸長動作を開始し、押込板20が前方に揺動し始める。
When the control device PLC receives the ON signal from the switch LS3, it stops outputting the control signal to the solenoid SOLc. As a result, the second electromagnetic control valve V2 returns to the neutral position, and the rotation of the
こうして前方の塵芥収容箱2側に揺動する押込板20が回転板10上の塵芥を塵芥収容箱2に押し込んでいき、前進限界位置に達すれば、スイッチLS1からオン信号が出力される。これを受けて制御装置PLCがソレノイドSOLbへの制御信号の出力を停止することで、第1電磁制御弁V1が中立位置に復帰し、押込シリンダ24の伸長作動、つまり、押込板20の前方への揺動が停止し、一連の動作が終了する。
In this way, the pushing
また、図6に示すように、イグニッションスイッチSWKおよびPTOスイッチSWPの間に通電ラインK6の上流端が接続されている。この通電ラインK6には、画像処理ユニット9が接続されている。イグニッションスイッチSWKがオンになると、通電ラインK6を介し、画像処理ユニット9に電力が供給される。画像処理ユニット9は、通電ラインK7を介してカメラユニット7のカメラ71に接続されている。また、画像処理ユニット9には、通電ラインK8を介して、車両の運転操作に基づく後退信号が入力されるようになっている。
Further, as shown in FIG. 6, the upstream end of the current supply line K6 is connected between the ignition switch SWK and the PTO switch SWP. An
画像処理ユニット9には、所定のプログラムを実行して各種の制御を行う中央処理部CPU、カメラ71からの画像データを取得し画像処理を行う画像処理部DSP、中央処理部CPUや画像処理部DSPにおいて使用されるデータを記憶するメモリM、中央処理部CPUの指令を受けて監視用のモニタ93(図1参照)に画像処理の結果などを表示させる画像出力部VOPが設けられている。また、画像処理ユニット9には、GNSS(Global Navigation Satellite System)などの衛星測位システムを利用して塵芥収集車100の位置情報を取得する位置情報取得装置GR、予め定められた塵芥積み込み場所に設けられた接近信号発信機から発信される接近信号を検知する接近信号検知装置CR、データログの時刻を計時する計時部C、カメラ71の制御を行うカメラ制御部(図示省略)などが設けられている。画像処理部DSPは、画像処理ロジックを高速で行う集積回路であり、図13のフローチャートに示す人物認識処理を実行する。
The
なお、リレーコイルR1の接点r1よりも上流側には、通電ラインK3から分岐する通電ラインK9の上流端が接続されており、この通電ラインK9を介して計時部Cへの電力供給が行われる。このため、イグニッションスイッチSWKがオフの場合にも、計時部Cへの通電が常時行われるようになっている。 Note that the upstream end of a current-carrying line K9 branching from the current-carrying line K3 is connected to the upstream side of the contact r1 of the relay coil R1, and power is supplied to the timer C via this current-carrying line K9. . Therefore, even when the ignition switch SWK is off, the timekeeping section C is always energized.
ここで、中央処理部CPUおよび画像処理部DSPは、いずれも本発明の画像処理装置を構成している。そして、この画像処理装置と先述のカメラ71は、本発明の人物認識装置を構成している。
Here, both the central processing unit CPU and the image processing unit DSP constitute the image processing device of the present invention. This image processing device and the above-mentioned
また、画像処理ユニット9には、通電ラインK5から分岐する通電ラインK10が接続されている。この通電ラインK10は、画像処理ユニット9による人物認識処理に関するもので、塵芥積込装置31の塵芥排出動作の際は作動せず、塵芥積込装置31の塵芥積込動作の際に作動させるための積込信号ラインになっている。通電ラインK10は、切替スイッチSW6の積込側に接続されており、PTOスイッチSWPがオンであって、切替スイッチSW6が積込側に切り替えられている場合に、画像処理ユニット9に積込ライン信号が入力されるようになっている。
Further, the
画像処理ユニット9と制御装置PLCとの間には、作動スイッチSWSが介在する。画像処理ユニット9には、人物安全信号の出力ポートが設けられており、この出力ポートと作動スイッチSWSとが通電ラインK16により接続されている。また、画像処理ユニット9には、データログ開始信号の入力ポートが設けられており、この入力ポートと作動スイッチSWSとが通電ラインK17により接続されている。また、作動スイッチSWSには、通電ラインK10から分岐された通電ラインK15が接続されている。
An actuation switch SWS is interposed between the
作動スイッチSWSがオン側に切り替えられている場合、通電ラインK16と通電ラインK12を介して画像処理ユニット9の人物安全信号の出力ポートと制御装置PLCが接続される。
When the operation switch SWS is turned on, the output port of the person safety signal of the
ここで、画像処理ユニット9から出力される人物安全信号は、通電ラインK16と通電ラインK12とを通って制御装置PLCに入力される。しかし、塵芥積込装置31の塵芥積込動作の際に人物が侵入禁止エリア(後述する図7~図10における第2の検知エリアY12)に入ると、画像処理ユニット9から人物安全信号が出力されず、制御装置PLCに人物安全信号が入力されないようになっている。制御装置PLCは、人物安全信号の入力がないことを条件の1つとして、塵芥積込装置31の塵芥積込動作の緊急停止を行うようになっている。
Here, the person safety signal output from the
また、作動スイッチSWSがオン側に切り替えられている場合、通電ラインK6から分岐する通電ラインK11が通電ラインK17と接続される。この場合、イグニッションスイッチSWKがオンになると、通電ラインK6に通電が行われることにより、通電ラインK11と通電ラインK17を通じて、データログ開始信号が画像処理ユニット9に送られる。そして、それをトリガとしてデータログが実行される。
When the operation switch SWS is switched to the on side, the current carrying line K11 branching off from the current carrying line K6 is connected to the current carrying line K17. In this case, when the ignition switch SWK is turned on, the current carrying line K6 is energized, and a data logging start signal is sent to the
一方、作動スイッチSWSがオフ側に切り替えられている場合、通電ラインK15と通電ラインK12とを介して、通電ラインK10と制御装置PLCとが接続される。この場合、画像処理ユニット9に積込ライン信号が入力されているときに、通電ラインK10からの電圧が、人物安全信号の代わりに制御装置PLCに入力される。このため、画像処理ユニット9が侵入禁止エリアで人物を認識したか否かにかかわらず、制御装置PLCには常に人物安全信号が入力されるようになる。なお、作動スイッチSWSがオフ側に切り替えられている場合、通電ラインK17への通電は行われず、データログは開始されないようになっている。
On the other hand, when the operation switch SWS is switched to the OFF side, the current carrying line K10 is connected to the control device PLC via the current carrying line K15 and the current carrying line K12. In this case, when the loading line signal is input to the
また、画像処理ユニット9と制御装置PLCとの間には、停止解除スイッチ63に対応するスイッチSW4が介在している。スイッチSW4は、通電ラインK10から分岐する通電ラインK13に介設されている。停止解除スイッチ63がオン操作されていない場合には、スイッチSW4がオフ状態になっており、制御装置PLCには、信号が入力されないようになっている。一方、停止解除スイッチ63がオン操作された場合には、スイッチSW4がオン状態になり、画像処理ユニット9に積込ライン信号が入力されているとき、通電ラインK10からの電圧が停止解除のオン信号として制御装置PLCに入力されるようになっている。なお、塵芥積込装置31の塵芥排出動作の際には、画像処理ユニット9に積込ライン信号が入力されないため、停止解除スイッチ63の機能が無効になる。
Further, a switch SW4 corresponding to the
制御装置PLCは、停止解除スイッチ63のオン信号を認識した場合、画像処理ユニット9からの人物安全信号の入力がなくなったとしてもそれを条件として塵芥積込装置31の塵芥積込動作の緊急停止を行わないようになっている。
When the control device PLC recognizes the ON signal of the
画像処理ユニット9には、運転席周辺に配設されているパイロットランプ(図示省略)、塵芥投入口4の近傍に配設されている作動中ランプ72および検出ランプ73が電気的に接続されており、それらの点灯制御が中央処理部CPUにより行われる。また、画像処理ユニット9には、後退警告音を出力するブザー91が接続されており、この制御についても中央制御部CPUにより行われる。作動中ランプ72、検出ランプ73およびブザー91の低電位側は、通電ラインK14を介してグランドラインK1に接続されている。
A pilot lamp (not shown) disposed around the driver's seat, an operating
作動中ランプ72は、原則として画像処理ユニット9に積込ライン信号が入力されている場合にオンされる(点灯される)。検出ランプ73は、原則として画像処理ユニット9に積込ライン信号が入力され、かつ、後述する人物認識処理によって塵芥投入口4近傍の人物検出用エリアに人物が入っていると判定された場合にオンされる(点灯される)。
In principle, the operating
一方、作動中ランプ72および検出ランプ73は、画像処理ユニット9に積込ライン信号が入力されている状態で画像処理ユニット9が塵芥投入口4近傍の人物検出用エリアに人物が入っていると判定したとしても、例外として点灯されない場合がある。この例外とは、停止解除スイッチ63がオンされてから停止解除のオン信号が制御装置PLCに入力されている場合である。この場合、制御装置PLCがリレーコイルR2を励磁してリレースイッチr2が画像処理ユニット9から作動中ランプ72および検出ランプ73への出力を遮断することにより、作動中ランプ72および検出ランプ73は、強制的に消灯されるようになっている。これにより、作業者に対し、画像処理ユニット9の人物認識処理の機能が無効にされていることを、確実に知らせるようになっている。
On the other hand, the operating
なお、作動中ランプ72および検出ランプ73は、画像処理ユニット9に積込ライン信号が入力されていることを条件にして点灯するものであるため、その入力がない塵芥排出動作を行う場合や車両後退動作を行う場合には、作動中ランプ72および検出ランプ73が消灯されるようになっている。つまり、制御装置PLCは、切替スイッチSW6を塵芥積込動作(積込側)に切り替えた場合には、作動中ランプ72および検出ランプ73の作動を有効(点灯可能)にする一方、切替スイッチSW6を塵芥排出動作(排出側)に切り替えた場合には、作動中ランプ72および検出ランプ73の作動を無効(常時消灯)にする制御を行うようになっている。
Note that the operating
また、図1に示すように、塵芥投入箱3の背面の上部、言い換えれば、塵芥投入口4の上方にはカメラ71が配設され、その撮像レンズ71a(図4参照)が後方の斜め下に向けられている。図7には、道路上において塵芥投入口4の近傍に立った人物H(作業者)が両腕を前方に伸ばして、塵芥G(図8のごみ袋)を積み込む様子が示されている。また、図9には、プラットホーム上において塵芥投入口4の近傍に立った人物Hが塵芥G(図10のごみ袋)を積み込む様子が示されている。
Further, as shown in FIG. 1, a
カメラ71の撮像レンズ71aの光軸は、塵芥投入口4の近傍を撮影するために、鉛直下向きからやや後方に振り向けられて、塵芥投入口4の近傍の人物Hおよび塵芥Gを上方から撮影するようになっている。
The optical axis of the
画像処理ユニット9は、カメラ71によって撮影されて画像処理ユニット9に入力された画像のデータに基づき、作業者などの人物Hが塵芥投入口4およびその後方の人物検出用エリア(図8、図10において破線で囲まれたエリアと実線で囲まれたエリア)にいるか否かを判定する。そして、制御装置PLCは、画像処理ユニット9が人物検出用エリアに人物Hがいると判定すれば、塵芥積込装置31の作動を停止させるか否かを判定する。
The
積込用の人物検出用エリアは、第1の検知エリアY11(図8、図10に破線で示すエリア)と第2の検知エリアY12(図8、図10に実線で示すエリア)とに分かれている。第2の検知エリアY12は、第1の検知エリアY11よりも塵芥投入口4の近傍に設けられ、侵入禁止エリアとして設定されている。
The area for detecting people for loading is divided into a first detection area Y11 (area indicated by a broken line in FIGS. 8 and 10) and a second detection area Y12 (area indicated by a solid line in FIGS. 8 and 10). ing. The second detection area Y12 is provided closer to the
画像処理ユニット9は、第1の検出エリアY11または第2の検知エリアY12に人物Hがいるか否かを判定し、侵入禁止エリアとしての第2の検知エリアY12に人物Hがいると判定すれば停止信号を制御装置PLCに送る。たとえば、第1の検知エリアY11は、作業者が塵芥積込作業を行う際の通常エリアであり、塵芥投入口4の近傍の矩形のエリアに設定される。第2の検知エリアY12は、塵芥投入口4の前縁部4aと後縁部4b近傍との間の矩形のエリアに設定される。この第2の検知エリアY12は、少なくとも塵芥投入口4の前縁部4a、後縁部4b、左縁部4c、および右縁部4dで囲まれた領域の一部を含むように設定されている。
The
これに加え、塵芥収集車100の後退時、人物Hが塵芥投入口4後方の第3の検知エリアY2(図7~図10に1点鎖線で示すエリア)にいるか否かが画像処理ユニット9により判定される。そして、第3の検知エリアY2に人物Hがいると判定すれば、画像処理ユニット9が運転者に報知して注意を喚起するようにしている。第3の検知エリアY2は、たとえば、第2の検知エリアY12、第1の検知エリアY11、およびその後方のエリアを含む矩形のエリアに設定される。なお、モニタ93上には、カメラ71の画像とともに、第1の検知エリアY11の外縁に対応するライン(図8、図10に破線で示すライン)、侵入禁止エリアである第2の検知エリアY12の外縁に対応するライン(図8、図10に実線で示すライン)、第3の検知エリアY2の外縁に対応するライン(図8、図10に1点鎖線で示すライン)が表示されていてもよい。
In addition, when the
次に、図11を参照して制御装置PLCにて実行される制御処理の流れを説明する。図11における各ステップのうち、ステップS1、S2を除き、いずれも制御装置PLCにより実行される。 Next, the flow of control processing executed by the control device PLC will be described with reference to FIG. 11. Among the steps in FIG. 11, all steps except steps S1 and S2 are executed by the control device PLC.
図11のフローチャートにおいて、ステップS1およびステップS2は、制御装置PLCにおける制御処理の開始となるステップである。ステップS1は、イグニッションスイッチがオフからオンに切り替えられるステップであり、ステップS2は、PTOスイッチSWPがオフからオンに切り替えられ場合に制御装置PLCの電源をオンにするステップである。 In the flowchart of FIG. 11, steps S1 and S2 are steps that start the control process in the control device PLC. Step S1 is a step in which the ignition switch is switched from off to on, and step S2 is a step in which the power supply of the control device PLC is turned on when the PTO switch SWP is switched from off to on.
ステップS3は、ステップS2に続き、停止解除フラグをリセットするステップである。つまり、PTOスイッチSWPのオンに伴い、停止解除フラグが0にされる。 Step S3 is the step following step S2 in which the stop release flag is reset. In other words, when the PTO switch SWP is turned on, the stop release flag is set to 0.
ステップS4は、ステップS3に続いて切替スイッチSW6が積込側に切り替えられているか否か(YES/NO)を判定するステップである。ステップS4において、YESと判定した場合にはステップS5に移行し、NOと判定した場合にはステップS14に移行する。 Step S4 is a step of determining whether the changeover switch SW6 is switched to the loading side (YES/NO) following step S3. In step S4, if the determination is YES, the process proceeds to step S5, and if the determination is NO, the process proceeds to step S14.
ステップS5は、停止解除フラグが1であるか否か(YES/NO)を判定するステップである。ステップS5において、NOと判定した場合にはステップS6に移行し、YESと判定した場合にはステップS8に移行する。 Step S5 is a step of determining whether the stop release flag is 1 (YES/NO). In step S5, if the determination is NO, the process moves to step S6, and if the determination is YES, the process moves to step S8.
ステップS6は、停止解除スイッチ63をオフからオンに切り替える操作が行われたか否か(YES/NO)を判定するステップである。ステップS6において、YESと判定した場合にはステップS7に移行し、NOと判定した場合にはステップS10に移行する。
Step S6 is a step in which it is determined whether or not the operation of switching the
ステップS7は、停止解除スイッチ63がオフからオンに操作されたことに伴い停止解除フラグを1にセットするステップである。
Step S7 is a step in which the stop release flag is set to 1 in response to the
ステップS8は、制御装置PLCにより実行され、リレーコイルR2を励磁してリレースイッチr2をオフに切り替えるステップである。 Step S8 is a step executed by the control device PLC, which excites the relay coil R2 and turns off the relay switch r2.
ステップS9は、検出ランプ73および作動中ランプ72を消灯するステップである。
Step S9 is a step in which the
ステップS10は、積込スイッチSW5がオンになったか否か(YES/NO)を判定するステップである。制御装置PLCは、ステップS10においてNOと判定した場合には積込スイッチSW5がオン(YES)になるまで待機し、ステップS10においてYESと判定した場合にはステップS11に移行する。 Step S10 is a step for determining whether the loading switch SW5 is turned on (YES/NO). If the control device PLC determines NO in step S10, it waits until the loading switch SW5 is turned on (YES), and if it determines YES in step S10, it moves to step S11.
ステップS11は、塵芥積込装置31の塵芥積込動作を実行するするステップである。ステップS12は、ステップS11に続いて緊急停止ボタン60,61または緊急停止プレート62がオンになったか否か(YES/NO)を判定するステップである。
Step S11 is a step in which the
ステップS12においてYESと判定した場合にはステップS13に移行し、NOと判定した場合にはステップS15に移行する。 If the determination is YES in step S12, the process proceeds to step S13, and if the determination is NO, the process proceeds to step S15.
ステップS13は、塵芥積込装置31の塵芥積込動作の緊急停止を実行するステップである。
Step S13 is a step for executing an emergency stop of the garbage loading operation of the
ステップS14は、ステップS13または後述するステップ19に続き、あるいはステップS4においてNOと判定した場合に実行され、制御装置PLCの電源がオンからオフに切り替えられたか否か(YES/NO)を判定するステップである。ステップS14において制御装置PLCの電源がオフになった(YES)と判定した場合には、制御装置PLCによる処理を終了する。他方、ステップS14において制御装置PLCの電源がオンのままである(NO)と判定した場合にはステップS4に戻り、ステップS4以降の処理を実行する。 Step S14 is executed following step S13 or step 19 described later, or when the determination is NO in step S4, and determines whether the power of the control device PLC has been switched from on to off (YES/NO). It is a step. If it is determined in step S14 that the power of the control device PLC is turned off (YES), the processing by the control device PLC is ended. On the other hand, if it is determined in step S14 that the power of the control device PLC remains on (NO), the process returns to step S4 and processes from step S4 onwards are executed.
ステップS15は、塵芥積込装置31の回転板10が危険な角度範囲Z(図3参照)にあるか否か(YES/NO)を判定するステップである。この判定は、スイッチLS4からの信号の有無に基づいて行われる。ステップS15においてYESと判定した場合にはステップS16に移行し、NOと判定した場合にはステップS18に移行する。
Step S15 is a step of determining whether the
ステップS16は、画像処理ユニット9から人物安全信号の入力がなかったか否か(YES/NO)を判定するステップである。ステップS16においてYESと判定した場合にはステップS17に移行し、NOと判定した場合にはステップS18に移行する。 Step S16 is a step for determining whether or not a person safety signal has been input from the image processing unit 9 (YES/NO). If the determination is YES in step S16, the process proceeds to step S17, and if the determination is NO, the process proceeds to step S18.
人物安全信号は、後述する画像処理ユニット9にて実行される処理に応じ、画像処理ユニット9から入力される。具体的には、作動スイッチSWSがオンであって、塵芥積込装置31の塵芥積込動作の際に人物が第1の検知エリアY11に入っている場合には、画像処理ユニット9から人物安全信号が出力され、制御装置PLCに人物安全信号が入力される(図12のステップS119)。また、人物が第2の検知エリアY12に入っている場合には、画像処理ユニット9から人物安全信号が出力されず、制御装置PLCに人物安全信号が入力されない(図12のステップS114)。他方、作動スイッチSWSがオフの場合、塵芥積込装置31の塵芥積込動作の際に人物が第1の検知エリアY11または第2の検知エリアY12で検出されるか否かにかかわらず、制御装置PLCに人物安全信号が入力される(図12のステップS117)。なお、仮に塵芥積込装置31の塵芥積込動作途中に突然画像処理ユニット9が故障することにより画像処理ユニット9から人物安全信号が出力されなくなった場合には、制御装置PLCに人物安全信号が入力されなくなる。
The person safety signal is input from the
ステップS17は、停止解除フラグが0であるか否か(YES/NO)を判定するステップである。ステップS17においてYESと判定した場合にはステップS13に移行して塵芥積込装置31の塵芥積込動作を緊急停止し、NOと判定した場合にはステップS18に移行する。
Step S17 is a step of determining whether the stop release flag is 0 (YES/NO). If the determination is YES in step S17, the process proceeds to step S13, where the garbage loading operation of the
ステップS18は、塵芥積込装置31の回転板10が塵芥積込動作を停止する際の停止位置(1サイクル停止位置)にあるか否か(YES/NO)を判定するステップである。ステップS18においてNOと判定した場合にはステップS11に戻り、再度ステップS11以降の処理を実行する。他方、ステップS18においてYESと判定した場合にはステップS19に移行する。
Step S18 is a step of determining whether or not the
ステップS19は、塵芥積込装置31の塵芥積込動作を通常停止(1サイクル停止位置で停止)するステップである。
Step S19 is a step in which the garbage loading operation of the
続いて、図12を参照して画像処理ユニット9にて実行される制御処理の流れについて説明する。図12におけるステップS101、S108、S124を除く各処理は、いずれも画像処理ユニット9の中央処理部CPUにて実行される。
Next, the flow of the control process executed by the
図12において、ステップS101は、イグニッションスイッチSWKをオフからオンに切り替える操作が行われた場合に、画像処理ユニット9の電源をオフからオンにするステップである。
In FIG. 12, step S101 is a step in which the power supply of the
ステップS102は、画像処理ユニット9の初期化処理(起動処理)を行うステップである。なお、画像処理ユニット9の初期化処理が終了するまでは、画像処理ユニット9は、後述の人物安全信号を出力せず、また、作動中ランプ72および検出ランプ73へのオン信号も出力しないようになっている。
Step S102 is a step for performing initialization processing (start-up processing) of the
仮に、画像処理ユニット9の初期化処理中に作業者がPTOスイッチSWPをオンにした場合には、制御装置PLCが画像処理ユニット9から人物安全信号の入力がないと認識する。この場合には、作業者がPTOスイッチSWPのオンに引き続き積込ボタン64を押したとしても、制御装置PLCは、人物安全信号の入力がないことに基づき、塵芥積込装置31を駆動させない制御を行う。
If an operator turns on the PTO switch SWP during the initialization process of the
ステップS103は、画像処理ユニット9が正常に作動しているか否か(YES/NO)を判定するステップである。そして、ステップS103においてYESと判定した場合にはステップS104に移行し、NOと判定した場合にはステップS120に移行する。
Step S103 is a step for determining whether the
画像処理ユニット9は、ステップS120において作動中ランプ72を点灯させない処理を行い、S121において基板上に設けられたエラー表示灯を点灯させたあと、ステップS115の処理に移行する。
The
ステップS104は、車両の運転操作に基づく後退信号が入力されていないか否か(YES/NO)を判定するステップである。後退信号は、車両の後退操作が有った場合に通電ラインK8を介して画像処理ユニット9に入力され、この後退信号の有無に基づいてステップS104の判定が行われる。そして、ステップS104においてYESと判定した場合にはステップS105に移行し、NOと判定した場合にはステップS122に移行する。
Step S104 is a step of determining whether a reverse signal based on the driving operation of the vehicle has not been input (YES/NO). The reverse signal is input to the
ステップS105は、積込ライン信号が入力されたか否か(YES/NO)を判定するステップである。積込ライン信号は、PTOスイッチSWPがオンであって且つ切替スイッチSW6が積込側に切り替えられている場合に、通電ラインK10を介して画像処理ユニット9に入力される。この積込ライン信号の有無に基づいて、ステップS105の判定が行われる。ステップS105においてYESと判定した場合にはステップS106に移行し、NOと判定した場合にはステップS104に戻る。
Step S105 is a step of determining whether a loading line signal has been input (YES/NO). The loading line signal is input to the
ステップS106は、作動中ランプ72を点灯させるステップである。
Step S106 is a step in which the operating
ステップS107は、ステップS106に続いて実行され、第1人物認識処理に用いる特徴データ(辞書データ)を積込用の特徴データに設定し、人物検出判定に用いる検知エリアを積込用の人物検出用エリアに設定するステップである。 Step S107 is executed following step S106, and sets the feature data (dictionary data) used for the first person recognition process as the feature data for loading, and sets the detection area used for person detection determination to the person detection for loading. This step is to set the area for use.
積込用の特徴データは、後述する第1人物認識処理(ステップS108)の際に参照されるものであって、画像処理ユニット9のメモリMに格納されている。この積込用の特徴データは、人物における身体上部のうちの頭部に関する積込用の特徴データと、身体下部のうちの脚部に関する積込用の特徴データとを含む。
The loading characteristic data is referred to in the first person recognition process (step S108), which will be described later, and is stored in the memory M of the
補足すると、塵芥収集車100では、図1等に示すように塵芥投入口4上方にカメラ71が設置され、下方の塵芥投入口4近傍をほぼ真上から撮影するようにしている。このため、図7に示すよう、人物Hの立つ位置が塵芥収集車100の接地面と同じ高さとなる道路R上での塵芥積み込み作業においては、図8の例示の如くカメラ71の画像には主に人物Hの頭部が表示されるとともに顔の一部も表示される。他方、図9に示すよう、人物Hが立つ位置がプラットホームなどの段差場Sであり塵芥収集車100の接地面よりも高い位置に立つ塵芥積み込み作業においては、この限りではない。プラットホームなどの段差場Sでの作業においては、図10の例示の如く人物Hの頭部を含む身体上部がカメラ71の撮影範囲から一部はみ出してしまい、身体下部の一定範囲だけが表示されることが少なくない。このため、積込用の特徴データとして、先述のように頭部に関するものと脚部に関するものとを用意している。
As a supplementary note, in the
人物の頭部に関する積込用の特徴データは、予め多くの人物の頭部の画像を撮影してその大きさや形状などの特徴を抽出したものである。ただし、図8の例に示すように、塵芥収集車100の接地面と同じ高さに立つ人物H等の頭部を対象とし、そのような頭部を上方から見たときの当該頭部の特徴を主体としている。また、人物の脚部に関する積込用の特徴データも、予め多くの人物の脚部の画像を撮影してその大きさや形状などの特徴を抽出したものである。ただし、図10の例に示すように、人物Hの頭部が撮影されない高さ位置に立つ人物H等の脚部を対象とし、そのような脚部を上方から見たときの当該脚部の特徴を主体としている。
The characteristic data for loading regarding human heads is obtained by photographing many human head images in advance and extracting characteristics such as their size and shape. However, as shown in the example of FIG. 8, the head of a person H, etc. standing at the same height as the ground surface of the
人物の頭部に関する積込用の特徴データには、たとえば、帽子、ヘルメット、およびその他の頭部への装着物の大きさ、位置、および形状が含まれている。また、人物の脚部に関する積込用の特徴データには、作業着、靴、およびその他の脚部への装着物の大きさ、位置および形状が含まれている。 Loading characteristic data regarding a person's head includes, for example, the size, position, and shape of hats, helmets, and other head attachments. Further, the loading characteristic data regarding the legs of a person includes the size, position, and shape of work clothes, shoes, and other items attached to the legs.
積込用の人物検出用エリアは、人物検出判定の際に用いられるものであり、画像処理ユニット9のメモリMに格納されている。先述のとおり、積込用の人物検出用エリアは、作業者が塵芥積込作業を行う際の通常エリアとして設定された第1の検知エリアY11と、侵入禁止エリアとしての第2の検知エリアY12とに分かれており、それぞれのエリアがメモリMに格納されている。
The person detection area for loading is used for person detection determination and is stored in the memory M of the
ステップS108は、ステップS107に続いて画像処理ユニット9の中央処理部CPUが画像処理部DSPに第1人物認識処理を実行させるステップである。図13を参照して画像処理部DSPにて実行される第1人物認識処理について説明する。
Step S108 is a step in which the central processing unit CPU of the
図13において、ステップS181は、カメラ71によって撮影され画像処理ユニット9に入力された画像データに対して二値化処理を行うステップである。この二値化処理は、たとえば、画像データについて各画素の輝度値が予め設定された閾値以上である場合に最大輝度値とし、閾値未満であれば最小輝度値とする処理である。生成される二値化画像データは、ノイズや光量変化の影響の多くが除去されたものとなる。
In FIG. 13, step S181 is a step in which image data taken by the
ステップS182は、第1ラベリング処理を行うステップである。この第1ラベリング処理では、ラベリング処理と頭部判定処理とを行う。 Step S182 is a step of performing a first labeling process. In this first labeling process, a labeling process and a head determination process are performed.
第1ラベリング処理におけるラベリング処理は、二値化画像データにおいて互いに近接する各画素を領域化するものであり、たとえば同じ輝度値に属しかつ所定距離内で密接する複数の画素について1つの領域とみなす処理である。ラベリング処理は画像平面全体について行われ、これにより1つの領域とされたものがそれぞれ物体像として認識される。 The labeling process in the first labeling process is to region each pixel that is close to each other in the binarized image data. For example, a plurality of pixels that belong to the same brightness value and are close to each other within a predetermined distance are considered as one region. It is processing. The labeling process is performed on the entire image plane, and each area that is defined as one area is recognized as an object image.
第1ラベリング処理における頭部判定処理は、予め用意されている人物の頭部に関する積込用の特徴データを参照し、上記ラベリング処理で認識されたそれぞれの物体像の中から、人物の頭部に関する積込用の特徴データの条件を満たす物体像を抽出する処理である。そのような条件を満たす物体像の有無を示す情報は、画像処理ユニット9のメモリMに格納される。
In the head determination process in the first labeling process, the head of the person is selected from among the object images recognized in the labeling process by referring to feature data for loading on the head of the person prepared in advance. This is a process of extracting an object image that satisfies the conditions of feature data for loading. Information indicating the presence or absence of an object image that satisfies such conditions is stored in the memory M of the
ステップS183は、ステップS182に続いて実行され、ステップS182にてメモリMに格納された第1ラベリング処理の結果を参照し、人物の頭部に関する積込用の特徴データの条件を満たす物体像があるか否か(YES/NO)を判定するステップである。ステップS183においてYESと判定した場合にはステップS184に移行し、NOと判定した場合にはステップS190の処理に移行する。 Step S183 is executed following step S182, and refers to the result of the first labeling process stored in the memory M in step S182, and identifies an object image that satisfies the conditions of the loading feature data regarding the head of the person. This is a step of determining whether there is one (YES/NO). If the determination is YES in step S183, the process moves to step S184, and if the determination is NO, the process moves to step S190.
ステップS184は、ステップS182で抽出された頭部に関する積込用の特徴データの条件を満たす物体像を、頭部識別対象として設定するステップである。なお、このような条件を満たす物体像が複数ある場合には、それぞれの当該物体像を頭部識別対象として設定する。 Step S184 is a step in which an object image that satisfies the conditions of the loading feature data regarding the head extracted in step S182 is set as a head identification target. Note that if there are a plurality of object images that satisfy such conditions, each object image is set as a head recognition target.
ステップS185は、ステップS184で設定した頭部識別対象を頭部であるか否かを識別するステップである。このステップS185において、画像処理部DSPは、カメラ71から時系列で入力される複数の画像データの差分処理(各画素毎の輝度値の差を求める処理)によって、物体像の位置の変化を検出する。この位置の変化、つまり、物体像の移動距離を、それに要した時間(画像データを取得する時間間隔)で除算して、物体像の移動速度を算出する。
Step S185 is a step of identifying whether or not the head recognition target set in step S184 is a head. In this step S185, the image processing unit DSP detects a change in the position of the object image by differential processing (processing to calculate the difference in luminance value for each pixel) of a plurality of image data inputted in time series from the
ステップS186は、ステップS185で算出した移動速度が予め設定した閾値以下であるか否か(YES/NO)を判定する。この閾値は、塵芥投入口4に塵芥を投入する作業者の頭部の移動速度と、投入される塵芥の移動速度とを区別できるように、予め実験を通じて設定されている。
In step S186, it is determined whether the moving speed calculated in step S185 is less than or equal to a preset threshold (YES/NO). This threshold value is set in advance through experiments so that the moving speed of the head of the worker who throws garbage into the
このステップS186においてYESと判定した場合には、頭部識別対象とした物体像は人物の頭部を表すものであると判定し、ステップS187の処理に移行する。他方、ステップS186においてNOと判定した場合には、動きが速すぎるので頭部識別対象とした物体像は人物Hの頭部を表すものではなく塵芥であると判定し、ステップS190の処理に移行する。このステップS185およびステップS186の処理は、人物の頭部と形状および色の近い、たとえば黒色のゴミ袋と判別するために設けられている。 If the determination is YES in step S186, it is determined that the object image targeted for head identification represents the head of a person, and the process proceeds to step S187. On the other hand, if it is determined NO in step S186, it is determined that the object image targeted for head identification does not represent the head of person H but is garbage because the movement is too fast, and the process moves to step S190. do. The processing in steps S185 and S186 is provided to determine whether the garbage bag is similar in shape and color to the human head, for example, a black garbage bag.
ステップS187は、人物検出信号を出力するステップである。この人物検出信号は、後述する図12のステップS111において画像処理ユニット9の中央処理部CPUにより参照され、人物の検出ランプ73の出力条件となる信号である。
Step S187 is a step of outputting a person detection signal. This person detection signal is referred to by the central processing unit CPU of the
ステップS188は、ステップS187に続いて実行され、人物の頭部であると判定した物体像が先述の第2の検知エリアY12に入っているか否か(YES/NO)を判定するステップである。ステップS188の判定は、たとえば、物体像を形成する領域の外形をなす画素の位置座標の少なくとも一部が第2の検知エリアY12に含まれているか否かによって判定される。ステップS188においてYESと判定した場合にはステップS189の処理に移行し、NOと判定した場合には処理を終了する。 Step S188 is executed following step S187, and is a step for determining whether or not the object image determined to be a person's head is within the aforementioned second detection area Y12 (YES/NO). The determination in step S188 is made, for example, based on whether at least a part of the position coordinates of pixels forming the outline of the area forming the object image is included in the second detection area Y12. If the determination is YES in step S188, the process moves to step S189, and if the determination is NO, the process ends.
ステップS189は、停止信号を出力するステップである。この停止信号は、後述するように画像処理ユニット9の中央処理部CPUにより参照され、人物安全信号を出力しないとする処理(図12のステップS112→ステップS114)の実行条件となる。人物安全信号が出力されないと、図11のステップS16→S13の流れに沿う処理が行われ、塵芥積込装置31の動作は停止する。ステップS189で停止信号を出力したときは、第1人物認識処理を終了する。
Step S189 is a step of outputting a stop signal. This stop signal is referred to by the central processing unit CPU of the
先述のステップS183において、頭部に関する積込用の特徴データの条件を満たすような物体像がない(NO)と判定した場合、またはステップS186において、算出された移動速度が閾値よりも高い(NO)と判定した場合には、ステップS190の処理に移行する。 In step S183 described above, if it is determined that there is no object image that satisfies the condition of the loading feature data regarding the head (NO), or in step S186, the calculated moving speed is higher than the threshold (NO). ), the process moves to step S190.
ステップS190は、第2ラベリング処理を行うステップである。この第2ラベリング処理では、ラベリング処理と脚部判定処理とを行う。 Step S190 is a step in which a second labeling process is performed. In this second labeling process, a labeling process and a leg determination process are performed.
第2ラベリング処理におけるラベリング処理は、第1ラベリング処理の場合と同様に、ステップS181において生成された二値化画像データにおいて互いに近接する各画素を領域化するものであり、たとえば同じ輝度値に属するとともに、所定距離内で密接する複数の画素について1つの領域とみなす処理である。ラベリング処理は画像平面全体について行われ、これにより1つの領域とされたものが、それぞれ物体像として認識される。 Similar to the first labeling process, the labeling process in the second labeling process is to regionalize each pixel that is close to each other in the binarized image data generated in step S181, and for example, belongs to the same luminance value. This is a process in which a plurality of pixels that are close together within a predetermined distance are regarded as one area. The labeling process is performed on the entire image plane, and each region defined as one area is recognized as an object image.
第2ラベリング処理における脚部判定処理は、予め用意されている人物の脚部に関する積込用の特徴データを参照し、上記ラベリング処理で認識されたそれぞれの物体像の中から、人物の脚部に関する積込用の特徴データの条件を満たす物体像を抽出する処理である。そのような条件を満たす物体像の有無を示す情報は、画像処理ユニット9のメモリMに格納される。
The leg determination process in the second labeling process refers to the feature data for loading of the legs of the person prepared in advance, and selects the legs of the person from among the object images recognized in the labeling process. This is a process of extracting an object image that satisfies the conditions of feature data for loading. Information indicating the presence or absence of an object image that satisfies such conditions is stored in the memory M of the
ステップS191は、ステップS190に続いて実行され、ステップS190でメモリMに格納された第2ラベリング処理の結果を参照し、人物の脚部に関する積込用の特徴データの条件を満たす物体像があるか否か(YES/NO)を判定するステップである。ステップS191においてYESと判定した場合にはステップS192に移行し、NOと判定した場合には処理を終了する。 Step S191 is executed following step S190, and refers to the result of the second labeling process stored in the memory M in step S190, and there is an object image that satisfies the conditions of the feature data for loading regarding the legs of a person. This is a step of determining whether or not (YES/NO). If the determination is YES in step S191, the process moves to step S192, and if the determination is NO, the process ends.
ステップS192は、ステップS191において人物の脚部に関する積込用の特徴データの条件を満たす物体像がある(YES)と判定した場合に、その物体像を人物の脚部と判定するステップである。ステップS192においては、頭部の判定と異なり、ステップS185~S186に対応する移動速度に関する処理を行うことなく人物の脚部と判定する。脚部の形状は塵芥と大きくことなることが多いため、移動速度による塵芥とのさらなる識別の必要性が乏しいことによる。 Step S192 is a step for determining that an object image is a person's leg if it is determined in step S191 that there is an object image that satisfies the loading feature data conditions for a person's leg (YES). Unlike the determination of the head, step S192 determines that the object image is a person's leg without carrying out the processing related to the moving speed corresponding to steps S185 to S186. This is because the shape of the legs often differs significantly from that of dust, and therefore there is little need to further distinguish them from dust based on the moving speed.
図12のフローチャートに戻る。ステップS109は、作動スイッチSWSがオンか否か(YES/NO)を判定するステップである。ステップS109においてYESと判定した場合にはステップS110に移行し、NOと判定した場合にはステップS116に移行する。 Returning to the flowchart in FIG. 12. Step S109 is a step of determining whether the operation switch SWS is on (YES/NO). If the determination is YES in step S109, the process moves to step S110, and if the determination is NO, the process moves to step S116.
ステップS110は、上述したステップS108の第1人物認識処理の処理結果(ログ)をメモリMに保存するステップである。このステップS110において、人物検出信号の出力(ステップS187)の有無や、停止信号の出力(ステップS189)の有無が画像処理ユニット9のメモリMに保存される。
Step S110 is a step in which the processing result (log) of the first person recognition process in step S108 described above is stored in the memory M. In this step S110, the presence or absence of the output of the person detection signal (step S187) and the presence or absence of the output of the stop signal (step S189) are stored in the memory M of the
ステップS111は、ステップS110に続いて実行され、ステップS108の第1人物認識処理において第1の検知エリアY11または第2の検知エリアY12内に人物が検出されたか否か(YES/NO)を判定するステップである。この際、中央制御部CPUは、画像処理ユニット9のメモリMを参照することにより、人物検出信号の出力があったか否かを判定する。ステップS111においてYESと判定した場合にはステップS112に移行し、NOと判定した場合にはステップS116に移行する。
Step S111 is executed following step S110, and is a step for determining whether or not a person has been detected in the first detection area Y11 or the second detection area Y12 in the first person recognition process of step S108 (YES/NO). At this time, the central control unit CPU determines whether or not a person detection signal has been output by referring to the memory M of the
ステップS112は、ステップS108の第1人物認識処理において侵入禁止エリアとしての第2の検知エリアY12内に人物が侵入したか否か(YES/NO)を判定するステップである。この際、中央処理部CPUは、画像処理ユニット9のメモリMを参照することにより、停止信号の出力があったか否かを判定する。このステップS112においてYESと判定した場合にはステップS113に移行し、NOと判定した場合にはステップS118に移行する。
Step S112 is a step for determining whether a person has entered the second detection area Y12 as the entry-prohibited area (YES/NO) in the first person recognition process of step S108. At this time, the central processing unit CPU determines whether or not a stop signal has been output by referring to the memory M of the
ステップS113は、検出ランプ73のオン信号を出力するステップであり、続くステップS114は、人物安全信号を制御装置PLCに出力しないとするステップである。
Step S113 is a step of outputting an ON signal for the
ステップS116は、検出ランプ73のオン信号を出力しないとするステップであり、続くステップS117は、人物安全信号を制御装置PLCに出力するステップである。
Step S116 is a step in which the ON signal of the
ステップS118は、検出ランプ73のオン信号を出力するステップであり、続くステップS119は、人物安全信号を制御装置PLCに出力するステップである。ステップS114、117、119の各処理が行われると、ステップS115の処理に移行する。
Step S118 is a step of outputting an ON signal for the
ステップS115は、画像処理ユニット9の電源がオンからオフに切り替えられたか否か(YES/NO)を判定するステップである。ステップS115においてYESと判定した場合には、処理を終了する。他方、ステップS115においてNOと判定した場合には、ステップS103に戻り、ステップS103以降の処理を繰り返す。
Step S115 is a step of determining whether the power of the
先述のステップS104の判定において後退信号の入力が有る(NO)と判定された場合には、ステップS122に移行して中央処理部CPUにより作動中ランプ72が点灯される。そして、ステップS123以降の処理を実行する。
If it is determined in step S104 that a reverse signal is input (NO), the process moves to step S122, and the central processing unit CPU turns on the operating
ステップS123は、人物認識処理に用いる特徴データ(辞書データ)を後退用の特徴データに設定し、人物検出判定に用いる検知エリアを後退用の人物検出用エリアに設定するステップである。 Step S123 is a step in which the feature data (dictionary data) used for the person recognition process is set as the feature data for backing up, and the detection area used for the person detection determination is set as the area for backing up person detection.
後退用の特徴データは、人物の頭部に関する後退用の特徴データと人物の脚部に関する後退用の特徴データとを含む。人物の頭部に関する後退用の特徴データは、積込用の特徴データと同様、予め多くの人物の頭部の画像を撮影して、その大きさや形状などの特徴を抽出したものである。ただし、この後退用の特徴データとして抽出される特徴については、上述した積込用の特徴データよりも前方寄りの斜め上方から見たときの頭部形状を主体としている。 The retreat feature data includes retreat feature data regarding the person's head and retreat feature data regarding the person's legs. Similar to the feature data for loading, the feature data for reversing a person's head is obtained by taking images of many people's heads in advance and extracting features such as their size and shape. However, the features extracted as the feature data for backing up are mainly based on the shape of the head when viewed diagonally from above, which is closer to the front than the feature data for loading described above.
また、人物の脚部に関する後退用の特徴データも、積込用の特徴データと同様、予め多くの人物の脚部の画像を撮影して、その大きさや形状などの特徴を抽出したものである。ただし、この後退用の特徴データとして抽出される特徴については、上述した積込用の特徴データよりも前方寄りの斜め上方から見たときの脚部形状を主体としている。 In addition, similar to the feature data for loading, the feature data for backing up a person's legs is obtained by taking many images of the legs of a person in advance and extracting features such as their size and shape. . However, the features extracted as the feature data for backing up are mainly based on the shape of the legs when viewed diagonally from above, which is closer to the front than the feature data for loading described above.
後退用の人物検出用エリアは、後退時の人物検出判定の際に用いられるものであり、画像処理ユニット9のメモリMに格納されている。本実施形態の後退用の人物検出用エリアは、第2の検知エリアY12、第1の検知エリアY11、およびその後方のエリアを含む第3の検知エリアY2に設定される。
The person detection area for reversing is used for human detection determination when reversing, and is stored in the memory M of the
ステップS124は、画像処理ユニット9の画像処理部DSPにより実行され、第2人物認識処理を行うステップである。第2人物認識処理の流れを図14に示す。この第2人物認識処理は、先述のステップS108の第1人物認識処理(図13参照)と少し異なっている。具体的には、ステップS124の第2人物認識処理では、ステップS123で設定された頭部に関する後退用の特徴データと脚部に関する後退用の特徴データとが用いられる。そして、各後退用の特徴データの条件を満たすような物体像を人物の頭部または脚部と判定する。また、後退時には塵芥積込装置31は最初から動作停止状態なので、図14に示すように、図13の第1人物認識処理におけるステップS188~ステップS189の処理は省略されている。第2人物認識処理におけるステップS181~S187、S190~S192の処理は、図13の第1人物認識処理におけるステップS181~S187、S190~S192の処理と同様である。
Step S124 is a step executed by the image processing section DSP of the
ステップS125は、先述のステップS124の第2人物認識処理の処理結果(ログ)をメモリMに保存するステップである。 Step S125 is a step in which the processing result (log) of the second person recognition process in step S124 described above is stored in the memory M.
ステップS126は、ステップS124の第2人物認識処理によって第3の検知エリアY2内に人物が検出されたか否か(YES/NO)を判定するステップである。このステップのS126の処理は、画像処理ユニット9のメモリMを参照して人物検出信号の出力があったか否かに基づいて行われる。ステップS126においてYESと判定した場合にはステップS127に移行し、NOと判定した場合にはステップS128に移行する。
Step S126 is a step of determining whether a person is detected within the third detection area Y2 by the second person recognition process of step S124 (YES/NO). The processing in step S126 is performed based on whether or not a person detection signal has been output with reference to the memory M of the
ステップS127は、第3の検知エリアY2内に人物が検出されている場合に実行され、ブザー91を作動させて後退警告音を出力するステップである。
Step S127 is executed when a person is detected within the third detection area Y2, and is a step of activating the
ステップS128は、第3の検知エリアY2内に人物が検出されていない場合に実行され、ブザー91を作動させないとするステップである。各ステップ127,S128の処理が実行されたときも、ステップS115に移行する。
Step S128 is executed when no person is detected within the third detection area Y2, and is a step in which the
以上、第1実施形態の人物認識装置では、カメラ71により人物の頭部が撮影されうる道路R上での作業(図7参照)のみならず、人物の頭部がカメラ71の撮影範囲からはみ出し脚部のみが撮影されるようなプラットホームの如き段差場S上での作業(図9参照)においても、侵入禁止エリア(第2の検知エリアY12)への人物の侵入有無の判定を行える。よって、本実施形態の人物認識装置によれば、人物の頭部の画像のみに基づいて侵入禁止エリアへの人物の侵入有無の判定を行う従来の人物認識装置と比較し、当該判定をより確実に行えるようになる。その結果、塵芥収集車100の安全性がより高められる。
As described above, the person recognition device of the first embodiment not only works on the road R where the head of the person can be photographed by the camera 71 (see FIG. 7), but also works when the head of the person protrudes from the photographing range of the
次に、本発明の第2実施形態に係る人物認識装置を説明する。第2実施形態に係る人物認識装置は、第1実施形態に係る人物認識装置の画像処理ユニットにて実行される処理の流れを変更した例である。なお、第1実施形態と同様の構成については、同一符号を付して説明を省略する。 Next, a person recognition device according to a second embodiment of the present invention will be described. The person recognition device according to the second embodiment is an example in which the flow of processing executed by the image processing unit of the person recognition device according to the first embodiment is changed. Note that the same configurations as those in the first embodiment are given the same reference numerals and the description thereof will be omitted.
第2実施形態に係る人物認識装置では、図15に示すように、ステップS105においてYESと判定した場合には、ステップS201の処理を実行するようになっている。他方、ステップS105においてNOと判定した場合には、第1実施形態に係る人物認識装置と同様にステップS104に戻る。 In the person recognition device according to the second embodiment, as shown in FIG. 15, when the determination in step S105 is YES, the process in step S201 is executed. On the other hand, if the determination in step S105 is NO, the process returns to step S104 similarly to the person recognition device according to the first embodiment.
ステップS201は、画像処理ユニット9の中央処理部CPUにより実行され、積込ライン信号がオフからオンになったか否か(YES/NO)を判定するステップである。すなわち、このステップS201においては、先述の図6に示す切替スイッチSW6が積込側の状態でPTOスイッチSWPがオンになったか否か、あるいは、PTOスイッチSWPがオンの状態で切替スイッチSW6が排出側から積込側に切り替えられたか否かが判定される。ステップS201においてYESと判定した場合にはステップS202に移行し、NOと判定した場合にはステップS106に移行する。
Step S201 is executed by the central processing unit CPU of the
ステップS202は、画像処理部DSPにより実行され、現在行われている塵芥積み込みの作業場所を判定するステップである。図16を参照してステップS202の作業場所判定処理について説明する。 Step S202 is a step executed by the image processing unit DSP to determine the work place of garbage loading currently being performed. The work location determination process in step S202 will be described with reference to FIG. 16.
図16において、ステップS301は、カメラ71によって撮影され画像処理ユニット9に入力された画像データに対して二値化処理を行うステップである。二値化処理については、図13に示す第1人物認識処理における二値化処理(ステップS181)と同様である。
In FIG. 16, step S301 is a step of performing binarization processing on image data taken by the
ステップS302は、第3ラベリング処理を行うステップである。この第3ラベリング処理では、ラベリング処理と作業場所識別処理とを行う。 Step S302 is a step of performing third labeling processing. In this third labeling process, a labeling process and a work place identification process are performed.
第3ラベリング処理におけるラベリング処理は、図13に示す第1人物認識処理におけるラベリング処理と同様である。第3ラベリング処理における作業場所識別処理は、予め選定された段差のある所定の作業場所の特徴データを参照し、上記ラベリング処理で認識された物体像の中から、その特徴データの条件を満たす物体像を抽出する処理である。そのような条件を満たす物体像の有無を示す情報は、画像処理ユニット9のメモリMに格納される。
The labeling process in the third labeling process is similar to the labeling process in the first person recognition process shown in FIG. The work place identification process in the third labeling process refers to feature data of a predetermined work place with steps selected in advance, and selects objects that meet the conditions of the feature data from among the object images recognized in the labeling process. This is a process of extracting images. Information indicating the presence or absence of an object image that satisfies such conditions is stored in the memory M of the
ステップS303は、ステップS302に続いて実行され、ステップS302でメモリMに格納された第3ラベリング処理の結果を参照し、上記作業場所の特徴データの条件を満たす物体像があるか否か(YES/NO)を判定するステップである。ステップS303においてYESと判定した場合にはステップS304に移行し、NOと判定した場合にはステップS305に移行する。 Step S303 is executed following step S302, and refers to the result of the third labeling process stored in the memory M in step S302, and determines whether there is an object image that satisfies the conditions of the characteristic data of the work place (YES). /NO). If the determination is YES in step S303, the process moves to step S304, and if the determination is NO, the process moves to step S305.
ステップS304は、現在の積み込み作業は予め選定された段差のある所定の作業場所にて行われていると判定するステップである。また、ステップS305は、現在の積み込み作業は予め選定された段差のある所定の作業場所にて行われていないと判定するステップである。ステップS304,S305において、上記所定の作業場所での作業が行われているか否かを示す情報が画像処理ユニット9のメモリMに格納される。
Step S304 is a step in which it is determined that the current loading work is being performed at a predetermined work place with a preselected step. Further, step S305 is a step in which it is determined that the current loading work is not being performed at a predetermined work place with a preselected step. In steps S304 and S305, information indicating whether work is being performed at the predetermined work location is stored in the memory M of the
図15において、ステップS203は、画像処理ユニット9の中央処理部CPUが画像処理部DSPに第3人物認識処理を実行させるステップであり、第1実施形態における図12のステップS108に対応するステップである。図17を参照して画像処理部DSPにて実行される第3人物認識処理について説明する。
In FIG. 15, step S203 is a step in which the central processing unit CPU of the
図17において、ステップS401は、所定の作業場所での作業が行われているか否か(YES/NO)を判定するステップである。この判定は、図16に示す作業場所判定処理のステップS304,S305においてメモリMに格納された、段差のある所定の作業場所での作業が行われているか否かを示す情報の参照により行われる。ステップS401においてYESと判定した場合にはステップS402に移行し、NOと判定した場合にはステップS403に移行する。 In FIG. 17, step S401 is a step for determining whether work is being performed at a predetermined work location (YES/NO). This determination is made by referring to the information stored in the memory M in steps S304 and S305 of the work place determination process shown in FIG. . If the determination is YES in step S401, the process moves to step S402, and if the determination is NO, the process moves to step S403.
ステップS402は、図13に示す第1人物認識処理における二値化処理(ステップS181)と同様の処理を行うステップである。このステップS402は、ステップS401において段差のある所定の作業場所での作業が行われていない(YES)と判定したことを条件として実行する。 Step S402 is a step that performs processing similar to the binarization process (step S181) in the first person recognition process shown in FIG. 13. This step S402 is executed on the condition that it is determined in step S401 that work is not being performed at a predetermined work location that has a step (YES).
ステップS402の処理のあとは、図13に示す第1人物認識処理と同様の処理が実行される。すなわち、人物の頭部に関する積込用の特徴データの条件を満たす物体像があるか否かの処理が行われ、その結果、塵芥積込装置31の作動を停止させるための停止信号が出力されうる。ただし、第1人物認識処理におけるステップS183,S186に対応するステップS404,ステップS405の判定処理については、判定の結果に応じた処理の移行先が異なっている。
After the processing of step S402, the same processing as the first person recognition processing shown in FIG. 13 is executed. That is, processing is performed to determine whether or not there is an object image that satisfies the conditions of the loading feature data related to the person's head, and as a result, a stop signal for stopping the operation of the
ステップS404においてYESと判定した場合には図13に示す第1人物認識処理と同様の処理が実行される一方、NOと判定した場合には第3人物認識処理を終了する。本実施形態の第3人物認識処理は、第1人物認識処理と異なり、人物の頭部が撮影されやすい状況での作業(ステップS401でYES)であることを条件に行われる。そのため、ステップS404でNOと判定した場合には、人物の脚部に関する積込用の特徴データの条件を満たす物体像があるか否かの判定を行わず処理を終了するようにしている。 If the determination is YES in step S404, a process similar to the first person recognition process shown in FIG. 13 is executed, whereas if the determination is NO, the third person recognition process is ended. The third person recognition process of this embodiment, unlike the first person recognition process, is performed on the condition that the work is performed in a situation where the head of the person is likely to be photographed (YES in step S401). Therefore, if the determination in step S404 is NO, the process is ended without determining whether there is an object image that satisfies the conditions of the loading feature data regarding the legs of the person.
同様に、ステップS405においてYESと判定した場合には図13に示す第1人物認識処理と同様の処理が実行される一方、NOと判定した場合には第3人物認識処理を終了する。つまり、ステップS404と同様の理由から、ステップS405でNOと判定した場合には、人物の脚部に関する積込用の特徴データの条件を満たす物体像があるか否かの判定を行わず処理を終了するようにしている。 Similarly, if the determination is YES in step S405, a process similar to the first person recognition process shown in FIG. 13 is executed, while if the determination is NO, the third person recognition process is ended. In other words, for the same reason as in step S404, if the determination is NO in step S405, the process is performed without determining whether there is an object image that satisfies the conditions of the feature data for loading regarding the legs of a person. I'm trying to finish it.
ステップS403は、図13に示す第1人物認識処理における二値化処理(ステップS181)と同様の処理を行うステップである。このステップS403は、ステップS401において段差のある所定の作業場所での作業である(NO)と判定したことを条件に実行する。言い換えると、このステップS403は、人物の頭部がカメラ71の撮影範囲からはみ出しやすい一方で、人物の脚部が撮影されやすい状況での作業が行われている場合に実行する。
Step S403 is a step in which a process similar to the binarization process (step S181) in the first person recognition process shown in FIG. 13 is performed. This step S403 is executed on the condition that it is determined in step S401 that the work is to be performed at a predetermined work place with steps (NO). In other words, step S403 is executed when the work is being performed in a situation where the head of the person tends to protrude from the photographing range of the
ステップS403の処理のあとは、図13に示す第1人物認識処理と同様の処理が実行される。すなわち、人物の脚部に関する積込用の特徴データの条件を満たす物体像があるか否かの判定処理が行われ、その結果、塵芥積込装置31の動作を停止させるための停止信号が出力されうる。
After the process in step S403, a process similar to the first person recognition process shown in FIG. 13 is executed. That is, a process is performed to determine whether or not there is an object image that satisfies the conditions of the loading feature data regarding the legs of a person, and as a result, a stop signal is output to stop the operation of the
図15において、ステップS204は、画像処理ユニット9の中央処理部CPUが画像処理部DSPに第4人物認識処理を実行させるステップであり、第1実施形態におけるステップS124に対応するステップである。図18を参照して第4人物認識処理を説明する。
In FIG. 15, step S204 is a step in which the central processing unit CPU of the
第4人物認識処理は、画像内の物体像を脚部に関する後退用の特徴データと比較して人物の脚部であるか否かを判定するステップを含まない。具体的には、図18に示すように、ステップS501においてYESと判定した場合には図14に示す第2人物認識処理と同様の処理を実行する一方、NOと判定した場合には、図14のステップS190~S192のような処理を実行することなく第4人物認識処理を終了する。これは、塵芥収集車100の後退時においてはプラットホームなどの段差場上に立つ人物の脚部を認識する必要がないためである。
The fourth person recognition process does not include the step of comparing the object image in the image with feature data for retreat related to legs to determine whether the object is a leg of a person. Specifically, as shown in FIG. 18, if the determination is YES in step S501, a process similar to the second person recognition process shown in FIG. 14 is executed, while if the determination is NO, the process shown in FIG. The fourth person recognition process ends without performing processes such as steps S190 to S192. This is because there is no need to recognize the legs of a person standing on a step such as a platform when the
また、後退時には塵芥積込装置31は最初から動作停止状態なので、図13のステップS188~ステップS189に相当する処理は省略されている。
Furthermore, since the
以上、第2実施形態の人物認識装置では、第1実施形態の人物認識装置と同様に人物の頭部の画像のみに基づいて侵入禁止エリアへの人物の侵入有無の判定を行う従来の人物認識装置と比較し、当該判定をより確実に行えるようになる。 As described above, the person recognition device of the second embodiment can make such judgments more reliably than conventional person recognition devices that, like the person recognition device of the first embodiment, judge whether a person has entered a prohibited area based only on an image of the person's head.
また、第2実施形態の人物認識装置では、第3人物認識処理(図15のステップ203)に先立って、作業場所判定処理(図15のステップS202)において予め選定された段差のある所定の作業場所で積み込み作業が行われているか否かが判定される。そして、段差のある作業場所において積み込み作業が行われていないとの判定(図16のステップS303→ステップS305の処理)が行われた場合には、言い換えると、カメラ71の設置位置との関係で人物の頭部が撮影されやすい状況においては、人物の頭部の特徴データとの比較により画像内の物体像が人物の頭部を表すものか否かの判定処理に移行する(図17のステップS401→ステップS402)。他方、作業場所判定処理(図15のステップS202)にて上記作業場所での積み込み作業が行われているとの判定(図16のステップS303→ステップS304の処理)が行われた場合には、言い換えると、カメラ71の設置位置との関係で人物の頭部がカメラ71の撮影範囲からはみ出してしまうことが比較的多い状況においては、人物の脚部の特徴データとの比較により画像内の物体像が人物の脚部を表すものか否かの判定処理に移行するようになっている(図17のステップS401→ステップS403)。
Furthermore, in the person recognition device of the second embodiment, prior to the third person recognition process (step 203 in FIG. 15), a predetermined task with a step selected in advance in the work place determination process (step S202 in FIG. 15) is performed. It is determined whether loading work is being performed at the location. In other words, if it is determined that loading work is not being performed in a work area with steps (processing from step S303 to step S305 in FIG. 16), in other words, In situations where a person's head is likely to be photographed, the process moves to a process of determining whether or not the object image in the image represents the person's head by comparing it with the characteristic data of the person's head (steps in FIG. 17). S401→Step S402). On the other hand, if it is determined in the work place determination process (step S202 in FIG. 15) that loading work is being performed at the work place (step S303→step S304 in FIG. 16), In other words, in a situation where the head of a person relatively often protrudes from the shooting range of the
要するに、第2実施形態の人物認識装置によれば、人物の頭部の特徴データと比較して行う人物の認識処理を行うのが好ましいか、または人物の脚部の特徴データと比較して行う人物の認識処理を行うのが好ましいか、塵芥積み込みの作業場所に応じて適宜自動的に選択され、いずれか一方の処理のみが実行される。したがって、第1実施形態の人物認識装置と比較し、人物の認識処理における処理負荷を抑えることができる。 In short, according to the person recognition device of the second embodiment, it is preferable to perform the person recognition process by comparing with the characteristic data of the head of the person, or by comparing with the characteristic data of the legs of the person. Whether it is preferable to perform person recognition processing or not is automatically selected as appropriate depending on the garbage loading work place, and only one of these processes is executed. Therefore, compared to the person recognition device of the first embodiment, the processing load in person recognition processing can be reduced.
次に、本発明の第3実施形態に係る人物認識装置を説明する。第3実施形態に係る人物認識装置は、第2実施形態に係る人物認識装置の作業場所判定処理(図15のステップS202)を変更した例である。他の構成については、第2実施形態と同様であるので説明を省略する。 Next, a person recognition device according to a third embodiment of the present invention will be described. The person recognition device according to the third embodiment is an example in which the work place determination process (step S202 in FIG. 15) of the person recognition device according to the second embodiment is modified. The other configurations are the same as those in the second embodiment, so their explanation will be omitted.
図19を参照して第3実施形態の作業場所判定処理を説明する。図19において、ステップS601は、たとえば画像処理ユニット9の中央処理部CPUにより実行され、図6に示す接近信号検知装置CRが、段差場に設けられた接近信号発信機により発信される所定の接近信号を検知しているか否か(YES/NO)を判定するステップである。ステップS601でYESと判定した場合にはステップS602に移行し、NOと判定した場合にはステップS603に移行する。
The work place determination process of the third embodiment will be described with reference to FIG. 19. In FIG. 19, step S601 is executed, for example, by the central processing unit CPU of the
ここで、接近信号検知装置CRは、接近信号発信機との距離が所定値以内となる場合に、接近信号発信機が発信する接近信号を検知する。接近信号発信機は、常時接近信号を発信するものであってもよいし、所定条件下で接近信号を発信するものであってもよい。所定条件下で接近信号を発信するものとして、たとえば、段差場を成す側壁面や段差場の近くの路面に車両検知センサを設けておき、塵芥収集車と段差場との距離が所定距離以内になったときに、車両検知センサが塵芥収集車を検知するようにする。そして、車両検知センサが塵芥収集車を検知している間、接近信号発信機が上記接近信号を発信するようにしてもよい。なお、車両検知センサは、段差場を成す側壁面や段差場の近くの路面に埋設してもよい。 Here, the approach signal detection device CR detects an approach signal transmitted by the approach signal transmitter when the distance to the approach signal transmitter is within a predetermined value. The approach signal transmitter may always transmit an approach signal or may transmit an approach signal under predetermined conditions. For example, a vehicle detection sensor is installed on the side wall of the step field or on the road near the step field to send an approach signal under predetermined conditions. When this happens, the vehicle detection sensor detects the garbage collection vehicle. The approach signal transmitter may transmit the approach signal while the vehicle detection sensor is detecting the garbage collection vehicle. Note that the vehicle detection sensor may be buried in the side wall surface forming the step field or the road surface near the step field.
ステップS602は、たとえば画像処理ユニット9の中央処理部CPUにより実行され、現在の積み込み作業は先述の予め選定された作業場所にて行われていると判定するステップである。また、ステップS603は、現在の積み込み作業は予め選定された所定の作業場所にて行われていないと判定するステップである。ステップS602,S603において、所定の作業場所での作業が行われているか否かを示す情報が画像処理ユニット9のメモリMに格納される。
Step S602 is executed, for example, by the central processing unit CPU of the
なお、ステップS602,S603の処理を実行したあとは、図15に示す第2実施形態の人物認識装置と同様の処理が行われる。ただし、図17のステップS401の判定処理は、図19のステップS602,S603の判定処理によりメモリMに格納された、所定の作業場所での作業が行われているか否かを示す情報の参照により実行される。 Note that after executing the processing in steps S602 and S603, the same processing as in the person recognition device of the second embodiment shown in FIG. 15 is performed. However, the determination process in step S401 in FIG. 17 is performed by referring to information indicating whether work is being performed at a predetermined work location, which is stored in the memory M through the determination processes in steps S602 and S603 in FIG. executed.
次に、本発明の第4実施形態に係る人物認識装置を説明する。第4実施形態に係る人物認識装置は、第2実施形態に係る人物認識装置における作業場所判定処理(図15のステップS202)を変更した例である。他の構成については、第2実施形態と同様であるので説明を省略する。 Next, a person recognition device according to a fourth embodiment of the present invention will be described. The person recognition device according to the fourth embodiment is an example in which the work place determination process (step S202 in FIG. 15) in the person recognition device according to the second embodiment is modified. The other configurations are the same as those in the second embodiment, so their explanation will be omitted.
図20を参照して第4実施形態の作業場所判定処理を説明する。図20において、ステップS701は、たとえば画像処理ユニット9の中央処理部CPUにより実行され、図6に示す位置情報取得装置GRが取得した位置情報を参照するステップである。
The work place determination process of the fourth embodiment will be described with reference to FIG. 20. In FIG. 20, step S701 is executed, for example, by the central processing unit CPU of the
ステップS702は、中央処理部CPUにより実行され、ステップS701で参照した位置情報に基づき、予め選定された段差のある所定の作業場所を含む所定エリア内に塵芥収集車100があるか否か(YES/NO)を判定するステップである。ステップS702においてYESと判定した場合にはステップS703に移行し、NOと判定した場合にはステップS704に移行する。
Step S702 is executed by the central processing unit CPU, and based on the position information referred to in step S701, whether or not the
ステップS703は、中央処理部CPUにより実行され、現在の積み込み作業は予め選定された段差のある所定の作業場所にて行われていると判定するステップである。また、ステップS704は、現在の積み込み作業は予め選定された段差のある所定の作業場所にて行われていないと判定するステップである。ステップS703,S704において、所定の作業場所での作業が行われているか否かを示す情報が画像処理ユニット9のメモリMに格納される。
Step S703 is a step executed by the central processing unit CPU to determine that the current loading work is being performed at a predetermined work place with a preselected step. Further, step S704 is a step in which it is determined that the current loading work is not being performed at a predetermined work place with a preselected step. In steps S703 and S704, information indicating whether work is being performed at a predetermined work location is stored in the memory M of the
なお、ステップS703,S704の処理を実行したあとは、図15に示す第2実施形態の人物認識装置と同様の処理が行われる。ただし、図17のステップS401の判定処理は、図20のステップS703,S704の判定処理によりメモリMに格納された、所定の作業場所での作業が行われているか否かを示す情報の参照により実行される。 Note that after executing the processing in steps S703 and S704, the same processing as in the person recognition device of the second embodiment shown in FIG. 15 is performed. However, the determination process in step S401 in FIG. 17 is performed by referring to information indicating whether work is being performed at a predetermined work place, which is stored in the memory M through the determination processes in steps S703 and S704 in FIG. executed.
以上、本発明に係る人物認識装置および塵芥収集車を第1~第4実施形態に基づき説明してきたが、具体的な構成については、これらの実施形態に限られない。特許請求の範囲に記載の発明の要旨を逸脱しない範囲の構成の変更や追加によっても上述した課題を解決することができる。 Although the person recognition device and garbage collection vehicle according to the present invention have been described above based on the first to fourth embodiments, the specific configuration is not limited to these embodiments. The above-mentioned problems can also be solved by changes or additions to the configuration within the scope of the invention as set forth in the claims.
たとえば、積み込み用または後退用の特徴データの1つとして、人物の身体上部のうち頭部に関する特徴データを用いる例を説明したが、特徴データとするものはこれに限られない。たとえば、身体上部の特徴データは、頭部を含みあるいは頭部を含まない、より広範囲な部位に関するものでもよい。 For example, an example has been described in which feature data regarding the head of the upper body of a person is used as one of the feature data for loading or retreating, but the feature data is not limited to this. For example, the feature data for the upper body may relate to a wider region including or not including the head.
また、積み込み用または後退用の特徴データの1つとして、人物の身体下部のうち脚部に関する特徴データを用いる例を説明したが、身体下部の特徴データとするものはこれに限られない。たとえば、身体下部の特徴データは、脚部を含みあるいは脚部を含まない、より広範囲な部位に関するものでもよい。 Further, although an example has been described in which feature data regarding the legs of the lower body of a person is used as one of the feature data for loading or retreating, the feature data for the lower body is not limited to this. For example, the characteristic data of the lower body may relate to a wider region including or not including the legs.
また、身体上部の特徴データとして、より狭い範囲である頭部の一部に関するものとしてもよい。同様に、身体下部の特徴データとして、より狭い範囲である足部に関するものとしてもよい。 Furthermore, the characteristic data for the upper part of the body may relate to a narrower area, such as part of the head. Similarly, the characteristic data for the lower part of the body may relate to a narrower area, such as the feet.
また、図13に示す第1実施形態の第1人物認識処理に関し、ステップS182の第1ラベリング処理において、画像内の物体像を人物の脚部に関する特徴データと比較して人物の脚部を抽出し、脚部形状が無いと判定した場合、ステップS190の第2ラベリング処理において、画像内の物体像を人物の頭部に関する特徴データと比較して人物の頭部を抽出するようにしてもよい。なお、この場合、ステップS184~S186は、ステップS190の第2ラベリング処理の実行後に行われ、ステップS191およびS192は、ステップS182の第1ラベリング処理の実行後に行われる。 Regarding the first person recognition process of the first embodiment shown in FIG. 13, in the first labeling process of step S182, the object image in the image is compared with feature data regarding the legs of the person to extract the legs of the person. However, if it is determined that there is no leg shape, the object image in the image may be compared with feature data regarding the head of the person to extract the head of the person in the second labeling process of step S190. . In this case, steps S184 to S186 are performed after the second labeling process in step S190 is performed, and steps S191 and S192 are performed after the first labeling process in step S182 is performed.
また、中央処理部CPUと画像処理部DSPは、互いに分離されない1つの処理部であってもよい。さらに、これらの各処理は、中央処理部CPUや画像処理部DSPと異なる他の処理部にて実行させてもよい。 Further, the central processing unit CPU and the image processing unit DSP may be one processing unit that is not separated from each other. Furthermore, each of these processes may be executed by a processing unit other than the central processing unit CPU or the image processing unit DSP.
本発明は、塵芥収集車であれば広く適用できる。 The present invention can be widely applied to any garbage collection vehicle.
4 塵芥投入口
71 カメラ(人物認識装置の一部)
100 塵芥収集車
CPU 中央処理部(画像処理装置の一部)
CR 接近信号検知装置
DSP 画像処理部(画像処理装置の一部)
GR 位置情報取得装置
R 段差場
4
100 Garbage collection vehicle CPU Central processing unit (part of image processing device)
CR Approach signal detection device DSP Image processing unit (part of image processing device)
GR Location information acquisition device R Step field
Claims (9)
前記画像処理装置は、
前記画像に含まれる物体像を人物の予め定められた身体上部の特徴データと比較して、前記物体像が前記身体上部を表すものか否かを判定する身体上部判定処理と、前記画像に含まれる物体像を人物の予め定められた身体下部の特徴データと比較して、前記物体像が前記身体下部を表すものか否かを判定する身体下部判定処理とを実行可能な人物判定手段と、
前記人物判定手段により前記身体上部または前記身体下部を表すと判定された物体像が、前記塵芥投入口近傍の所定エリアに入っているか否かを判定する侵入判定手段と、を有し、
前記人物判定手段は、前記身体上部判定処理を実行して前記物体像が前記身体上部を表すものでないと判定した場合に前記身体下部判定処理を実行し、または前記身体下部判定処理を実行して前記物体像が前記身体下部を表すものでないと判定した場合に前記身体上部判定処理を実行する、ことを特徴とする人物認識装置。 A person recognition device comprising: a camera installed above a garbage inlet of a garbage collection vehicle; and an image processing device that recognizes a person near the garbage inlet based on image data taken by the camera,
The image processing device includes:
an upper body determination process of comparing an object image included in the image with predetermined feature data of the upper body of the person to determine whether the object image represents the upper body; a person determining means capable of performing a body lower part determination process of comparing an object image displayed with predetermined feature data of the lower body part of the person to determine whether the object image represents the lower body part;
an intrusion determining means for determining whether an object image determined by the person determining means to represent the upper body or the lower body enters a predetermined area near the garbage inlet;
The person determining means executes the lower body determining process if the object image does not represent the upper body by executing the upper body determining process, or executes the lower body determining process. A person recognition device characterized in that, when it is determined that the object image does not represent the lower body part, the upper body determination process is executed.
前記画像処理装置は、
前記塵芥収集車の接地面よりも高い所定の段差場から塵芥を積み込む段差作業が行われているか否かを判定する作業判定手段と、
前記作業判定手段により前記段差作業が行われていないと判定された場合は、前記画像に含まれる物体像を人物の予め定められた身体上部の特徴データと比較して、前記物体像が前記身体上部を表すものか否かを判定し、前記作業判定手段により前記段差作業が行われていると判定された場合は、前記画像に含まれる物体像を人物の予め定められた身体下部の特徴データと比較して、前記物体像が前記身体下部を表すものか否かを判定する人物判定手段と、
前記人物判定手段により前記身体上部または前記身体下部を表すと判定された物体像が、前記塵芥投入口近傍の所定エリアに入っているか否かを判定する侵入判定手段と、
を有する、ことを特徴とする人物認識装置。 A person recognition device comprising: a camera installed above a garbage inlet of a garbage collection vehicle; and an image processing device that recognizes a person near the garbage inlet based on image data taken by the camera,
The image processing device includes:
Work determining means for determining whether step work is being carried out to load garbage from a predetermined step field higher than the ground contact surface of the garbage collection vehicle;
If the work determination means determines that the step work is not being performed, the object image included in the image is compared with predetermined feature data of the upper body of the person, and the object image is determined to be It is determined whether the image represents the upper part of the body or not, and if the work determining means determines that the step work is being performed, the object image included in the image is converted to characteristic data of the lower part of the person's body determined in advance. a person determining means for determining whether the object image represents the lower part of the body by comparing the object image with the object image;
Intrusion determining means for determining whether an object image determined by the person determining means to represent the upper body or the lower body enters a predetermined area near the garbage input port;
A person recognition device comprising:
前記身体上部の特徴データには、前記身体上部への装着物の大きさ、位置および形状が含まれており、
前記身体下部の特徴データには、前記身体下部への装着物の大きさ、位置および形状が含まれている、ことを特徴とする人物認識装置。 The person recognition device according to claim 1 or 2,
The characteristic data of the upper body includes the size, position, and shape of an item attached to the upper body,
A person recognition device characterized in that the characteristic data of the lower part of the body includes a size, a position, and a shape of an item attached to the lower part of the body.
前記身体上部の特徴データは、前記塵芥収集車の接地面に立つ人物の予め定められた身体上部の複数の画像の機械学習により取得されたものであり、
前記身体下部の特徴データは、前記身体上部が撮影されない高さ位置に立つ人物の予め定められた身体下部の複数の画像の機械学習により取得されたものである、ことを特徴とする人物認識装置。 The person recognition device according to claim 3,
The characteristic data of the upper part of the body is obtained by machine learning of a plurality of predetermined images of the upper part of the body of a person standing on the ground surface of the garbage collection vehicle,
The person recognition device is characterized in that the characteristic data of the lower body part is obtained by machine learning of a plurality of predetermined images of the lower body part of a person standing at a height where the upper part of the body is not photographed. .
前記身体上部は頭部であり、前記身体下部は脚部であることを特徴とする人物認識装置。 5. The person recognition device according to claim 4,
The human recognition device is characterized in that the upper body part is the head and the lower body part is the legs.
前記作業判定手段は、前記画像に含まれる物体像を前記段差場の特徴データと比較して、前記物体像が前記段差場を表すものか否かの判定を行い、前記物体像が前記段差場を表すものでないと判定した場合には前記段差作業が行われていないと判定し、前記物体像が前記段差場を表すものと判定した場合には前記段差作業が行われていると判定する、ことを特徴とする人物認識装置。 The person recognition device according to claim 2,
The work determining means compares the object image included in the image with characteristic data of the step field to determine whether the object image represents the step field, and the object image is determined to be representative of the step field. If it is determined that the object image does not represent the step field, it is determined that the step work is not being performed, and if it is determined that the object image represents the step field, it is determined that the step work is being performed. A person recognition device characterized by:
所定の接近信号を発信する、前記段差場に設けられた接近信号発信機と、
前記接近信号発信機との距離が所定値以内となる場合に、前記接近信号を検知する、前記塵芥収集車に設けられた接近信号検知装置と、
をさらに備え、
前記画像処理装置の作業判定手段は、前記接近信号検知装置が前記接近信号を検知していない場合には前記段差作業が行われていないと判定し、前記接近信号検知装置が前記接近信号を受信している場合には前記段差作業が行われていると判定する、ことを特徴とする人物認識装置。 The person recognition device according to claim 2,
an approach signal transmitter provided at the step field that transmits a predetermined approach signal;
an approach signal detection device provided on the garbage collection vehicle that detects the approach signal when the distance to the approach signal transmitter is within a predetermined value;
Furthermore,
The work determination means of the image processing device determines that the step work is not being performed when the approach signal detection device does not detect the approach signal, and the approach signal detection device receives the approach signal. A person recognition device characterized in that, if the step work is being performed, it is determined that the step work is being performed.
衛星測位システムを利用して前記塵芥収集車の位置情報を取得する位置情報取得装置をさらに備え、
前記画像処理装置の作業判定手段は、前記位置情報取得装置が取得した位置情報を参照し、前記塵芥収集車が所定の位置にない場合には前記段差作業が行われていないと判定し、前記塵芥収集車が所定の位置にある場合には前記段差作業が行われていると判定する、ことを特徴とする人物認識装置。 3. The person recognition device according to claim 2,
Further comprising a position information acquisition device that acquires position information of the waste collection vehicle using a satellite positioning system;
The work determination means of the image processing device refers to the location information acquired by the location information acquisition device, and determines that the step work is not being performed if the garbage collection truck is not in a designated position, and determines that the step work is being performed if the garbage collection truck is in a designated position, characterized by a person recognition device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022147235A JP2024042484A (en) | 2022-09-15 | 2022-09-15 | Person recognition device and garbage collecting vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022147235A JP2024042484A (en) | 2022-09-15 | 2022-09-15 | Person recognition device and garbage collecting vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024042484A true JP2024042484A (en) | 2024-03-28 |
Family
ID=90417982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022147235A Pending JP2024042484A (en) | 2022-09-15 | 2022-09-15 | Person recognition device and garbage collecting vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024042484A (en) |
-
2022
- 2022-09-15 JP JP2022147235A patent/JP2024042484A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6798971B2 (en) | Garbage truck | |
JP6752533B2 (en) | Garbage truck and person recognition device equipped on it | |
JP7057169B2 (en) | Garbage truck | |
JP2023105008A (en) | Person recognition device of trash collecting vehicle | |
JP7016600B2 (en) | Garbage truck | |
JP2024042484A (en) | Person recognition device and garbage collecting vehicle | |
JP7284670B2 (en) | garbage truck | |
JP6799496B2 (en) | Garbage truck and emergency stop device equipped on it | |
JP7464367B2 (en) | Refuse collection truck | |
JP6895802B2 (en) | Garbage truck and person recognition device equipped on it | |
JP2018154464A (en) | Garbage collector and person recognition device mounted in the same | |
JP7429590B2 (en) | Specially equipped vehicle | |
JP7394000B2 (en) | Specially equipped vehicle | |
JP7146370B2 (en) | Specially equipped vehicle | |
JP6887306B2 (en) | Garbage truck and person recognition device equipped on it | |
JP7339785B2 (en) | garbage truck | |
JP7393905B2 (en) | garbage collection truck | |
JP7421402B2 (en) | Person recognition system for specially equipped vehicles | |
JP2021160835A (en) | Garbage collecting vehicle | |
JP7311377B2 (en) | Garbage truck maintenance equipment | |
JP7394004B2 (en) | Specially equipped vehicle | |
JP7299080B2 (en) | garbage truck | |
JP7438636B2 (en) | work vehicle | |
JP7076933B2 (en) | Garbage truck and emergency stop device equipped on it | |
JP2022156310A (en) | Garbage collection vehicle |