JP4437750B2

JP4437750B2 - Lamp cleaning system

Info

Publication number: JP4437750B2
Application number: JP2005029883A
Authority: JP
Inventors: 尚幸大石; 英司吉本; 剛岸川; 竜也西垣; 達也田村
Original assignee: Sanki Engineering Co Ltd
Current assignee: Sanki Engineering Co Ltd
Priority date: 2005-02-04
Filing date: 2005-02-04
Publication date: 2010-03-24
Anticipated expiration: 2025-02-04
Also published as: JP2006214214A

Description

本発明は、路面灯、滑走路誘導灯等の灯器の洗浄システムに関する。 The present invention relates to a cleaning system for lamps such as road lights and runway guide lights.

航空機滑走路、誘導路、車両用道路、分離帯等に間隔をおいて埋め込まれ、もしくは設置される路面灯、誘導灯等の灯器は、雨水・埃による汚れ以外に、航空機やトラックの走行及び停止・発進によって生じる排気ガスやタイヤの磨耗屑の付着、さらには路面灯設置部分を防水処理するコーキング材の飛散焼き付きなどの汚れによって、所定の機能を発揮することができなくなる。雨水・埃の付着による汚れは容易に除去できるが、タイヤの磨耗屑やコーキング材が路面灯等のガラス面に油分とともに摩擦熱により焼き付いて（蒸着）ガラス表面に付着したものを完全に除去することは容易ではない。 Lights such as road lights, guide lights, etc. that are embedded or installed at intervals in aircraft runways, taxiways, vehicle roads, separation zones, etc., in addition to dirt from rainwater and dust, run aircraft and trucks. Further, the exhaust gas generated by stopping / starting, adhesion of tire wear debris, and contamination such as scattering of caulking material that waterproofs the road light installation part cannot perform a predetermined function. Dirt due to rainwater / dust adhesion can be easily removed, but tire wear debris and caulking material are rubbed on the glass surface of road lights and the like together with oil by frictional heat (evaporation) to completely remove the deposit on the glass surface. It is not easy.

このような物の表面に焼き付いた汚染物の洗浄として、路面灯、滑走路誘導灯または反射鏡の汚れに対しては従来、手作業によるスクレーパ作業により洗浄していた。
また、このような物の表面に焼き付いた汚染物の洗浄には、一般に、塗装・メッキ工場等で、ワーク表面の錆落し、研磨等に利用されているサンドブラストおよび、対象物が傷付きやすい場合にはソフトブラストを適用することが考えられる。ソフトブラストシステムのブラスト材（洗浄材、研浄材）は、その対象物と目的に応じて、拡散しても人体には無害な重曹（重炭酸水素ナトリウム）またはドライアイス（二酸化炭素）のいずれかが使用されている（例えば、特許文献１参照）。また、自走する台車へ管理棟の管理ＰＣから洗浄作業ルートに即した絶対位置情報を送り，ＧＰＳ電波を受信参照して灯火位置へ台車を移動する洗浄台車において、滑走路灯の照度を測定し画像処理により判別処理しドライアイスブラストで洗浄することも開示されている（例えば、特許文献２）。さらに、保守点検の対象である滑走路の灯器を検知カメラの画像に基づき、予め入力されている画像データと比較して灯器のボルト位置と清掃位置を算出し、ロボット作業装置を駆動して清掃する装置も知られている（例えば、特許文献３）。 As a cleaning of the contaminants burned on the surface of such an object, the dirt on the road lamp, the runway guide lamp or the reflecting mirror has been conventionally cleaned by a manual scraper operation.
In addition, when cleaning contaminants that have burned onto the surface of such objects, sandblasting used for rusting and polishing of the workpiece surface, etc., and objects are generally easily damaged at painting and plating plants, etc. It is conceivable to apply soft blasting. Blasting materials (cleaning materials, polishing materials) of soft blasting systems are either sodium bicarbonate (sodium bicarbonate) or dry ice (carbon dioxide) that is harmless to the human body even if diffused, depending on the object and purpose. Is used (see, for example, Patent Document 1). Also, the absolute position information corresponding to the cleaning work route is sent from the management building management PC to the self-propelled carriage, and the illuminance of the runway lamp is measured in the washing carriage that moves the carriage to the lighting position by referring to the received GPS radio wave. Discrimination processing by image processing and cleaning with dry ice blasting are also disclosed (for example, Patent Document 2). In addition, the lamp on the runway that is the object of maintenance inspection is compared with the image data input in advance based on the image of the detection camera, and the bolt position and cleaning position of the lamp are calculated, and the robot working device is driven. A cleaning device is also known (for example, Patent Document 3).

特開１０−２０２２０８号（第３頁左欄第３８行〜右欄第２１行、図２）JP 10-202208 (Page 3, left column, line 38 to right column, line 21, FIG. 2) 特開２００２−１３８４３１号（第２頁、左欄第１〜３０行、図１）。JP 2002-138431 (page 2, left column, lines 1-30, FIG. 1). 特開平７−２２９１０６号（第１頁、左欄第１〜１６行、３５〜４０行、図１）JP-A-7-229106 (first page, left column, lines 1-16, lines 35-40, FIG. 1)

上記のように、洗浄対象物である路面灯、滑走路誘導灯または反射鏡の汚れに対しては従来、手作業によるスクレーパ作業により洗浄していたため能率の向上が望めないばかりか、トラックを通行させたまま路面灯等を洗浄するには危険であり、作業区域の交通を長時間遮断すると交通渋滞を招くおそれがある。このため、路面灯または反射鏡等をソフトブラストによって比較的短時間に洗浄することの出来るシステムの開発が望まれている。
本発明は、作業用ロボットをトラックに搭載し、モニタを見ながら運転者がトラックを運転して、トラックと相対的にある範囲に灯器を位置させたのち、洗浄対象物の位置や種類を自動検出しながらマニピュレータ先端のブラストノズルを接近させてソフトブラストすることにより、路面灯または反射鏡を容易、迅速に洗浄をするようにしたガラス面洗浄システムを提供することを目的とする。 As mentioned above, dirt on the object to be cleaned, such as road lights, runway guide lights, or reflectors, has been conventionally cleaned by manual scraper work. It is dangerous to wash the street lights and the like while it is left, and if traffic in the work area is blocked for a long time, there is a risk of causing traffic congestion. For this reason, development of the system which can wash | clean a road surface lamp, a reflective mirror, etc. by a soft blast in a comparatively short time is desired.
In the present invention, a work robot is mounted on a truck, a driver drives the truck while looking at a monitor, positions a lamp in a certain range relative to the truck, and then determines the position and type of the object to be cleaned. An object of the present invention is to provide a glass surface cleaning system in which a blast nozzle at the tip of a manipulator is approached and soft blasted while automatically detecting to easily and quickly clean a road lamp or a reflecting mirror.

上記目的を達成するため、本発明の請求項は、三次元空間を自在に動かせる多関節アームの先端付近にブラストノズル、距離センサおよびＣＣＤカメラを取り付け、距離センサによりＸ−Ｙ軸上にある路面灯等の灯器との距離をはかりながら、自動認識システムにより作業目標の位置や寸法・形状から対象物の種別を探索して設定した後、洗浄材をブラストして洗浄する方法であって、
灯器の外形およびランプ位置をモデル化して初期登録し、カメラ撮像データをカメラ入力１，２，３及び４として、画像処理ユニットの「登録モデル１粗サーチ」、「登録モデル１精密検出」、「登録モデル２精密検出」、及び「登録モデル３検出」の各処理にそれぞれ入力し、
「登録モデル１粗サーチ」で灯器形状である「登録モデル１」を検出し、座標点算出と高さ検出のため多関節アームを制御しながら計算処理を行い、「登録モデル１」を検出できないときは反復してシャタースピードを変更して、カメラ入力１から再度処理して画像を認識し、
多関節アームを制御しながら座標点直上に距離センサを位置させ高さ検出が終了したのち、多関節アームを制御しながらＣＣＤカメラを座標点直上に位置させ撮影したデータである、カメラ入力２の入力に基づき、「登録モデル１精密検出」で灯器形状と灯器上ランプ位置である「登録モデル１」を検出したのち、「登録モデル２精密検出」で灯器が備えているボルト位置である「登録モデル２」を検出した結果と、Ｘ−Ｙ軸座標算出結果とから、灯器の種別の判断を行う「演算」を行って灯器種別を決定し、この「登録モデル２」を検出できないときは反復してシャタースピードを変更しカメラ入力２から再度処理して画像を認識し、
「演算」を経て灯器を決定後、カメラ入力３の入力から「登録モデル３検出」の処理から座標軸とボルト対角線のなす角θから割り出されるランプ位置である「登録モデル３」を精密検出して洗浄対象とその位置を決定する一方、
この「登録モデル３」が検出ＮＧのときは、カメラ入力３データの階調段階の白黒レベル設定を変更し、カメラのシャタースピードを変更してカメラ入力３を再び「登録モデル３検出」の処理に入力して洗浄対象とその位置を決定することを特徴とする灯器の洗浄方法である。 In order to achieve the above object, the present invention claims that a blast nozzle, a distance sensor, and a CCD camera are attached near the tip of an articulated arm that can freely move in a three-dimensional space, and the road surface is on the XY axis by the distance sensor. It is a method of blasting and cleaning the cleaning material after searching for and setting the type of object from the position, size and shape of the work target with an automatic recognition system while measuring the distance from the lamp such as a lamp,
The external shape of the lamp and the lamp position are modeled and initially registered, and the camera image data is set as camera inputs 1, 2, 3 and 4, and “registered model 1 coarse search”, “registered model 1 precision detection” of the image processing unit, Input each process of “Registered model 2 precision detection” and “Registered model 3 detection”
“Registered model 1” is detected by “registered model 1 rough search”, and calculation processing is performed while controlling the articulated arm for coordinate point calculation and height detection, and “registered model 1” is detected. If you can't, change the shutter speed repeatedly, re-process from camera input 1 to recognize the image,
After the distance sensor is positioned immediately above the coordinate point while controlling the multi-joint arm and the height detection is completed, the data of the camera input 2 is taken by controlling the multi-joint arm and positioning the CCD camera directly above the coordinate point. Based on the input, “Registered Model 1 Precision Detection” detects the lamp shape and lamp position “Registered Model 1”, then “Registered Model 2 Precision Detection” at the bolt position that the lamp has. From the result of detecting a certain “registration model 2” and the XY axis coordinate calculation result, “calculation” for determining the type of the lamp is performed to determine the lamp type, and this “registration model 2” is determined. If it cannot be detected, iteratively change the shutter speed and process again from camera input 2 to recognize the image,
After determining the lamp through “calculation”, “registration model 3”, which is the lamp position calculated from the angle θ between the coordinate axis and the bolt diagonal line, is detected from the input of camera input 3 and “registration model 3 detection”. While determining the object to be cleaned and its position,
When the “registered model 3” is detected NG, the black / white level setting of the gradation level of the camera input 3 data is changed, the camera shutter speed is changed, and the camera input 3 is processed again for the “registered model 3 detection” process. The lamp cleaning method is characterized in that the object to be cleaned and its position are determined by inputting to the lamp.

上記のように、本発明は、洗浄材ブラスト装置と、マニピュレータ先端にブラストノズル及びＣＣＤカメラを備えた作業用ロボットとを搭載したトラックを、洗浄対象物とする路面灯または反射鏡近傍の所定の位置にモニタを見ながら運転者が運転して、トラックと相対的にある範囲に灯器を位置させて停止させ、前記ＣＣＤカメラから取り込まれた前記洗浄対象物の画像に基き、車載コンピュータの処理により位置情報から寸法（高さ、灯器の寸法および後記ボルト位置の角度θ（図３））を認識し、画像の洗浄対象物の形状を記憶している形状と照らし合わせて認識し、それによって対象として認識した洗浄対象物の位置情報を探索し、前記作業用ロボットのマニピュレータ先端のブラストノズルから洗浄対象物に向けて洗浄材を吹付けることで、人手に頼って手間と時間をかけることなく、また交通に脅かされたり妨害することなく、安全、簡便で効率的に対象物を洗浄することができる。また、灯器の外形およびランプ位置をモデル化して初期登録する事で、対象エリアの灯器の種別とその位置を全体として登録したり、その洗浄ルートを管理用ＰＣなどで管理する必要が無いことから、灯器の変更や追加に対してシステムを何ら変えずに対応ができる。そして、灯器のランプ位置の検出に対して、画像の処理を階調段階の白黒レベル設定を変更して再検出できるようにしたことから、ランプの点灯か消灯かの状態にかかわらず、確実にランプ位置が検出できる。さらに、精密にランプ位置が割り出されるため、洗浄対象をランプ位置（正確にはランプ発光を導くプリズム表面ガラス面）のみと限定でき、洗浄剤を無駄にせず、かつ短時間に洗浄できる。 As described above, the present invention provides a predetermined material in the vicinity of a road lamp or reflector that uses a cleaning material blasting device and a track equipped with a working robot equipped with a blast nozzle and a CCD camera at the tip of a manipulator as an object to be cleaned. The driver drives while looking at the monitor at the position, stops the lamp by positioning the lamp in a certain range relative to the truck, and processes the vehicle-mounted computer based on the image of the object to be cleaned captured from the CCD camera. To recognize the dimensions (height, lamp dimensions and bolt angle θ (see Fig. 3)) from the position information, and recognize the shape of the object to be cleaned in comparison with the stored shape. The position information of the object to be cleaned recognized as a target is searched for, and the cleaning material is sprayed from the blast nozzle at the tip of the manipulator of the working robot toward the object to be cleaned. It is, without applying relying on manual labor and time, and without disturbing or threatened by traffic, can be cleaned safely and conveniently in efficient object. In addition, by modeling and initial registration of the external shape of the lamp and the lamp position, it is not necessary to register the type and position of the lamp in the target area as a whole, or to manage the cleaning route with a management PC or the like. Therefore, it is possible to respond to changes or additions of lamps without changing the system. In addition, the detection of the lamp position of the lamp can be detected again by changing the monochrome level setting at the gradation level for the image processing, regardless of whether the lamp is on or off. The lamp position can be detected. Furthermore, since the lamp position is accurately determined, the object to be cleaned can be limited to only the lamp position (more precisely, the prism surface glass surface that guides the lamp emission), and the cleaning agent can be cleaned in a short time without wasting it.

図１は本発明洗浄システムの機器構成図である。
天蓋付のトラック１の荷台に、洗浄材タンク及び洗浄材定量供給装置（図示省略）と作業用ロボット（多関節ロボット）９、ロボットコントローラ２及び画像処理コントローラ３を搭載する。作業用ロボット９は、ロボットアーム先端のマニピュレータにブラストノズル（図示省略）と洗浄対象物（誘導灯などの灯器）３０の清掃面を検出する距離センサ１０ａとＣＣＤカメラ１０ｂを取付けている。画像処理コントローラ３は、データ通信用コントローラ４、外部メモリ６を有し、且つデータ入力機器７に接続された画像処理ユニット５から構成されており、その出力側に画像認識ユニット用照明装置８を導出している。 FIG. 1 is an equipment configuration diagram of the cleaning system of the present invention.
A cleaning material tank, a cleaning material constant supply device (not shown), a working robot (articulated robot) 9, a robot controller 2, and an image processing controller 3 are mounted on the loading platform of the truck 1 with a canopy. The working robot 9 is provided with a blast nozzle (not shown) and a distance sensor 10a for detecting a cleaning surface of an object to be cleaned (lighting device such as a guide light) 30 and a CCD camera 10b on a manipulator at the tip of the robot arm. The image processing controller 3 includes a data communication controller 4 and an external memory 6, and includes an image processing unit 5 connected to a data input device 7. An image recognition unit illumination device 8 is provided on the output side of the image processing controller 3. Derived.

図２は洗浄対象とする灯器３０の概略平面を示すもので、（a）は平行する２つの光源（ハロゲンランプ）３１を持つ大型灯器両目、（b）は１つの光源３１を持つ大型灯器片目、（c）は平行して位置ずれした位置に２つの光源（両目）３１を持つ中型灯器、（d）は１つの光源（片目）３１を持つ中型灯器、（e）は傾けた位置に２つの光源（両目）３１を持つ中型灯器、（f）は中央に１つの光源３１を持つ小型灯器である。 FIG. 2 shows a schematic plan view of the lamp 30 to be cleaned. (A) is a large lamp both eyes having two light sources (halogen lamps) 31 in parallel, and (b) is a large lamp having one light source 31. (C) is a medium-sized lamp with two light sources (both eyes) 31 at a position displaced in parallel, (d) is a medium-sized lamp with one light source (one eye) 31, and (e) A medium-sized lamp having two light sources (both eyes) 31 at an inclined position, and (f) is a small lamp having one light source 31 at the center.

図３は２つの光源（両目）を持つ中型灯器の角度補間検査状態を示し、（ａ）は灯器取付用ボルトの位置（太線矢印方向）の角度補間検査（サンプル）画像１、（ｂ）はサンプル画像１を１８０°旋回させたときのサンプル画像２を示す。サンプル画像２はサンプル画像１に対し１８０°非鏡面像で、例えばグレー処理で色合白黒、２５５階層とする。
図４は１つの光源（片目）を持つ中型灯器のサンプル画像で、（ａ）は灯器判別サンプル画像１、（ｂ）はサンプル画像１を反転させたときのサンプル画像２を示す。図４中、符号１８は前記灯器の取付用ボルト（図示のように４ヶ所ずつ）である。 FIG. 3 shows an angle interpolation inspection state of a medium-sized lamp having two light sources (both eyes), and (a) shows an angle interpolation inspection (sample) image 1 of the position of the lamp mounting bolt (in the direction of the thick line arrow), (b) ) Shows a sample image 2 when the sample image 1 is rotated 180 °. The sample image 2 is a 180 ° non-specular image with respect to the sample image 1 and has, for example, a gray process and a hue of black and white and 255 layers.
4A and 4B are sample images of a medium-sized lamp having one light source (one eye). FIG. 4A shows a lamp discrimination sample image 1 and FIG. 4B shows a sample image 2 when the sample image 1 is inverted. In FIG. 4, reference numeral 18 designates bolts for mounting the lamp (four locations as shown).

図５は本発明洗浄システムのブロック図である。
コンピュータ１２の入力側に起動スイッチ１１と距離センサ１３を接続し出力側にカメラ１０ｂとロボットコントローラ２を接続する。カメラ１０ｂの撮影データは画像メモリ１４、位置データメモリ１５、演算器１６及び登録種別データ１７からなる「登録モデル１粗サーチ」部Ａ，と画像メモリ２４、位置データメモリ２５、演算器２６からなる「登録モデル１精密検出」部Ｂと、画像メモリ３４、位置データメモリ３５、演算器３６からなる「登録モデル２精密検出」部Ｃと、画像メモリ４４、位置データメモリ４５、演算器４６からなる「登録モデル３検出」部Ｄとから構成されている。 FIG. 5 is a block diagram of the cleaning system of the present invention.
The start switch 11 and the distance sensor 13 are connected to the input side of the computer 12, and the camera 10b and the robot controller 2 are connected to the output side. Shooting data of the camera 10b is composed of a "registered model 1 coarse search" section A including an image memory 14, a position data memory 15, a calculator 16 and registration type data 17, an image memory 24, a position data memory 25, and a calculator 26. "Registered model 1 precision detection" section B, image memory 34, position data memory 35, and "registered model 2 precision detection" section C consisting of calculator 36, image memory 44, position data memory 45, and calculator 46 “Registered model 3 detection” part D is configured.

図６は作業の前段、すなわち画像処理ユニット５に洗浄対象の灯器種別の判断画像として外形およびランプ位置をモデル化して初期登録した後、灯器形状の大まかな形を画像処理する「登録モデル１粗サーチ」の検出処理を行い、灯器の大きさと座標点を求めた後、座標点の真上に距離センサを移動して、高さ検出を行う処理を示すフローチャートである。
図７は作業の中段、すなわち座標点の真上にＣＣＤカメラを移動して、再び灯器形状の形状およびランプ位置を画像認識する「登録モデル１精密検出」、および灯器の備えているボルト位置を画像処理する「登録モデル２精密検出」をそれぞれ行い、その後「演算」して灯器種別を判定する処理を示すフローチャートである。
図８は作業の後段、すなわち「演算」を経て灯器を決定後、カメラ入力３の入力から「登録モデル３検出」の処理から座標軸とボルト対角線のなす角θから割り出されるランプ位置である「登録モデル３」を精密検出して洗浄対象とその位置を決定する一方、
この「登録モデル３」が検出ＮＧのときは、カメラ入力３データの階調段階の白黒レベル設定を変更し、カメラのシャタースピードを変更してカメラ入力３を再び「登録モデル３検出」の処理に入力して洗浄対象とその位置を決定する処理であり、そのあと洗浄動作をかけることを示すフローチャートである。 FIG. 6 shows the “registration model” in which the rough shape of the lamp shape is subjected to image processing after modeling and initial registration of the outer shape and the lamp position as a judgment image of the type of lamp to be cleaned in the image processing unit 5 before the work. It is a flowchart which shows the process which performs a detection process of "1 rough search", calculates | requires the magnitude | size and coordinate point of a lamp, and moves a distance sensor just above a coordinate point, and performs height detection.
FIG. 7 shows “registered model 1 precision detection” in which the CCD camera is moved to the middle stage of the work, that is, just above the coordinate point, and the shape of the lamp shape and the lamp position are recognized again. It is a flowchart which shows the process which performs each "registration model 2 precision detection" which performs image processing of a position, and performs "calculation" after that, and determines a lamp type.
FIG. 8 shows the lamp position calculated from the angle θ formed by the coordinate axis and the bolt diagonal line from the input of the camera input 3 to the “registered model 3 detection” process after determining the lamp after the operation, that is, through “calculation”. While "Registration Model 3" is precisely detected to determine the object to be cleaned and its position,
When the “registered model 3” is detected NG, the black / white level setting of the gradation level of the camera input 3 data is changed, the camera shutter speed is changed, and the camera input 3 is processed again for the “registered model 3 detection” process. FIG. 6 is a flowchart showing the process of determining the object to be cleaned and its position by inputting the value into the line and then performing the cleaning operation.

具体的に灯器の洗浄に至るまでの洗浄対象の自動認識と、位置の検出について以下にステップを追って説明する。
あらかじめデータ入力機器７を操作し、カメラ１０ｂを用いて、図２に示す各種灯器を撮影して画像をモデル化して初期登録しておく。モデル１，２，３を初期登録（ステップＳＴ１）しておく。まず、洗浄材ブラスト装置と、マニピュレータ先端にブラストノズル及びＣＣＤカメラを備えた作業用ロボットとを搭載したトラックを、洗浄対象物とする路面灯または反射鏡近傍の所定の位置にモニタを見ながら運転者が運転して、トラックと相対的にある範囲に灯器を位置させて停止させ、起動スイッチ入力（ＳＴ２）にてロボット動作（ＳＴ３）を行う。カメラ入力１（ＳＴ４）で登録モデル１を検出し（ＳＴ５）、座標点算出（ＳＴ６）、ロボット動作（ＳＴ１１）、高さ検出（ＳＴ１２）を行う。
すなわち、図６に示すように、起動スイッチ入力にてＰＬＣ１２をスタンバイ状態から動作状態に移す（ＳＴ２）。ＰＬＣ１２の指令にてロボット２を動作させ、対象の洗浄物（灯器）３０の近傍へカメラ１０ｂを移動して灯器３０をカメラで初期設定シャッタースピードにて撮影する（ＳＴ３）。その撮影データを信号カメラ入力１として「登録モデル１粗サーチ」部Ａの画像メモリ１４へ送信する（ＳＴ４）。カメラ入力１を受けた「登録モデル１粗サーチ」部Ａは、画像メモリ１４に受取ったデータから位置データを切り出して位置データメモリ１５へ出力し、かつ演算（１）部１６へデータ送信し、灯器形状である「登録モデル１」として外形寸法を演算し、大型か中型か小型かを判定する。その位置データ（１）や「登録モデル１」判定結果を登録種別データ部１７へ送信し初期登録データを照合する（ＳＴ５）。位置データメモリ（１）はＰＬＣ１２へ送信し、灯器上に座標点をとる演算をＰＬＣ１２で行い（ＳＴ６）、その結果を受けてロボット９を動作させ、多関節アームを制御しながら距離センサ１０ａを座標点直上に移動する（ＳＴ１１）。そして距離センサ１０ａにより高さ検出を行う（ＳＴ１２）。 Specifically, the automatic recognition of the object to be cleaned and the position detection until the lamp is cleaned will be described below step by step.
The data input device 7 is operated in advance, and various types of lamps shown in FIG. 2 are photographed using the camera 10b to model images and register them in advance. Models 1, 2, and 3 are initially registered (step ST1). First, a truck equipped with a cleaning material blasting device and a working robot equipped with a blast nozzle and a CCD camera at the tip of the manipulator is operated while looking at the monitor at a predetermined position near the road lamp or reflector as the object to be cleaned. The driver operates, stops the lamp by positioning the lamp within a certain range relative to the truck, and performs the robot operation (ST3) by the start switch input (ST2). Registration model 1 is detected by camera input 1 (ST4) (ST5), coordinate point calculation (ST6), robot operation (ST11), and height detection (ST12) are performed.
That is, as shown in FIG. 6, the PLC 12 is moved from the standby state to the operating state by the start switch input (ST2). The robot 2 is operated in accordance with a command from the PLC 12, the camera 10b is moved to the vicinity of the target cleaning object (lamp) 30, and the lamp 30 is photographed with the camera at an initial shutter speed (ST3). The photographed data is transmitted as signal camera input 1 to the image memory 14 of the “registered model 1 rough search” section A (ST4). The “registered model 1 coarse search” unit A that has received the camera input 1 cuts out the position data from the data received in the image memory 14, outputs it to the position data memory 15, and transmits the data to the calculation (1) unit 16. The external dimensions are calculated as “registered model 1” which is a lamp shape, and it is determined whether it is large, medium or small. The position data (1) and the “registration model 1” determination result are transmitted to the registration type data unit 17 and the initial registration data is collated (ST5). The position data memory (1) transmits to the PLC 12 and performs an operation for obtaining a coordinate point on the lamp by the PLC 12 (ST6). Upon receiving the result, the robot 9 is operated to control the multi-joint arm and the distance sensor 10a. Is moved immediately above the coordinate point (ST11). The height is detected by the distance sensor 10a (ST12).

ステップ５で登録モデル１を検出できないときは２回目計測（カメラ入力１及び登録モデル１検出の実施）（ＳＴ７）してシャッタースピード変更（ＳＴ８）してＳＴ４に戻り、またＳＴ７でＮＧのときは３回目計測（ＳＴ９）を経てシャッタースピードを変更（ＳＴ８）するが、３回目計測不能のときはＮＧ終了する。
高さ検出（ＳＴ１２）を終了したもの（ア）は、図７のロボット動作でＰＬＣ１２の指令により多関節アームを動作させ、制御しながら距離センサ１０ａを座標点直上に移動する（ＳＴ１３）。そして、カメラ１０ｂにより直上から灯器３０を撮影する。そして、その撮影データをカメラ入力２として「登録モデル１精密検出」部Ｂの画像メモリ２４へ送信する（ＳＴ１４）。カメラ入力２を受けた「登録モデル１精密検出」部Ｂは、画像メモリ２４に受取ったデータから位置データを切り出して位置データメモリ１５へ出力し、かつ演算（２）部２６へデータ送信して、灯器形状及びランプ位置を「登録モデル１」として演算し、灯器の種別を概ね判定する。その位置データ（２）や「登録モデル１」判定結果を登録種別データ部１７へ送信し、初期登録データと照合する（ＳＴ１５）。
その後、座標点から座標を算出する（ＳＴ１６）。ＳＴ１５画像データを情報として「登録モデル２精密検出」部Ｃの画像メモリ３４へ送信する。そのデータを用いて、灯器の備えているボルト位置を画像から読み取る処理を行い、ボルト位置算出結果を精密検出する（ＳＴ１７）。
そして、ＳＴ１６，１７の出力を合わせて演算として、（１）灯器の種別最終判定、（２）ボルトの位置からその初期登録モデルとの比較によるランプ位置の演算までを行う（ＳＴ１８）。ＳＴ１８でＮＧのときは２回目計測（ＳＴ１９）として、まず、シャッタースピード変更（ＳＴ２０）へ進み、シャッタースピードを初期値からさらに速い速度として画像のコントラストをつける（ＳＴ２０）。そしてカメラ入力２（ＳＴ１４）へもどり、２回目の計測に入る。その後ＳＴ１５からＳＴ１８までの処理を行い、ＳＴ１８の演算がうまくいった場合、次へ進むが、ＮＧの場合２回目計測（ＳＴ１９）へ戻る。ここでＮＧの方へ進み３回目計測（ＳＴ２１）へ移り、以下２回目計測と同様でＳＴ１８で良好なら次へ進み、ＮＧならここでＮＧ終了（ＳＴ２１）に入り、終る。 If registration model 1 cannot be detected in step 5, the second measurement (execution of camera input 1 and registration model 1 detection) (ST7), shutter speed change (ST8) returns to ST4, and if ST7 is NG After the third measurement (ST9), the shutter speed is changed (ST8), but when the third measurement is impossible, NG ends.
After completing the height detection (ST12) (a), the articulated arm is operated by the command of the PLC 12 in the robot operation of FIG. 7, and the distance sensor 10a is moved immediately above the coordinate point while controlling (ST13). Then, the lamp 30 is photographed from directly above by the camera 10b. Then, the photographed data is transmitted as the camera input 2 to the image memory 24 of the “registered model 1 precision detection” unit B (ST14). The “registered model 1 precision detection” unit B that has received the camera input 2 cuts out the position data from the data received in the image memory 24, outputs it to the position data memory 15, and transmits the data to the calculation (2) unit 26. The lamp shape and the lamp position are calculated as “registered model 1”, and the lamp type is roughly determined. The position data (2) and the “registration model 1” determination result are transmitted to the registration type data unit 17 and collated with the initial registration data (ST15).
Thereafter, coordinates are calculated from the coordinate points (ST16). The ST15 image data is transmitted as information to the image memory 34 of the “registered model 2 precision detection” section C. Using the data, the bolt position of the lamp is read from the image, and the bolt position calculation result is precisely detected (ST17).
Then, the outputs of ST16 and ST17 are combined to calculate (1) final determination of lamp type, and (2) calculation of the lamp position from the bolt position by comparison with the initial registration model (ST18). When ST18 is NG, as the second measurement (ST19), first, the process proceeds to the shutter speed change (ST20), and the contrast of the image is set with the shutter speed being faster than the initial value (ST20). And it returns to camera input 2 (ST14) and starts the second measurement. Thereafter, the processing from ST15 to ST18 is performed, and if the calculation of ST18 is successful, the process proceeds to the next, but in the case of NG, the process returns to the second measurement (ST19). Here, the process proceeds to NG, moves to the third measurement (ST21), and thereafter proceeds to the next if it is good in ST18 as in the second measurement, and if NG, NG ends (ST21) here and ends.

演算（ＳＴ１８）を経たもの（イ）は、図８のカメラ入力３により灯器３０を再び撮影して、その撮影データをカメラ入力３として「登録モデル３検出」部Ｄの画像メモリ４４へ送信する（ＳＴ２２）。カメラ入力３を受けた「登録モデル３検出」部Ｄは画像データからボルトのうち対角に位置するボルト中心間距離を演算し、初期登録モデルと比較して登録正位置データに対し座標軸とボルト対角線のなす角度θを求め、撮影データの正位置に対する回転角を算出する。また、画像と現状のθから灯器のランプ位置を正確に算出する（ＳＴ２３）。良好に算出できたものは次の洗浄（ＳＴ２４）へ移行し、灯器のランプを洗浄したのち、データクリア（ＳＴ２５）して終了する。
ＳＴ２３で算出結果がＮＧのときは、灯器のボルトやランプの画像のコントラストがはっきりしていないことがある。撮影画像処理する際にトーンを２５５階調に分けて信号化しているが、ＳＴ２３において画像を単純化する白と黒の２トーン化処理のしきい値の初期設定階調値を変更する（ＳＴ２６）。次の白黒レベル変更ＮＧ再計測１（ＳＴ２７）のあと、再びＳＴ２３の前段へ戻り、「登録モデル３検出（ＳＴ２３）」を行う。良好演算結果であれば洗浄（ＳＴ２４）移る。ＳＴ２３の結果がＮＧならＳＴ２６からＳＴ２７へ移りＮＧの下（ＳＴ２８）へ移り、再度２トーン処理のしきい値の階調設定値を変更する。再度ＳＴ２３へ戻る処理を行い、ＳＴ２３結果がＮＧとなると、ＳＴ２６、２７、２８、２９と移り、３回目計測（ＳＴ３０）へ移行する。ここで元の撮影データのコントラスト不足が想定されるのでＳＴ２２へ戻り、再度カメラ１０ｂで撮影する（ＳＴ２２）。以降同様の処理でＳＴ２３の結果がＮＧの場合ＳＴ３０、３１、３２、３４へと移り、それでもＮＧならＮＧ終了（ＳＴ３５）となる。 After the calculation (ST18), the lamp 30 is photographed again by the camera input 3 in FIG. 8 and the photographed data is transmitted as the camera input 3 to the image memory 44 of the “registered model 3 detection” unit D. (ST22). Upon receiving the camera input 3, the “registered model 3 detection” unit D calculates the distance between the bolt centers located diagonally among the bolts from the image data, and compares the coordinate axis and the bolt with respect to the registered normal position data compared to the initial registered model. An angle θ formed by the diagonal line is obtained, and a rotation angle with respect to the normal position of the photographing data is calculated. Further, the lamp position of the lamp is accurately calculated from the image and the current θ (ST23). If the calculation is successful, the process proceeds to the next cleaning (ST24). After the lamp of the lamp is cleaned, the data is cleared (ST25) and the process ends.
If the calculation result is NG in ST23, the contrast of the lamp bolt or lamp image may not be clear. When the captured image is processed, the tone is divided into 255 gradations and converted into a signal. In ST23, the initial gradation value of the threshold value for the white and black two-toning process that simplifies the image is changed (ST26). ). After the next black-and-white level change NG remeasurement 1 (ST27), the process returns to the previous stage of ST23 again to perform “registered model 3 detection (ST23)”. If it is a good calculation result, it moves to cleaning (ST24). If the result of ST23 is NG, the process proceeds from ST26 to ST27, then to the bottom of NG (ST28), and the gradation setting value of the threshold value of the two tone process is changed again. The process of returning to ST23 is performed again, and when the ST23 result becomes NG, the process proceeds to ST26, 27, 28, and 29, and the process proceeds to the third measurement (ST30). Here, since it is assumed that the contrast of the original shooting data is insufficient, the process returns to ST22, and shooting is performed again with the camera 10b (ST22). Thereafter, in the same process, if the result of ST23 is NG, the process proceeds to ST30, 31, 32, and 34. If it is still NG, NG ends (ST35).

上記のように、三次元空間を自在に動かせる多関節アームの先端付近にブラストノズル２３、距離センサおよびＣＣＤカメラを取り付け、距離センサによりＸ−Ｙ軸上にある作業対象面との距離をはかりながら、自動認識システムにより作業目標の位置や寸法・形状から対象物の種別を探索して設定した後、Ｚ軸方向に所定の距離を保ってブラストノズル２３を接近させるようにマニピュレータ２２を駆動制御する自動洗浄システムによって、ブラストノズル２３から洗浄材を吹き付けて路面灯または反射鏡３０を洗浄する。その後、路面灯や反射鏡の輝度により洗浄判定し、洗浄完了を判断する。この間、起動ボタンを起動するだけで自動操作でき、路面灯または反射鏡３０が多数配置してあっても短時間に順次移動洗浄できる。 As described above, the blast nozzle 23, the distance sensor, and the CCD camera are attached near the tip of the articulated arm that can freely move in the three-dimensional space, and the distance to the work target surface on the XY axis is measured by the distance sensor. Then, after searching and setting the type of the object from the position, size, and shape of the work target by the automatic recognition system, the manipulator 22 is driven and controlled so that the blast nozzle 23 is approached while maintaining a predetermined distance in the Z-axis direction. By the automatic cleaning system, the cleaning material is sprayed from the blast nozzle 23 to clean the road lamp or the reflecting mirror 30. Thereafter, the cleaning is determined based on the brightness of the road lamp and the reflecting mirror, and the completion of the cleaning is determined. During this time, it can be automatically operated simply by activating the start button, and even if many road lights or reflectors 30 are arranged, it can be moved and washed sequentially in a short time.

上記のように、本発明の路面灯、滑走路誘導灯または反射鏡のガラス面洗浄システムは、圧縮空気源ユニットと、洗浄材粉末タンクと、洗浄材を高圧空気によって吸引混合するエゼクタと、エゼクタから導いたホース端のブラストノズルとＣＣＤカメラとをマニピュレータ先端に取付けた作業用ロボットとモニタとを車載し、圧縮空気源ユニット以下作業用ロボットまでの機器を搭載したトラックを、対象とする路面灯または路面反射鏡の近くの作業位置に停止し、自動カメラ撮影データの画像処理により対象種別の自動判定や位置割り出しを行い、作業用ロボットを操作して、前記ＣＣＤカメラによる寸法、形状認識を行って位置を検出しながら前記マニピュレータ先端のブラストノズルを接近させて洗浄材を吹付けるものである。
画像認識として、対象物を形状から種別等を判断するステップ、対象物の備えたボルトから登録画像との回転角を割り出すステップ及び、ランプ位置の精密な割り出しステップを備え、対象判別する。 As described above, the glass surface cleaning system for a road lamp, runway guide lamp, or reflector according to the present invention includes a compressed air source unit, a cleaning material powder tank, an ejector that sucks and mixes cleaning material with high-pressure air, and an ejector. The target road lamp for trucks equipped with a working robot and monitor equipped with a blast nozzle at the end of the hose and a CCD camera attached to the tip of the manipulator and a monitor with a compressed air source unit. Or stop at the work position near the road surface reflector, perform automatic determination of target type and position determination by image processing of automatic camera shooting data, operate the work robot, and recognize the size and shape by the CCD camera The cleaning material is sprayed by bringing the blast nozzle at the tip of the manipulator close to the position while detecting the position.
As the image recognition, the object is determined by determining the type of the object from the shape, determining the rotation angle with the registered image from the bolt provided on the object, and accurately determining the lamp position.

本発明は、ブラスト機器と作業用ロボットと、モニタとをトラックに搭載したまま、作業用ロボットを操作して、対象物である路面灯又は路面誘導灯などの陶器反射鏡にブラストノズルを接近させ、洗浄材をブラストして路面灯または反射鏡のガラス面を洗浄するようにしたので、対象物を傷付けず、環境負荷も高くならない。また、噴射圧力が低いので、省エネ性が高く、安全、簡便に対象物を洗浄することができる。 The present invention operates a work robot with a blasting device, a work robot, and a monitor mounted on a truck, and brings a blast nozzle closer to a ceramic reflector such as a road light or a road surface guide light that is an object. Since the cleaning material is blasted to clean the glass surface of the road lamp or reflector, the object is not damaged and the environmental load is not increased. Moreover, since the injection pressure is low, the energy saving property is high, and the object can be washed safely and easily.

本発明洗浄システムの構成図である。It is a block diagram of this invention cleaning system. 本発明において洗浄対象とする灯器を示すもので、（a）は平行する２つの光源（両目）を持つ大型灯器、（b）は１つの光源（片目）を持つ大型灯器、（c）は平行して位置ずれした位置に２つの光源（両目）を持つ中型灯器、（d）は１つの光源（片目）を持つ中型灯器、（e）は傾けた位置に２つの光源（両目）を持つ中型灯器、（f）は中央に１つの光源を持つ小型灯器の概略平面図である。1 shows a lamp to be cleaned in the present invention, where (a) is a large lamp having two light sources (both eyes) in parallel, (b) is a large lamp having one light source (one eye), (c ) Is a medium-sized lamp with two light sources (both eyes) at a position displaced in parallel, (d) is a medium-sized lamp with one light source (one eye), and (e) is two light sources ( (F) is a schematic plan view of a small lamp having one light source in the center. ２つの光源（両目）を持つ中型灯器の角度補間検査状態を示し、（ａ）は角度補間サンプル画像１、（ｂ）はサンプル画像１を１８０°旋回させたときのサンプル画像２を示す。An angle interpolation inspection state of a medium-sized lamp having two light sources (both eyes) is shown, (a) shows an angle interpolation sample image 1, and (b) shows a sample image 2 when the sample image 1 is turned by 180 °. １つの光源（片目）を持つ中型灯器のサンプル画像で、（ａ）は角度補間サンプル画像１、（ｂ）はサンプル画像１を白化したときのサンプル画像２を示す。図１の平面図である。It is a sample image of a medium-sized lamp having one light source (one eye), (a) shows an angle interpolation sample image 1, and (b) shows a sample image 2 when the sample image 1 is whitened. It is a top view of FIG. 本発明洗浄システムのブロック図であるIt is a block diagram of the cleaning system of the present invention 洗浄作業の前段を示すフローチャートである。It is a flowchart which shows the front | former stage of washing | cleaning operation | work. 洗浄作業の中段を示すフローチャートである。It is a flowchart which shows the middle stage of a cleaning operation | work. 洗浄作業の後段を示すフローチャートである。It is a flowchart which shows the back | latter stage of washing | cleaning operation | work.

符号の説明Explanation of symbols

１トラック２ロボットコントローラ
３画像処理コントローラ４データ通信用コントローラ
５画像処理ユニット６外部メモリ
７データ入力機器８画像処理用照明ユニット
９多関節ロボット１０ａ距離センサ
１０ｂＣＣＤカメラ１２コンピュータ
１４、２４、３４、４４画像メモリ
１５、２５、３５、４５位置データメモリ
１６、２６、３６、４６演算部
１７登録種別データ１８ボルト
３０灯器３１光源 DESCRIPTION OF SYMBOLS 1 Track 2 Robot controller 3 Image processing controller 4 Data communication controller 5 Image processing unit 6 External memory 7 Data input device 8 Image processing illumination unit 9 Articulated robot 10a Distance sensor 10b CCD camera 12 Computers 14, 24, 34, 44 Image memory 15, 25, 35, 45 Position data memory 16, 26, 36, 46 Calculation unit 17 Registration type data 18 Volt 30 Lamp 31 Light source

Claims

三次元空間を自在に動かせる多関節アームの先端付近にブラストノズル、距離センサおよびＣＣＤカメラを取り付け、距離センサによりＸ−Ｙ軸上にある路面灯等の灯器との距離をはかりながら、自動認識システムにより作業目標の位置や寸法・形状から対象物の種別を探索して設定した後、洗浄材をブラストして洗浄する方法であって、
灯器の外形およびランプ位置をモデル化して初期登録し、カメラ撮像データをカメラ入力１，２，３及び４として、画像処理ユニットの「登録モデル１粗サーチ」、「登録モデル１精密検出」、「登録モデル２精密検出」、及び「登録モデル３検出」の各処理にそれぞれ入力し、
「登録モデル１粗サーチ」で灯器形状である「登録モデル１」を検出し、座標点算出と高さ検出のため多関節アームを制御しながら計算処理を行い、「登録モデル１」を検出できないときは反復してシャタースピードを変更して、カメラ入力１から再度処理して画像を認識し、
多関節アームを制御しながら座標点直上に距離センサを位置させ高さ検出が終了したのち、多関節アームを制御しながらＣＣＤカメラを座標点直上に位置させ撮影したデータである、カメラ入力２の入力に基づき、「登録モデル１精密検出」で灯器形状と灯器上ランプ位置である「登録モデル１」を検出したのち、「登録モデル２精密検出」で灯器が備えているボルト位置である「登録モデル２」を検出した結果と、Ｘ−Ｙ軸座標算出結果とから、灯器の種別の判断を行う「演算」を行って灯器種別を決定し、この「登録モデル２」を検出できないときは反復してシャタースピードを変更しカメラ入力２から再度処理して画像を認識し、
「演算」を経て灯器を決定後、カメラ入力３の入力から「登録モデル３検出」の処理から座標軸とボルト対角線のなす角θから割り出されるランプ位置である「登録モデル３」を精密検出して洗浄対象とその位置を決定する一方、
この「登録モデル３」が検出ＮＧのときは、カメラ入力３データの階調段階の白黒レベル設定を変更し、カメラのシャタースピードを変更してカメラ入力３を再び「登録モデル３検出」の処理に入力して洗浄対象とその位置を決定することを特徴とする灯器の洗浄方法。 A blast nozzle, a distance sensor, and a CCD camera are installed near the tip of an articulated arm that can move freely in a three-dimensional space, and automatic recognition is performed while measuring the distance from a road lamp such as a road lamp on the XY axis by the distance sensor. It is a method of blasting and cleaning the cleaning material after searching for and setting the type of object from the position, size and shape of the work target by the system,
The external shape of the lamp and the lamp position are modeled and initially registered, and the camera image data is set as camera inputs 1, 2, 3 and 4, and “registered model 1 coarse search”, “registered model 1 precision detection” of the image processing unit, Input each process of “Registered model 2 precision detection” and “Registered model 3 detection”
“Registered model 1” is detected by “registered model 1 rough search”, and calculation processing is performed while controlling the articulated arm for coordinate point calculation and height detection, and “registered model 1” is detected. If you can't, change the shutter speed repeatedly, re-process from camera input 1 to recognize the image,
After the distance sensor is positioned immediately above the coordinate point while controlling the multi-joint arm and the height detection is completed, the data of the camera input 2 is taken by controlling the multi-joint arm and positioning the CCD camera directly above the coordinate point. Based on the input, “Registered Model 1 Precision Detection” detects the lamp shape and lamp position “Registered Model 1”, then “Registered Model 2 Precision Detection” at the bolt position that the lamp has. From the result of detecting a certain “registration model 2” and the XY axis coordinate calculation result, “calculation” for determining the type of the lamp is performed to determine the lamp type, and this “registration model 2” is determined. If it cannot be detected, iteratively change the shutter speed and process again from camera input 2 to recognize the image,
After determining the lamp through “calculation”, “registration model 3”, which is the lamp position calculated from the angle θ between the coordinate axis and the bolt diagonal line, is detected from the input of camera input 3 and “registration model 3 detection”. While determining the object to be cleaned and its position,
When the “registered model 3” is detected NG, the black / white level setting of the gradation level of the camera input 3 data is changed, the camera shutter speed is changed, and the camera input 3 is processed again for the “registered model 3 detection” process. A method for cleaning a lamp, characterized in that the object to be cleaned and its position are determined by inputting to the lamp.