JP2919556B2 - Image processing system - Google Patents

Description

【発明の詳細な説明】 （イ）産業上の利用分野 本発明は工場内などの対象物に対する照明が不安定な
場所においても、常に正確な画像認識を可能とする画像
処理システムに関する。The present invention relates to an image processing system capable of always performing accurate image recognition even in a place where illumination of an object is unstable, such as in a factory.

（ロ）従来の技術 工場等における作業の自動化の進展に伴い、人間の目
視に代わり画像処理装置が用いられるケースが増加して
おり、様々な環境下でも安定した処理を行わせる必要性
が高まっている。特に画像を入力する際の光量条件はそ
の後の処理精度を大きく左右する。(B) Conventional technology With the progress of automation of work in factories and the like, the number of cases where image processing devices are used instead of human eyes is increasing, and the necessity for performing stable processing under various environments is increasing. ing. In particular, the light amount condition at the time of inputting an image greatly affects the subsequent processing accuracy.

従来、光量への対処には２通りの方法がとられてお
り、１つは照明の影響を排除した画像処理方式を用いる
方法であり、他方は照明自体を制御する方法である。Conventionally, two methods have been used to deal with the amount of light. One is a method using an image processing method in which the influence of illumination is eliminated, and the other is a method of controlling the illumination itself.

前者の画像処理方式を用いる方法による対処法では正
規化手法が用いられる。特に予め設定したモデル（テン
プレート）を入力した画像内で走査して整合位置を求め
るテンプレートマッチング処理の場合には、モデル及び
画像とも濃度（明暗）値を平均値、頻度数に応じて０〜
１に正規化することにより、画像の濃度変動の影響を排
除している。In the former method using the image processing method, a normalization method is used. In particular, in the case of template matching processing in which a preset model (template) is scanned within an input image to obtain a matching position, the density (brightness and darkness) value of both the model and the image is 0 to 0 according to the average value and the frequency.
By normalizing to 1, the influence of the density fluctuation of the image is eliminated.

しかしこの方式でも極端な濃度値の変動には限度があ
るうえ、正規化するため処理時間が大幅に増加するとい
う問題点を持つ。However, even with this method, there is a problem that there is a limit to an extreme fluctuation of the density value, and the processing time is greatly increased due to normalization.

後者について、照明の厳密な制御は行われていないの
が現状であるが、例えば、特開平２−27485号のように
照度を計測して照明を制御する方式がある。第５図にそ
の構成を示す。同図において、１は画像処理装置、３は
画像入力手段、５は照明手段、６が照明制御手段、７は
ライン（ロボット）コントローラ、８は搬送コンベア、
９は作業対象物（ワーク）、10はモニタ、11は作業ロボ
ット、及び12は照度測定手段である。At present, strict control of illumination is not performed for the latter, but for example, there is a method of controlling illumination by measuring illuminance as disclosed in Japanese Patent Application Laid-Open No. 2-27485. FIG. 5 shows the configuration. In the figure, 1 is an image processing device, 3 is an image input unit, 5 is an illumination unit, 6 is an illumination control unit, 7 is a line (robot) controller, 8 is a conveyor,
Reference numeral 9 denotes a work object (work), 10 denotes a monitor, 11 denotes a work robot, and 12 denotes illuminance measurement means.

ここでは、常にワーク９近傍及びカメラ３受光面の照
度をセンサ12により計測し、予め設定された照度値とな
るように照明光量を制御して画像入力する方式になって
いる。Here, the illuminance in the vicinity of the work 9 and the light receiving surface of the camera 3 is always measured by the sensor 12, and the amount of illumination is controlled so as to be a preset illuminance value, and an image is input.

しかし、この方式では次の問題点が解決されずに残っ
ている。即ち、この方式で検出できるのはあくまでワー
ク近傍の照度であり、厳密な作業対象物の照度を測定す
ることは困難である。従って照度のみの制御では、正確
な画像処理を行うことは困難である。However, this method does not solve the following problems. That is, only the illuminance in the vicinity of the work can be detected by this method, and it is difficult to accurately measure the illuminance of the work target. Therefore, it is difficult to perform accurate image processing by controlling only the illuminance.

第６図に画像の濃度分布（ヒストグラム）例を示す。
縦軸は画素数、横軸は濃度であり、（ａ）は全濃度にわ
たり平均的な分布、（ｂ）はある濃度域に偏った分布で
あるが、平均濃度は（ａ）、（ｂ）とも同じ、即ち照度
は同じであるが、画像の特性は大きく異なり、照度のみ
では画像を正確に記述することは困難である。FIG. 6 shows an example of an image density distribution (histogram).
The vertical axis is the number of pixels, and the horizontal axis is the density. (A) is an average distribution over all densities, (b) is a distribution biased to a certain density range, and the average densities are (a) and (b). Although the illuminance is the same, the characteristics of the image are greatly different, and it is difficult to accurately describe the image only with the illuminance.

（ハ）発明が解決しようとする課題 工場など一般環境下で画像処理を行う場合、外乱光や
作業対象物の状態（傾き、反射）などにより作業対象自
体の正確で、再現性のある安定した画像入力が困難であ
り、処理の精度が低下するという問題点があった。(C) Problems to be Solved by the Invention When performing image processing in a general environment such as a factory, the work object itself is accurate, reproducible, and stable due to disturbance light and the state (tilt, reflection) of the work object. There is a problem that image input is difficult, and processing accuracy is reduced.

本発明はこのような問題点を解決し、どのような環境
下でも常に同じ条件、特性の画像を取り込み、処理精度
の向上を計ることを目的とする。An object of the present invention is to solve such a problem and always take in an image with the same conditions and characteristics under any environment to improve the processing accuracy.

（ニ）課題を解決するための手段 本発明では、対象物の概略位置を認識する装置と、画
像を入力するカメラ装置と、該カメラ装置に設置した絞
り（露出）制御装置と、光量制御可能な照明装置と、光
量制御装置と、濃度ヒストグラム処理が可能な画像処理
装置と、作業装置（ロボット等）と、画像処理装置全体
を統括制御するためのコントローラと、から構成される
画像処理システムを提供する。(D) Means for Solving the Problems According to the present invention, a device for recognizing the approximate position of an object, a camera device for inputting an image, an aperture (exposure) control device installed in the camera device, and a light amount controllable An image processing system including a lighting device, a light amount control device, an image processing device capable of performing density histogram processing, a working device (robot or the like), and a controller for controlling the entire image processing device. provide.

（ホ）作用 本発明の画像処理システムにおいては、まず作業対象
の概略位置を認識し、その情報から、画像を入力する
際、作業対象の特に必要な部分の画像を抽出し、その部
分画像の濃度分布を求め、予め設定した濃度分布（モデ
ル）と等しくなるようにカメラの露出、照明光量を制御
した後、画像を入力する方式とする。(E) Function In the image processing system of the present invention, first, the approximate position of the work target is recognized, and when inputting an image, an image of a particularly necessary part of the work target is extracted from the information, and the image of the partial image is extracted. A method of inputting an image after obtaining a density distribution, controlling the exposure of the camera and the amount of illumination light so as to be equal to a preset density distribution (model).

即ち、特に正確に抽出したい領域情報と、そのモデル
濃度分布を設定し、その濃度分布と等しくなるように光
量を制御することにより、環境、対象の形状の依らず、
柔軟でかつ正確な画像処理を行うことが可能となる。That is, by setting the region information to be extracted particularly accurately and its model density distribution, and controlling the light amount so as to be equal to the density distribution, regardless of the environment and the shape of the target,
Flexible and accurate image processing can be performed.

（へ）実施例 本発明実施例を第１図に示す。同図において、１が画
像処理装置、２はワーク概略位置検出用カメラ、３は画
像入力用カメラ、４はカメラ３の絞り（露出）制御装
置、５は照明装置、６は照明光量制御装置、７は画像処
理装置１、及びロボット等の作業装置全体を統括制御す
るコントローラ、８は搬送コンベア、９は作業対象ワー
ク、10はモニタである。(F) Embodiment An embodiment of the present invention is shown in FIG. In the figure, 1 is an image processing apparatus, 2 is a camera for detecting a schematic position of a work, 3 is an image input camera, 4 is an aperture (exposure) control device of the camera 3, 5 is an illumination device, 6 is an illumination light amount control device, Reference numeral 7 denotes a controller that controls the entire image processing apparatus 1 and the entire working device such as a robot, 8 denotes a conveyor, 9 denotes a work to be worked, and 10 denotes a monitor.

次に第２図及び第７図と併せて動作原理を述べる。作
業対象ワークの種類毎に予め、特に必要な領域情報及び
その領域内画像の濃度分布モデル（第７図（イ））を設
定しておく、コンベア８にて搬送されたワーク９に対
し、まずカメラ２により画像入力、及び輪郭抽出、計測
処理を行い、ワークの概略位置を認識する。その結果に
基き、該ワークがカメラ３位置へ移動する間に、画像の
抽出領域（第２図２（ａ）点線内）の位置を算出し、カ
メラ３において入力した画像から該領域のみを抽出して
（第２図（ｂ））、濃度分布（第７図（ロ）を得る。そ
の濃度分布（第７図（ロ））とモデル濃度分布（図２
（イ））の差が最小になるように照明５の光量、絞り４
を制御し、最終的に適正画像（第２図（ｃ））を得る。Next, the operation principle will be described in conjunction with FIG. 2 and FIG. For each type of work to be processed, in particular, necessary area information and a density distribution model of an image in the area (FIG. 7 (a)) are set in advance. The camera 2 performs image input, contour extraction, and measurement processing to recognize the approximate position of the work. Based on the result, while the workpiece moves to the position of the camera 3, the position of the image extraction area (within the dotted line in FIG. 2A) is calculated, and only the area is extracted from the image input by the camera 3. (FIG. 2 (b)) to obtain a density distribution (FIG. 7 (b). The density distribution (FIG. 7 (b)) and the model density distribution (FIG. 2 (b)).
(A) The light amount of the illumination 5 and the aperture 4 so that the difference
To obtain a proper image (FIG. 2 (c)).

以上の過程で画像処理は処理装置１で高速に行われる
ものとする。In the above process, it is assumed that the image processing is performed at high speed by the processing device 1.

こうした本発明システムにより、常に設定した通りの
安定な画像を得ることが可能となる。With the system of the present invention, it is possible to always obtain a stable image as set.

第３図の実施例では、概略位置認識用カメラ２をカメ
ラ３に統合し全てのステップをカメラ３で行うシステム
例を示した。In the embodiment of FIG. 3, an example of a system in which the camera 2 for general position recognition is integrated with the camera 3 and all the steps are performed by the camera 3 is shown.

更に第４図では、ラインを止めることなくリアルタイ
ムで処理する画像入力部の例を示した。第４図におい
て、２は位置認識用カメラ、カメラユニットとしてカメ
ラ３、露出制御装置４、リング照明５を１体化し、第４
図のＡ位置からＢ位置までは、カメラユニット搬送装置
13によりカメラユニットが搬送コンベア８と同期して搬
送され、この間に最適照明、露出を決定した画像を入力
する処理が終了したカメラユニットは搬送路14により元
の位置Ａへ戻る。カメラユニットを複数配置して同期を
とることにより、ラインを止めることなく処理すること
が可能となっている。Further, FIG. 4 shows an example of an image input unit that performs processing in real time without stopping a line. In FIG. 4, reference numeral 2 denotes a position recognition camera, a camera 3 as a camera unit, an exposure control device 4, and a ring illumination 5, which are integrated into a single unit.
Camera unit transport device from position A to position B in the figure
The camera unit is transported in synchronization with the transport conveyor 8 by 13, and the camera unit that has completed the process of inputting the image for which the optimal illumination and exposure have been determined returns to the original position A via the transport path 14. By arranging and synchronizing a plurality of camera units, processing can be performed without stopping the line.

なお、設定した濃度分布と等しくするための光量、露
出等の制御には従来制御方式に加え、統計的な学習制
御、ファジィ制御、またはエキスパートシステムを応用
することが実施例として考えられる。In addition, in addition to the conventional control method, statistical learning control, fuzzy control, or application of an expert system may be applied to the control of the light amount, the exposure, and the like for making the density distribution equal to the set density distribution.

（ト）発明の効果 以上述べた如く本発明の画像処理システムは、対象物
の概略位置に基づいて抽出した所定部分の画像につい
て、その部分画像とモデル画像の濃度分布により光量制
御を行なっているため、対象物の形状や作業の種類に応
じて最適な部分を抽出することにより、正確且つ安定し
た光量制御が可能となる。(G) Effects of the Invention As described above, the image processing system of the present invention controls the light amount of an image of a predetermined portion extracted based on the approximate position of an object based on the density distribution of the partial image and the model image. Therefore, accurate and stable light amount control can be performed by extracting an optimal portion according to the shape of the target object and the type of work.

更に、対象物の所定部分の画像を抽出することによ
り、不要なノイズ成分を多く含む画像が排除されて、更
に正確な光量制御が可能となるだけでなく、そのために
必要な画像処理を高速化することが可能となる。Further, by extracting an image of a predetermined portion of the target object, an image containing a lot of unnecessary noise components is eliminated, and not only more accurate light amount control is possible, but also image processing required for that purpose is accelerated. It is possible to do.

従って、全体として、環境に影響されず、高速且つ高
精度な画像処理が実現できる。Therefore, high-speed and high-accuracy image processing can be realized as a whole without being affected by the environment.

【図面の簡単な説明】[Brief description of the drawings]

第１図は本発明画像処理システム構成図、第２図（ａ）
（ｂ）（ｃ）は本発明画像処理システムの処理過程を示
す工程図、第３図及び第４図は本発明画像処理システム
の他の実施例の構成図、第５図は従来の画像処理システ
ム構成図、第６図（ａ）（ｂ）及び第７図は画像の濃度
分布図（ヒストグラム）である。 １……画像処理装置、２……ワーク概略位置検出用カメ
ラ、３……画像入力用カメラ、４……絞り制御装置、５
……照明装置、６……光量制御装置、７……コントロー
ラ、８……コンベア、９……ワーク、10……モニタ。FIG. 1 is a block diagram of the image processing system of the present invention, and FIG.
(B) and (c) are process diagrams showing processing steps of the image processing system of the present invention, FIGS. 3 and 4 are configuration diagrams of another embodiment of the image processing system of the present invention, and FIG. 5 is conventional image processing. FIGS. 6 (a), 6 (b) and 7 are image density distribution diagrams (histograms). DESCRIPTION OF SYMBOLS 1 ... Image processing device, 2 ... Camera for work approximate position detection, 3 ... Camera for image input, 4 ... Aperture control device, 5
... Illumination device, 6... Light intensity control device, 7... Controller, 8... Conveyor, 9.

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭59−90174（ＪＰ，Ａ) 特開 昭57−172642（ＪＰ，Ａ) 特開 昭64−82269（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 1/00 ──────────────────────────────────────────────────続 き Continuation of the front page (56) References JP-A-59-90174 (JP, A) JP-A-57-172642 (JP, A) JP-A 64-82269 (JP, A) (58) Field (Int.Cl. ⁶ , DB name) G06T 1/00

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】対象物に対し画像処理を施し、その結果に
基づき検査、位置決め等の作業を自動的に行なうシステ
ムに於いて、対象物の概略位置を認識する手段と、対象
物の画像を入力する手段と、対象物の画像を入力処理す
る手段と、対象物に光を照射する証明手段と、証明光量
とカメラ絞り量を制御する手段と、を有し、予め対象物
の概略位置を認識し、その概略位置に基づいて対象物の
所定部分の画像を抽出し、その部分画像の濃度分布が予
め設定された分布と有意差がなくなるよう、照明光量と
絞りを制御した後、画像入力することを特徴とする画像
処理システム。1. A system for performing image processing on an object and automatically performing operations such as inspection and positioning based on the result, means for recognizing the approximate position of the object, and Means for inputting, means for input processing of an image of the object, proof means for irradiating the object with light, means for controlling the amount of proof light and the amount of aperture of the camera, and the approximate position of the object is previously determined. After recognizing and extracting an image of a predetermined portion of the object based on the approximate position, controlling the amount of illumination and the aperture so that the density distribution of the partial image does not have a significant difference from a preset distribution, the image input is performed. An image processing system, comprising: