JPH06307833A - Surface unevenness shape recognizing device - Google Patents

Abstract

PURPOSE:To recognize the shape and position of a columnar object having uneven surface stably with a high reliability. CONSTITUTION:An image obtained by photographing the objects to be acknowledged 14, 15 using a TV camera 6 in the condition that light sources 7a-7c remain out of lighting, is stored in an image memory 10, and the objects 14, 15 are photographed while the light sources 7a-7c are lighted up one after another. A comparative computation of the image obtained with the sources lighted with the image read out of the memory 10 is performed by a shade region extracting part 11, and thereby the shade region generated by the lighting of the sources 7a-7c is extracted, followed by calculation of the logical sum of the data in each shade region extracted by a feature region extracting part 12 and also the inversion of the logical sum, which should yield a figure including the perfect contours of the objects 14, 15. Then the gyometric feature of this figure is defined by a shape acknowledging part 13, and thereby the reliance upon the shape acknowledgement of the objects is enhanced.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は、画像入力手段と照明装
置とを用いて物体の形状を認識するための凹凸形状認識
装置に関し、特に、平面あるいは滑らかな曲面上に存在
する柱状の凹凸形状を認識する装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a concave-convex shape recognizing device for recognizing the shape of an object using an image input means and an illuminating device, and more particularly to a columnar concave-convex shape existing on a flat or smooth curved surface. For a device that recognizes.

【０００２】[0002]

【従来の技術】各種産業における生産工程などにおい
て、物体を自動的に認識して機械を動かし、さまざまな
作業の自動化をはかることが望まれており、いわゆるロ
ボットの眼として、画像から物体を認識する技術が要求
されている。2. Description of the Related Art In various industrial processes, it is desired to automatically recognize an object and move a machine to automate various operations. As an eye of a so-called robot, an object is recognized from an image. The technology to do is required.

【０００３】ところで、視覚センサなどによって物体の
形状を認識する場合、画像を２値化して対象を切り出し
た後、その面積や周囲長といった幾何学的特徴による分
析や判断を行ったり、あるいは空間フィルタにより対象
物体のエッジを抽出し、それを部分的特徴として既知の
比較対象と照合するなどの処理が一般的であった。By the way, when recognizing the shape of an object by a visual sensor or the like, after binarizing an image and cutting out an object, analysis or judgment is performed by geometrical characteristics such as its area or perimeter, or a spatial filter is used. In general, the process of extracting the edge of the target object by using it and matching it with a known comparison target as a partial feature.

【０００４】こうした考え方だけにとらわれないものと
して、照明による物体の影を撮像することにより部品の
位置を認識する装置が特開平３−２２５２１０号公報に
提案されている。これは、異なる位置に配置された複数
個の光源からの照明により生ずる影の像を複数取得す
る。そして、それらのうちの２つの像から生成される最
大値画像と他の１つの画像との差画像により、部品表面
の凹凸による濃度むらを排した影の像を得て部品の辺部
を検出し、これを基準パターンと比較することによって
その部品の位置を認識しようというものである。As one not limited to such an idea, Japanese Patent Laid-Open No. 3-225210 proposes a device for recognizing the position of a component by imaging the shadow of an object by illumination. This acquires a plurality of shadow images generated by illumination from a plurality of light sources arranged at different positions. Then, from the difference image between the maximum value image generated from two of these images and the other one image, a shadow image in which density unevenness due to unevenness of the component surface is eliminated is obtained, and the side portion of the component is detected. Then, the position of the part is recognized by comparing this with the reference pattern.

【０００５】[0005]

【発明が解決しようとする課題】しかしながら、従来か
ら行われてきた画像の２値化やエッジ検出によって物体
を認識する方法では、認識対象表面の色や模様や汚れな
どの影響によって、求めるべき対象の領域や輪郭以外の
ものまで検出されてしまう問題があった。また、認識対
象がその周囲と同じような色や明るさをしている場合に
は、これらを分離して検出することができないなど、認
識に必要な形状特徴を正確に抽出することが困難である
という問題があった。However, in the conventional method of recognizing an object by binarizing an image or detecting an edge, the object to be obtained is affected by the color, pattern, dirt, etc. of the surface to be recognized. There is a problem that objects other than the area and contour are also detected. In addition, when the recognition target has the same color and brightness as the surroundings, it is difficult to accurately extract the shape features necessary for recognition, such as it is impossible to detect them separately. There was a problem.

【０００６】上記の特開平３−２２５２１０号公報に記
載の装置は、こうした問題に対処しようとするものであ
るが、以下のような新たな問題が生ずる。すなわち、ま
ず、対象物の認識という点において、位置の認識は基準
パターン（設計パターン）との比較を前提としているた
め、部品の位置ずれなどを検出するには十分であるが、
形状の認識や計測を行うことは困難である。したがっ
て、複数の物体の中から特定の物体を発見したり、物体
の種類を判別するといったことへの適用は難しい。The device described in the above-mentioned Japanese Patent Laid-Open No. 3-225210 attempts to address such a problem, but causes the following new problem. That is, first, in terms of object recognition, position recognition is premised on comparison with a reference pattern (design pattern), so it is sufficient to detect misalignment of parts, etc.
It is difficult to recognize and measure the shape. Therefore, it is difficult to find a specific object from among a plurality of objects and determine the type of the object.

【０００７】また、部品の辺部の照合は方向の異なる照
明に対応した影の像ごとに断片的に行うため、それぞれ
の影のどの辺部が部品のどの辺部に対応するものである
かを事前に知っておく必要がある。すなわち、対象物は
基準値により設定される一定範囲内に存在することが必
要であり、対象物の位置が基準値から大きくはずれた場
合には、影の辺部と対象物の辺部の対応づけが困難とな
って認識不能となったり、基準値に対応する候補が複数
生ずることによって誤認識をまねくおそれがある。換言
すれば、画像中において対象物の位置が不明である場
合、積極的にそれを探し出すことは不可能である。Further, since the sides of the parts are collated in pieces for each shadow image corresponding to illumination in different directions, which side of each shadow corresponds to which side of the part. Need to know in advance. That is, the target object must exist within a certain range set by the reference value, and when the position of the target object greatly deviates from the reference value, the side of the shadow corresponds to the side of the target. There is a possibility that the recognition becomes difficult and recognition becomes impossible, or that a plurality of candidates corresponding to the reference value are generated, resulting in erroneous recognition. In other words, if the position of the object in the image is unknown, it is impossible to actively seek out it.

【０００８】一方、影の検出においては、２つの画像の
最大値画像と他の１つの画像との差画像により検出する
という手法を用いており、またその差画像から影のみを
取り出す場合にも、以上のようにして得られた差画像の
値の単純な大小あるいは正負の判断だけでは、検出の誤
りを生ずる可能性がある。すなわち、対象物の観察面の
立体形状によっては、鏡面反射による偽の影が誤って検
出されるおそれがある。On the other hand, in the detection of a shadow, a method is used in which it is detected by a difference image between the maximum value image of two images and another one image, and also when extracting only the shadow from the difference image. , A detection error may occur if only the magnitude of the difference image value obtained as described above is judged or whether the value is positive or negative. That is, a false shadow due to specular reflection may be erroneously detected depending on the three-dimensional shape of the observation surface of the object.

【０００９】たとえば、図１２の（ｆ）に示す六角ボル
ト１を認識対象とする場合、異なる３方向の光源７から
の照明により生ずる各々の影の像は、たとえば、図１２
の（ａ）、（ｂ）、（ｃ）に示す２ａ，２ｂ，２ｃのよ
うになる。ところが、図１２の（ｆ）に示すような六角
ボルト１の頭部の形状と光源７およびテレビカメラ６の
位置関係とにより、図１２の（ａ）、（ｂ）、（ｃ）に
示す３ａ，３ｂ，３ｃのように、湾曲した楕円状の鏡面
反射部分が極端に明るい部分として、いずれかの画像あ
るいはすべての画像に観測されることがある。For example, when the hexagon bolt 1 shown in FIG. 12 (f) is to be recognized, the images of the respective shadows generated by the illumination from the light sources 7 in the three different directions are, for example, as shown in FIG.
2a, 2b, 2c shown in (a), (b), and (c). However, depending on the shape of the head of the hexagon bolt 1 and the positional relationship between the light source 7 and the television camera 6 as shown in (f) of FIG. 12, 3a shown in (a), (b) and (c) of FIG. , 3b, 3c, a curved elliptical specular reflection portion may be observed as an extremely bright portion in any image or in all images.

【００１０】このとき、図１２の（ｂ）と（ｃ）に示す
像の最大値画像である図１２の（ｄ）の画像には、その
演算の性質からそれぞれの鏡面反射部分が極端に明るい
部分４ｂ，４ｃとして残される。これにより、この像と
図１２の（ａ）に示す像との差画像である図１２の
（ｅ）の画像においても、鏡面反射部分はかなり明るい
部分として大きな値を呈するため、単に差画像の値の大
小や正負を吟味するだけでは影の像５ｂ，５ｃと誤認さ
れることになり得る。At this time, in the image of FIG. 12 (d), which is the maximum value image of the images shown in FIGS. 12 (b) and 12 (c), the respective specular reflection portions are extremely bright due to the nature of the calculation. It is left as the portions 4b and 4c. As a result, even in the image of FIG. 12 (e), which is the difference image between this image and the image shown in FIG. 12 (a), the specular reflection portion has a large value as a fairly bright portion, so that the difference image Only by examining the magnitude and positive / negative of the value, it can be mistaken for the shadow images 5b and 5c.

【００１１】また、総じて、物体の表面の模様や材質と
照明との関係などに起因する画像の明度差が相当大きい
とき、同様の理由から、影の検出に関する信頼性が低く
なるという問題があった。Further, generally, when the difference in brightness of the image due to the relationship between the surface pattern of the object or the material and the illumination is considerably large, for the same reason, there is a problem that the reliability of shadow detection becomes low. It was

【００１２】そこで本発明は、柱状の凹凸物体の形状お
よび位置を高い信頼度で、かつ安定して認識することが
可能な凹凸形状認識装置を提供することを目的とする。Therefore, an object of the present invention is to provide an uneven shape recognizing device capable of stably recognizing the shape and position of a columnar uneven object with high reliability.

【００１３】[0013]

【課題を解決するための手段】本発明の凹凸形状認識装
置は、画像入力手段と照明装置と画像処理手段とを有す
る凹凸形状認識装置において、上記画像入力手段のまわ
りに相互に位置をずらして配した複数個の光源からなる
照明装置と、上記照明装置の各光源を点灯することなく
認識対象を撮像して得た画像を記憶する画像記憶手段
と、上記照明装置の各光源を順次単独で点灯するととも
に、それらの点灯と同期して上記認識対象を撮像するよ
うに上記画像入力手段および照明装置を制御する入力制
御手段と、上記照明装置の各光源を順次単独で点灯した
状態で撮像して得た画像と、上記画像記憶手段に記憶さ
れている画像との比較演算により、上記照明装置の各光
源からの照明によって生ずる上記認識対象の影領域の画
像を各々抽出する影領域抽出手段と、上記影領域抽出手
段により抽出された各影領域の画像の論理和を演算する
とともに、さらにその論理和を反転させる演算を行うこ
とにより、上記認識対象の各影領域の画像を結合した影
図形と上記認識対象自体の領域を示す図形とを抽出する
特徴領域抽出手段と、上記特徴領域抽出手段により得ら
れた認識対象の影図形、あるいは認識対象自体の図形の
幾何学的特徴、あるいは輪郭特徴の解析を行うことによ
り、上記認識対象の形状を認識する形状認識手段とを設
けたものである。The uneven shape recognition device of the present invention is an uneven shape recognition device having an image input means, a lighting device, and an image processing means, and the positions are shifted from each other around the image input means. An illumination device including a plurality of light sources arranged, an image storage unit that stores an image obtained by capturing an image of a recognition target without turning on each light source of the illumination device, and each of the light sources of the illumination device individually in sequence. While lighting, the input control means for controlling the image input means and the illuminating device so as to image the recognition target in synchronization with the lighting, and each light source of the illuminating device are sequentially imaged in a state of being individually lit. A shadow for extracting each image of the shadow area of the recognition target generated by the illumination from each light source of the illuminating device by a comparison calculation of the image obtained by the above and the image stored in the image storage means. The image of each shadow area to be recognized is calculated by calculating the logical sum of the image of each shadow area extracted by the area extraction means and the shadow area extraction means, and further inverting the logical sum. Feature area extraction means for extracting the combined shadow figure and the figure showing the area of the recognition object itself, and the shadow figure of the recognition object obtained by the feature area extraction means, or the geometric feature of the figure of the recognition object itself. , Or a shape recognition means for recognizing the shape of the recognition target by analyzing the contour feature.

【００１４】[0014]

【作用】本発明の作用を図面を参照して説明する。図１
において、たとえば、六角ボルト１４やボルト穴１５の
認識対象を平面的に観察する位置に配置した画像入力手
段としてのテレビカメラ６、およびそのまわりに配置し
た複数個の光源７ａ，７ｂ，７ｃに関して、これらの光
源７ａ，７ｂ，７ｃをいずれも点灯しない状態、すなわ
ち、自然光あるいは人工の天井光などの背景光のもと
で、あるいはまったくの無照明状態で、上記認識対象を
含む画像をテレビカメラ６により撮像して取得する。そ
して、これにより取得した画像を影領域抽出のための比
較画像として、画像記憶手段を構成する画像メモリ１０
に記憶する。The operation of the present invention will be described with reference to the drawings. Figure 1
In regard to, for example, the television camera 6 as an image input means arranged at a position where the object to be recognized of the hexagon bolt 14 or the bolt hole 15 is observed in a plane, and the plurality of light sources 7a, 7b, 7c arranged around the television camera 6, The television camera 6 displays an image including the recognition target in a state in which none of the light sources 7a, 7b, 7c is turned on, that is, in the background light such as natural light or artificial ceiling light, or in a completely non-illuminated state. The image is acquired by capturing. Then, the image thus obtained is used as a comparative image for extracting the shadow area, and the image memory 10 constituting the image storage means is formed.
Remember.

【００１５】次に、比較画像を取得したときと同じテレ
ビカメラ６の設定状態で、第１の光源７ａを点灯してテ
レビカメラ６による撮像を行うことにより、上記認識対
象を含む画像を取得する。そして、影領域抽出部１１に
おいて、この画像と画像メモリ１０より読み出した比較
画像との比較演算を行うことにより、光源７ａを点灯し
たときの画像と点灯しないときの画像との明るさの変化
の小さい部分、すなわち、光源７ａの点灯により生じる
影領域だけを抽出した２値画像を生成し、特徴領域抽出
部１２へ伝送する。Next, in the same setting state of the television camera 6 as when the comparative image was obtained, the first light source 7a is turned on and the image is taken by the television camera 6 to obtain the image including the recognition target. . Then, in the shadow area extraction unit 11, by performing a comparison operation between this image and the comparative image read from the image memory 10, it is possible to determine the change in brightness between the image when the light source 7a is turned on and the image when the light source 7a is not turned on. A binary image in which only a small portion, that is, a shadow area generated by turning on the light source 7a is extracted is generated and transmitted to the characteristic area extracting unit 12.

【００１６】第２の光源７ｂおよび第３の光源７ｃにつ
いても、第１の光源７ａを消灯した後、１つずつ順次点
灯して、第１の光源７ａを点灯して影領域を抽出したの
と同様に、各々影領域を抽出する。そして、特徴領域抽
出部１２において、第１の光源７ａ、第２の光源７ｂお
よび第３の光源７ｃの点灯により生じた各影領域のデー
タの論理和を求めるとともに、さらにその論理和を反転
させることにより、認識対象の完全な輪郭を含む図形を
求める。その後、形状認識部１３において、その図形の
幾何学的な特徴を求めることにより、認識対象の凹凸形
状を認識することが可能となる。As for the second light source 7b and the third light source 7c, after turning off the first light source 7a, they are turned on one by one, and the first light source 7a is turned on to extract a shadow area. Similarly, the shadow areas are extracted respectively. Then, the characteristic region extraction unit 12 obtains the logical sum of the data of the respective shadow regions generated by turning on the first light source 7a, the second light source 7b, and the third light source 7c, and further inverts the logical sum. By doing so, a figure including the complete contour of the recognition target is obtained. After that, the shape recognition unit 13 can recognize the uneven shape of the recognition target by obtaining the geometrical characteristics of the graphic.

【００１７】また、認識対象の断面の輪郭が、たとえば
円や正多角形のように一定の規則性を有する形状である
場合や、あるいは一定の対象性を有する形状である場合
は、３つの光源７ａ，７ｂ，７ｃのすべてを用いなくて
も、凹凸形状の認識が可能である。すなわち、影領域抽
出部１１において得られる１つの光源の点灯により生ず
る影領域、あるいは特徴領域抽出部１２において得られ
る２つの光源の点灯により生ずる各影領域のデータの論
理和から、認識対象の輪郭の一部を含む図形を求める。
そして、その図形の局所的特徴から全体の図形を演算に
よって求めることにより、認識対象の凹凸形状の認識を
行うことが可能となる。Further, if the contour of the cross section of the recognition target is a shape having a certain regularity such as a circle or a regular polygon, or a shape having a certain symmetry, three light sources are used. The uneven shape can be recognized without using all of 7a, 7b, and 7c. That is, the outline of the recognition target is calculated from the logical sum of the data of the shadow area generated by the lighting of one light source obtained by the shadow area extraction unit 11 or the data of each shadow area generated by the lighting of the two light sources obtained by the characteristic area extraction unit 12. Find a shape that contains a part of.
Then, by calculating the entire figure from the local features of the figure, it becomes possible to recognize the uneven shape of the recognition target.

【００１８】[0018]

【実施例】次に、本発明の実施例を図面に基づいて説明
する。最初に、本発明を適用し得る凹凸形状の認識対象
について説明する。本発明の凹凸形状認識装置は、平面
あるいは滑らかな曲面上に存在する一様な断面形状を有
する柱状の凹凸状物体であれば、いかなるものにも適用
できるが、本実施例では、凸状物体の代表例として六角
ボルト、凹状物体の代表例としてボルト穴を認識するこ
とを具体例として説明する。この場合、六角ボルトおよ
びボルト穴は、図１の平板上の正六角柱の突起１４およ
び円形の穴１５として示している。Embodiments of the present invention will now be described with reference to the drawings. First, the object of recognition of the uneven shape to which the present invention can be applied will be described. The uneven shape recognition device of the present invention can be applied to any columnar uneven object having a uniform cross-sectional shape existing on a flat surface or a smooth curved surface, but in the present embodiment, a convex object is used. Recognizing a hexagonal bolt as a typical example and recognizing a bolt hole as a typical example of a concave object will be described as a specific example. In this case, the hexagon bolt and the bolt hole are shown as a regular hexagonal columnar protrusion 14 and a circular hole 15 on the flat plate in FIG.

【００１９】認識対象の表面の状態については、色や模
様や材質などにはまったく関係なく適用することができ
る。たとえば、六角ボルトおよびボルト穴の例でいえ
ば、大型動力機械などに用いられるものは、適当な色に
塗装された表面がまだら状にはげたり錆びたりし、さら
に油汚れやほこりや金属光沢などが混在したりするが、
このようなものであってもよい。The state of the surface to be recognized can be applied regardless of the color, pattern, material, etc. For example, in the case of hexagonal bolts and bolt holes, those used for large power machinery include mottled and rusted surfaces painted in an appropriate color, oil stains, dust, metallic luster, etc. Mixed,
It may be like this.

【００２０】次に、認識対象を撮像するための撮像ユニ
ットの構成について説明する。図１において、画像入力
手段としてのテレビカメラ６のまわりを取り巻くように
複数の光源７ａ，７ｂ，７ｃを配置して撮像ユニット８
を構成する。この撮像ユニット８を、認識対象である六
角ボルト１４およびボルト穴１５をテレビカメラ６の視
野内にとらえ、かつその断面形状の特徴を平面的にとら
えることのできる位置へ置く。Next, the structure of the image pickup unit for picking up an image of the recognition target will be described. In FIG. 1, a plurality of light sources 7a, 7b, 7c are arranged so as to surround a television camera 6 as an image input means, and an image pickup unit 8 is provided.
Make up. The image pickup unit 8 is placed at a position where the hexagonal bolt 14 and the bolt hole 15 to be recognized can be caught within the field of view of the television camera 6 and the characteristics of the cross-sectional shape can be caught in a plane.

【００２１】また、テレビカメラ６からの画像入力およ
び複数の光源７ａ，７ｂ，７ｃの点灯の動作に関して、
入力制御部９の制御により、それぞれの光源７ａ，７
ｂ，７ｃを１個ずつ順次点灯したときに同期して画像の
入力が行われるような構成としておく。Regarding the operation of inputting an image from the television camera 6 and turning on the plurality of light sources 7a, 7b, 7c,
Under the control of the input control section 9, the respective light sources 7a, 7a
An image is input in synchronization with each of b and 7c that are sequentially turned on.

【００２２】撮像ユニット８の構成については、１個か
ら３個の光源７ａ，７ｂ，７ｃをテレビカメラ６の周囲
の適切な位置に、適切な投射角度で取り付ける。たとえ
ば、図１において、六角ボルト１４を約１ｍの距離から
観察する場合、テレビカメラ６を中心に約１０〜３０ｃ
ｍの半径の同心円上に、それぞれ１２０°程度の中心角
で３個の光源７ａ，７ｂ，７ｃを取り付ければよい。Regarding the structure of the image pickup unit 8, one to three light sources 7a, 7b and 7c are attached at appropriate positions around the television camera 6 at appropriate projection angles. For example, in FIG. 1, when observing the hexagon bolt 14 from a distance of about 1 m, about 10 to 30c with the television camera 6 as the center.
Three light sources 7a, 7b, 7c may be attached on a concentric circle having a radius of m at a central angle of about 120 °.

【００２３】すなわち、図４の（ａ）において、テレビ
カメラ６の焦点からの仮想的光線１６ａおよび光源７か
らの光線１７ａと、認識対象物である六角ボルト１４の
頭部との接点が、柱状物体の頭部断面の外郭にあるよう
に配置すれば良い。頭部の立体形状は、こうした配置が
可能であればいかなるものでも構わず、図４の（ｂ）に
示すナット１８を始め、さまざまな形状に対応できる。
また、光源７については、平行光を発するものであって
も、点光源であってもよい。さらに、照度についても、
光源７を点灯した場合と点灯しない場合との差異が画像
から検出できれば良く、特に厳密な設定を必要とするも
のではない。That is, in FIG. 4A, the contact point between the virtual light ray 16a from the focal point of the television camera 6 and the light ray 17a from the light source 7 and the head of the hexagonal bolt 14 which is the recognition object is columnar. It may be arranged so as to be outside the head cross section of the object. The three-dimensional shape of the head may be any shape as long as such arrangement is possible, and various shapes including the nut 18 shown in FIG. 4B can be supported.
The light source 7 may be one that emits parallel light or a point light source. Furthermore, regarding illuminance,
It suffices that the difference between the case where the light source 7 is turned on and the case where the light source 7 is not turned on can be detected from the image, and the strict setting is not particularly required.

【００２４】次に、認識対象の影領域の抽出および形
状、位置の認識について説明する。図１において、まず
撮像ユニット８の光源７ａ〜７ｃをいずれも点灯しない
状態で、認識対象たる六角ボルト１４およびボルト穴１
５の画像を、テレビカメラ６により撮像して取得する。
そして、この取得した画像を、いずれかの光源７ａ，７
ｂ，７ｃを点灯した状態で取得した画像と比較するため
の無照明画像として画像メモリ１０に記憶しておく。こ
のとき、部屋の中を暗室状態にする必要はなく、自然光
あるいは人工の天井光などの背景照明は存在していても
構わない。Next, extraction of a shadow area to be recognized and recognition of shape and position will be described. In FIG. 1, first, in a state in which none of the light sources 7a to 7c of the imaging unit 8 are turned on, the hexagon bolt 14 and the bolt hole 1 to be recognized are identified.
The image of No. 5 is picked up by the TV camera 6.
Then, this acquired image is used as one of the light sources 7a, 7
The images b and 7c are stored in the image memory 10 as non-illuminated images for comparison with the images acquired in the lit state. At this time, it is not necessary to make the room a dark room, and background lighting such as natural light or artificial ceiling light may be present.

【００２５】認識対象として六角ボルト１４およびボル
ト穴１５を撮像した場合、図５に示すような画像が得ら
れる。なお、図５では表現の都合上線画で示してある
が、実際には得られる画像は濃淡画像であり、図５に示
すような輪郭や稜線を直接的に明確に得ることは難し
い。When the hexagonal bolt 14 and the bolt hole 15 are imaged as the recognition object, an image as shown in FIG. 5 is obtained. In FIG. 5, a line drawing is shown for convenience of expression, but the image actually obtained is a grayscale image, and it is difficult to directly and clearly obtain the contours and ridges as shown in FIG.

【００２６】次に、撮像ユニット８の第１の光源７ａを
点灯した状態で、テレビカメラ６により認識対象たる六
角ボルト１４およびボルト穴１５を撮像して第１の照明
画像を得る。そして、影領域抽出部１１において、この
第１の照明画像と画像メモリ１０に記憶されている無照
明画像とを比較して、明るさの変化がない部分あるいは
小さい部分を検出し、図６の（ａ）の斜線部で示す影の
部分２１ａと２２ａとを２値画像として抽出した第１の
影領域を生成する。Next, with the first light source 7a of the image pickup unit 8 turned on, the television camera 6 picks up an image of the hexagonal bolt 14 and the bolt hole 15 to be recognized to obtain a first illumination image. Then, in the shadow region extraction unit 11, the first illumination image is compared with the non-illumination image stored in the image memory 10 to detect a portion where the brightness does not change or a small portion, and A first shadow area is generated by extracting the shadow areas 21a and 22a shown by the shaded area in (a) as a binary image.

【００２７】影領域抽出部１１は、たとえば、図２に示
すように、定数加算回路２４で無照明画像の各画素に一
定の定数を加えた値βから、照明画像の各画素の値αを
減算回路２５において減じ、これを２値化回路２６によ
り適切な値でしきい値処理して２値化する手段で構成す
る。なお、減算において負の値が生じる部分があった場
合、その値は特に必要な情報を含むものではないので０
にするなどとしてもよい。As shown in FIG. 2, for example, the shadow area extraction unit 11 calculates the value α of each pixel of the illumination image from the value β obtained by adding a constant to each pixel of the non-illumination image in the constant addition circuit 24. The subtraction circuit 25 subtracts the value, and the binarization circuit 26 performs threshold processing with an appropriate value to perform binarization. Note that if there is a negative value in the subtraction, the value does not include particularly necessary information, so 0
It is also possible to do so.

【００２８】この演算に関する定数およびしきい値は、
照明の有無による照度の差から適当な値を決定すればよ
い。図５および図６の（ａ）におけるＡ−Ａ線に沿った
部分の画像の濃度を例にとると、図７の（ａ）に示すよ
うに、無照明画像における濃度値２７に対して定数を加
算した値２８から照明画像における濃度値２９を減ず
る。これにより、認識対象の表面に固有の濃淡分布の影
響を受けずに、また鏡面反射部分２３の急激な濃淡変化
や照明むらによるゆるやかな濃淡変化などをすべて排除
するかたちで、図７の（ｂ）に示すような差画像３０が
得られる。次に、これをしきい値３１で２値化すること
によって、影領域３２が得られる。The constants and thresholds for this operation are
An appropriate value may be determined from the difference in illuminance depending on the presence or absence of illumination. Taking the density of the image of the portion along the line AA in FIGS. 5 and 6A as an example, as shown in FIG. 7A, a constant is set for the density value 27 in the non-illuminated image. The density value 29 in the illumination image is subtracted from the value 28 obtained by adding. As a result, without being affected by the density distribution peculiar to the surface of the recognition target, and in the form of (b) in FIG. The difference image 30 as shown in FIG. Next, the shadow area 32 is obtained by binarizing this with the threshold value 31.

【００２９】以下、第１の光源７ａを消灯して、第２の
光源７ｂ、第３の光源７ｃを１つずつ順に点灯し、第１
の光源７ａを点灯しての撮像の場合と同様に、第２、第
３の照明画像を取得する。そして、これらを画像メモリ
１０に記憶された無照明画像と各々比較演算することに
より、第２、第３の影領域を抽出する。Hereinafter, the first light source 7a is turned off, the second light source 7b and the third light source 7c are turned on one by one, and the first light source 7a is turned on.
The second and third illumination images are acquired in the same manner as in the case of imaging with the light source 7a turned on. Then, the second and third shadow areas are extracted by comparing and calculating these with the non-illuminated image stored in the image memory 10.

【００３０】３個の光源７ａ，７ｂ，７ｃは、先に述べ
たように位相を変えて設置してあるため、それぞれの光
源７ａ，７ｂ，７ｃを点灯したときに生ずる各影領域
は、それぞれ図６の（ａ）、（ｂ）、（ｃ）の斜線部に
示すようなものになる。これらの影領域に対して、特徴
領域抽出部１２および形状認識部１３において、以下に
示すような処理を行って形状を認識する。Since the three light sources 7a, 7b, 7c are installed with the phases changed as described above, the shadow areas produced when the respective light sources 7a, 7b, 7c are lit are respectively It becomes what is shown in the shaded part of (a), (b), (c) of FIG. With respect to these shadow areas, the characteristic area extracting unit 12 and the shape recognizing unit 13 perform the following processes to recognize the shapes.

【００３１】まず、第１の認識方法について説明する。
図３に示す特徴領域抽出部１２において、画像メモリ３
７ａ，３７ｂ，３７ｃにそれぞれ格納された上記第１、
第２、第３の３つの影領域のデータの論理和を論理和演
算回路３８によりとると、図８に示すように、ボルト穴
１５による凹部の形状を完全なかたちで抽出した図形３
３が得られる。First, the first recognition method will be described.
In the characteristic region extracting section 12 shown in FIG.
The first stored in 7a, 37b, 37c,
When the logical sum of the data of the second and third shadow areas is calculated by the logical sum calculation circuit 38, as shown in FIG. 8, the figure 3 in which the shape of the concave portion formed by the bolt hole 15 is extracted in a complete form.
3 is obtained.

【００３２】このようにして得られた図形３３の図形デ
ータを反転演算回路３９により反転すると、図９に示す
ように、六角ボルト１４による凸部の形状を完全なかた
ちで抽出した図形３５が得られる。このような反転演算
により認識対象の図形を求めると、図９に示すように、
認識対象たる六角ボルト１４の図形３５だけでなく、背
景の平板部分３６も抽出されることになる。しかし、こ
れは背景領域として、たとえば画像の外枠にかかる図形
として背景部分除去回路４０により容易に除去できる。When the figure data of the figure 33 obtained in this way is inverted by the inversion operation circuit 39, a figure 35 obtained by extracting the shape of the convex portion by the hexagon bolt 14 in a complete form is obtained as shown in FIG. To be When the figure to be recognized is obtained by such inversion operation, as shown in FIG.
Not only the figure 35 of the hexagon bolt 14 to be recognized, but also the flat plate portion 36 of the background is extracted. However, this can be easily removed by the background portion removal circuit 40 as a background area, for example, as a figure that surrounds the outer frame of the image.

【００３３】このように、３つの異なる影領域のデータ
を用いた演算により、求める形状を完全なかたちで抽出
した図形を得ることができる。このため、形状認識部１
３において、この図形に対して、たとえば、ラベリング
または面積や周囲長などの特徴量の計測を行うことによ
り、従来より行われてきた２値図形の解析手法を適用し
て、対象の形状を認識することができる。As described above, by using the data of the three different shadow areas, it is possible to obtain a figure in which the desired shape is extracted in a perfect form. Therefore, the shape recognition unit 1
3. In FIG. 3, by recognizing the target shape by applying a conventionally-used binary figure analysis method to the figure, for example, by labeling or measuring a feature amount such as an area or a perimeter. can do.

【００３４】形状認識部１３において、たとえば、本実
施例の六角ボルト１４とボルト穴１５の形状を認識する
場合には、特徴領域抽出部１２から出力された図形の面
積と周囲長の計測を行う。そして、計測した面積と周囲
長との比が正六角形および円のそれと合致するような一
定の範囲にあるかどうかを調べればよい。さらに、重心
の計算などにより、図形の位置も容易に認識できる。ま
た、特徴領域抽出部１２における処理の結果、複数の図
形が抽出された場合にも、形状認識部１３においてそれ
ぞれの形状を解析するため、それらの複数の図形から対
象を特定したり、判別したりすることができる。When the shape recognition unit 13 recognizes the shapes of the hexagon bolt 14 and the bolt hole 15 of this embodiment, for example, the area and perimeter of the figure output from the characteristic region extraction unit 12 are measured. . Then, it suffices to check whether or not the ratio between the measured area and the perimeter is within a certain range that matches that of the regular hexagon and the circle. Furthermore, the position of the figure can be easily recognized by calculating the center of gravity. Further, even when a plurality of figures are extracted as a result of the processing in the characteristic region extracting section 12, the shape recognizing section 13 analyzes each shape, so that the target is specified or discriminated from the plurality of figures. You can

【００３５】図３に示した特徴領域抽出部１２は、３つ
の光源７ａ，７ｂ，７ｃをすべて用いた場合の最大構成
の例であり、以下に示すようなさまざまな実施形態によ
るときは、必要に応じてそれぞれの構成要素を省略ある
いは直結することによって対応できる。The characteristic region extracting section 12 shown in FIG. 3 is an example of the maximum configuration when all three light sources 7a, 7b, 7c are used, and is required in various embodiments as described below. Depending on the situation, it is possible to cope by omitting or directly connecting each component.

【００３６】次に、第２の認識方法について説明する。
認識対象の断面形状が、ここに示すように正六角形や円
など、その輪郭形状になんらかの規則性や対称性などを
有する場合には、輪郭線の一部から全体の形状を認識可
能であり、必ずしも３つの光源を用いた影領域の検出は
必要としない。すなわち、１つの影領域、あるいは２つ
の影領域のデータの論理和から得られる図形の輪郭線に
対し、従来から行われてきたエッジ情報に基づく画像の
解析方法を適用することによって、対象全体の形状を認
識できる。Next, the second recognition method will be described.
If the cross-sectional shape of the recognition target has some regularity or symmetry in its contour shape, such as a regular hexagon or a circle as shown here, it is possible to recognize the entire shape from a part of the contour line, It is not always necessary to detect a shadow area using three light sources. That is, by applying a conventional image analysis method based on edge information to a contour line of a figure obtained from the logical sum of data of one shadow region or two shadow regions, Can recognize the shape.

【００３７】たとえば、図１の六角ボルト１４はその断
面形状が正六角形であるため、１辺の長さとその両端に
接する２辺の方向とから、六角ボルト１４の位置と形状
とを一意に定めることができる。図６の（ａ）の六角形
の部分的な影図形２１ａに対して、図１０に示すように
輪郭線の座標点列を求め、これを折れ線近似する。この
折れ線近似図形４１について、連続する４つの頂点にお
いてその間の２つの外角が１２０°となる頂点４２ａ〜
４２ｄを探索し、その中央の２点４２ｂと４２ｃの間の
距離から辺の長さを求める。さらに、これらの２点４２
ｂ、４２ｃに各々接する線分４２ｂ−４２ａと線分４２
ｃ−４２ｄの方向を求めることにより、簡単な幾何学的
演算に基づいて中心位置と位相とを決定する。For example, since the hexagonal bolt 14 of FIG. 1 has a regular hexagonal cross-sectional shape, the position and shape of the hexagonal bolt 14 are uniquely determined from the length of one side and the directions of the two sides contacting both ends thereof. be able to. For the hexagonal partial shadow figure 21a of FIG. 6A, a coordinate point sequence of contour lines is obtained as shown in FIG. 10, and this is approximated to a polygonal line. With respect to this polygonal line approximated figure 41, among the four consecutive vertices, two vertices 42a between which the two outer angles are 120 °
42d is searched, and the length of the side is obtained from the distance between the two central points 42b and 42c. In addition, these two points 42
line segment 42b-42a and line segment 42 which respectively contact b and 42c
By determining the direction of c-42d, the center position and phase are determined based on a simple geometric operation.

【００３８】なお、正六角形の場合は２方向の光源を切
り替えて点灯することにより得られる２つの影領域を抽
出すれば、完全な１辺の長さとその両端に接する２辺の
方向とを求めるのに十分である。その他、たとえば、正
八角形について全体の形状を認識するのには、１方向の
光源で十分である。In the case of a regular hexagon, by extracting two shadow areas obtained by switching the light sources in two directions and turning them on, the complete length of one side and the direction of the two sides in contact with both ends thereof are obtained. Is enough for Besides, for example, a unidirectional light source is sufficient for recognizing the entire shape of a regular octagon.

【００３９】次に、第３の認識方法について説明する。
凹状の物体において、図１１の（ａ）のように穴４３ａ
が貫通していて、その厚みが小さく、テレビカメラ６の
焦点距離が長いなどの場合、あるいは、図１１の（ｂ）
のように光源７の投射角度と照度に対して、穴４３ｂの
凹形状が狭くて深い場合は、１つの影領域の画像から凹
部分の外郭形状を認識できる。Next, the third recognition method will be described.
In the concave object, the hole 43a is formed as shown in FIG.
Is penetrated, its thickness is small, and the focal length of the television camera 6 is long, or (b) in FIG.
When the concave shape of the hole 43b is narrow and deep with respect to the projection angle and the illuminance of the light source 7 as described above, the outer shape of the concave portion can be recognized from the image of one shadow region.

【００４０】たとえば、図１１の（ａ）において、テレ
ビカメラ６で円形の穴４３ａを上方から観察すると、平
板部の表側と裏側の両方の円形が観測される。このと
き、光源７を同じく穴４３ａの中心軸に近い位置に配置
して投射すると、穴４３ａの側面はほとんど受光しない
状態で画像に映る。このため、無照明画像と１つの照明
画像とを用いて、図１の影領域抽出部１１により影領域
を抽出するとともに、特徴領域抽出部１２によりこの影
領域のデータを反転させることによって、穴４３ａの形
状を完全なかたちで抽出した図形４５ａを求めることが
できる。これにより、３方向からの照明を切り替えて投
射したときと同様の効果をあげることができる。For example, in FIG. 11A, when the circular hole 43a is observed from above by the television camera 6, both the front side and the back side of the flat plate portion are observed. At this time, when the light source 7 is similarly arranged at a position close to the central axis of the hole 43a and projected, the side surface of the hole 43a appears in the image with almost no light reception. Therefore, by using the non-illuminated image and one illumination image, the shadow area extracting unit 11 of FIG. 1 extracts the shadow area, and the feature area extracting unit 12 inverts the data of the shadow area to create a hole. It is possible to obtain the figure 45a which is a complete extraction of the shape of 43a. As a result, the same effect as when projecting by switching the illumination from three directions can be obtained.

【００４１】また、図１の撮像ユニット８のように、穴
に対して斜め方向から光が投射されるようにした場合で
も、テレビカメラ６のレンズに焦点距離の長いものを用
い、対象から離れた位置から観察するようにすることに
よって、穴側面を観測しないようにできる。したがっ
て、無照明画像と１つの照明画像だけで穴部分を影領域
として求めることができる。Even when the light is projected obliquely to the hole as in the image pickup unit 8 of FIG. 1, the lens of the TV camera 6 has a long focal length and is separated from the target. By observing from a different position, it is possible to avoid observing the side surface of the hole. Therefore, the hole portion can be obtained as the shadow area only with the non-illuminated image and one illuminated image.

【００４２】なお、本実施例は、認識対象たる六角ボル
ト１４およびボルト穴１５を平面的に観察できる位置に
撮像ユニット８を配置することを前提としたが、これは
さほど厳密な操作を必要とするものではなく、通常は認
識対象がテレビカメラ６の画面内に収まる位置に置かれ
ているといった程度で良い。実際、こうした技術を利用
する産業現場においては、作業対象物がコンベア上を流
れてきたり、オートローダなどで配置されたりするとい
うケースが多く、この点については実用上支障のないも
のである。The present embodiment is premised on that the image pickup unit 8 is arranged at a position where the hexagonal bolt 14 and the bolt hole 15 to be recognized can be observed in a plane, but this requires a strict operation. However, it is usually sufficient that the recognition target is placed at a position within the screen of the TV camera 6. In fact, in industrial sites using such techniques, the work object often flows on a conveyor or is placed by an autoloader, which is not a problem in practical use.

【００４３】また、撮像ユニット８を、作業空間内を移
動する機構と組み合わせることにより、広範囲に存在す
る複数の作業対象物を順次捜し出して、その形状を認識
することも可能である。さらに、本実施例で具体例とし
た六角ボルト１４およびボルト穴１５の形状および位置
の認識の結果に応じて、マニピュレータの手先位置の指
令値とボルトサイズに適したツールの選択情報とを出力
する。これにより、ボルトの着脱を自動で行う自動分解
組み立て装置を構成するなど、各種ロボットと組み合わ
せることにより、産業上さまざまなかたちで適用するこ
とが可能である。Further, by combining the image pickup unit 8 with a mechanism for moving in the work space, it is possible to sequentially find a plurality of work objects existing in a wide range and recognize their shapes. Further, according to the result of recognition of the shapes and positions of the hexagon bolt 14 and the bolt hole 15 as a specific example in this embodiment, the command value of the hand position of the manipulator and the tool selection information suitable for the bolt size are output. . As a result, by combining with various robots such as configuring an automatic disassembling and assembling device that automatically attaches and detaches bolts, it can be applied in various forms in the industry.

【００４４】なお、本実施例では、認識対象として六角
ボルト１４およびボルト穴１５を例にとって説明した
が、実際には平面あるいは滑らかな曲面上に存在するさ
まざまな凹凸形状に適用可能である。In the present embodiment, the hexagon bolt 14 and the bolt hole 15 have been described as an example of the object to be recognized, but it is actually applicable to various uneven shapes existing on a flat surface or a smooth curved surface.

【００４５】[0045]

【発明の効果】以上のように本発明によれば、認識対象
に光を照射しないで撮像して得た無照明画像と、上記認
識対象に所定の方向から光を照射しながら撮像して得た
照明画像との比較による影領域抽出部や、複数の影領域
の結合やその結合図形のデータの反転などによる特徴領
域抽出部を設けたので、認識対象の表面の色や模様や材
質、および鏡面反射や照明むらなどの影響を受けずに、
認識対象の完全な輪郭を抽出することができる。したが
って、平面あるいは曲面上に存在する柱状の凹凸物体の
形状や位置の認識を高い信頼度で安定して行うことがで
き、複数の物体が含まれる対象についても、物体の種類
を判別したり、特定の物体を見つけたりすることが可能
となる。また、画像入力部、照明装置および画像処理部
以外の構成を必要とせず、しかも、特定の種類の照明を
用いたり、照度を高精度に制御したりする面倒がなく、
特に、光学的に厳密な設定なども不要なので、本発明の
凹凸形状認識装置は容易に実現できる利点を有してい
る。As described above, according to the present invention, a non-illuminated image obtained by capturing an image of a recognition target without irradiating it with light, and an image of the recognition target capturing an image while irradiating light from a predetermined direction. Since a shadow area extraction unit for comparing with the illuminated image and a feature area extraction unit for combining multiple shadow areas and inverting the data of the combined figure are provided, the color, pattern, and material of the surface to be recognized, and Without being affected by specular reflection and uneven lighting,
The complete contour of the recognition object can be extracted. Therefore, it is possible to stably and reliably recognize the shape and position of a columnar uneven object existing on a flat surface or a curved surface, and even for a target including a plurality of objects, determine the type of the object, It is possible to find a specific object. Further, it does not require any configuration other than the image input unit, the illumination device, and the image processing unit, and furthermore, there is no trouble of using a specific type of illumination or controlling the illuminance with high accuracy.
In particular, the ruggedness shape recognition apparatus of the present invention has an advantage that it can be easily realized, since no optical strict setting is required.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の一実施例を示し、凹凸形状認識装置全
体の概略構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of an entire concave-convex shape recognition device according to an embodiment of the present invention.

【図２】影領域抽出部の構成例を示すブロック図であ
る。FIG. 2 is a block diagram illustrating a configuration example of a shadow area extraction unit.

【図３】特徴領域抽出部の構成例を示すブロック図であ
る。FIG. 3 is a block diagram showing a configuration example of a characteristic region extracting section.

【図４】認識対象と光源の位置関係を示す説明図であ
る。FIG. 4 is an explanatory diagram showing a positional relationship between a recognition target and a light source.

【図５】撮像ユニットの光源を点灯しない状態で、図１
に例示した認識対象を撮像したときに得られる画像（比
較画像）を示す図である。FIG. 5 shows a state in which the light source of the image pickup unit is not turned on.
It is a figure which shows the image (comparative image) obtained when the recognition target illustrated in FIG.

【図６】撮像ユニットの光源を点灯した状態で、図１に
例示した認識対象を撮像したときに得られる影領域を示
す図で、（ａ）、（ｂ）、（ｃ）は、それぞれ第１、第
２、第３の光源を点灯したときに得られる影領域を示す
図である。FIG. 6 is a diagram showing a shadow area obtained when the recognition target illustrated in FIG. 1 is imaged in a state where the light source of the imaging unit is turned on, and (a), (b), and (c) are respectively It is a figure which shows the shadow area obtained when turning on the 1st, 2nd, and 3rd light source.

【図７】影領域抽出部における処理の様子を示す説明図
で、（ａ）は比較画像と照明画像の濃度断面を示し、
（ｂ）はそれらの差分に基づいて抽出される影領域を示
す図である。FIG. 7 is an explanatory diagram showing a state of processing in a shadow area extraction unit, in which (a) shows density cross sections of a comparative image and an illumination image,
(B) is a figure which shows the shadow area extracted based on those differences.

【図８】３つの影領域のデータの論理和の図形を示す図
である。FIG. 8 is a diagram showing a graphic of a logical sum of data of three shadow areas.

【図９】３つの影領域のデータの論理和の反転図形を示
す図である。FIG. 9 is a diagram showing an inverted graphic of a logical sum of data in three shadow areas.

【図１０】六角ボルトの部分的な影図形の特徴に基づく
正六角形の認識を示す説明図である。FIG. 10 is an explanatory diagram showing recognition of a regular hexagon based on the characteristics of a partial shadow figure of a hexagon bolt.

【図１１】１つの照明で認識可能な凹部の例を示す図で
ある。FIG. 11 is a diagram showing an example of a recess that can be recognized by one illumination.

【図１２】従来の方法における一問題点を示す図で、
（ａ）〜（ｃ）は、それぞれ異なる方向から照射したと
きの画像を示し、（ｄ）は（ｂ）と（ｃ）の最大値画
像、（ｅ）は（ｄ）と（ａ）の差画像、（ｆ）は撮像の
状態を示す図である。FIG. 12 is a diagram showing one problem in the conventional method,
(A) to (c) show images when irradiated from different directions, (d) is the maximum value image of (b) and (c), (e) is the difference between (d) and (a). Image, (f) is a diagram showing a state of imaging.

【符号の説明】[Explanation of symbols]

６ テレビカメラ ７ 光源 ７ａ 第１の光源 ７ｂ 第２の光源 ７ｃ 第３の光源 ８ 撮像ユニット ９ 入力制御部 １０ 画像メモリ １１ 影領域抽出部 １２ 特徴領域抽出部 １３ 形状認識部 １４ 六角ボルト １５ ボルト穴 １６ａ、１６ｂ カメラの仮想的光線 １７ａ、１７ｂ 照明の光線 １８ ナット １９ 六角ボルトの像 ２０ ボルト穴の像 ２１ａ、２１ｂ、２１ｃ 六角ボルトの影領域 ２２ａ、２２ｂ、２２ｃ ボルト穴の影領域 ２３ 鏡面反射部分 ２４ 定数加算回路 ２５ 減算回路 ２６ ２値化回路 ２７ 無照明画像 ２８ 定数加算画像 ２９ 照明画像 ３０ 差分画像 ３１ しきい値 ３２ 影領域 ３３ ボルト穴図形 ３４ 六角ボルトの影図形 ３５ 六角ボルト図形 ３６ 背景の図形 ３７ａ、３７ｂ、３７ｃ 画像メモリ ３８ 論理和演算回路 ３９ 反転演算回路 ４０ 背景部分除去回路 ４１ 影図形の折れ線近似図形 ４２ａ、４２ｂ、４２ｃ、４２ｄ 折れ線近似図形にお
ける正六角形の特徴点 ４３ａ、４３ｂ 認識対象の穴 ４４ａ、４４ｂ テレビカメラの視野 ４５ａ、４５ｂ 穴の画像6 TV Camera 7 Light Source 7a First Light Source 7b Second Light Source 7c Third Light Source 8 Imaging Unit 9 Input Control Section 10 Image Memory 11 Shadow Area Extraction Section 12 Feature Area Extraction Section 13 Shape Recognition Section 14 Hexagonal Bolt 15 Bolt Hole 16a, 16b Virtual light rays of the camera 17a, 17b Illumination light ray 18 Nut 19 Hexagon bolt image 20 Bolt hole image 21a, 21b, 21c Hexagon bolt shadow area 22a, 22b, 22c Bolt hole shadow area 23 Mirror reflection part 24 constant addition circuit 25 subtraction circuit 26 binarization circuit 27 non-illuminated image 28 constant addition image 29 illumination image 30 difference image 31 threshold value 32 shadow area 33 bolt hole figure 34 hexagon bolt shadow figure 35 hexagon bolt figure 36 background Figure 37a, 37b, 37c Image memory 38 Logical sum operation circuit 39 Inversion Calculation circuit 40 Background portion removal circuit 41 Polygonal line approximation figure of shadow figure 42a, 42b, 42c, 42d Regular hexagonal feature points 43a, 43b in polygonal line approximation figure Holes for recognition 44a, 44b Field of view of television camera 45a, 45b Image of hole

Claims (1)

【特許請求の範囲】[Claims] 【請求項１】 画像入力手段と照明装置と画像処理手段
とを有する凹凸形状認識装置において、 上記画像入力手段のまわりに相互に位置をずらして配し
た複数個の光源からなる照明装置と、 上記照明装置の各光源を点灯することなく認識対象を撮
像して得た画像を記憶する画像記憶手段と、 上記照明装置の各光源を順次単独で点灯するとともに、
それらの点灯と同期して上記認識対象を撮像するように
上記画像入力手段および照明装置を制御する入力制御手
段と、 上記照明装置の各光源を順次単独で点灯した状態で撮像
して得た画像と、上記画像記憶手段に記憶されている画
像との比較演算により、上記照明装置の各光源からの照
明によって生ずる上記認識対象の影領域の画像を各々抽
出する影領域抽出手段と、 上記影領域抽出手段により抽出された各影領域の画像の
論理和を演算するとともに、さらにその論理和を反転さ
せる演算を行うことにより、上記認識対象の各影領域の
画像を結合した影図形と上記認識対象自体の領域を示す
図形とを抽出する特徴領域抽出手段と、 上記特徴領域抽出手段により得られた認識対象の影図
形、あるいは認識対象自体の図形の幾何学的特徴、ある
いは輪郭特徴の解析を行うことにより、上記認識対象の
形状を認識する形状認識手段とを設けたことを特徴とす
る凹凸形状認識装置。1. A concave-convex shape recognition device having an image input means, a lighting device, and an image processing means, and a lighting device comprising a plurality of light sources arranged around the image input means and displaced from each other. An image storage unit that stores an image obtained by imaging a recognition target without turning on each light source of the illumination device, and sequentially turns on each of the light sources of the illumination device individually,
Input control means for controlling the image input means and the illuminating device so as to image the recognition target in synchronization with their lighting, and an image obtained by sequentially illuminating each light source of the illuminating device individually And a shadow area extracting means for extracting an image of the shadow area of the recognition target generated by illumination from each light source of the illuminating device by a comparison calculation with the image stored in the image storage means, and the shadow area. By calculating the logical sum of the images of the respective shadow areas extracted by the extracting means and further inverting the logical sum, the shadow figure in which the images of the respective shadow areas of the recognition target are combined and the recognition target. A characteristic region extracting means for extracting a figure showing its own region, and a shadow figure of a recognition target obtained by the characteristic region extracting means, or a geometric feature of the figure of the recognition target itself, Is by analyzing the contour feature, irregular shape recognition apparatus characterized in that a recognizing shape recognition means the shape of the recognition target.