JP4458210B2

JP4458210B2 - Object detection method

Info

Publication number: JP4458210B2
Application number: JP32221099A
Authority: JP
Inventors: 俊充入江; 仁脇迫
Original assignee: Yaskawa Electric Corp
Current assignee: Yaskawa Electric Corp
Priority date: 1999-11-12
Filing date: 1999-11-12
Publication date: 2010-04-28
Anticipated expiration: 2019-11-12
Also published as: JP2001143078A

Description

【０００１】
【発明の属する技術分野】
本発明は、少なくとも１つの物体を含む距離画像から物体を検出する物体検出方法に関する。
【０００２】
【従来の技術】
従来、少なくとも１つの物体を含む画像から物体の存在（領域）を検出する方法として、撮像装置から入力された画像である濃淡画像を２値化した２値画像に対し、収縮処理、膨張処理または収縮処理及び膨張処理の併用といった手段を適用する方法が知られている。
例えば、このような収縮処理あるいは膨張処理には、入力画像上の全ての画素に対し、データの存在するところを起点として、画素とオペレータとの論理積（Erosion）を取ることによる画像を収縮させる機能と、論理和（Dilation）を取ることによる画像を膨張させる機能とを有するMathematical Morphologyといった手法が提案されている（例えば、“Image Analysis Using Mathematical Morphology”、IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.PAMI-9, No.4, 1987）。
次に、上記のMathematical Morphologyを用いた物体の画像処理の一例を、図６の従来の物体検出方法を示すフローチャートを基に説明する。なお、フローチャートは以下のステップＳＴ２１〜２４で示される。また、図７は物体検出における画像取得手段と対象物との位置関係を表した図である。
まず、ステップＳＴ２１で、撮像装置により被検出対象の物体の濃淡画像を取得する。これは例えば、図７に示すように、画像取得手段６０２としてＣＣＤカメラなどの撮像装置を用いると共に、テーブル６０３上に撮像装置６０２から異なる距離に置かれた第１の対象物６０４、第２の対象物６０５、第３の対象物６０６を、撮像装置６０２によって撮像すると、撮像装置６０２上で各々の対象物６０４、６０５、６０６に対する濃淡画像６０７、６０８、６０９並びにテーブル６０３に対する濃淡画像６１０が取得される。
この場合、第１の対象物６０４と第３の対象物６０６は実際の大きさおよび形状が同じであるものの、撮像装置６０２からの距離が異なるため、撮像装置の濃淡画像上６０１で比較すると、第１の対象物６０４の濃淡画像６０７の方が大きく表される。また、第１の対象物６０４と第２の対象物６０５とで比較すると、実際の大きさおよび形状は第１の対象物６０４の方が大きいが、逆に撮像装置６０２からの距離は第２の対象物６０５の方が近いため、撮像装置の濃淡画像６０１上では二つの対象物６０４、６０５の濃淡画像６０７、６０８とも同じ大きさで表されている。
次にステップＳＴ２２で、濃淡画像６０１を２値化手段（図示せず）で２値化し、２値画像を作成する。この濃淡画像６０１に関する２値化結果を図８に示す。
図８は従来の方法による濃淡画像に関する２値化結果である。７０１は濃淡画像６０１に関する２値画像、７０２は第１の対象物６０４に対する２値画像、７０３は第２の対象物６０５に対する２値画像、７０４が第３の対象物６０６に対する２値画像である。ここで、テーブル６０３に対する濃淡画像６１０は、濃淡画像に関する２値化手段（図示せず）により適当な閾値を設定することで、濃淡画像に関する２値画像７０１上で消去される。
ステップＳＴ２３では、濃淡画像に関する２値画像７０１に対して、濃淡画像に関する収縮処理を行う。ここでは、濃淡画像に関する収縮処理にMathematical Morphologyの論理積（Erosion）を用いる。この論理積には濃淡画像に関するオペレータを用いて行う。濃淡画像に関するオペレータを１画素×ｅ画素とし、ｅを濃淡画像に関する第１の対象物６０４に対する２値画像７０２あるいは濃淡画像に関する第２の対象物６０５に対する２値画像７０３の横幅の画素＋１とする。濃淡画像に関する収縮処理結果を図９に示す。
図９は従来の方法による濃淡画像に関する収縮処理結果である。８０１が濃淡画像に関する収縮処理画像、８０２が濃淡画像に関する第１の対象物６０４に対する収縮処理画像、８０３が濃淡画像に関する第２の対象物６０５に対する収縮処理画像である。このように濃淡画像に関する収縮処理を行うと、濃淡画像に関する２値画像７０１から、第３の対象物６０６に対する２値画像７０４が消去される。
さらにステップＳＴ２４で、濃淡画像に関する収縮処理画像８０１に対して濃淡画像に関する膨張処理を行う。ここでは、濃淡画像に関する膨張処理手段にMathematical Morphologyの論理和（Dilation）を用いる。論理和には濃淡画像に関するオペレータを用いて行う。濃淡画像に関する膨張処理結果を図１０に示す。
図１０は従来の方法による濃淡画像に関する膨張処理結果である。６１１は濃淡画像に関する物体検出画像、９０１は濃淡画像に関する第１の対象物に対する膨張処理画像、９０２は濃淡画像に関する第２の対象物に対する膨張処理画像である。
これより、第１の対象物６０４と第２の対象物６０５を、濃淡画像６０１あるいは濃淡画像に関する２値画像７０１上で検出することができる。
【０００３】
【発明が解決しようとする課題】
ところが、上記の従来技術では、撮像装置から互いに距離が異なる位置に置かれた複数の物体が存在する場合であって、互いに大きさおよび形状が異なる物体同士の存在については物体を検出することができるが、互いに大きさおよび形状が同じである物体同士の存在については物体を検出することができないという問題があった。その結果、異なる大きさの物体を同じ大きさの物体と検出してしまう問題が生じた。
そこで、本発明は、画像取得手段からの距離が互いに異なる位置に複数の物体の存在した場合であっても、画像上から互いに大きさおよび形状が同じである物体同士の存在を正しく検出することのできる物体検出方法を提供することを目的とする。
【０００４】
【課題を解決するための手段】
上記課題を解決するため、本発明は、大きさおよび形状が同一若しくは異なる複数の物体から被検出対象となる物体を検出する物体検出装置において、距離計測装置により前記被検出対象となる物体を含む前記の複数の物体までの距離情報を分布させた距離画像を取得する手段と、前記出力された距離画像を２値化手段により２値化して２値画像を作成する手段と、前記作成された距離画像に関する２値画像の演算対象となる各画素に対して、論理演算される演算用画素範囲の初期値を、前記２値画像の中の前記被検出対象となる物体の内の１つを示す領域の幅方向の画素数に１を加算した値ｄを用いて１画素×ｄ画素の範囲とし、前記演算対象となる各画素の前記距離情報が大きいほど前記値ｄを小さい値とし、前記距離情報が小さいほど前記値ｄを大きい値として、前記演算対象となる各画素毎に前記演算用画素範囲を変更させ、前記演算対象となる各画素に前記演算用画素範囲をあてはめて前記演算用画素範囲内の画素との論理積をとる収縮処理を実行する手段と、前記収縮処理により取得された収縮処理画像に対して、前記演算対象となる各画素の前記距離情報が大きいほど前記値ｄを小さい値とし、前記距離情報が小さいほど前記値ｄを大きい値として、前記演算対象となる各画素毎に前記演算用画素範囲を変更させ、前記演算対象となる各画素に前記演算用画素範囲をあてはめて前記演算用画素範囲内の画素との論理和を取る膨張処理を実行し、物体検出画像を取得するものである。
【０００５】
【発明の実施の形態】
以下、本発明の実施例を図に基づいて説明する。
図１は、本発明の実施例を示す物体検出方法のフローチャートである。なお、本発明が従来と同じ構成要素についてはその説明を省略し異なる点のみ説明する。
まず、ステップＳＴ１１において、距離計測装置により被検出対象となる物体の距離画像を求める。距離画像は対象物までの距離情報を分布させた画像であり、該距離画像を求めるには例えば、図７に示すように、画像取得手段６０２（撮像装置）に替えてレーザレンジファインダやステレオカメラ等の距離計測装置（６０２）を使用する。この距離計測装置でテーブル６０３上に置かれた第１の対象物６０４、第２の対象物６０５および第３の対象物６０６を計測すると、距離計測装置（６０２）上で各々の対象物６０４、６０５、６０６に対する距離画像を取得できる。
図２は距離計測装置を用いて取得したテーブルおよび各々の対象物のシーンの距離画像である。２０１が距離画像、２０２が第１の対象物６０４に対する距離画像、２０３が第２の対象物６０５に対する距離画像、２０４が第３の対象物６０６に対する距離画像である。距離画像２０１は距離計測装置（６０２）に近い部分ほど白く表現されている。なお、テーブル６０３に対する距離画像は、距離計測装置の計測範囲外のため、距離画像には現れない。
次にステップＳＴ１２で、距離画像２０１を２値化手段（図示せず）で２値化し、２値画像を作成する。
図３はこの距離画像に関する２値化結果を示す。３０１は距離画像に関する２値画像、３０２は距離画像に関する第１の対象物に対する２値画像、３０３は距離画像に関する第２の対象物に対する２値画像、３０４は距離画像に関する第３の対象物に対する２値画像である。
続いてステップＳＴ１３で、距離画像に関する２値画像３０１に対して距離画像に関する収縮処理を行う。
すなわち、距離画像に関する収縮処理で行うMathematical MorphologyのErosionを、オペレータのサイズを距離情報に応じて変更しながら実行するようにしたものである。距離情報は、焦点距離と距離画像の各画素の距離とで構成する。従って、距離画像に関する収縮処理は距離画像に関するオペレータ、焦点距離、各画素の距離データを入力として、オペレータのサイズを各画素の距離に応じて変更しながらErosionを行う。距離画像に関するオペレータを１画素×ｄ画素とし、ｄを距離画像に関する第３の対象物に対する２値画像３０４の横幅の画素＋１とする。ここで、焦点距離は距離画像２０１を取得する際の距離計測装置の焦点距離でｆとする。また、各画素の距離データは距離画像２０１の各画素の距離値でｈ（ｉ，ｊ）とする。ｈ（ｉ，ｊ）は、画素（ｉ，ｊ）に対する距離値である。距離画像に関する収縮処理手段では、以下の式のようにオペレータのサイズを決定する。
【０００６】
【数１】

【０００７】
ここで、ｒは調整率で、ｄの大きさを調整する定数である。ｄ'（ｉ，ｊ）は距離画像２０１の各画素で演算されるオペレータサイズである。図４にこのオペレータを用いて行ったErosionによる収縮処理結果を示す。
４０１が距離画像に関する収縮処理画像、４０２が距離画像に関する第１の対象物に対する収縮処理画像、４０３が距離画像に関する第３の対象物に対する収縮処理画像である。第２の対象物６０５は距離計測装置に近いため、すなわち、ｈ（ｉ，ｊ）が小さいため、ｄ'（ｉ，ｊ）が大きくなり、Erosionの結果、距離画像に関する２値画像３０１から消えてしまう。第３の対象物６０６は距離計測装置から遠いため、すなわち、ｈ（ｉ，ｊ）が大きいため、ｄ'（ｉ，ｊ）が小さくなり、Erosionの結果、距離画像に関する２値画像３０１から残る。
さらにステップＳＴ１４で、距離画像に関する収縮処理画像４０１に対して膨張処理を行うが、ここではオペレータサイズは式（１）による演算によって決定する。図５にこのオペレータを用いて行ったDilationによる膨張処理結果を示す。
１０７は距離画像に関する物体検出画像、５０１は距離画像に関する第１の対象物に対する膨張処理画像、５０２が距離画像に関する第３の対象物に対する膨張処理画像である。
このように第１の対象物６０４と第３の対象物６０６とが距離画像あるいは距離画像に関する２値画像上で検出できる。
したがって、本発明の実施例は、上記のような方法にしたので、距離測定装置から互いに距離が異なる位置に置かれた複数の物体が存在する場合であっても、大きさおよび形状が同じである物体同士の存在を正しく検出することができる。これにより、異なる大きさの物体を同じ大きさの物体と誤って検出してしまう問題は全く生じない。
なお、本実施例では、大きさおよび形状の異なる物体の存在を検出することを目的として、距離画像に関する２値画像に対し、収縮処理、さらに膨張処理を施した方法について説明したが、膨張処理を行わずに収縮処理だけを用いた方法でも構わない。
【０００８】
【発明の効果】
以上説明したように、本発明によれば、距離画像あるいは距離画像の２値画像に対し、距離画像の焦点距離および各画素の距離データに応じてサイズを決定できるオペレータを用いたMathematical Morphologyによる収縮処理あるいは膨張処理あるいは収縮処理及び膨張処理を行うようにしたので、距離の異なる位置に、大きさ及び形状が同じ物体が置かれていても、画像上から正しく物体の存在を検出することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施例を示す物体検出方法のフローチャートである。
【図２】本発明の実施例により取得された距離画像である。
【図３】本発明の実施例により取得された距離画像の２値化結果である。
【図４】本発明の実施例により取得された距離画像に関する収縮処理結果である。
【図５】本発明の実施例により取得された距離画像に関する膨張処理結果である。
【図６】従来の物体検出方法を示すフローチャート図である。
【図７】従来の物体検出方法による撮像装置と対象物の位置関係を表した図である。
【図８】従来の方法による濃淡画像に関する２値化結果である。
【図９】従来の方法による濃淡画像に関する収縮処理結果である。
【図１０】従来の方法による濃淡画像に関する膨張処理結果である。
【符号の説明】
２０１距離画像
２０２第１の対象物に対する距離画像
２０３第２の対象物に対する距離画像
２０４第３の対象物に対する距離画像
２０５距離画像に関する物体検出画像
３０１距離画像に関する２値画像
３０２距離画像に関する第１の対象物に対する２値画像
３０３距離画像に関する第２の対象物に対する２値画像
３０４距離画像に関する第３の対象物に対する２値画像
４０１距離画像に関する収縮処理画像
４０２距離画像に関する第１の対象物に対する収縮処理画像
４０３距離画像に関する第３の対象物に対する収縮処理画像
５０１距離画像に関する第１の対象物に対する膨張処理画像(物体検出画像)
５０２距離画像に関する第３の対象物に対する膨張処理画像(物体検出画像)
６０１濃淡画像
６０２画像取得手段
６０３テーブル
６０４第１の対象物
６０５第２の対象物
６０６第３の対象物
６０７第１の対象物に対する濃淡画像
６０８第２の対象物に対する濃淡画像
６０９第３の対象物に対する濃淡画像
６１０テーブルに対する濃淡画像
６１１濃淡画像に関する物体検出画像
７０１濃淡画像に関する２値画像
７０２濃淡画像に関する第１の対象物に対する２値画像
７０３濃淡画像に関する第２の対象物に対する２値画像
７０４濃淡画像に関する第３の対象物に対する２値画像
８０１濃淡画像に関する収縮処理画像
８０２濃淡画像に関する第１の対象物に対する収縮処理画像
８０３濃淡画像に関する第２の対象物に対する収縮処理画像
９０１濃淡画像に関する第１の対象物に対する膨張処理画像(物体検出画像)
９０２濃淡画像に関する第２の対象物に対する膨張処理画像(物体検出画像)[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an object detection method for detecting an object from a distance image including at least one object.
[0002]
[Prior art]
Conventionally, as a method for detecting the presence (region) of an object from an image including at least one object, a shrinkage process, an expansion process, or a binary image obtained by binarizing a grayscale image that is an image input from an imaging device is used. A method of applying means such as a combination of shrinkage treatment and expansion treatment is known.
For example, in such contraction processing or expansion processing, the image is contracted by taking the logical product (Erosion) of the pixel and the operator from the place where the data exists for all the pixels on the input image. Methods such as Mathematical Morphology that have functions and functions to expand images by taking a dilation have been proposed (eg “Image Analysis Using Mathematical Morphology”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. .PAMI-9, No.4, 1987).
Next, an example of image processing of an object using the above Mathematical Morphology will be described based on a flowchart showing a conventional object detection method in FIG. In addition, a flowchart is shown by the following steps ST21-24. FIG. 7 is a diagram showing the positional relationship between the image acquisition means and the object in object detection.
First, in step ST21, a grayscale image of an object to be detected is acquired by the imaging device. For example, as shown in FIG. 7, an imaging device such as a CCD camera is used as the image acquisition unit 602, and the first object 604 and the second object 604 placed at different distances from the imaging device 602 on the table 603. When the object 605 and the third object 606 are imaged by the imaging device 602,

gray images

607, 608, 609 for the

respective objects

604, 605, 606 and a gray image 610 for the table 603 are acquired on the imaging device 602. Is done.
In this case, although the first object 604 and the third object 606 have the same actual size and shape, but the distance from the imaging device 602 is different, when compared on the grayscale image 601 of the imaging device, The grayscale image 607 of the first object 604 is shown larger. Further, when the first object 604 and the second object 605 are compared, the actual size and shape of the first object 604 are larger, but conversely, the distance from the imaging device 602 is the second. Since the target object 605 is closer, the

gray images

607 and 608 of the two objects 604 and 605 are represented by the same size on the gray image 601 of the imaging apparatus.
Next, in step ST22, the grayscale image 601 is binarized by a binarizing means (not shown) to create a binary image. The binarization result regarding the grayscale image 601 is shown in FIG.
FIG. 8 shows a binarization result relating to a grayscale image by a conventional method. Reference numeral 701 denotes a binary image related to the grayscale image 601, reference numeral 702 denotes a binary image corresponding to the first object 604, reference numeral 703 denotes a binary image corresponding to the second object 605, and reference numeral 704 denotes a binary image corresponding to the third object 606. . Here, the grayscale image 610 corresponding to the table 603 is erased on the binary image 701 relating to the grayscale image by setting an appropriate threshold value by a binarizing means (not shown) relating to the grayscale image.
In step ST23, the shrinkage process related to the grayscale image is performed on the binary image 701 related to the grayscale image. Here, Mathematical Morphology Erosion is used for the shrinkage processing of grayscale images. This logical product is performed using an operator relating to a grayscale image. The operator relating to the grayscale image is 1 pixel × e pixel, and e is the pixel +1 of the horizontal width of the binary image 702 for the first object 604 relating to the grayscale image or the binary image 703 for the second object 605 relating to the grayscale image. . FIG. 9 shows the result of contraction processing regarding a grayscale image.
FIG. 9 shows the result of contraction processing relating to a grayscale image by a conventional method. Reference numeral 801 denotes a contraction processed image related to a grayscale image, 802 denotes a contraction processed image of the first object 604 related to the grayscale image, and 803 denotes a contraction processed image of the second target object 605 related to the grayscale image. When the contraction process related to the grayscale image is performed in this way, the binary image 704 corresponding to the third object 606 is deleted from the binary image 701 related to the grayscale image.
Further, in step ST24, expansion processing relating to the grayscale image is performed on the contraction processed image 801 relating to the grayscale image. Here, Mathematical Morphology's Dilation is used as a dilation processing method for grayscale images. The logical sum is performed using an operator relating to a grayscale image. FIG. 10 shows the result of the expansion process related to the grayscale image.
FIG. 10 shows the result of expansion processing relating to a grayscale image by a conventional method. Reference numeral 611 denotes an object detection image related to a grayscale image, 901 denotes an expansion processing image for the first object related to the grayscale image, and 902 denotes an expansion processing image for the second target related to the grayscale image.
Thus, the first object 604 and the second object 605 can be detected on the gray image 601 or the binary image 701 related to the gray image.
[0003]
[Problems to be solved by the invention]
However, in the above-described conventional technology, there are a plurality of objects placed at positions different from each other from the imaging device, and the object can be detected for the presence of objects having different sizes and shapes. However, there is a problem that the objects cannot be detected for the existence of objects having the same size and shape. As a result, there arises a problem that objects of different sizes are detected as objects of the same size.
Therefore, the present invention correctly detects the presence of objects having the same size and shape from the image even when there are a plurality of objects at different distances from the image acquisition means. It is an object to provide an object detection method capable of performing
[0004]
[Means for Solving the Problems]
To solve the above problems, the present invention is, in the object detecting apparatus for detecting an object size and shape is to be detected from the same or different objects, including the object of the object to be detected by the distance measuring device means for obtaining a distance image obtained by the distribution of the distance information to a plurality of objects of the means for creating a binary image by binarizing the binarizing means the output distance image, the created For each pixel that is a calculation target of the binary image related to the distance image, an initial value of a calculation pixel range that is logically calculated is set to one of the objects to be detected in the binary image. The value d obtained by adding 1 to the number of pixels in the width direction of the region to be shown is set to a range of 1 pixel × d pixels, and as the distance information of each pixel to be calculated is larger, the value d is set to a smaller value. The smaller the distance information, The value d is set to a large value, the calculation pixel range is changed for each pixel to be calculated, and the calculation pixel range is applied to each pixel to be calculated and the pixels in the calculation pixel range small means for performing a preparative Ru contraction processing a logical product, to the shrinkage treatment by acquired contraction-processed image, the value d as the distance information is larger for each pixel to be the operation target and The value d is set to a larger value as the distance information is smaller, and the calculation pixel range is changed for each pixel to be calculated, and the calculation pixel range is applied to each pixel to be calculated. run the Rise Zhang process that collected the logical sum of the pixels in the arithmetic pixel range Te, and acquires the object detection image.
[0005]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a flowchart of an object detection method showing an embodiment of the present invention. It should be noted that the description of the same components as those of the prior art will be omitted, and only different points will be described.
First, in step ST11, a distance image of an object to be detected is obtained by a distance measuring device. The distance image is an image in which distance information to the object is distributed. To obtain the distance image, for example, as shown in FIG. 7, a laser range finder or a stereo camera is used instead of the image acquisition unit 602 (imaging device). A distance measuring device (602) is used. When the first object 604, the second object 605, and the third object 606 placed on the table 603 are measured by the distance measuring device, each object 604 is displayed on the distance measuring device (602). Distance images for 605 and 606 can be acquired.
FIG. 2 shows a table acquired using a distance measuring device and a distance image of each object scene. 201 is a distance image, 202 is a distance image with respect to the first object 604, 203 is a distance image with respect to the

second object

605, and 204 is a distance image with respect to the third object 606. In the distance image 201, the portion closer to the distance measuring device (602) is expressed in white. The distance image for the table 603 does not appear in the distance image because it is outside the measurement range of the distance measuring device.
Next, in step ST12, the distance image 201 is binarized by a binarizing means (not shown) to create a binary image.
FIG. 3 shows the binarization result regarding this distance image. 301 is a binary image related to the distance image, 302 is a binary image related to the first object related to the distance image, 303 is a binary image related to the second object related to the distance image, and 304 is related to the third object related to the distance image. It is a binary image.
Subsequently, in step ST <b> 13, contraction processing related to the distance image is performed on the binary image 301 related to the distance image.
In other words, Mathematical Morphology Erosion, which is performed by shrinking the distance image, is executed while changing the size of the operator according to the distance information. The distance information is composed of the focal length and the distance of each pixel of the distance image. Accordingly, in the contraction process related to the distance image, the operator, the focal length, and the distance data of each pixel regarding the distance image are input, and the erosion is performed while changing the size of the operator according to the distance of each pixel. The operator related to the distance image is set to 1 pixel × d pixels, and d is set to the horizontal width pixel +1 of the binary image 304 for the third object related to the distance image. Here, the focal length is f which is the focal length of the distance measuring device when the distance image 201 is acquired. Further, the distance data of each pixel is h (i, j) as the distance value of each pixel of the distance image 201. h (i, j) is a distance value for the pixel (i, j). In the contraction processing means for the distance image, the size of the operator is determined as in the following equation.
[0006]
[Expression 1]

[0007]
Here, r is an adjustment rate and is a constant for adjusting the magnitude of d. d ′ (i, j) is an operator size calculated for each pixel of the distance image 201. FIG. 4 shows the result of contraction processing by Erosion performed using this operator.
Reference numeral 401 denotes a contraction-processed image related to the distance image, reference numeral 402 denotes a contraction-processed image related to the first object related to the distance image, and reference numeral 403 denotes a contraction-processed image related to the third object related to the distance image. Since the second object 605 is close to the distance measuring device, i.e., h (i, j) is small, d ′ (i, j) increases, and as a result of Erosion, it disappears from the binary image 301 related to the distance image. End up. Since the third object 606 is far from the distance measuring device, that is, h (i, j) is large, d ′ (i, j) is small, and as a result of Erosion, it remains from the binary image 301 related to the distance image. .
Further, in step ST14, expansion processing is performed on the contraction processing image 401 related to the distance image. Here, the operator size is determined by calculation according to equation (1). FIG. 5 shows the result of expansion processing by Dilation performed using this operator.
107 is an object detection image related to the distance image, 501 is an expansion processing image for the first object related to the distance image, and 502 is an expansion processing image for the third object related to the distance image.
In this way, the first object 604 and the third object 606 can be detected on the distance image or the binary image related to the distance image.
Therefore, since the embodiment of the present invention is based on the above-described method, even when there are a plurality of objects placed at different distances from the distance measuring device, the size and shape are the same. Presence of certain objects can be detected correctly. As a result, there is no problem of erroneously detecting objects of different sizes as objects of the same size.
In the present embodiment, the method of performing the contraction process and the expansion process on the binary image related to the distance image for the purpose of detecting the presence of objects having different sizes and shapes has been described. It is also possible to use a method using only the shrinkage process without performing the above.
[0008]
【The invention's effect】
As described above, according to the present invention, the shrinkage by Mathematical Morphology using the operator that can determine the size of the distance image or the binary image of the distance image according to the focal length of the distance image and the distance data of each pixel. Since processing, expansion processing, contraction processing, and expansion processing are performed, even if objects of the same size and shape are placed at different distances, the presence of the object can be detected correctly on the image. There is an effect.
[Brief description of the drawings]
FIG. 1 is a flowchart of an object detection method showing an embodiment of the present invention.
FIG. 2 is a distance image obtained according to an embodiment of the present invention.
FIG. 3 is a binarization result of a distance image obtained by an embodiment of the present invention.
FIG. 4 is a contraction processing result related to a distance image acquired by an embodiment of the present invention.
FIG. 5 is a result of expansion processing relating to a distance image acquired according to an embodiment of the present invention.
FIG. 6 is a flowchart showing a conventional object detection method.
FIG. 7 is a diagram illustrating a positional relationship between an imaging apparatus and a target according to a conventional object detection method.
FIG. 8 is a binarization result related to a grayscale image by a conventional method.
FIG. 9 is a contraction processing result related to a grayscale image by a conventional method.
FIG. 10 is a result of expansion processing relating to a grayscale image according to a conventional method.
[Explanation of symbols]
201 Distance image 202 Distance image for first object 203 Distance image 204 for second object Distance image 204 for third object 205 Object detection image 301 for distance image Binary image 302 for distance image First image for distance image Binary image 303 for the target object Binary image 304 for the second target object for the distance image Binary image 401 for the third target object for the distance image 402 Shrinkage processed image 402 for the distance image for the first target object for the distance image Shrinkage processing image 403 Shrinkage processing image 501 for the third object regarding the distance image Expansion processing image (object detection image) for the first object regarding the distance image
502 Expansion processing image (object detection image) for the third object related to the distance image
601 Gray image 602 Image acquisition means 603 Table 604 First object 605 Second object 606 Third object 607 Gray image 608 for the first object Gray image 609 for the second object Third object Gray image for object 610 Gray image for table 611 Object detection image 701 for gray image Binary image 702 for gray image Binary image 703 for first object for gray image Binary image 704 for second object for gray image Binary image 801 for the third object related to the grayscale image 801 Shrinkage processed image 802 for the grayscale image Shrinkage processed image 803 for the first object related to the grayscale image 901 Shrinkage processed image 901 for the second object related to the grayscale image Expansion image for object 1 (object detection image) )
902 Expansion processing image (object detection image) for second object with respect to grayscale image

Claims

大きさおよび形状が同一若しくは異なる複数の物体から被検出対象となる物体を検出する物体検出装置において、
距離計測装置により前記被検出対象となる物体を含む前記の複数の物体までの距離情報を分布させた距離画像を取得する手段と、
前記出力された距離画像を２値化手段により２値化して２値画像を作成する手段と、
前記作成された距離画像に関する２値画像の演算対象となる各画素に対して、論理演算される演算用画素範囲の初期値を、前記２値画像の中の前記被検出対象となる物体の内の１つを示す領域の幅方向の画素数に１を加算した値ｄを用いて１画素×ｄ画素の範囲とし、
前記演算対象となる各画素の前記距離情報が大きいほど前記値ｄを小さい値とし、前記距離情報が小さいほど前記値ｄを大きい値として、前記演算対象となる各画素毎に前記演算用画素範囲を変更させ、前記演算対象となる各画素に前記演算用画素範囲をあてはめて前記演算用画素範囲内の画素との論理積をとる収縮処理を実行する手段と、
前記収縮処理により取得された収縮処理画像に対して、前記演算対象となる各画素の前記距離情報が大きいほど前記値ｄを小さい値とし、前記距離情報が小さいほど前記値ｄを大きい値として、前記演算対象となる各画素毎に前記演算用画素範囲を変更させ、前記演算対象となる各画素に前記演算用画素範囲をあてはめて前記演算用画素範囲内の画素との論理和を取る膨張処理を実行し、物体検出画像を取得する手段と、を有している
ことを特徴とする物体検出装置。In an object detection apparatus for detecting an object to be detected from a plurality of objects having the same or different sizes and shapes,
Distance means for obtaining a distance image obtained by the distribution of the distance information to a plurality of objects of the containing object to be the object to be detected by the measuring device,
Means for creating a binary image by binarizing the binarizing means the output distance image,
For each pixel that is a calculation target of the binary image related to the created distance image, an initial value of a calculation pixel range that is logically calculated is determined from among the objects that are the detection target in the binary image . A value d obtained by adding 1 to the number of pixels in the width direction of the region indicating one of the above, to obtain a range of 1 pixel × d pixels,
The larger the distance information of each pixel to be calculated, the smaller the value d, and the smaller the distance information, the larger the value d, the calculation pixel range for each pixel to be calculated. was changed, and means for performing a preparative Ru shrinkage process the logical product of the pixels in the arithmetic pixel range by applying the calculation pixel range to each pixel to be the operation target,
Relative to the contraction-processed image obtained by the shrinking treatment, the distance information for each pixel to be the operation target is a small value of the value d larger, as a large value the value d as the distance information is smaller the by changing the basis pixel range for each pixel to be the operation target, that collected the logical sum of the pixels in the arithmetic pixel range by applying the calculation pixel range to each pixel to be the operation target run the Rise Zhang processing, object detection apparatus according to claim <br/> that has a means for acquiring object detection image.