JP5743635B2 - Foreign object detection device - Google Patents
Foreign object detection device Download PDFInfo
- Publication number
- JP5743635B2 JP5743635B2 JP2011068283A JP2011068283A JP5743635B2 JP 5743635 B2 JP5743635 B2 JP 5743635B2 JP 2011068283 A JP2011068283 A JP 2011068283A JP 2011068283 A JP2011068283 A JP 2011068283A JP 5743635 B2 JP5743635 B2 JP 5743635B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- foreign matter
- threshold
- pixel
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 270
- 238000012545 processing Methods 0.000 claims description 99
- 238000000034 method Methods 0.000 claims description 43
- 239000000126 substance Substances 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 25
- 239000000463 material Substances 0.000 description 24
- 238000010586 diagram Methods 0.000 description 17
- 239000004065 semiconductor Substances 0.000 description 8
- 238000013475 authorization Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000009434 installation Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Description
この発明は、三次元画像の中に存在している異物を検知する異物検知装置に関するものである。 The present invention relates to a foreign object detection device that detects a foreign object present in a three-dimensional image.
例えば、以下の特許文献1に開示されている異物検知装置では、レーザパルスを走査することで、その走査ポイントの距離値を取得することが可能なセンサを設置し、そのセンサにより取得された距離値から高度値を算出する。
そして、異物検知装置では、その高度値と予め設定されている閾値を比較し、高度値が閾値以上である走査ポイントの数が設定数以上であれば、異物(車両)が存在していると判断する。
For example, in the foreign object detection device disclosed in Patent Document 1 below, a sensor that can acquire the distance value of the scanning point is installed by scanning a laser pulse, and the distance acquired by the sensor The altitude value is calculated from the value.
In the foreign object detection device, the altitude value is compared with a preset threshold value, and if the number of scanning points whose altitude value is equal to or greater than the threshold value is equal to or greater than the set number, the foreign object (vehicle) is present. to decide.
従来の異物検知装置は以上のように構成されているので、高SNR環境下で、走査ポイントの距離値を正確に取得することができれば、異物を正確に検知することが可能であるが、外乱などの影響で低SNR環境となり、走査ポイントの距離値を正確に取得することができなくなると、異物の検知精度が劣化してしまうなどの課題があった。 Since the conventional foreign matter detection apparatus is configured as described above, it is possible to accurately detect foreign matter if the distance value of the scanning point can be accurately obtained under a high SNR environment. For example, if the SNR environment is low due to the influence of the above, and the distance value of the scanning point cannot be obtained accurately, the foreign matter detection accuracy deteriorates.
この発明は上記のような課題を解決するためになされたもので、低SNR環境下でも、異物を正確に検知することができる異物検知装置を得ることを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to obtain a foreign matter detection device that can accurately detect foreign matter even in a low SNR environment.
この発明に係る異物検知装置は、レーザ光を走査して観測領域の三次元画像を撮像する手段であって、異物の検知処理を開始する前に、異物が存在していない状況下で観測領域の三次元画像を撮像して、三次元画像の各画素の反射強度値を出力するとともに、異物の検知処理時に観測領域の三次元画像を撮像して、三次元画像の各画素の反射強度値を出力する三次元画像撮像手段と、三次元画像の縦方向成分が同一の画素単位に、異物の検知処理を開始する前に三次元画像撮像手段から出力された各画素の反射強度値の中で、最大の反射強度値を取得して、最大の反射強度値を上限閾値に設定する閾値設定手段と、三次元画像の縦方向成分が同一の画素単位に、異物の検知処理時に三次元画像撮像手段から出力された各画素の反射強度値と閾値設定手段により設定された上限閾値を比較し、その反射強度値が上限閾値より高い画素を検出する画素検出手段とを設け、異物検知手段が、画素検出手段により検出された画素の総数が予め設定された画素数より多い場合、三次元画像の中に異物が存在していると判断するようにしたものである。 The foreign matter detection device according to the present invention is a means for capturing a three-dimensional image of an observation region by scanning a laser beam, and before starting the foreign matter detection process, the observation region in a situation where no foreign matter is present. The three-dimensional image is captured and the reflection intensity value of each pixel of the three-dimensional image is output, and the three-dimensional image of the observation area is captured during the foreign object detection process, and the reflection intensity value of each pixel of the three-dimensional image Of the reflection intensity value of each pixel output from the three-dimensional image pickup means before starting the foreign substance detection processing in units of pixels in which the vertical component of the three-dimensional image is the same. The threshold setting means for acquiring the maximum reflection intensity value and setting the maximum reflection intensity value as the upper limit threshold, and the three-dimensional image in the same pixel unit as the vertical component of the three-dimensional image during the foreign object detection processing Reflection intensity value and threshold value of each pixel output from the imaging means A pixel detection unit that compares the upper threshold value set by the setting unit and detects a pixel whose reflection intensity value is higher than the upper threshold value, and the foreign object detection unit sets the total number of pixels detected by the pixel detection unit in advance. When the number of pixels is larger than the number of pixels, it is determined that a foreign object exists in the three-dimensional image.
この発明によれば、レーザ光を走査して観測領域の三次元画像を撮像する手段であって、異物の検知処理を開始する前に、異物が存在していない状況下で観測領域の三次元画像を撮像して、その三次元画像の各画素の反射強度値を出力するとともに、異物の検知処理時に観測領域の三次元画像を撮像して、その三次元画像の各画素の反射強度値を出力する三次元画像撮像手段と、三次元画像の縦方向成分が同一の画素単位に、異物の検知処理を開始する前に三次元画像撮像手段から出力された各画素の反射強度値の中で、最大の反射強度値を取得して、最大の反射強度値を上限閾値に設定する閾値設定手段と、三次元画像の縦方向成分が同一の画素単位に、異物の検知処理時に三次元画像撮像手段から出力された各画素の反射強度値と閾値設定手段により設定された上限閾値を比較し、その反射強度値が上限閾値より高い画素を検出する画素検出手段とを設け、異物検知手段が、画素検出手段により検出された画素の総数が予め設定された画素数より多い場合、三次元画像の中に異物が存在していると判断するように構成したので、低SNR環境下でも、異物を正確に検知することができる効果がある。 According to the present invention, the laser beam is scanned to capture a three-dimensional image of the observation region, and the three-dimensional image of the observation region can be obtained in the absence of foreign matter before starting the foreign matter detection process. The image is captured and the reflection intensity value of each pixel of the 3D image is output. At the same time, the 3D image of the observation area is captured during the foreign object detection process, and the reflection intensity value of each pixel of the 3D image is calculated. Among the reflection intensity values of each pixel output from the 3D image pickup means before starting the foreign substance detection processing in the same pixel unit as the output 3D image pickup means and the vertical component of the 3D image Threshold value acquisition means for acquiring the maximum reflection intensity value and setting the maximum reflection intensity value as the upper limit threshold, and 3D image imaging during the detection of foreign matter in the same pixel unit of the vertical component of the 3D image Reflection intensity value of each pixel output from the means and threshold setting The upper limit threshold set by the means is compared, and a pixel detection means for detecting a pixel whose reflection intensity value is higher than the upper limit threshold is provided. The foreign object detection means is preset with the total number of pixels detected by the pixel detection means. If the number of pixels is larger than the number of pixels, it is determined that a foreign object is present in the three-dimensional image. Therefore, there is an effect that the foreign object can be accurately detected even in a low SNR environment.
実施の形態1.
図1はこの発明の実施の形態1による異物検知装置を示す構成図である。
図1の異物検知装置は、例えば、ゲートの進入監視システムや、道路の交通監視システムなどに適用され、人間や車両などを異物として検知する装置である。
この実施の形態1では、説明の便宜上、車両を異物として検知する例を説明するが、車両以外の物体等を異物として検知するようにしてもよい。
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a foreign object detection apparatus according to Embodiment 1 of the present invention.
The foreign object detection device of FIG. 1 is an apparatus that is applied to, for example, a gate entrance monitoring system or a road traffic monitoring system, and detects a person, a vehicle, or the like as a foreign object.
In the first embodiment, for convenience of explanation, an example in which a vehicle is detected as a foreign object will be described. However, an object other than a vehicle may be detected as a foreign object.
図1において、三次元画像撮像装置1は例えば受信スキャンレス型のレーザ画像計測装置が該当し、異物の検知処理を開始する前に、異物である車両が存在していない状況下で観測領域の三次元画像(背景の画像)を撮像して、その三次元画像の各画素の反射強度値Ii,jを出力するとともに、異物の検知処理時に観測領域の三次元画像(背景上に車両が映されている可能性がある画像)を撮像して、その三次元画像の各画素の反射強度値Ii,jを出力する処理を実施する。なお、三次元画像撮像装置1は三次元画像撮像手段を構成している。
異物検知処理装置2は三次元画像撮像装置1から出力された三次元画像の各画素の反射強度値Ii,jを用いて、三次元画像の中に存在している車両(異物)を検知する装置である。
In FIG. 1, for example, a receiving scanless type laser image measuring device corresponds to the three-dimensional image pickup device 1, and before the foreign object detection process is started, the observation region is observed in a situation where no foreign object vehicle exists. A three-dimensional image (background image) is imaged, and the reflection intensity value I i, j of each pixel of the three-dimensional image is output. An image that may be displayed) is captured, and the reflection intensity value I i, j of each pixel of the three-dimensional image is output. Note that the 3D image capturing apparatus 1 constitutes a 3D image capturing unit.
The foreign matter
異物検知処理装置2の閾値設定部11は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、三次元画像の縦方向成分であるデータ方向(i)が同一の画素単位に、異物の検知処理を開始する前に三次元画像撮像装置1から出力された各画素の反射強度値Ii,jの中で、最大の反射強度値Iimaxと最小の反射強度値Iiminを取得して、最大の反射強度値Iimaxを上限閾値THUPに設定するとともに、最小の反射強度値Iiminを下限閾値THLOWに設定する処理を実施する。なお、閾値設定部11は閾値設定手段を構成している。
The threshold
閾値処理部12は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、三次元画像のデータ方向(i)が同一の画素単位に、異物の検知処理時に三次元画像撮像装置1から出力された各画素の反射強度値Ii,jと閾値設定部11により設定された上限閾値THUP及び下限閾値THLOWを比較し、その反射強度値Ii,jが上限閾値THUPより高い画素又は反射強度値Ii,jが下限閾値THLOWより低い画素を検出する処理を実施する。
また、閾値処理部12は例えば三次元画像撮像装置1から各画素の反射強度値Ii,jが出力される前の起動時には、事前に設定されている固定の閾値(上限閾値THUP、下限閾値THLOW)の出力を指示する“0”の閾値切替フラグを閾値設定部11に出力し、三次元画像撮像装置1から反射強度値Ii,jの出力が開始されると、三次元画像(背景の画像)の各画素の反射強度値Ii,jから設定される閾値(上限閾値THUP、下限閾値THLOW)の出力を指示する“1”の閾値切替フラグを閾値設定部11に出力する処理を実施する。なお、閾値処理部12は画素検出手段を構成している。
The
In addition, the
異物検知部13は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、閾値処理部12により検出された画素の総数が予め設定された有効画素数より多い場合、三次元画像の中に異物が存在していると判断する処理を実施する。なお、異物検知部13は異物検知手段を構成している。
The foreign
図1の例では、異物検知装置における異物検知処理装置2の構成要素である閾値設定部11、閾値処理部12及び異物検知部13のそれぞれが専用のハードウェアで構成されているものを想定しているが、異物検知処理装置2がコンピュータで構成されるようにしてもよい。
この場合、閾値設定部11、閾値処理部12及び異物検知部13の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
In the example of FIG. 1, it is assumed that each of the
In this case, a program describing the processing contents of the
図2はこの発明の実施の形態1による異物検知装置の閾値設定部11を示す構成図である。
図2において、閾値切替フラグ取得部21は閾値処理部12から出力される閾値切替フラグを取得する処理を実施する。
閾値生成部22は事前に設定された固定の閾値(上限閾値THUP、下限閾値THLOW)を記憶しており、閾値切替フラグ取得部21により取得された閾値切替フラグが“0”であれば、その固定の閾値(上限閾値THUP、下限閾値THLOW)を閾値処理部12に出力する一方、閾値切替フラグ取得部21により取得された閾値切替フラグが“1”であれば、三次元画像のデータ方向(i)が同一の画素単位に、異物の検知処理を開始する前に三次元画像撮像装置1から出力された各画素の反射強度値Ii,jの中で、最大の反射強度値Iimaxと最小の反射強度値Iiminを取得して、最大の反射強度値Iimaxを上限閾値THUPに設定するとともに、最小の反射強度値Iiminを下限閾値THLOWに設定し、その上限閾値THUP及び下限閾値THLOWを閾値処理部12に出力する処理を実施する。
FIG. 2 is a block diagram showing the
In FIG. 2, the threshold switching
The
次に動作について説明する。
図3は三次元画像撮像装置1の設置状態を示す説明図である。
図3の例では、地上に対して直上方向(図中、上方向)を高度方向(Z)、その高度方向に対して垂直な方向(図中、右方向)を奥行方向(X)と定義している。
また、図3の例では、高度−奥行方向の平面に対して、垂直な方向を進行方向と定義している。
Next, the operation will be described.
FIG. 3 is an explanatory diagram showing an installation state of the three-dimensional image pickup apparatus 1.
In the example of FIG. 3, the direction directly above the ground (upward in the figure) is defined as the altitude direction (Z), and the direction perpendicular to the altitude direction (rightward in the figure) is defined as the depth direction (X). doing.
In the example of FIG. 3, a direction perpendicular to the altitude-depth plane is defined as the traveling direction.
三次元画像撮像装置1からビームが走査されることで、そのビーム照射領域から得られる視線方向の距離値をD、三次元画像撮像装置1の設置高度をH、ビーム走査角度をφ、センサオフナディア角θとすると、ビームの走査ポイントにおける高度値Zと奥行距離値Xは、下記の式(1)で表される。
Z=H−D・cos(θ+φ)
X=D・sin(θ+φ) (1)
三次元画像撮像装置1は、ビームを奥行方向の1次元に走査し、その走査範囲における多点の距離値Xと走査角度φから、観測領域の二次元断面を取得する。
また、三次元画像撮像装置1は、異物である車両が観測領域を通過することにより、三次元画像を取得する。
図3に示している画像は、三次元画像撮像装置1により撮像される画像の一例であり、その画像の横軸方向をライン方向(j)、縦軸方向をデータ方向(i)と定義している。
When the beam is scanned from the 3D imaging device 1, the distance value in the line-of-sight direction obtained from the beam irradiation region is D, the installation height of the 3D imaging device 1 is H, the beam scanning angle is φ, and the sensor is off. Assuming that the Nadia angle θ, the altitude value Z and the depth distance value X at the beam scanning point are expressed by the following equation (1).
Z = HD-cos (θ + φ)
X = D · sin (θ + φ) (1)
The three-dimensional image capturing apparatus 1 scans the beam in the one-dimensional direction in the depth direction, and acquires a two-dimensional cross section of the observation region from the multipoint distance value X and the scanning angle φ in the scanning range.
In addition, the three-dimensional image capturing apparatus 1 acquires a three-dimensional image when a vehicle that is a foreign object passes through the observation region.
The image shown in FIG. 3 is an example of an image captured by the three-dimensional image capturing apparatus 1. The horizontal direction of the image is defined as the line direction (j), and the vertical direction is defined as the data direction (i). ing.
三次元画像撮像装置1は、異物の検知処理を開始する前に、異物である車両が存在していない状況下で観測領域の三次元画像(背景の画像)を撮像して、その三次元画像の各画素の反射強度値Ii,jを異物検知処理装置2に出力する。
また、三次元画像撮像装置1は、異物の検知処理時に観測領域の三次元画像(背景上に車両が映されている可能性がある画像)を撮像して、その三次元画像の各画素の反射強度値Ii,jを異物検知処理装置2に出力する。
なお、三次元画像撮像装置1は、各画素の反射強度値Ii,jの他に、高度値や距離値を取得することができるが、この実施の形態1では、異物検知処理装置2が高度値や距離値を使用しないので、各画素の反射強度値Ii,jだけを異物検知処理装置2に出力する。
The three-dimensional image capturing apparatus 1 captures a three-dimensional image (background image) of an observation region in a situation where no foreign vehicle exists before starting the foreign object detection process, and the three-dimensional image and it outputs the reflection intensity value I i of each pixel of the j foreign
The three-dimensional image capturing apparatus 1 captures a three-dimensional image of the observation region (an image in which a vehicle may be reflected on the background) during the foreign object detection process, and each pixel of the three-dimensional image is captured. The reflection intensity value I i, j is output to the foreign object
The three-dimensional image pickup apparatus 1 can acquire an altitude value and a distance value in addition to the reflection intensity value I i, j of each pixel. Since the altitude value and the distance value are not used , only the reflection intensity value I i, j of each pixel is output to the foreign object
異物検知処理装置2の閾値処理部12は、例えば、三次元画像撮像装置1から各画素の反射強度値Ii,jが出力される前の起動時では、事前に設定されている固定の閾値(上限閾値THUP、下限閾値THLOW)の出力を指示する“0”の閾値切替フラグを閾値設定部11に出力する。
また、三次元画像撮像装置1から反射強度値Ii,jの出力が開始されると、三次元画像(背景の画像)の各画素の反射強度値Ii,jから設定される閾値(上限閾値THUP、下限閾値THLOW)の出力を指示する“1”の閾値切替フラグを閾値設定部11に出力する。
The threshold
When the output of the reflection intensity value I i, j is started from the three-dimensional image capturing apparatus 1, a threshold (upper limit) set from the reflection intensity value I i, j of each pixel of the three-dimensional image (background image). Threshold value switching flag “1” instructing output of threshold value TH UP and lower limit threshold value TH LOW is output to threshold
閾値設定部11の閾値切替フラグ取得部21は、閾値処理部12から出力される閾値切替フラグを取得し、その閾値切替フラグを閾値生成部22に出力する。
閾値設定部11の閾値生成部22は、例えば、ユーザによって事前に設定された固定の閾値(上限閾値THUP、下限閾値THLOW)を記憶しており、閾値切替フラグ取得部21から出力された閾値切替フラグが“0”であれば、その固定の閾値(上限閾値THUP、下限閾値THLOW)を閾値処理部12に出力する。
The threshold switching
The
閾値生成部22は、閾値切替フラグ取得部21から出力された閾値切替フラグが“1”であれば、三次元画像のデータ方向(i)が同一の画素単位に、異物の検知処理を開始する前に三次元画像撮像装置1から出力された各画素の反射強度値Ii,jの中で、最大の反射強度値Iimaxと最小の反射強度値Iiminを取得する。
例えば、三次元画像のライン方向(j)の画素数がM、データ方向(i)の画素数がNである場合(M×Nの画像)、縦方向成分が同一の画素単位に、M個の画素の反射強度値Ii,jの中で、最大の反射強度値Iimaxと最小の反射強度値Iiminを取得する。
閾値生成部22は、縦方向成分が同一の画素単位に、最大の反射強度値Iimaxを上限閾値THUPに設定するとともに、最小の反射強度値Iiminを下限閾値THLOWに設定し、その上限閾値THUP及び下限閾値THLOWを閾値処理部12に出力する。
この例では、縦方向成分であるデータ方向(i)の画素数がN個であるため、N個の上限閾値THUPと、N個の下限閾値THLOWを閾値処理部12に出力する。
If the threshold value switching flag output from the threshold value switching
For example, when the number of pixels in the line direction (j) of the three-dimensional image is M and the number of pixels in the data direction (i) is N (M × N image), the vertical component is M in the same pixel unit. Among the reflection intensity values I i, j of the pixels, the maximum reflection intensity value I imax and the minimum reflection intensity value I imin are obtained.
The
In this example, since the number of pixels in the data direction (i), which is the vertical component, is N, N upper limit threshold values TH UP and N lower limit threshold values TH LOW are output to the
閾値処理部12は、閾値設定部11からデータ方向(i)が同一の画素単位の上限閾値THUP及び下限閾値THLOWを受けると、異物の検知処理時に三次元画像撮像装置1から出力された各画素の反射強度値Ii,jと閾値設定部11により設定された上限閾値THUP及び下限閾値THLOWを比較する。ただし、反射強度値Ii,jと比較する閾値は、その反射強度値Ii,jとデータ方向(i)が同一の上限閾値THUP及び下限閾値THLOWである。
閾値処理部12は、画素の反射強度値Ii,jが上限閾値THUPより高い場合、または、画素の反射強度値Ii,jが下限閾値THLOWより低い場合(式(2)の不等式が成立する場合)、その画素は車両(異物)の一部を構成している画素であると判断し、異物検出画素数を示す画素カウント値Cをインクリメントする。ただし、画素カウント値Cの初期値は0である。
Ii,j< THLOW または Ii,j>THUP (2)
When the
Inequality if the
I i, j <TH LOW or I i, j > TH UP (2)
異物検知部13は、閾値処理部12から出力された画素カウント値Cが予め設定された有効画素数より多い場合、三次元画像の中に異物が存在していると判断する。
例えば、三次元画像の中に異物が存在している場合、“1”の異物検知フラグを出力し、三次元画像の中に異物が存在していない場合、“0”の異物検知フラグを出力する。
なお、有効画素数は、一定の閾値でなくてもよく、上限値と下限値を設定して、バンドパスとするようにしても、誤検知を低減することができる。
When the pixel count value C output from the
For example, if a foreign object exists in the 3D image, a foreign object detection flag of “1” is output, and if no foreign object exists in the 3D image, a foreign object detection flag of “0” is output. To do.
Note that the number of effective pixels does not have to be a fixed threshold value, and erroneous detection can be reduced by setting an upper limit value and a lower limit value to be a band pass.
以上で明らかなように、この実施の形態1によれば、異物の検知処理を開始する前に、異物が存在していない状況下で観測領域の三次元画像を撮像して、その三次元画像の各画素の反射強度値Ii,jを出力するとともに、異物の検知処理時に観測領域の三次元画像を撮像して、その三次元画像の各画素の反射強度値Ii,jを出力する三次元画像撮像装置1と、三次元画像の縦方向成分が同一の画素単位に、異物の検知処理を開始する前に三次元画像撮像装置1から出力された各画素の反射強度値Ii,jの中で、最大の反射強度値Iimaxと最小の反射強度値Iiminを取得して、最大の反射強度値Iimaxを上限閾値THUPに設定するとともに、最小の反射強度値Iiminを下限閾値THLOWに設定する閾値設定部11と、三次元画像の縦方向成分が同一の画素単位に、異物の検知処理時に三次元画像撮像装置1から出力された各画素の反射強度値Ii,jと閾値設定部11により設定された上限閾値THUP及び下限閾値THLOWを比較し、その反射強度値Ii,jが上限閾値THUPより高い画素又は反射強度値Ii,jが下限閾値THLOWより低い画素を検出する閾値処理部12とを設け、異常検知部13が、閾値処理部12より検出された画素の総数が予め設定された有効画素数より多い場合、三次元画像の中に異物である車両が存在していると判断するように構成したので、三次元画像撮像装置1による撮像環境に応じて上限閾値THUP及び下限閾値THLOWが動的に設定されるようになり、その結果、低SNR環境下でも、異物である車両を正確に検知することができる効果を奏する。 As is apparent from the above, according to the first embodiment, before starting the foreign object detection process, a three-dimensional image of the observation region is captured in a situation where no foreign object is present, and the three-dimensional image is obtained. outputs the reflection intensity value I i, j of each pixel, when the foreign matter detection processing by imaging the three-dimensional image of the observation area, and outputs the reflection intensity value I i, j of each pixel of the three-dimensional image The reflection intensity value I i of each pixel output from the 3D image pickup device 1 before starting the foreign substance detection processing in the same pixel unit as that of the 3D image pickup device 1 and the vertical component of the 3D image . In j , the maximum reflection intensity value I imax and the minimum reflection intensity value I imin are obtained, the maximum reflection intensity value I imax is set to the upper limit threshold TH UP , and the minimum reflection intensity value I imin is set to threshold setting unit that sets a lower threshold TH LOW 1, the vertical direction component the same pixel of the three-dimensional image, is set by the reflection intensity value I i, j and the threshold setting unit 11 of each pixel output from the three-dimensional imaging apparatus 1 when the foreign matter detection processing comparing the upper threshold TH UP and lower threshold TH lOW, the threshold and the reflected intensity values I i, j is the upper threshold TH UP higher pixel or the reflection intensity value I i, j detects the lower pixels than the lower limit threshold TH lOW When the total number of pixels detected by the threshold processing unit 12 is greater than the preset effective pixel number, a vehicle that is a foreign object exists in the three-dimensional image. Therefore, the upper limit threshold TH UP and the lower limit threshold TH LOW are dynamically set according to the imaging environment of the three-dimensional image capturing apparatus 1, and as a result, even in a low SNR environment , Different An effect of vehicle can be detected accurately it is.
なお、この実施の形態1では、閾値処理部12が、三次元画像撮像装置1から出力された各画素の反射強度値Ii,jと閾値設定部11により設定された上限閾値THUP及び下限閾値THLOWを比較し、その反射強度値Ii,jが上限閾値THUPより高い画素又は反射強度値Ii,jが下限閾値THLOWより低い画素を検出するものを示したが、異物検知部13により異物である車両が検出されない場合に、閾値処理部12が、例えば、LOG(Laplacian Of Gaussian Filter)フィルタとゼロクロスフィルタの組合せや、Cannyフィルタなどを用いて、三次元画像撮像装置1により撮像された三次元画像に対するエッジ検出処理を実施し、その三次元画像からエッジが検出される場合には、異物検知部13が、三次元画像の中に異物が存在していると判断するようにしてもよい。
In the first embodiment, the
また、この実施の形態1では、閾値処理部12が、三次元画像撮像装置1から各画素の反射強度値Ii,jが出力される前の起動時では、事前に設定されている固定の閾値の出力を指示する“0”の閾値切替フラグを出力し、三次元画像撮像装置1から反射強度値Ii,jの出力が開始されると、三次元画像(背景の画像)の各画素の反射強度値Ii,jから設定される閾値の出力を指示する“1”の閾値切替フラグを出力するものを示したが、これは一例に過ぎず、例えば、背景が変化しない環境下では事前に設定された固定の閾値(上限閾値THUP、下限閾値THLOW)の出力を指示する“0”の閾値切替フラグを出力し、背景が変化する環境下では三次元画像(背景の画像)の各画素の反射強度値Ii,jから設定される閾値(上限閾値THUP、下限閾値THLOW)の出力を指示する“1”の閾値切替フラグを出力するようにしてもよい。
In the first embodiment, the
実施の形態2.
図4はこの発明の実施の形態2による異物検知装置を示す構成図であり、図において、図1と同一符号は同一または相当部分を示すので説明を省略する。
三次元画像撮像装置3は例えば受信スキャンレス型のレーザ画像計測装置が該当し、異物の検知処理を開始する前に、異物である車両が存在していない状況下で観測領域の三次元画像(背景の画像)を撮像して、その三次元画像の各画素の高度値Zi,jを出力するとともに、異物の検知処理時に観測領域の三次元画像(背景上に車両が映されている可能性がある画像)を撮像して、その三次元画像の各画素の高度値Zi,jを出力する処理を実施する。なお、三次元画像撮像装置3は三次元画像撮像手段を構成している。
異物検知処理装置4は三次元画像撮像装置3から出力された三次元画像の各画素の高度値Zi,jを用いて、三次元画像の中に存在している車両(異物)を検知する装置である。
4 is a block diagram showing a foreign object detection device according to
The three-dimensional
The foreign matter
異物検知処理装置4の閾値算出部31は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、三次元画像における異物検知ウィンドウ(所定の領域)毎に、異物の検知処理を開始する前に三次元画像撮像装置3から出力された各画素の高度値Zi,jの平均値Zm及び標準偏差値Zstdを求め、その平均値Zm及び標準偏差値Zstdから異物閾値THb(i,j)を算出する処理を実施する。なお、閾値算出部31は閾値算出手段を構成している。
The threshold
閾値処理部32は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、三次元画像における異物検知ウィンドウ毎に、異物の検知処理時に三次元画像撮像装置3から出力された各画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを求め、その平均値Zmwin及び標準偏差値Zstdwinから背景以外の車両(異物)を表す指数である異物指数S(i,j)を算出する処理を実施する。
また、閾値処理部32は異物指数S(i,j)と閾値算出部31により算出された異物閾値THb(i,j)を比較し、その異物指数S(i,j)が異物閾値THb(i,j)より高い領域(異物検知ウィンドウ)を検出する処理を実施する。
また、閾値処理部32は例えば三次元画像撮像装置3から各画素の高度値Zi,jが出力される前の起動時には、事前に設定されている固定の異物閾値THb(i,j)の出力を指示する“0”の閾値切替フラグを閾値算出部31に出力し、三次元画像撮像装置3から高度値Zi,jの出力が開始されると、三次元画像(背景の画像)の各画素の高度値Zi,jから設定される異物閾値THb(i,j)の出力を指示する“1”の閾値切替フラグを閾値算出部31に出力する処理を実施する。なお、閾値処理部32は領域検出手段を構成している。
The
Further, the
In addition, the threshold
異物検知部33は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、閾値処理部32により検出された領域の総数が予め設定された有効領域数より多い場合、三次元画像の中に異物が存在していると判断する処理を実施する。なお、異物検知部33は異物検知手段を構成している。
The foreign
図4の例では、異物検知装置における異物検知処理装置4の構成要素である閾値算出部31、閾値処理部32及び異物検知部33のそれぞれが専用のハードウェアで構成されているものを想定しているが、異物検知処理装置4がコンピュータで構成されるようにしてもよい。
この場合、閾値算出部31、閾値処理部32及び異物検知部33の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
In the example of FIG. 4, it is assumed that each of the threshold
In this case, a program describing the processing contents of the
図5はこの発明の実施の形態2による異物検知装置の閾値算出部31を示す構成図である。
図5において、閾値切替フラグ取得部41は閾値処理部32から出力される閾値切替フラグを取得する処理を実施する。
閾値生成部42は事前に設定された固定の異物閾値THb(i,j)を記憶しており、閾値切替フラグ取得部41により取得された閾値切替フラグが“0”であれば、その固定の異物閾値THb(i,j)を閾値処理部32に出力する一方、閾値切替フラグ取得部41により取得された閾値切替フラグが“1”であれば、三次元画像における異物検知ウィンドウ毎に、異物の検知処理を開始する前に三次元画像撮像装置3から出力された各画素の高度値Zi,jの平均値Zm及び標準偏差値Zstdを求め、その平均値Zm及び標準偏差値Zstdから異物閾値THb(i,j)を算出し、その異物閾値THb(i,j)を閾値処理部32に出力する処理を実施する。
FIG. 5 is a block diagram showing a threshold
In FIG. 5, the threshold value switching
The
図6はこの発明の実施の形態2による異物検知装置の閾値処理部32を示す構成図である。
図6において、異物指数算出部51は三次元画像における異物検知ウィンドウ毎に、異物の検知処理時に三次元画像撮像装置3から出力された各画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを求め、その高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinから背景以外の車両(異物)を表す指数である異物指数S(i,j)を算出する処理を実施する。なお、異物指数算出部51は異物指数算出手段を構成している。
領域検出部52は異物指数算出部51により算出された異物指数S(i,j)と閾値算出部31により算出された異物閾値THb(i,j)を比較し、その異物指数S(i,j)が異物閾値THb(i,j)より高い領域(異物検知ウィンドウ)を検出する処理を実施する。なお、領域検出部52は領域検出手段を構成している。
6 is a block diagram showing a
In FIG. 6, the foreign matter
The
次に動作について説明する。
三次元画像撮像装置3は、異物の検知処理を開始する前に、異物である車両が存在していない状況下で観測領域の三次元画像(背景の画像)を撮像して、その三次元画像の各画素の高度値Zi,jを異物検知処理装置4に出力する。
また、三次元画像撮像装置3は、異物の検知処理時に観測領域の三次元画像(背景上に車両が映されている可能性がある画像)を撮像して、その三次元画像の各画素の高度値Zi,jを異物検知処理装置4に出力する。
なお、三次元画像撮像装置3は、各画素の高度値Zi,jの他に、反射強度値や距離値を取得することができるが、この実施の形態2では、異物検知処理装置4が反射強度値や距離値を使用しないので、各画素の高度値Zi,jだけを異物検知処理装置4に出力する。
Next, the operation will be described.
The three-dimensional
The three-dimensional
The three-dimensional
異物検知処理装置4の閾値処理部32は、例えば、三次元画像撮像装置3から各画素の高度値Zi,jが出力される前の起動時には、事前に設定されている固定の異物閾値THb(i,j)の出力を指示する“0”の閾値切替フラグを閾値算出部31に出力する。
また、三次元画像撮像装置3から高度値Zi,jの出力が開始されると、三次元画像(背景の画像)の各画素の高度値Zi,jから設定される異物閾値THb(i,j)の出力を指示する“1”の閾値切替フラグを閾値算出部31に出力する。
The threshold
When the output of the altitude value Z i, j is started from the 3D
閾値算出部31の閾値切替フラグ取得部41は、閾値処理部32から出力される閾値切替フラグを取得し、その閾値切替フラグを閾値生成部42に出力する。
閾値算出部31の閾値生成部42は、例えば、ユーザによって事前に設定された固定の異物閾値THb(i,j)を記憶しており、閾値切替フラグ取得部41から出力された閾値切替フラグが“0”であれば、その固定の異物閾値THb(i,j)を閾値処理部32に出力する。
The threshold value switching
The threshold
閾値生成部42は、閾値切替フラグ取得部41から出力された閾値切替フラグが“1”であれば、三次元画像の中に異物検知ウィンドウを設定する。
ここで、図7は閾値生成時における異物検知ウィンドウの設定例を示す説明図である。
図7の例では、異物検知ウィンドウとして、3×3画素サイズの領域を設定しており、異物検知ウィンドウはデータ方向(i)又はライン方向(j)に1画素ずつずらしながら、三次元画像の全体をカバーするように設定される。
また、図7の例では、異物検知ウィンドウの中心に位置している画素を注目画素としている。
If the threshold value switching flag output from the threshold value switching
Here, FIG. 7 is an explanatory diagram illustrating an example of setting of a foreign object detection window at the time of threshold generation.
In the example of FIG. 7, an area of 3 × 3 pixel size is set as the foreign object detection window, and the foreign object detection window is shifted by one pixel at a time in the data direction (i) or the line direction (j). Set to cover the whole.
In the example of FIG. 7, the pixel located at the center of the foreign object detection window is set as the pixel of interest.
閾値生成部42は、三次元画像の中に異物検知ウィンドウを設定すると、異物の検知処理を開始する前に三次元画像撮像装置3から出力された各画素の高度値Zi,jのうち、その異物検知ウィンドウ内の画素の高度値Zi,jを取得する。図7の例では、9個の画素の高度値Zi,jを取得する。
閾値生成部42は、異物検知ウィンドウ内の画素の高度値Zi,jを取得すると、データ方向(i)が同一の画素単位に、各画素の高度値Zi,jの平均値Zm及び標準偏差値Zstdを算出する。
図7の例では、注目画素の座標が(i,j)であるとすると、データ方向の座標が“i−1”である3個の画素の高度値の平均値Zm及び標準偏差値Zstdと、データ方向の座標が“i”である3個の画素の高度値の平均値Zm及び標準偏差値Zstdと、データ方向の座標が“i+1”である3個の画素の高度値の平均値Zm及び標準偏差値Zstdとを算出する。
When the foreign matter detection window is set in the three-dimensional image, the
When the threshold
In the example of FIG. 7, assuming that the coordinate of the target pixel is (i, j), the average value Zm and the standard deviation value Zstd of the altitude values of three pixels whose data direction coordinate is “i−1” The average value Zm and standard deviation value Zstd of the altitude values of the three pixels whose data direction coordinate is “i”, and the average value Zm of the altitude values of the three pixels whose data direction coordinate is “i + 1” And a standard deviation value Zstd.
閾値生成部42は、データ方向(i)が同一の画素単位に、各画素の高度値Zi,jの平均値Zm及び標準偏差値Zstdを算出すると、それらの平均値Zmの中で最大の平均値Zmmaxを特定するとともに、それらの標準偏差値Zstdの中で最大の標準偏差値Zstdmaxを特定する。
閾値生成部42が使用している各画素の高度値Zi,jは、車両(異物)が存在していない状況下で撮像された三次元画像に関するものであるが、異物の高度真値と背景の高度真値には必ず差があるため、背景と異物が混在している状況化では、標準偏差値Zstdが高くなる。
When the threshold
The altitude value Z i, j of each pixel used by the
閾値生成部42は、最大の平均値Zmmaxと最大の標準偏差値Zstdmaxを用いて、下記の式(3)に示すように、当該異物検知ウィンドウに係る異物閾値THb(i,j)を算出する。
THb(i,j)=K×(Zmmax+Zstdmax) (3)
式(3)では、異物検知ウィンドウの位置を特定するために、その異物検知ウィンドウ内の注目画素の位置を(i,j)で表している。また、Kは所定の係数である。
閾値生成部42は、異物閾値THb(i,j)を算出すると、その異物閾値THb(i,j)を閾値処理部32に出力する。
The
THb (i, j) = K × (Zm max + Zstd max ) (3)
In Expression (3), in order to specify the position of the foreign object detection window, the position of the target pixel in the foreign object detection window is represented by (i, j). K is a predetermined coefficient.
After calculating the foreign object threshold THb (i, j) , the
閾値処理部32の異物指数算出部51は、閾値生成部42と同様に、三次元画像の中に異物検知ウィンドウを設定する。
図8は閾値処理時における異物検知ウィンドウの設定例を示す説明図である。
図8の例では、異物検知ウィンドウとして、3×3画素サイズの領域を設定しており、異物検知ウィンドウはデータ方向(i)又はライン方向(j)に1画素ずつずらしながら、三次元画像の全体をカバーするように設定される。
また、図8の例では、異物検知ウィンドウの中心に位置している画素を注目画素としている。
The foreign substance
FIG. 8 is an explanatory diagram showing a setting example of the foreign object detection window at the time of threshold processing.
In the example of FIG. 8, an area of 3 × 3 pixel size is set as the foreign object detection window, and the foreign object detection window is shifted one pixel at a time in the data direction (i) or the line direction (j) and the 3D image is displayed. Set to cover the whole.
In the example of FIG. 8, the pixel located at the center of the foreign object detection window is set as the target pixel.
異物指数算出部51は、三次元画像の中に異物検知ウィンドウを設定すると、異物の検知処理時に三次元画像撮像装置3から出力された各画素の高度値Zi,jのうち、その異物検知ウィンドウ内の画素の高度値Zi,jを取得する。図8の例では、9個の画素の高度値Zi,jを取得する。
異物指数算出部51は、異物検知ウィンドウ内の画素の高度値Zi,jを取得すると、その異物検知ウィンドウ内の各画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを算出する。図8の例では、9個の画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを算出する。
When the foreign object
Foreign object
異物指数算出部51は、異物検知ウィンドウ内の各画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを用いて、下記の式(4)に示すように、背景以外の車両(異物)を表す指数である異物指数S(i,j)を算出する。
S(i,j)=Zmwin+Zstdwin (4)
式(4)では、異物検知ウィンドウの位置を特定するために、その異物検知ウィンドウ内の注目画素の位置を(i,j)で表している。
背景と異物が混在している状況化では、上述したように、標準偏差値Zstdが高くなるため、異物指数S(i,j)が大きくなる。
The foreign object
S (i, j) = Zm win + Zstd win (4)
In Expression (4), in order to specify the position of the foreign object detection window, the position of the target pixel in the foreign object detection window is represented by (i, j).
In the situation where the background and foreign matter are mixed, as described above, the standard deviation value Zstd becomes high, and the foreign matter index S (i, j) becomes large.
閾値処理部32の領域検出部52は、異物指数算出部51が異物指数S(i,j)を算出すると、その異物指数S(i,j)と閾値算出部31により算出された異物閾値THb(i,j)を比較する。
領域検出部52は、その異物指数S(i,j)が異物閾値THb(i,j)より高い場合(S(i,j)>THb(i,j))、異物検知ウィンドウ内には車両(異物)の一部を構成している画素が含まれていると判断し、異物検出領域数を示す領域カウント値Eをインクリメントする。ただし、領域カウント値Eの初期値は0である。
When the foreign matter index S (i, j) is higher than the foreign matter threshold THb (i, j) (S (i, j) > THb (i, j) ), the
異物検知部33は、閾値処理部32から出力された領域カウント値Eが予め設定された有効領域数より多い場合、三次元画像の中に異物が存在していると判断する。
例えば、三次元画像の中に異物が存在している場合、“1”の異物検知フラグを出力し、三次元画像の中に異物が存在していない場合、“0”の異物検知フラグを出力する。
なお、有効領域数は、一定の閾値でなくてもよく、上限値と下限値を設定して、バンドパスとするようにしても、誤検知を低減することができる。
The foreign
For example, if a foreign object exists in the 3D image, a foreign object detection flag of “1” is output, and if no foreign object exists in the 3D image, a foreign object detection flag of “0” is output. To do.
Note that the number of effective areas may not be a constant threshold value, and erroneous detection can be reduced by setting an upper limit value and a lower limit value to be a band pass.
以上で明らかなように、この実施の形態2によれば、異物の検知処理を開始する前に、異物が存在していない状況下で観測領域の三次元画像を撮像して、三次元画像の各画素の高度値Zi,jを出力するとともに、異物の検知処理時に観測領域の三次元画像を撮像して、三次元画像の各画素の高度値Zi,jを出力する三次元画像撮像装置3と、三次元画像における所定の領域単位に、異物の検知処理を開始する前に三次元画像撮像装置3から出力された各画素の高度値Zi,jの平均値Zm及び標準偏差値Zstdを求め、その高度値Zi,jの平均値Zm及び標準偏差値Zstdから異物閾値THb(i,j)を算出する閾値算出部31と、三次元画像における所定の領域単位に、異物の検知処理時に三次元画像撮像装置3から出力された各画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを求め、その平均値Zmwin及び標準偏差値Zstdwinから背景以外の異物を表す指数である異物指数S(i,j)を算出する異物指数算出部51と、異物指数算出部51により算出された異物指数S(i,j)と閾値算出部31により算出された異物閾値THb(i,j)を比較し、その異物指数S(i,j)が異物閾値THb(i,j)より高い領域を検出する領域検出部52とを設け、異物検知部33が、領域検出部52により検出された領域の総数が予め設定された有効領域数より多い場合、三次元画像の中に異物が存在していると判断するように構成したので、三次元画像撮像装置3による撮像環境に応じて異物閾値THb(i,j)が動的に設定されるようになり、その結果、低SNR環境下でも、異物である車両を正確に検知することができる効果を奏する。
また、この実施の形態2では、異物検知ウィンドウ単位に、各画素の高度値Zi,jの統計量を用いて、異物の有無を判定しているため、各画素の反射強度値Ii,jと閾値を1画素ずつ比較する実施の形態1よりも、異物の検知精度が向上する。また、三次元画像撮像装置3に対する必要な距離精度を緩和することができる。
As apparent from the above, according to the second embodiment, before starting the foreign object detection process, a three-dimensional image of the observation region is captured in a situation where no foreign object is present, altitude value Z i of each pixel, and outputs the j, when the foreign matter detection processing by imaging the three-dimensional image of the observation area, three-dimensional imaging for outputting a high value Z i, j of each pixel of the three-dimensional image The average value Zm and standard deviation value of the altitude values Z i, j of each pixel output from the 3D
In the second embodiment, since the presence / absence of foreign matter is determined for each foreign matter detection window using the statistic of the altitude value Z i, j of each pixel, the reflection intensity value I i, Compared with the first embodiment in which j and the threshold value are compared pixel by pixel, the foreign object detection accuracy is improved. Moreover, the required distance accuracy with respect to the three-dimensional
実施の形態3.
上記実施の形態2では、異物指数算出部51が、異物検知ウィンドウ内の各画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを算出し、その平均値Zmwin及び標準偏差値Zstdwinを用いて、背景以外の車両(異物)を表す指数である異物指数S(i,j)を算出するものを示したが、異物検知ウィンドウ内の各画素の高度値Zi,jのうち、反射強度値Ii,jが所定の閾値以上である画素だけを平均値及び標準偏差値の算出対象に設定し、反射強度値Ii,jが所定の閾値以上である画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを算出し、その平均値Zmwin及び標準偏差値Zstdwinを用いて、背景以外の車両(異物)を表す指数である異物指数S(i,j)を算出するようにしてもよい。
In the second embodiment, the foreign object
この実施の形態3では、三次元画像撮像装置3が、三次元画像の各画素の高度値Zi,jだけでなく、各画素の反射強度値Ii,jを出力するものとする。
異物指数算出部51の処理内容だけが、上記実施の形態2と相違しているので、以下、異物指数算出部51の処理内容を説明する。
In the third embodiment, it is assumed that the three-dimensional
Since only the processing content of the foreign material
異物指数算出部51は、上記実施の形態2と同様に、三次元画像の中に異物検知ウィンドウを設定する。
異物指数算出部51は、三次元画像の中に異物検知ウィンドウを設定すると、異物の検知処理時に三次元画像撮像装置3から出力された各画素の高度値Zi,jのうち、その異物検知ウィンドウ内の画素の高度値Zi,jを取得する。
また、異物指数算出部51は、異物の検知処理時に三次元画像撮像装置3から出力された各画素の反射強度値Ii,jのうち、その異物検知ウィンドウ内の画素の反射強度値Ii,jを取得する。
図8の例では、9個の画素の高度値Zi,jと反射強度値Ii,jを取得する。
The foreign object
When the foreign object
Further, foreign matter
In the example of FIG. 8, the altitude value Z i, j and the reflection intensity value I i, j of nine pixels are acquired.
異物指数算出部51は、異物検知ウィンドウ内の画素の高度値Zi,jと反射強度値Ii,jを取得すると、各画素の反射強度値Ii,jと所定の閾値(例えば、図2の閾値生成部22により設定された上限閾値THUPを用いることができるが、他の閾値でもよい)を比較し、反射強度値Ii,jが所定の閾値より高い画素を特定する。
異物指数算出部51は、反射強度値Ii,jが所定の閾値より高い異物検知ウィンドウ内の画素を特定すると、それらの画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを算出する。例えば、反射強度値Ii,jが所定の閾値より高い異物検知ウィンドウ内の画素が5個であれば、5個の画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを算出する。
Foreign object
When the foreign matter
異物指数算出部51は、反射強度値Ii,jが所定の閾値より高い異物検知ウィンドウ内の画素の高度値Zi,jの平均値Zmwin及び標準偏差値Zstdwinを用いて、下記の式(5)に示すように、背景以外の車両(異物)を表す指数である異物指数S(i,j)を算出する。
S(i,j)=Zmwin+Zstdwin (5)
式(5)では、異物検知ウィンドウの位置を特定するために、その異物検知ウィンドウ内の注目画素の位置を(i,j)で表している。
The foreign matter
S (i, j) = Zm win + Zstd win (5)
In Expression (5), in order to specify the position of the foreign object detection window, the position of the target pixel in the foreign object detection window is represented by (i, j).
この実施の形態3では、異物指数S(i,j)を算出する際、反射強度値Ii,jが所定の閾値より高い異物検知ウィンドウ内の画素の高度値Zi,jだけを用いているので、画素の反射強度値Ii,jが考慮された異物検知が行われ、さらに、異物の検知精度が向上する。 In the third embodiment, when calculating the foreign matter index S (i, j) , only the altitude value Z i, j of the pixel in the foreign matter detection window in which the reflection intensity value I i, j is higher than a predetermined threshold is used. Therefore, foreign matter detection is performed in consideration of the reflection intensity values I i, j of the pixels, and the foreign matter detection accuracy is further improved.
実施の形態4.
図9はこの発明の実施の形態4による異物検知装置を示す構成図であり、図において、図1と同一符号は同一または相当部分を示すので説明を省略する。
誤検知認定部60は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、図1の異物検知部13(または、図4の異物検知部33)により三次元画像の中に異物である車両が存在していると判断された場合(“1”の異物検知フラグが出力された場合)、三次元画像における異物の連続性を確認することで、その異物の大きさが所定値以上であることが認められなければ、図1の異物検知部13(または、図4の異物検知部33)により存在していると判断された異物は誤検知であると認定する処理を実施する。なお、誤検知認定部60は誤検知認定手段を構成している。
FIG. 9 is a block diagram showing a foreign object detection apparatus according to
The false
次に動作について説明する。
誤検知認定部60が異物検知処理装置2,4に実装されている点以外は、上記実施の形態1〜3と同様である。
この実施の形態4では、誤検知認定部60の処理内容を説明する。
Next, the operation will be described.
Except for the fact that the false
In this
図1の異物検知部13、または、図4の異物検知部33は、上記実施の形態1〜3と同様に、三次元画像の中に異物である車両が存在していると判断すると、“1”の異物検知フラグを出力する。
ただし、“1”の異物検知フラグには、異物の一部を構成している画素の位置を示す座標(i,j)が含まれているものとする。
When the foreign
However, it is assumed that the foreign object detection flag of “1” includes coordinates (i, j) indicating the position of a pixel constituting a part of the foreign object.
まず、誤検知認定部60は、三次元画像内にデータ方向(i)に所定の幅(例えば、n画素分の幅:三次元画像の縦軸方向の画素数N>n)を有する誤検知除去用ウィンドウを設定する。
図10は誤検知認定部60により設定される誤検知除去用ウィンドウの設定例を示す説明図である。
First, the false
FIG. 10 is an explanatory view showing a setting example of a false detection removal window set by the false
誤検知認定部60は、図1の異物検知部13又は図4の異物検知部33から“1”の異物検知フラグを受けると、その異物検知フラグに含まれている座標(i,j)を参照し、図10に示すように、その座標(i,j)に位置している画素を“検知画素”とする。
異物である車両は、ある程度の大きさを有しているため、孤立している1つの検知画素(異物検知フラグが“1”である画素)は誤検知であって、異物の一部を構成している画素の可能性は極めて低い。
When receiving the foreign object detection flag “1” from the foreign
Since a vehicle that is a foreign object has a certain size, one isolated detection pixel (a pixel whose foreign object detection flag is “1”) is a false detection and constitutes a part of the foreign object. The possibility of a pixel that is doing is very low.
そこで、誤検知認定部60は、データ方向(i)に所定の幅を有する誤検知除去用ウィンドウ内の検知画素に連続性があり、しかも、ライン方向(j)で連続している複数の誤検知除去用ウィンドウ(例えば、m個の誤検知除去用ウィンドウ:三次元画像の横軸方向の画素数M>m)の全てにおいて、検知画素の連続性が認められる場合に、三次元画像の中に異物である車両が存在していると最終的に判断して、“1”の異物検知フラグを出力する。
一方、データ方向(i)に所定の幅を有する誤検知除去用ウィンドウ内の検知画素に連続性がない場合や、ライン方向(j)で連続している複数の誤検知除去用ウィンドウのいずれかに、検知画素の連続性が認められない場合、三次元画像の中には、異物である車両が存在していないと判断して、“0”の異物検知フラグを出力する。
ただし、例えば、三次元画像の左側の領域では、検知画素の連続性が認められない場合でも、三次元画像の右側の領域で、検知画素の連続性が認められるような場合には、三次元画像の中に異物である車両が存在していると判断して、“1”の異物検知フラグを出力するようにしてもよい。
Therefore, the false
On the other hand, if the detection pixels in the false detection removal window having a predetermined width in the data direction (i) are not continuous, or one of a plurality of false detection removal windows continuous in the line direction (j) On the other hand, when the continuity of the detection pixels is not recognized, it is determined that there is no foreign object in the three-dimensional image, and a foreign object detection flag of “0” is output.
However, for example, in the case where the continuity of the detection pixel is recognized in the right region of the three-dimensional image even if the continuity of the detection pixel is not recognized in the left region of the three-dimensional image, the three-dimensional It may be determined that a vehicle that is a foreign object exists in the image, and a foreign object detection flag of “1” may be output.
以上で明らかなように、この実施の形態4によれば、図1の異物検知部13等により三次元画像の中に異物である車両が存在していると判断された場合、三次元画像における異物の連続性を確認することで、その異物の大きさが所定値以上であることが認められなければ、図1の異物検知部13等により存在していると判断された異物は誤検知であると認定するように構成したので、異物の誤検知を除去することができる効果を奏する。
As apparent from the above, according to the fourth embodiment, when the foreign
実施の形態5.
図11はこの発明の実施の形態5による異物検知装置を示す構成図である。
図11において、統合処理部70は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、実施の形態1の異物検知処理装置2から出力された異物検知フラグと、実施の形態2の異物検知処理装置4から出力された異物検知フラグと、実施の形態3の異物検知処理装置4から出力された異物検知フラグと、実施の形態4の異物検知処理装置2から出力された異物検知フラグとの論理和を算出し、いずれかの異物検知フラグが“1”であれば、“1”の異物検知フラグを出力する処理を実施する。なお、統合処理部70論理和算出手段を構成している。
Embodiment 5 FIG.
FIG. 11 is a block diagram showing a foreign object detection apparatus according to Embodiment 5 of the present invention.
In FIG. 11, the
次動作について説明する。
上記実施の形態1では、背景の反射強度値と、異物の反射強度値との間に差異がある場合に異物が検知され、上記実施の形態2では、背景の高度値と、異物の高度値との間に差異がある場合に異物が検知される。
また、上記実施の形態3では、反射強度値が高く、背景の高度値と、異物の高度値との間に差異がある場合に異物が検知される。
上記実施の形態4では、大きさが所定値以上である場合に異物が検知される。
Next operation will be described.
In the first embodiment, a foreign object is detected when there is a difference between the reflection intensity value of the background and the reflection intensity value of the foreign object. In the second embodiment, the background altitude value and the foreign object altitude value are detected. A foreign object is detected when there is a difference between
In the third embodiment, the foreign matter is detected when the reflection intensity value is high and there is a difference between the altitude value of the background and the altitude value of the foreign matter.
In the fourth embodiment, a foreign object is detected when the size is a predetermined value or more.
このように、上記実施の形態1〜4では、異物の検知観点が異なっているため、例えば、上記実施の形態1の検知方式では異物が検知されない場合でも、上記実施の形態2の検知方式では異物が検知される場合があり得る。
そこで、この実施の形態5では、異物の検知漏れを防止するため、統合処理部70が、実施の形態1の異物検知処理装置2から出力された異物検知フラグと、実施の形態2の異物検知処理装置4から出力された異物検知フラグと、実施の形態3の異物検知処理装置4から出力された異物検知フラグと、実施の形態4の異物検知処理装置2から出力された異物検知フラグとの論理和を算出し、いずれかの異物検知フラグが“1”であれば、“1”の異物検知フラグを出力するようにしている。
したがって、すべての異物検知フラグが“0”でなければ、“1”の異物検知フラグが出力される。
これにより、異物の検知漏れを大幅に低減することができる効果を奏する。
As described above, in the first to fourth embodiments, since the foreign matter detection viewpoint is different, for example, even if the foreign matter is not detected in the detection method in the first embodiment, the detection method in the second embodiment is used. A foreign object may be detected.
Therefore, in this fifth embodiment, in order to prevent foreign object detection from being missed, the
Therefore, if all the foreign matter detection flags are not “0”, a foreign matter detection flag of “1” is output.
Thereby, there is an effect that it is possible to greatly reduce the leakage of foreign object detection.
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .
1,3 三次元画像撮像装置(三次元画像撮像手段)、2,4 異物検知処理装置、11 閾値設定部(閾値設定手段)、12 閾値処理部(画素検出手段)、13 異物検知部(異物検知手段)、21 閾値切替フラグ取得部、22 閾値生成部、31 閾値算出部(閾値算出手段)、32 閾値処理部(領域検出手段)、33 異物検知部(異物検知手段)、41 閾値切替フラグ取得部、42 閾値生成部、51 異物指数算出部(異物指数算出手段)、52 領域検出部(領域検出手段)、60 誤検知認定部(誤検知認定手段)、70 統合処理部(論理和算出手段)。
DESCRIPTION OF
Claims (6)
上記画素検出手段は、上記三次元画像の縦方向成分が同一の画素単位に、異物の検知処理時に上記三次元画像撮像手段から出力された各画素の反射強度値と上記閾値設定手段により設定された上限閾値及び下限閾値を比較し、上記反射強度値が上記上限閾値より高い画素又は上記反射強度値が上記下限閾値より低い画素を検出することを特徴とする請求項1記載の異物検知装置。 It said threshold setting means, the same pixel is the vertical direction component of the three-dimensional image, in the reflection intensity value of each pixel output from the three-dimensional image pickup means before starting the detection process of the foreign matter, Obtain the maximum reflection intensity value and the minimum reflection intensity value, set the maximum reflection intensity value to the upper threshold, set the minimum reflection intensity value to the lower threshold,
The pixel detection means is set by the threshold value setting means and the reflection intensity value of each pixel output from the three-dimensional image imaging means during the foreign object detection process in units of pixels having the same vertical component of the three-dimensional image. The foreign substance detection device according to claim 1, wherein the upper limit threshold value and the lower limit threshold value are compared, and a pixel having the reflection intensity value higher than the upper limit threshold value or a pixel having the reflection intensity value lower than the lower limit threshold value is detected.
上記異物指数算出手段は、上記三次元画像における所定の領域単位に、異物の検知処理時に上記三次元画像撮像手段から出力された反射強度値が所定の閾値以上である画素の高度値の平均値及び標準偏差値を求め、上記高度値の平均値及び標準偏差値から背景以外の異物を表す指数である異物指数を算出する
ことを特徴とする請求項3記載の異物検知装置。 The three-dimensional imaging means, when the foreign matter detection processing by imaging a three-dimensional image of the observation area, and outputs a high value and the reflection intensity value of each pixel of the three-dimensional image,
The foreign matter index calculation means is an average value of altitude values of pixels whose reflection intensity values output from the 3D image pickup means during a foreign matter detection process are greater than or equal to a predetermined threshold for a predetermined region unit in the 3D image. The foreign matter detection device according to claim 3, wherein a foreign matter index that is an index representing foreign matter other than the background is calculated from the average value and standard deviation value of the altitude values.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011068283A JP5743635B2 (en) | 2011-03-25 | 2011-03-25 | Foreign object detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011068283A JP5743635B2 (en) | 2011-03-25 | 2011-03-25 | Foreign object detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012203688A JP2012203688A (en) | 2012-10-22 |
JP5743635B2 true JP5743635B2 (en) | 2015-07-01 |
Family
ID=47184628
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011068283A Active JP5743635B2 (en) | 2011-03-25 | 2011-03-25 | Foreign object detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5743635B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106448162B (en) * | 2016-09-30 | 2020-07-17 | 中星技术股份有限公司 | Road monitoring method and road monitoring device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11175655A (en) * | 1997-12-16 | 1999-07-02 | Furuno Electric Co Ltd | Vehicle number reader |
JP2001056377A (en) * | 1999-08-20 | 2001-02-27 | Nippon Signal Co Ltd:The | On-vehicle detecting apparatus for obstacle |
JP2002257538A (en) * | 2001-02-28 | 2002-09-11 | Mitsubishi Electric Corp | Shape discrimination device and shape discrimination method |
JP4036119B2 (en) * | 2003-03-12 | 2008-01-23 | オムロン株式会社 | Vehicle detection device and vehicle detection method |
JP2007265016A (en) * | 2006-03-28 | 2007-10-11 | Matsushita Electric Ind Co Ltd | Vehicle detection device and vehicle detection method |
-
2011
- 2011-03-25 JP JP2011068283A patent/JP5743635B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012203688A (en) | 2012-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101862199B1 (en) | Method and Fusion system of time-of-flight camera and stereo camera for reliable wide range depth acquisition | |
JP6109357B2 (en) | Information processing apparatus, information processing method, and program | |
JP4359710B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
JP5145986B2 (en) | Object detection apparatus and distance measuring method | |
US9626776B2 (en) | Apparatus, systems, and methods for processing a height map | |
EP2927710B1 (en) | Ranging system, information processing method and program thereof | |
WO2017138245A1 (en) | Image processing device, object recognition device, device control system, and image processing method and program | |
KR101666466B1 (en) | Marine risk management system and marine risk management method using marine object distance measuring system with monocular camera | |
JP6524529B2 (en) | Building limit judging device | |
US11210773B2 (en) | Information processing apparatus, information processing method, and storage medium for defect inspection and detection | |
WO2012042580A1 (en) | Line-of-sight estimation device | |
KR20160121509A (en) | Structured light matching of a set of curves from two cameras | |
JP4102885B2 (en) | Parked vehicle detection method and parked vehicle detection system | |
JP6516012B2 (en) | Image processing apparatus, object recognition apparatus, device control system, image processing method and program | |
US10074551B2 (en) | Position detection apparatus, position detection method, information processing program, and storage medium | |
JP2016200557A (en) | Calibration device, distance measurement apparatus and calibration method | |
JP2015068748A (en) | Dynamic elevation measuring apparatus, dynamic elevation measuring method, and dynamic elevation measuring program | |
JP2011232965A (en) | Plane area detection device and stereo camera system | |
KR101600820B1 (en) | Method for measuring distance of maritime objects using vertical angle of view per pixel of a camera and system for measuring distance of maritime objects using the same | |
JP4887540B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
JP5743635B2 (en) | Foreign object detection device | |
JPH11345336A (en) | Obstacle detecting device | |
JP2013228915A (en) | Pedestrian detecting device and method for detecting pedestrian | |
JP2004235711A (en) | Target tracking system and method therefor | |
KR20190080974A (en) | Step detection device and step detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140729 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140917 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150428 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5743635 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |