JP5313080B2 - Linear component reduction device and pedestrian detection display system - Google Patents
Linear component reduction device and pedestrian detection display system Download PDFInfo
- Publication number
- JP5313080B2 JP5313080B2 JP2009189449A JP2009189449A JP5313080B2 JP 5313080 B2 JP5313080 B2 JP 5313080B2 JP 2009189449 A JP2009189449 A JP 2009189449A JP 2009189449 A JP2009189449 A JP 2009189449A JP 5313080 B2 JP5313080 B2 JP 5313080B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- linear component
- radon
- pedestrian
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、直線成分低減装置および歩行者検出表示システムに関し、詳細には、撮像された画像から、輪郭に直線成分が少ない対象画像部分の検出性能の改良に関する。 The present invention relates to a linear component reduction device and a pedestrian detection display system, and more particularly, to an improvement in detection performance of a target image portion having a small linear component in an outline from a captured image.
従来、車両に設置された撮像装置によって、車両の進行方向の所定領域を撮像し、得られた画像に基づいて歩行者の像を抽出し、撮像された画像を画像表示装置に表示するに際して、抽出された歩行者の像をマーカー等によって強調する歩行者検出表示システムが開発されている。 Conventionally, when an image pickup device installed in a vehicle picks up a predetermined region in the traveling direction of the vehicle, extracts a pedestrian image based on the obtained image, and displays the picked-up image on the image display device, A pedestrian detection display system that emphasizes an extracted pedestrian image with a marker or the like has been developed.
このような歩行者検出表示システムは、車両の運転者に対して、歩行者の認知を補助するものであり、車両と歩行者との交通事故を低減させる技術として積極的な開発が求められている。 Such a pedestrian detection and display system assists the pedestrian in recognition of the pedestrian for the driver of the vehicle, and is required to be actively developed as a technique for reducing traffic accidents between the vehicle and the pedestrian. Yes.
また、このような歩行者検出表示システムによって歩行者を検出したときは、歩行者との距離や車両の速度、進行方向などに応じて、自動的に車両を減速させたり転舵させるなどの制御を行って、事故を回避させることも可能となる。 In addition, when a pedestrian is detected by such a pedestrian detection display system, the vehicle is automatically decelerated or steered according to the distance from the pedestrian, the speed of the vehicle, the traveling direction, etc. It is also possible to avoid accidents.
上述した歩行者検出表示システムは、車両に設置される赤外線カメラ（以下、単にカメラという。）と、カメラの画像から歩行者の像を検出し、カメラの画像に、検出された歩行者の像の位置に赤枠等のマーカーを付して出力する歩行者検出装置と、歩行者検出装置から出力された画像を表示する画像表示装置とを備え、この表示されたマーカーによって、運転者に対して、歩行者の存在およびその位置の注意喚起させるものであり、この歩行者検出表示システムの性能は、歩行者検出装置による歩行者像の誤検出の低減と歩行者像の検出漏れの低減とに大きく依存する。 The above-described pedestrian detection display system detects an image of a pedestrian from an infrared camera (hereinafter simply referred to as a camera) installed in a vehicle and an image of the camera, and the detected image of the pedestrian in the image of the camera. A pedestrian detection device that outputs a marker such as a red frame at the position and an image display device that displays an image output from the pedestrian detection device. The presence and location of pedestrians is alerted, and the performance of this pedestrian detection and display system is to reduce false detection of pedestrian images by the pedestrian detection device and reduce detection errors of pedestrian images. Depends heavily on
画像から歩行者を検出する手法としては、予め歩行者の像を模した歩行者テンプレート（以下、単にテンプレートという。）を用意し、このテンプレートと画像内の歩行者が存在する可能性のある領域の像との類似性を求める、いわゆるパターンマッチングが用いられる。 As a method for detecting a pedestrian from an image, a pedestrian template imitating a pedestrian image (hereinafter simply referred to as a template) is prepared in advance, and this template and an area where a pedestrian in the image may exist. So-called pattern matching is used to obtain a similarity to the image.
このパターンマッチングの手法としては、画像を構成する画素の信号値（輝度値等）による比較と、像のエッジ情報による比較とがある。 As a method of pattern matching, there are a comparison based on signal values (luminance values, etc.) of pixels constituting an image and a comparison based on image edge information.
ここで、像のエッジ情報による比較は、画像全体の明るさに影響を受けないため、天候や太陽位置に影響を受ける車両用などの野外用の機器での使用に適している。また、エッジ情報は、二値あるいは少ない階調で表現可能なために、扱うデータ量も少なく、検出処理の多くの割合を占めるテンプレートとの類似度の演算を少なくすることができる。 Here, the comparison based on the edge information of the image is not affected by the brightness of the entire image, and is therefore suitable for use in a field device such as a vehicle affected by the weather or the sun position. Further, since the edge information can be expressed with binary or a small number of gradations, the amount of data to be handled is small, and the calculation of the similarity with the template that occupies a large proportion of the detection processing can be reduced.
次に、像のエッジ情報に基づいた歩行者検出装置の処理過程を説明する。 Next, the process of the pedestrian detection device based on the image edge information will be described.
まず、画面全体のコントラストを高める処理を施して画像の輝度差（信号値差）を明確化することにより、画像におけるエッジの像を強調する。 First, a process for increasing the contrast of the entire screen is performed to clarify an image luminance difference (signal value difference), thereby enhancing an edge image in the image.
次いで、このエッジの像が強調された画像をテンプレートとマッチング処理して、画像の各部分とテンプレートとの間での相関値（画像におけるテンプレートの位置ごとの相関値で表された相関マップ）を求める。 Next, this edge-enhanced image is subjected to matching processing with a template, and a correlation value between each part of the image and the template (correlation map expressed by a correlation value for each position of the template in the image) is obtained. Ask.
ここで、テンプレートとマッチング処理を行うに際しては、エッジの像が強調処理された画像のうち歩行者（の像）が存在する可能性がある画像部分からテンプレートと同じ大きさで画像を切り出し、または想定する歩行者（の像）と同じ大きさで画像を切り出した後に切り出した画像をテンプレートと同じ大きさになるように拡大または縮小すればよい。 Here, when performing the matching process with the template, the image is cut out with the same size as the template from the image portion where the pedestrian (image) may exist among the images in which the edge image is enhanced, or What is necessary is just to expand or reduce the image cut out after cutting out an image with the same magnitude | size as the assumed pedestrian (image) so that it may become the same size as a template.
得られた相関マップにおける相関値は、その空間的位置との関係で連続性を有する（位置が隣接していれば、相関値が突発的に変化することがない）ため、その相関マップにおいて大きな相関値で表された領域はある程度の広さを有する領域となるが、その領域内で最大の相関値を示している位置にテンプレートを当てはめた部分が、歩行者の像が存在する候補の部分となる。 Since the correlation value in the obtained correlation map has continuity in relation to its spatial position (if the positions are adjacent, the correlation value will not change suddenly), the correlation map has a large value. The area represented by the correlation value is an area having a certain size, but the part where the template is applied to the position showing the maximum correlation value in the area is the candidate part where the pedestrian image exists It becomes.
そして、その最大の相関値を、予め設定された閾値（歩行者の像が存在するか否かを判別するのに適した値として予め設定された値）と比較して、最大の相関値が閾値を上回っているときは、その部分に歩行者の像が存在すると判定している（特許文献１）。 Then, the maximum correlation value is compared with a preset threshold value (a value set in advance as a value suitable for determining whether or not a pedestrian image exists). When it exceeds the threshold, it is determined that a pedestrian image exists in that portion (Patent Document 1).
ところで、撮像して得られた画像の解像度が低い場合や、ボケ（低い鮮鋭度）により、十分に信頼性の高いエッジ像を得られない場合がある。この場合、求めようとする歩行者のエッジ像以外の建物や信号、街路灯などの構造物のエッジが外乱（ノイズ）となり、歩行者の像の誤検出を招く虞が高くなる。 By the way, there are cases where the resolution of an image obtained by imaging is low or a sufficiently reliable edge image cannot be obtained due to blur (low sharpness). In this case, the edge of a structure other than the pedestrian's edge image to be obtained, such as a building, a signal, or a street light, becomes a disturbance (noise), and there is a high risk of erroneous detection of the pedestrian's image.
本発明は上記事情に鑑みてなされたもので、歩行者の像の誤検出を低減することができる歩行者検出表示システムを提供することを目的とする。 This invention is made | formed in view of the said situation, and it aims at providing the pedestrian detection display system which can reduce the erroneous detection of the image of a pedestrian.
また、本発明は、本発明の歩行者検出表示システムにおける主要な構成によって、撮像して得られた像から直線成分を効果的に抑制した像を得ることができる直線成分低減装置を提供することを目的とする。 Moreover, this invention provides the linear component reduction apparatus which can obtain the image which suppressed the linear component effectively from the image acquired by the main structure in the pedestrian detection display system of this invention. With the goal.
本発明に係る直線成分低減装置および歩行者検出表示システムは、撮像して得られた画像に対してラドン変換を施し、このラドン変換された系において直線成分に対応する大きな指示値の部分を小さい値に置換した上で、前記ラドン変換の逆変換を施すことにより、直線成分が抑制された画像を得るものである。 The linear component reduction device and the pedestrian detection and display system according to the present invention perform radon transformation on an image obtained by imaging, and reduce a portion of a large instruction value corresponding to the linear component in the radon transformed system. After substituting with the value, the inverse of the Radon transform is applied to obtain an image in which the linear component is suppressed.
すなわち、本発明に係る直線成分低減装置は、撮像して得られた画像に対してラドン変換を施すラドン変換処理手段と、前記ラドン変換して得られたラドン変換画像に対して、そのラドン変換画像における、所定の閾値以上の指示値を前記閾値未満の値に置換する補正処理手段と、前記補正処理手段によって前記指示値が置換された後のラドン変換画像に対して、前記ラドン変換の逆変換を施すことにより、前記撮像して得られた画像よりも直線成分が抑制された画像を得る逆ラドン変換処理手段とを備えたことを特徴とする。 That is, the linear component reduction device according to the present invention includes a radon conversion processing means for performing radon conversion on an image obtained by imaging, and radon conversion for the radon conversion image obtained by the radon conversion. In the image, a correction processing unit that replaces an instruction value that is greater than or equal to a predetermined threshold value with a value that is less than the threshold value, and an inverse of the Radon conversion with respect to the Radon converted image after the instruction value is replaced by the correction processing unit. And an inverse radon transform processing means for obtaining an image in which a linear component is suppressed more than the image obtained by performing the transformation.
ここで、撮像して得られた画像としては、可視光領域のカラー画像や白黒画像の他、赤外線領域（近赤外線から遠赤外線までの波長範囲）の光（電磁波）によって得られた赤外光画像であってもよい。 Here, images obtained by imaging include infrared light obtained by light (electromagnetic waves) in the infrared region (wavelength range from near infrared to far infrared) in addition to color images and black and white images in the visible light region. It may be an image.
なお、赤外線のうち遠赤外線の波長領域での画像（遠赤外線画像）は、遠赤外線波長領域に感度を有する遠赤外線カメラによって簡単に撮影することができ、また、生体であれば必ず遠赤外線が発せられているため、画像として遠赤外線カメラで撮像された遠赤外線画像を適用することで、このような生体を他から区別して検出し易いという効果を得ることができる。 In addition, an image in the far infrared wavelength region (far infrared image) of infrared rays can be easily taken with a far infrared camera having sensitivity in the far infrared wavelength region. Therefore, by applying a far-infrared image captured by a far-infrared camera as an image, it is possible to obtain an effect that it is easy to distinguish and detect such a living body from others.
以上のように構成された本発明に係る直線成分低減装置によれば、ラドン変換処理手段が、撮像して得られた画像に対してラドン変換を施し、このラドン変換して得られたラドン変換画像に対して、補正処理手段が、そのラドン変換画像における所定の閾値以上の指示値を閾値未満の値に置換することで直線成分を強制的に低減し、指示値が置換された後のラドン変換画像に対して、逆ラドン変換処理手段がラドン変換の逆変換を施すことにより、ラドン変換画像を実空間領域での画像に戻すことで、撮像して得られた画像よりも直線成分が相対的に抑制された画像を得ることができる。 According to the linear component reduction device according to the present invention configured as described above, the radon conversion processing means performs radon conversion on the image obtained by imaging, and radon conversion obtained by the radon conversion. The correction processing means forcibly reduces the linear component by replacing the indicated value in the radon converted image with a value less than the predetermined threshold by a value less than the threshold, and the radon after the indicated value is replaced. The inverse Radon transform processing means performs inverse transform of Radon transform on the transformed image, so that the Radon transform image is returned to the image in the real space region, so that the linear component is relative to the image obtained by imaging. Images that are suppressed automatically can be obtained.
なお、上述した画像としては、撮像して得られたままで強調処理等の画像処理を施していない画像を適用してもよいし、エッジ強調処理手段を用いる等して輪郭などのエッジを強調した画像等を適用することもできる。エッジを強調処理した画像は、強調処理されていない画像（輪郭で囲まれた内側が塗りつぶされたソリッドな画像）に比べて、直線成分を有する輪郭を検出し易いため、直線成分を精度よく低減することができるからである。 Note that as the above-described image, an image that has been captured and not subjected to image processing such as enhancement processing may be applied, or edges such as contours are enhanced by using edge enhancement processing means or the like. An image or the like can also be applied. Compared to an image that has not been subjected to enhancement processing (a solid image that is filled with the inside), an edge-enhanced image is easier to detect an outline that has a linear component, so the linear component can be accurately reduced. Because it can be done.
また、本発明の直線成分低減装置は、輪郭だけではなく棒状体のように形状自体が細長いものの画像を低減することもでき、その場合、エッジを強調処理していないソリッドな画像のままでラドン変換しても直線成分を検出しやすいため、エッジ強調処理の要否は検出対象に応じて選択するのが好ましい。 In addition, the linear component reduction device of the present invention can reduce not only the contour but also the image of the elongated shape itself such as a rod-like body. Since it is easy to detect a linear component even after conversion, it is preferable to select whether or not the edge enhancement processing is necessary according to the detection target.
本発明は、画像における直線成分低減装置であるが、この直線成分低減装置によって直線成分が低減された画像と、直線成分が低減される以前の元の画像との差分を求めることで、直線成分が強調された画像を得ることもできるため、本発明は、本発明の直線成分低減装置に、直線成分低減装置に入力される以前の元画像と直線成分低減装置によって求められた処理後の画像（直線成分が低減された後の画像）との差分を算出する手段をさらに備えることによって、直線成分が強調された画像を得る直線成分検出（または直線成分強調）装置として応用することもできる。 The present invention is a linear component reducing device in an image. By calculating a difference between an image in which the linear component is reduced by the linear component reducing device and an original image before the linear component is reduced, the linear component is obtained. In the present invention, the linear component reducing device of the present invention includes the original image before being input to the linear component reducing device and the processed image obtained by the linear component reducing device. By further comprising means for calculating a difference from (an image after the linear component is reduced), the present invention can also be applied as a linear component detection (or linear component enhancement) device that obtains an image in which the linear component is enhanced.
さらに、エッジを強調した画像を得るに際しては、それに先立って、撮像して得られた画像に対して、輝度調整手段などによりコントラストを高める処理を施すのが好ましい。コントラストの高い画像は低い画像に比べて、エッジを検出し易いからである。 Furthermore, when obtaining an image with an enhanced edge, it is preferable to perform a process for increasing the contrast by using a brightness adjusting means or the like on the image obtained by imaging. This is because an image with high contrast is easier to detect edges than an image with low contrast.
また、ラドン変換して得られた系において指示値を調整（置換）し、その指示値が置換されたものをラドン変換の逆変換処理して空間座標系の画像に戻すため、逆変換前の系での指示値の強制的な置換に伴って、逆変換処理後の画像においてアーチファクト（偽画像）が生じやすい。 In addition, the indication value is adjusted (replaced) in the system obtained by the Radon transformation, and the one in which the indication value is substituted is subjected to the inverse transformation processing of the Radon transformation and returned to the image of the spatial coordinate system. With the forced replacement of the indicated value in the system, artifacts (false images) are likely to occur in the image after the inverse transformation process.
そこで、逆ラドン変換処理手段によって得られた画像（すなわち空間座標系の画像）に対して、補正処理手段による指示値の置換によって生じた偽画像を抑制する偽画像抑制処理手段をさらに備えたものとするのが好ましい。 Therefore, an image obtained by the inverse Radon transform processing means (that is, an image in the spatial coordinate system) is further provided with a false image suppression processing means for suppressing a false image generated by the replacement of the instruction value by the correction processing means. Is preferable.
偽画像抑制処理手段による偽画像の抑制としては、その空間座標系における値を閾値処理により、閾値以下の信号値を一層小さい値に置換するなどの方法や、閾値処理によって二値化する方法などを適用することができる。 Examples of false image suppression by the false image suppression processing means include a method in which a value in the spatial coordinate system is replaced with a threshold value and a signal value below the threshold is replaced with a smaller value, or a method of binarization by threshold processing. Can be applied.
このように好ましく構成された本発明に係る直線成分低減装置によれば、逆ラドン変換処理手段によって空間座標系に戻した画像において生じた偽画像を抑制することができ、この偽画像が抑制されていない場合に比べて、直線成分を精度よく低減することができる。 According to the linear component reduction device according to the present invention that is preferably configured as described above, it is possible to suppress the false image generated in the image returned to the spatial coordinate system by the inverse Radon transform processing unit, and the false image is suppressed. Compared with the case where it is not, the linear component can be accurately reduced.
また、本発明に係る歩行者検出表示システムは、上述した本発明に係る直線成分低減装置と、前記直線成分低減装置により得られた直線成分が抑制された画像に対して所定のテンプレートと比較照合を行うことで、前記テンプレートに表された像に対応する画像部分を検出するテンプレートマッチング手段と、前記テンプレートマッチング手段によって検出された画像部分に所定のマーカーを重畳して出力するマーカー重畳部とを有する画像処理装置と、所定の情報を表示する画像表示装置とが車載され、前記撮像して得られた画像が、車両の進行方向の所定領域を撮像して得られた画像であり、前記テンプレートマッチング手段は、前記テンプレートの像として歩行者の像が適用されたテンプレートと比較照合するものであることを特徴とする。 Further, the pedestrian detection display system according to the present invention includes a linear component reduction device according to the present invention described above, and a predetermined template and comparison verification for an image in which the linear component obtained by the linear component reduction device is suppressed. A template matching unit that detects an image portion corresponding to the image represented in the template, and a marker superimposing unit that superimposes and outputs a predetermined marker on the image portion detected by the template matching unit. An image processing apparatus having an image display apparatus for displaying predetermined information is mounted on the vehicle, and the image obtained by imaging is an image obtained by imaging a predetermined area in the traveling direction of the vehicle, and the template The matching means is for comparing and collating with a template to which a pedestrian image is applied as the template image. That.
このように構成された本発明に係る歩行者検出表示システムによれば、撮像された画像、特に車両の進行方向の領域を撮影して得られた画像に対して、その車両に搭載された直線成分低減装置がその画像における直線成分を低減することで、その画像は、直線成分以外の成分すなわち曲線成分が相対的に強調されたものとなり、テンプレートマッチング手段が、その曲線成分が相対的に強調された画像に対して、歩行者の像が表されたテンプレートと比較照合（テンプレートマッチング）する。 According to the pedestrian detection display system according to the present invention configured as described above, a straight line mounted on a vehicle with respect to a captured image, particularly an image obtained by photographing a region in the traveling direction of the vehicle. The component reduction device reduces the linear component in the image, so that the image becomes a component in which a component other than the linear component, that is, a curve component is relatively emphasized, and the template matching means relatively emphasizes the curve component. The compared image is compared with the template on which the image of the pedestrian is represented (template matching).
ここで、歩行者の像は、周囲の建物や路上の設置物等と比べて直線成分が少ないため、直線成分低減装置によって、周囲の建物や路上の設置物等よりも相対的に強調されたものとなっており、この結果、テンプレートマッチング手段による比較照合でのテンプレート（歩行者の像を表したテンプレート）との合致度合いを向上させることができる。 Here, the pedestrian's image has less linear components than the surrounding buildings and installations on the road, so the linear component reduction device emphasized it more than the surrounding buildings and installations on the road. As a result, the degree of matching with a template (a template representing an image of a pedestrian) in comparison and collation by the template matching means can be improved.
したがって、本発明に係る歩行者検出表示システムによれば、歩行者の像の誤検出を低減することができる。 Therefore, according to the pedestrian detection display system according to the present invention, erroneous detection of pedestrian images can be reduced.
そして、このように誤検出が低減されて精度よく検出された歩行者の像（テンプレートマッチング手段によって検出された画像部分）に対して、画像処理装置のマーカ重畳部が所定のマーカーを重畳して出力することで、画像表示装置に、撮像された画像を表示するに際して、その画像中の歩行者の画像部分に精度よく所定のマーカーを重畳させることができ、運転者等の乗員に対して、歩行者への注意を喚起することができる。 Then, the marker superimposing unit of the image processing device superimposes a predetermined marker on the pedestrian image (the image portion detected by the template matching means) detected with high accuracy by reducing false detection in this way. By outputting, when displaying the captured image on the image display device, it is possible to accurately superimpose a predetermined marker on the image portion of the pedestrian in the image, for passengers such as drivers, Can alert pedestrians.
本発明に係る直線成分低減装置および歩行者検出表示システムによれば、撮像して得られた画像に基づいて直線成分が抑制された画像を得ることができる。 According to the linear component reduction device and the pedestrian detection display system according to the present invention, it is possible to obtain an image in which the linear component is suppressed based on an image obtained by imaging.
以下、本発明に係る直線成分低減装置および歩行者検出表示システムの実施の形態について、図面を参照して説明する。 Embodiments of a linear component reduction device and a pedestrian detection display system according to the present invention will be described below with reference to the drawings.
図１は、本発明の実施形態に係る歩行者検出表示システム１００の概略構成を示すブロック図、図２は図１の歩行者検出表示システム１００における歩行者検出装置２０（画像処理装置）の詳細構成を示すブロック図、図３は図２に示した歩行者検出装置２０のうち、直線成分低減部２７（直線成分低減装置）による直線成分低減処理手順およびテンプレートマッチング部３１(テンプレートマッチング手段）による歩行者の像の検出処理手順を示すフローチャート、図４は図３における係数操作部２４（補正処理手段）による係数操作処理（所定の閾値以上の指示値を閾値未満の値に置換する処理）の詳細を示すフローチャート、図５は図３における二値化処理部２６（偽画像抑制処理手段）による二値化処理（偽画像を抑制する処理）の詳細を示すフローチャートである。 FIG. 1 is a block diagram showing a schematic configuration of a pedestrian detection display system 100 according to an embodiment of the present invention, and FIG. 2 shows details of a pedestrian detection device 20 (image processing device) in the pedestrian detection display system 100 of FIG. FIG. 3 is a block diagram showing the configuration, and FIG. 3 shows a linear component reduction processing procedure by the linear component reduction unit 27 (linear component reduction device) and a template matching unit 31 (template matching means) in the pedestrian detection device 20 shown in FIG. FIG. 4 is a flowchart showing a pedestrian image detection processing procedure, and FIG. 4 is a coefficient operation process (a process of replacing an instruction value greater than a predetermined threshold value with a value less than the threshold value) by the coefficient operation unit 24 (correction processing means) in FIG. FIG. 5 is a flowchart showing details, and FIG. 5 shows details of binarization processing (processing for suppressing false images) by the binarization processing unit 26 (false image suppression processing means) in FIG. It is a flowchart which shows details.
図示の歩行者検出表示システム１００は、図１のブロック図に示す通り、車両に設置（車載）されてその車両の進行方向（例えば前方）の所定領域を遠赤外線画像として撮像する、遠赤外線に対する感度を有する遠赤外線カメラ１０と、この遠赤外線カメラ１０によって撮像して得られた遠赤外線画像に基づいて、この遠赤外線画像のうち歩行者を表す像を検出し、検出された歩行者の像の部分に矩形枠（マーカー）を重畳して出力する歩行者検出装置２０と、歩行者像の位置に矩形枠が付された、遠赤外線カメラ１０によって得られた遠赤外線画像を表示する画像表示装置４０とを備えた構成である。 As shown in the block diagram of FIG. 1, the illustrated pedestrian detection display system 100 is installed (onboard) in a vehicle and captures a predetermined region in the traveling direction (for example, forward) of the vehicle as a far-infrared image. Based on the far-infrared camera 10 having sensitivity and a far-infrared image obtained by imaging with the far-infrared camera 10, an image representing a pedestrian is detected from the far-infrared image, and the detected pedestrian image is detected. Image display for displaying a far-infrared image obtained by the far-infrared camera 10 with a rectangular frame attached to the position of the pedestrian image and a pedestrian detection device 20 that superimposes and outputs a rectangular frame (marker) on the part of It is the structure provided with the apparatus 40. FIG.
ここで、歩行者検出装置２０は、詳しくは図２に示すように、直線成分低減部２７とテンプレートマッチング部３１とマーカー重畳部３２とを備えた構成である。 Here, the pedestrian detection device 20 has a configuration including a linear component reduction unit 27, a template matching unit 31, and a marker superimposing unit 32, as shown in detail in FIG.
そして、直線成分低減部２７は、遠赤外線画像のコントラストを高める輝度調整部２１（輝度調整手段）と、輝度調整部２１によって輝度が高められた画像に対して、画像のエッジを強調するエッジ強調部２２（エッジ強調手段）と、エッジ強調部２２によってエッジが強調された画像に対してラドン変換を施すラドン変換部２３（ラドン変換処理手段）と、ラドン変換して得られたラドン変換画像に対して、そのラドン変換画像における、所定の閾値以上の指示値をその閾値未満の値に置換する係数操作部２４（補正処理手段）と、係数操作部２４によって処理された後のラドン変換画像に対して、ラドン変換の逆変換を施すことにより、撮像して得られた遠赤外線画像よりも直線成分が抑制された画像を得る逆ラドン変換部２５（逆ラドン変換処理手段）と、逆ラドン変換部２５によって得られた画像に対して、係数操作部２４による処理によって生じた偽画像を抑制する二値化処理部２６（偽画像抑制処理手段）とを備えた構成である。 Then, the linear component reduction unit 27 enhances the contrast of the far-infrared image by the brightness adjustment unit 21 (brightness adjustment unit) and edge enhancement that enhances the edge of the image with respect to the image whose luminance is enhanced by the brightness adjustment unit 21. A unit 22 (edge enhancement unit), a Radon conversion unit 23 (Radon conversion processing unit) for performing Radon conversion on the image whose edge is enhanced by the edge enhancement unit 22, and a Radon conversion image obtained by radon conversion. On the other hand, a coefficient operation unit 24 (correction processing means) that replaces an instruction value that is equal to or greater than a predetermined threshold in the radon conversion image with a value that is less than the threshold, and a radon conversion image that has been processed by the coefficient operation unit 24 On the other hand, by performing inverse transformation of Radon transformation, an inverse Radon transformation unit 25 (inverse rad) that obtains an image in which a linear component is suppressed more than a far-infrared image obtained by imaging. Conversion processing means) and a binarization processing unit 26 (fake image suppression processing means) that suppresses a false image generated by the processing by the coefficient operation unit 24 with respect to the image obtained by the inverse Radon conversion unit 25. It is a configuration.
また、テンプレートマッチング部３１は、歩行者の輪郭を模した歩行者テンプレートを記憶したテンプレート記憶部２９と、直線成分低減部２７によって直線成分が低減された画像に対して、テンプレート記憶部２９に記憶された歩行者テンプレート（例えば、図６に示したテンプレート）とのマッチングを行い、歩行者テンプレートとの間での相関値を求める相関値算出部２８と、この直線成分が低減された画像のうち、相関値算出部２８によって算出された相関値が高い画像領域を歩行者の像として検出する相関領域最大値検出部３０とを備えた構成である。 Further, the template matching unit 31 stores in the template storage unit 29 the template storage unit 29 that stores a pedestrian template imitating the contour of a pedestrian and the image in which the linear component is reduced by the linear component reduction unit 27. A correlation value calculation unit 28 that performs matching with the pedestrian template (for example, the template shown in FIG. 6) to obtain a correlation value with the pedestrian template, and among the images in which the linear component is reduced The correlation region maximum value detection unit 30 detects an image region having a high correlation value calculated by the correlation value calculation unit 28 as a pedestrian image.
マーカー重畳部３２は、遠赤外線カメラ１０によって得られた所定領域の遠赤外線画像のうち、上記テンプレートマッチング部３１により得られた歩行者の像の位置に、矩形枠を重畳して出力するものである。 The marker superimposing unit 32 superimposes and outputs a rectangular frame at the position of the pedestrian image obtained by the template matching unit 31 in the far infrared image of the predetermined region obtained by the far infrared camera 10. is there.
上述した直線成分低減部２７のラドン変換部２３によるラドン変換は、ＣＴ（コンピュータ・トモグラフィ）における画像再構成用の画像の取得で知られているものであり、遠赤外線のエッジ強調画像（２次元）を所定の軸（一次元）に投影（積分、総和等）したとき、その指示値の大小に応じて、その投影方向に沿って延びた直線の存否を検出するものである。 The Radon conversion performed by the Radon conversion unit 23 of the linear component reduction unit 27 described above is known for obtaining an image for image reconstruction in CT (computer tomography), and is a far-infrared edge-enhanced image (2 When (dimension) is projected (integrated, summed, etc.) on a predetermined axis (one dimension), the presence or absence of a straight line extending along the projection direction is detected according to the magnitude of the indicated value.
すなわち、その投影方向に沿って延びた直線のエッジが存在するとき、その投影方向に沿った遠赤外線画像の信号値の積分値（総和すなわち指示値）は大きな値となるのに対して、その投影方向に沿わない直線のエッジや曲線のエッジが存在しても、その投影方向に沿った遠赤外線画像の信号値の積分（総和）値（指示値）は大きな値にはならない。 That is, when there is a straight edge extending along the projection direction, the integral value (total sum or instruction value) of the signal value of the far-infrared image along the projection direction becomes a large value, whereas Even if there is a straight edge or curved edge that does not follow the projection direction, the integral (sum) value (indicated value) of the signal values of the far infrared image along the projection direction does not become a large value.
そして、この信号値を積分する、投影する軸の向き（角度）を０度から１８０度まで変化させて、それぞれの角度と投影軸の一次元方向の位置とによって規定されたラドン変換された系において上記指示値をそれぞれ表すことで、上記エッジ強調遠赤外線画像を、直線成分の多少を指示値で表現した系（ラドン変換して得られた系）を得るものである。 Then, this signal value is integrated, the direction (angle) of the projection axis is changed from 0 degrees to 180 degrees, and the Radon transformed system defined by the respective angles and the positions of the projection axes in the one-dimensional direction. By representing each of the indicated values, a system in which the edge-enhanced far-infrared image is expressed by the indicated value with some of the linear components (system obtained by Radon transform) is obtained.
逆ラドン変換部２５によるラドン変換の逆変換は、上記ラドン変換によって得られた系を、通常の空間座標系による表現（エッジ強調画像）に戻す変換である。 The inverse transformation of the Radon transformation by the inverse Radon transformation unit 25 is a transformation that returns the system obtained by the Radon transformation to an expression (edge-enhanced image) in a normal spatial coordinate system.
次に、本実施形態に係る歩行者検出表示システム１００の作用について、図３，４，５に示したフローチャート等を参照して説明する。 Next, the operation of the pedestrian detection display system 100 according to the present embodiment will be described with reference to the flowcharts shown in FIGS.
まず、車両に設置された遠赤外線カメラ１０が、車両の進行方向の所定領域を撮像し、例えば図７に示した遠赤外線画像が撮像される。 First, the far-infrared camera 10 installed in the vehicle images a predetermined area in the traveling direction of the vehicle, and for example, a far-infrared image shown in FIG. 7 is captured.
この遠赤外線画像は、信号機を有する街路が手前（画像において下部）から奥（画像において上部）の方に延び、街路の両側には、ビル等の建物が建ち並び、画像における左端部（街路の左側歩道）に歩行者の像Ｋが写ったものである。 In this far-infrared image, the street with the traffic lights extends from the front (bottom in the image) to the back (upper in the image), and buildings such as buildings are lined up on both sides of the street, and the left end of the image (left side of the street) A pedestrian image K is shown on the sidewalk.
また、この遠赤外線画像は言うまでもなく、輝度の高い部分（画像において白い部分）が遠赤外線を多く放射している部分であって温度の高い部分である。 Needless to say, this far-infrared image is a portion where high brightness (a white portion in the image) radiates a lot of far-infrared rays and a high temperature.
このように遠赤外線カメラ１０によって撮像して得られた遠赤外線画像は、歩行者検出装置２０の輝度調整部２１に入力され、輝度調整部２１は、入力された赤外線画像に対して、そのコントラストを高める処理を施す（図３のステップ１（Ｓ１））ことで、輝度の高い部分をより効果的に検出できるものとなる。 Thus, the far-infrared image obtained by imaging by the far-infrared camera 10 is input to the luminance adjustment unit 21 of the pedestrian detection device 20, and the luminance adjustment unit 21 compares the contrast with the input infrared image. By performing the process of increasing the brightness (step 1 (S1) in FIG. 3), it becomes possible to more effectively detect the portion with high luminance.
輝度調整部２１でコントラストが高められた画像は、エッジ強調部２２に入力され、エッジ強調部２２は、入力された画像に対して、微分処理等を施すことで、その画像中のエッジを強調する処理を施す（図３のＳ２）。これによって、例えば図８に示すように、画像中の物体の輪郭など信号値（輝度値）が急激に変化する部分であるエッジが強調された画像が得られる。 The image whose contrast has been increased by the luminance adjustment unit 21 is input to the edge enhancement unit 22, and the edge enhancement unit 22 performs differentiation processing or the like on the input image to enhance the edges in the image. Is performed (S2 in FIG. 3). As a result, for example, as shown in FIG. 8, an image in which an edge, which is a portion where the signal value (luminance value) changes rapidly, such as the contour of an object in the image, is obtained.
エッジ強調部２２によってエッジが強調された画像（エッジ強調遠赤外線画像）は、ラドン変換部２３に入力され、ラドン変換部２３は、入力されたエッジ強調遠赤外線画像に対してラドン変換を施し（図３のＳ３）、例えば図９に示すようなラドン変換後領域での表現を得る。 An image (edge-enhanced far-infrared image) whose edges are enhanced by the edge enhancement unit 22 is input to a radon conversion unit 23, and the radon conversion unit 23 performs radon conversion on the input edge-enhanced far-infrared image ( S3) in FIG. 3, for example, an expression in a region after radon conversion as shown in FIG. 9 is obtained.
具体的には、エッジ強調遠赤外線画像を、図９に示すように、投影する軸の向き（角度）を０度から１８０度まで変化させて（横軸）、それぞれの角度と投影軸の一次元方向の位置（縦軸）とによって規定されたラドン変換による系（角度−位置の系）における指示値（グレイスケールにより表現）をそれぞれ表したもの(ラドン変換画像）である。 Specifically, as shown in FIG. 9, the edge-emphasized far-infrared image is changed in the direction (angle) of the axis to be projected from 0 degree to 180 degrees (horizontal axis), and each angle and the primary axis of the projection axis are changed. Each of the indicated values (represented by a gray scale) in a system (angle-position system) by radon transformation defined by the original direction position (vertical axis) (a radon transformed image).
ここで、ラドン変換による系において指示値の大きい部分、すなわち白色に近い部分ほど、投影方向に沿って延びるエッジ、つまり直線状のエッジ（直線成分）が存在することとなる。 Here, in the system based on Radon transform, a portion having a large instruction value, that is, a portion close to white, has an edge extending along the projection direction, that is, a linear edge (straight line component).
この直線成分は、曲線成分が大部分を占める人体（歩行者等）の輪郭では殆ど見られない成分であり、多くは、人工の建物や路上の設置物などの輪郭を為すものである。つまり、人工の建物等は直線成分を多く備え、人体は曲線成分を多く備えている。 This linear component is a component that is hardly seen in the contour of a human body (such as a pedestrian) in which the curved component is the majority, and many of them are contours of an artificial building or an installation on a road. That is, an artificial building or the like has many linear components, and a human body has many curved components.
このようにして得られたラドン変換画像（図９）は、係数操作部２４に入力される。係数操作部２４は、ラドン変換画像における指示値（係数）に対して操作を施し（図３のＳ４）、図１０に示すように、係数が置換された後のラドン変換画像を得る。 The radon transformed image (FIG. 9) obtained in this way is input to the coefficient operation unit 24. The coefficient operation unit 24 performs an operation on the indicated value (coefficient) in the Radon converted image (S4 in FIG. 3), and obtains a Radon converted image after the coefficients are replaced as shown in FIG.
なお、図９において係数が操作される部分（係数操作前）、図１０において係数が操作された部分（係数操作後）は、符号Ｂで示されている。 In FIG. 9, the part where the coefficient is manipulated (before the coefficient manipulation) and the part where the coefficient is manipulated (after the coefficient manipulation) in FIG.
具体的には、図４に示すように、係数操作部２４は、ラドン変換画像における指示値の最大値と最小値とをそれぞれ求め（図４のステップ４１（Ｓ４１））、これら指示値の最大値と最小値との差分を求め、その差分の例えば７５％の値を閾値として設定する（図４のＳ４２）。 Specifically, as shown in FIG. 4, the coefficient operation unit 24 obtains the maximum value and the minimum value of the instruction value in the Radon transformed image (step 41 (S41) in FIG. 4), and the maximum of these instruction values. A difference between the value and the minimum value is obtained, and a value of, for example, 75% of the difference is set as a threshold (S42 in FIG. 4).
なお、この閾値は、後の比較照合の処理以前の段階で設定されていればよいため、上述したステップ４２（Ｓ４２）に示すように処理の都度、演算によって求めてもよいし、予め固定的に閾値を規定しておいてもよい。 Note that this threshold value only needs to be set at a stage prior to the subsequent comparison / collation processing. Therefore, as shown in the above-described step 42 (S42), the threshold value may be obtained by calculation or fixed in advance. A threshold value may be defined for.
また、閾値の具体的な値は、ステップ４２で示したような、指示値の最大値と最小値との差分の７５％の値に限定されるものではなく、遠赤外線のカメラの感度や、撮影した状況等に応じて、任意にまたは選択的に設定できるようにしてもよい。 Further, the specific value of the threshold is not limited to the value of 75% of the difference between the maximum value and the minimum value of the indication value as shown in step 42, and the sensitivity of the far infrared camera, You may enable it to set arbitrarily or selectively according to the image | photographed condition.
次いで、係数操作部２４は、閾値とラドン変換画像における各指示値とを比較照合し、閾値以上の指示値については閾値未満の値（例えば０（ゼロ））に置換する処理を施し（図４のＳ４３）、係数操作の処理を終了する。 Next, the coefficient operation unit 24 compares and compares the threshold value with each instruction value in the Radon transformed image, and performs processing for replacing an instruction value greater than or equal to the threshold value with a value less than the threshold value (for example, 0 (zero)) (FIG. 4). S43), the coefficient operation process is terminated.
一方、係数操作部２４は、閾値未満の指示値については指示値の置換処理を行うことなく、係数操作を終了する。 On the other hand, the coefficient operation unit 24 ends the coefficient operation for the instruction value less than the threshold without performing the instruction value replacement process.
このようにして得られた係数操作後のラドン変換画像は、逆ラドン変換部２５に入力される。ここで、係数操作後のラドン変換画像は、ラドン変換前の通常の空間座標系での表現である遠赤外線のエッジ強調画像において直線成分が低減された画像に対応したものとなるため、逆ラドン変換部２５によってラドン変換の逆変換処理によって通常の空間座標系での表現である画像に戻される（図３のＳ５）と、図１１に示す画像が得られる。 The radon transformed image after the coefficient operation obtained in this way is input to the inverse radon transform unit 25. Here, the Radon transform image after the coefficient operation corresponds to the image in which the linear component is reduced in the far-infrared edge-enhanced image that is an expression in the normal spatial coordinate system before the Radon transform. When the conversion unit 25 returns to an image that is an expression in a normal spatial coordinate system by an inverse conversion process of Radon conversion (S5 in FIG. 3), an image shown in FIG. 11 is obtained.
ここで、図１１に示した画像を、ラドン変換（図３のＳ３）前の遠赤外線のエッジ強調画像（図８）の空間座標系での表現である画像と比べると、ラドン変換画像において係数操作を経由得した図１１の画像は、図８の画像に比べて直線成分が明らかに低減された画像となっており、この結果、図１１における歩行者の像Ｋは、図８における歩行者の像Ｋよりも直線成分に対して相対的に強調されたものとなっている。 Here, when the image shown in FIG. 11 is compared with an image that is an expression in the spatial coordinate system of the far-infrared edge-enhanced image (FIG. 8) before the Radon transform (S3 in FIG. 3), the coefficient in the Radon transform image is The image of FIG. 11 obtained through the operation is an image in which the linear component is clearly reduced as compared with the image of FIG. 8, and as a result, the pedestrian image K in FIG. The image K is emphasized relative to the linear component rather than the image K.
一方、図１１に示した画像には、ラドン変換（Ｓ３）前の画像（図８）には存在しなかった放射状の直線である偽画像Ｌが、特に画像の左部分において顕著に表れている。 On the other hand, in the image shown in FIG. 11, a false image L that is a radial straight line that did not exist in the image before the Radon transformation (S3) (FIG. 8) appears remarkably in the left part of the image. .
この偽画像Ｌは、ラドン変換画像において強制的な係数操作（指示値の置換）を行ったことに伴う副次的なものであり、本来は存在しないノイズであるから、後の処理を有効に行わせる上で、消去または抑制することが好ましい。 This fake image L is a secondary image that accompanies the forced coefficient operation (replacement of the indicated value) in the Radon transformed image, and is a noise that does not exist originally, so that the subsequent processing is effectively performed. In doing so, it is preferable to erase or suppress.
そこで、逆ラドン変換部２５から出力された画像（図１１）は、二値化処理部２６に入力され、この二値化処理部２６により、偽画像Ｌを抑制する処理が施される（Ｓ６）。具体的には、ラドン変換画像における係数操作によって生じた偽画像Ｌは輝度が比較的低い（信号値が比較的小さい）ため、この画像を構成する信号値を、予め設定（大小比較の処理前の段階で決定しているものであればよい。）した閾値と比較照合して、閾値よりも小さい信号値は信号値０（ゼロ）に置換することで、輝度が比較的低い（信号値が比較的小さい）画像部分、すなわち偽画像Ｌを消去乃至抑制する。 Therefore, the image (FIG. 11) output from the inverse Radon transform unit 25 is input to the binarization processing unit 26, and the binarization processing unit 26 performs processing to suppress the false image L (S6). ). Specifically, since the false image L generated by the coefficient operation in the Radon transformed image has a relatively low luminance (the signal value is relatively small), a signal value constituting this image is set in advance (before the size comparison process). If the signal value smaller than the threshold value is replaced with the signal value 0 (zero), the luminance is relatively low (the signal value is low). The relatively small image portion, that is, the false image L is erased or suppressed.
また、二値化処理部２６は、この偽画像Ｌ以外の部分を強調することで後のテンプレートマッチングの精度を高めるために、閾値よりも大きい信号値はこの信号値として許容されているダイナミックレンジの最大値に置換する。 In addition, the binarization processing unit 26 emphasizes a portion other than the false image L to enhance the accuracy of template matching later, so that a signal value larger than the threshold is allowed as the signal range. Replace with the maximum value of.
本実施形態においては、図５に示すように、二値化処理部２６は、実空間領域の画像における信号値の最大値と最小値とをそれぞれ求め（図５のステップ６１（Ｓ６１））、これら信号値の最大値と最小値との差分を求め、その差分の例えば５０％の値を閾値として設定する（図５のＳ６２）。 In the present embodiment, as shown in FIG. 5, the binarization processing unit 26 obtains the maximum value and the minimum value of the signal value in the image of the real space region, respectively (step 61 (S61) in FIG. 5), A difference between the maximum value and the minimum value of these signal values is obtained, and a value of, for example, 50% of the difference is set as a threshold (S62 in FIG. 5).
なお、この閾値は、後の比較照合の処理以前の段階で設定されていればよいため、上述したステップ６２（Ｓ６２）に示すように処理の都度、演算によって求めてもよいし、予め固定的に閾値を規定しておいてもよい。 Note that this threshold value only needs to be set at a stage prior to the subsequent comparison / collation processing. Therefore, as shown in the above-described step 62 (S62), the threshold value may be obtained by calculation or fixed in advance. A threshold value may be defined for.
また、閾値の具体的な値は、ステップ６２で示したような、信号値の最大値と最小値との差分の５０％の値に限定されるものではなく、偽画像Ｌの発生状況等（ステップ４２において設定した閾値等）に応じて、任意にまたは選択的に設定できるようにしてもよい。 Further, the specific value of the threshold value is not limited to the value of 50% of the difference between the maximum value and the minimum value of the signal value as shown in Step 62, and the occurrence situation of the false image L ( It may be set arbitrarily or selectively according to the threshold value set in step 42).
次いで、二値化処理部２６は、閾値と画像における各信号値とを比較照合し、閾値以上の指示値については閾値未満の値（例えば０（ゼロ））に置換する処理を施し、閾値よりも大きい信号値はこの信号値として許容されているダイナミックレンジの最大値（例えば２５５）に置換する処理を施し（図５のＳ６３）、二値化処理（図３のＳ６）を終了する。 Next, the binarization processing unit 26 compares and compares the threshold value with each signal value in the image, and performs a process of replacing an instruction value greater than or equal to the threshold value with a value less than the threshold value (for example, 0 (zero)). The larger signal value is replaced with the maximum value (for example, 255) of the dynamic range allowed as the signal value (S63 in FIG. 5), and the binarization process (S6 in FIG. 3) is terminated.
このようにして得られた二値化処理後（偽画像Ｌの抑制（消去）処理後）の画像は、例えば図１２に示すものとなる。 An image after binarization processing (after suppression (erasing) processing of the false image L) obtained in this way is, for example, as shown in FIG.
この図１２に示した画像は、図１１に示した画像における偽画像Ｌが抑制されているとともに、偽画像Ｌよりも輝度の高い画像のうち上記閾値（Ｓ６２）以上の信号値の部分は、輝度が一層高められたものとなっていて、後のテンプレートマッチング処理の精度を高めることができる。 In the image shown in FIG. 12, the false image L in the image shown in FIG. 11 is suppressed, and the portion of the signal value equal to or higher than the threshold (S62) among the images having higher luminance than the false image L is The luminance is further enhanced, and the accuracy of the subsequent template matching process can be increased.
以上のように直線成分低減部２７から出力された画像（図１２）は、元の遠赤外線画像（撮像により得られた遠赤外線画像）にコントラストを高める処理を施し、次いでエッジを強調して得られた画像（図８）に比べて、背景部分の建物や路上の設置物等の輪郭である直線成分が著しく低減されたものとなっている。 As described above, the image (FIG. 12) output from the linear component reduction unit 27 is obtained by performing a process for increasing the contrast on the original far-infrared image (far-infrared image obtained by imaging) and then enhancing the edge. Compared with the obtained image (FIG. 8), the linear component that is the outline of the building in the background, the installation on the road, etc. is significantly reduced.
次に、直線成分低減部２７から出力された画像（図１２）は、テンプレートマッチング部３１の相関値算出部２８に入力され、この相関値算出部２８は、入力された画像に対して、テンプレート記憶部２９に記憶された歩行者テンプレート（図６）とのマッチングを行って、この歩行者テンプレートとの間での、画像の位置ごとの相関値を求める（図３のＳ７，Ｓ８）。 Next, the image (FIG. 12) output from the linear component reduction unit 27 is input to the correlation value calculation unit 28 of the template matching unit 31. The correlation value calculation unit 28 applies the template to the input image. Matching with the pedestrian template (FIG. 6) stored in the storage unit 29 is performed, and a correlation value for each position of the image with this pedestrian template is obtained (S7 and S8 in FIG. 3).
ここで、相関値算出部２８が歩行者テンプテートとのマッチングを行う際には、入力された画像の全体に対してマッチング処理を行うものであってもよいが、建物等や地平線の高さ位置との関係により、歩行者が存在する可能性がある領域だけに絞って、マッチングを行うようにしてもよい。 Here, when the correlation value calculation unit 28 performs matching with the pedestrian template, the entire input image may be subjected to matching processing. However, the height position of the building or the horizon may be used. Therefore, matching may be performed by narrowing down only to a region where a pedestrian may exist.
また、入力された画像における歩行者の像が、歩行者テンプレートにおける歩行者の像と同一の大きさである場合は、入力された画像をそのままの大きさで、歩行者テンプレートとテンプレートマッチングを行えばよいが、入力された画像における歩行者の像は、歩行者テンプレートにおける歩行者の像と同一の大きさであるとは限らず、むしろ大きさが異なる場合の方が多いため、入力された画像と歩行者テンプレートとをマッチングさせる際に、入力された画像の大きさを拡大し（画素数を増やし）、または大きさを縮小する（画素数を減らす）などの前処理を施してもよい。 Also, if the pedestrian image in the input image is the same size as the pedestrian image in the pedestrian template, template matching is performed with the pedestrian template in the same size as the input image. However, the image of the pedestrian in the input image is not necessarily the same size as the image of the pedestrian in the pedestrian template. When matching an image with a pedestrian template, pre-processing such as enlarging the size of the input image (increasing the number of pixels) or reducing the size (decreasing the number of pixels) may be performed. .
このようにして、相関値算出部２８が、入力された画像の位置ごとに求めた、歩行者テンプレートとのマッチングの相関値は、例えば、図１３に示すものとなる。 Thus, the correlation value of matching with the pedestrian template, which is obtained for each position of the input image by the correlation value calculation unit 28, is, for example, as shown in FIG.
ここで、図１３（ａ）は、領域の色が白色に近いほど相関値が高いことを示しており、図１３においては、左端部の上下中央付近において高い相関値を示していることが分かる。 Here, FIG. 13A shows that the correlation value is higher as the color of the region is closer to white, and in FIG. 13, it can be seen that a higher correlation value is shown near the top and bottom center of the left end. .
なお、直線成分低減部２７により直線成分が低減される以前のエッジ強調画像（図８）に対して、相関値算出部２８が、その入力された画像（図８）の位置ごとに求めた歩行者テンプレートとのマッチングの相関値は、図１３（ｂ）に示すものとなる。 It should be noted that the correlation value calculation unit 28 calculates the walking for each position of the input image (FIG. 8) with respect to the edge-enhanced image (FIG. 8) before the linear component is reduced by the linear component reduction unit 27. The correlation value for matching with the person template is as shown in FIG.
この図１３（ｂ）に示した相関マップは、図１３（ａ）に示した相関マップに比べて、左端部における相関値の高い部分が、より広い範囲に広がっているとともに、左側の上半分においても上下方向に、高い相関値を示す領域が広がっている。 Compared with the correlation map shown in FIG. 13A, the correlation map shown in FIG. 13B has a portion with a high correlation value at the left end spread over a wider range, and the upper half of the left side. In FIG. 5, the region showing a high correlation value extends in the vertical direction.
ここで、図１３（ａ），（ｂ）にそれぞれ示した相関マップは、歩行者テンプレートとのマッチングの程度を示すものであるから、図１３（ａ）に示した相関マップに基づけば、左端部の上下方向中央付近に歩行者の像が存在する確率が高いことを検出することができ、一方、図１３（ｂ）に示した相関マップに基づけば、左端部の上下方向中央付近に加えて、左側の上半分に上下方向に延びた相関値の高い部分にも、歩行者の像が存在する確率が高いことを検出することができる。 Here, the correlation maps shown in FIGS. 13 (a) and 13 (b) indicate the degree of matching with the pedestrian template. Therefore, based on the correlation map shown in FIG. It is possible to detect that there is a high probability that there is a pedestrian image near the center in the vertical direction of the section. On the other hand, based on the correlation map shown in FIG. Thus, it is possible to detect that there is a high probability that a pedestrian image exists also in a portion having a high correlation value extending in the vertical direction on the upper left half.
実際には、図７に示すように、歩行者は、左端部の上下方向中央付近の領域にのみ存在するため、図１３（ａ）に示した相関マップは図１３（ｂ）に示した相関マップに比べて、左側の上半分に上下方向に延びた領域における歩行者の誤検出を抑制することができ、歩行者像の検出精度を向上させることができる。 Actually, as shown in FIG. 7, since the pedestrian exists only in the area near the center in the vertical direction of the left end, the correlation map shown in FIG. 13A is the correlation shown in FIG. 13B. Compared to a map, erroneous detection of a pedestrian in a region extending in the vertical direction in the upper half on the left side can be suppressed, and detection accuracy of a pedestrian image can be improved.
以上のようにして相関値算出部２８によって検出された相関マップは、相関領域最大値検出部３０に入力され、相関領域最大値検出部３０は、入力された相関マップに基づいて、相関値が高い（相関マップの色が白い）画像領域を歩行者の像として、その位置を検出する（図３のＳ９）。 The correlation map detected by the correlation value calculation unit 28 as described above is input to the correlation region maximum value detection unit 30, and the correlation region maximum value detection unit 30 calculates the correlation value based on the input correlation map. The position of the image area that is high (the color of the correlation map is white) is detected as a pedestrian image (S9 in FIG. 3).
そして、検出された歩行者の像の位置はマーカー重畳部３２に入力され、マーカー重畳部３２は、入力された歩行者の像の位置に基づいて、歩行者の像の領域を最小限に囲む白色の矩形枠を設定し、この白色の矩形枠を、遠赤外線カメラ１０から入力された遠赤外線画像における歩行者の存在対応位置に重畳して、画像表示装置４０に出力する。 Then, the detected position of the pedestrian image is input to the marker superimposing unit 32, and the marker superimposing unit 32 surrounds the area of the pedestrian image to the minimum based on the input position of the pedestrian image. A white rectangular frame is set, and this white rectangular frame is superimposed on the position corresponding to the presence of the pedestrian in the far-infrared image input from the far-infrared camera 10 and output to the image display device 40.
画像表示装置４０は、歩行者検出装置２０のマーカー重畳部３２から入力された、遠赤外線カメラ１０による遠赤外線画像（図７）の歩行者の像に白色矩形枠Ｍが付された画像（図１４）を、その画面上に表示する。 The image display device 40 is an image in which a white rectangular frame M is added to a pedestrian image of a far-infrared image (FIG. 7) input from the marker superimposing unit 32 of the pedestrian detection device 20 by the far-infrared camera 10 (FIG. 7). 14) is displayed on the screen.
このように構成された本実施形態に係る直線成分低減部２７によれば、ラドン変換部２３が、撮像して得られた遠赤外線画像に対してラドン変換を施し、このラドン変換して得られたラドン変換画像に対して、係数操作部２４が、そのラドン変換画像における所定の閾値以上の指示値を閾値未満の値に置換することで直線成分を強制的に低減し、指示値が置換された後のラドン変換画像に対して、逆ラドン変換部２５がラドン変換の逆変換を施すことにより、ラドン変換画像を実空間領域での画像に戻すことで、撮像して得られた画像（図８）よりも直線成分が相対的に抑制された画像（図１２）を得ることができる。 According to the linear component reduction unit 27 according to the present embodiment configured as described above, the radon conversion unit 23 performs radon conversion on the far-infrared image obtained by imaging, and is obtained by the radon conversion. For the radon converted image, the coefficient operation unit 24 forcibly reduces the linear component by replacing the indicated value in the radon converted image with a value that is equal to or greater than the predetermined threshold value, and the indicated value is replaced. An image obtained by capturing the radon-converted image by returning the radon-converted image to an image in the real space region by the inverse radon conversion unit 25 performing an inverse transform of the radon transform on the radon-converted image after An image (FIG. 12) in which the linear component is relatively suppressed as compared with 8) can be obtained.
また、本実施形態に係る歩行者検出表示システム１００によれば、歩行者テンプレートとのテンプレートマッチングを行うのに先だって、遠赤外線画像における、歩行者の輪郭（エッジ）とは異なる構造物の代表的な輪郭である直線成分（直線のエッジ等）を低減（削除を含む）するため、テンプレートマッチングの精度を向上させることができ、歩行者の像の誤検出を低減することができる。 In addition, according to the pedestrian detection display system 100 according to the present embodiment, prior to performing template matching with the pedestrian template, a representative structure that is different from the pedestrian outline (edge) in the far-infrared image. Since a straight line component (such as a straight edge) that is a rough contour is reduced (including deletion), the accuracy of template matching can be improved, and erroneous detection of a pedestrian image can be reduced.
本実施形態の直線成分低減部２７および歩行者検出表示システム１００は、撮像された画像として、遠赤外線カメラ１０により得られた遠赤外線画像を適用したものであるが、本発明に係る直線成分低減装置および歩行者検出表示システムは、この形態に限定されるものではなく、可視光領域に感度を有する通常のカメラ等で撮像された可視光領域の波長で表現された画像であってもよいし、近赤外線領域の波長で表現された画像であってもよい。また、用途によっては、Ｘ線等の放射線領域の波長領域で表現された画像（手荷物検査等に適用した場合等）であってもよい。 The linear component reduction unit 27 and the pedestrian detection display system 100 of the present embodiment apply a far-infrared image obtained by the far-infrared camera 10 as a captured image, but the linear component reduction according to the present invention is applied. The device and the pedestrian detection display system are not limited to this form, and may be an image expressed by the wavelength of the visible light region captured by a normal camera or the like having sensitivity in the visible light region. An image expressed by a wavelength in the near infrared region may be used. Depending on the application, it may be an image expressed in the wavelength region of a radiation region such as X-rays (when applied to baggage inspection or the like).
ただし、撮像装置として遠赤外線カメラ１０等の赤外線カメラを適用したものでは、車両進行方向の所定領域が赤外線画像として撮像されるため、夜間や霧、降雨、降雪等環境の影響によって、可視光領域のカメラでは歩行者を撮影しにくい状況下においても、歩行者が発する遠赤外線を赤外線像として撮像することができ、肉眼での視認（主として可視光の波長領域に感度を有する）を補助する上で、より効果的である。 However, in the case where an infrared camera such as the far-infrared camera 10 is applied as an imaging device, a predetermined region in the vehicle traveling direction is captured as an infrared image, so that the visible light region is affected by environmental effects such as nighttime, fog, rain, and snowfall. This camera can capture far-infrared rays emitted by pedestrians as infrared images even in situations where it is difficult to shoot pedestrians, and assists with the naked eye (mainly sensitive to the wavelength region of visible light). It is more effective.
また、赤外線カメラで撮像して得られる画像は、一般的にグレイスケールの無彩色階調画像であるため、可視光周波数領域のカラー画像を得る一般的なカメラよりも、画像のデータ量を低減することができ、演算処理等の負荷を軽減することができる。 In addition, since images obtained by infrared cameras are generally grayscale achromatic gradation images, the amount of image data is reduced compared to general cameras that obtain color images in the visible light frequency range. It is possible to reduce the load of arithmetic processing and the like.
さらに、本実施形態の直線成分低減部２７および歩行者検出表示システム１００は、逆ラドン変換部２５によって得られた画像に対して、係数操作部２４による処理によって生じた偽画像Ｌを抑制する二値化処理部２６を備えた構成であるが、本発明に係る直線成分低減装置および歩行者検出表示システムは、必ずしも、この二値化処理部（偽画像抑制処理手段）を備えるものに限定されるものではなく、このような二値化処理部を備えないものであっても、直線成分の効果的な低減や、歩行者像の検出精度の向上を得ることができる。 Furthermore, the linear component reduction unit 27 and the pedestrian detection display system 100 according to the present embodiment suppress the false image L generated by the processing by the coefficient operation unit 24 with respect to the image obtained by the inverse radon conversion unit 25. Although the configuration includes the binarization processing unit 26, the linear component reduction device and the pedestrian detection display system according to the present invention are not necessarily limited to those including the binarization processing unit (false image suppression processing means). Even if such a binarization processing unit is not provided, it is possible to effectively reduce the linear component and improve the detection accuracy of the pedestrian image.
２３ ラドン変換部（ラドン変換処理手段）
２４ 係数操作部（補正処理手段）
２５ 逆ラドン変換部（逆ラドン変換処理手段）
２７ 直線成分低減部（直線成分低減装置）
３１ テンプレートマッチング部（テンプレートマッチング手段）
１００ 歩行者検出表示システム
23 Radon conversion part (Radon conversion processing means)
24 Coefficient operation unit (correction processing means)
25 Inverse radon conversion unit (inverse radon conversion processing means)
27 Linear Component Reduction Unit (Linear Component Reduction Device)
31 Template matching section (template matching means)
100 Pedestrian detection display system
Claims (6)
前記撮像して得られた画像が、車両の進行方向の所定領域を撮像して得られた画像であり、
前記テンプレートマッチング手段は、前記テンプレートの像として歩行者の像が適用されたテンプレートと比較照合するものであることを特徴とする歩行者検出表示システム。 By performing a comparison check with a predetermined template for an image in which the linear component obtained by the linear component reducing device according to any one of claims 1 to 5 and the linear component obtained by the linear component reducing device are suppressed, An image processing apparatus comprising: a template matching unit that detects an image portion corresponding to an image represented in the template; and a marker superimposing unit that superimposes and outputs a predetermined marker on the image portion detected by the template matching unit. An image display device that displays predetermined information is mounted on the vehicle,
The image obtained by imaging is an image obtained by imaging a predetermined area in the traveling direction of the vehicle,
The said template matching means is a pedestrian detection display system characterized by comparing and collating with the template to which the image of the pedestrian was applied as an image of the said template.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009189449A JP5313080B2 (en) | 2009-08-18 | 2009-08-18 | Linear component reduction device and pedestrian detection display system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009189449A JP5313080B2 (en) | 2009-08-18 | 2009-08-18 | Linear component reduction device and pedestrian detection display system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011039998A JP2011039998A (en) | 2011-02-24 |
| JP5313080B2 true JP5313080B2 (en) | 2013-10-09 |
Family
ID=43767666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009189449A Expired - Fee Related JP5313080B2 (en) | 2009-08-18 | 2009-08-18 | Linear component reduction device and pedestrian detection display system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5313080B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046271A (en) * | 2015-06-25 | 2015-11-11 | 哈尔滨工业大学 | MELF (Metal Electrode Leadless Face) component positioning and detecting method based on match template |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09251544A (en) * | 1996-03-14 | 1997-09-22 | Toshiba Corp | Work edge detecting image processor |
| JP2002099997A (en) * | 2000-09-26 | 2002-04-05 | Mitsubishi Motors Corp | Detection device for moving object |
| JP2003044996A (en) * | 2001-07-31 | 2003-02-14 | Matsushita Electric Ind Co Ltd | Obstacle detecting device |
| JP3677232B2 (en) * | 2001-09-27 | 2005-07-27 | 株式会社東芝 | Surface element distribution analyzer and surface element distribution analysis method using the same. |
| JP2003141550A (en) * | 2001-11-05 | 2003-05-16 | Canon Inc | Position detection method |
| JP2005204858A (en) * | 2004-01-22 | 2005-08-04 | Canon Inc | Radiation image processor, radiation image processing system, radiation imaging system, radiation imaging device, radiation image processing method, computer readable storage medium, and program |
| FR2874300B1 (en) * | 2004-08-11 | 2006-11-24 | Renault Sas | AUTOMATIC CALIBRATION METHOD OF A STEREOVISION SYSTEM |
| ATE530993T1 (en) * | 2006-12-01 | 2011-11-15 | Koninkl Philips Electronics Nv | METHOD FOR AUTOMATIC DECODING MICROARRAY IMAGES |
| JP5288440B2 (en) * | 2007-12-27 | 2013-09-11 | 株式会社Ｉｈｉ | Human body detection apparatus and human body detection method |
-
2009
- 2009-08-18 JP JP2009189449A patent/JP5313080B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046271A (en) * | 2015-06-25 | 2015-11-11 | 哈尔滨工业大学 | MELF (Metal Electrode Leadless Face) component positioning and detecting method based on match template |
| CN105046271B (en) * | 2015-06-25 | 2018-03-30 | 哈尔滨工业大学 | The positioning of MELF elements and detection method based on template matches |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011039998A (en) | 2011-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4970516B2 (en) | Surrounding confirmation support device | |
| Mu et al. | Lane detection based on object segmentation and piecewise fitting | |
| US7209832B2 (en) | Lane recognition image processing apparatus | |
| JP4135123B2 (en) | Display processing device | |
| KR101364727B1 (en) | Method and apparatus for detecting fog using the processing of pictured image | |
| JP5975598B2 (en) | Image processing apparatus, image processing method, and program | |
| WO2008065717A1 (en) | Pedestrian detecting system, and pedestrian detecting method | |
| JP5090321B2 (en) | Object detection device | |
| JP2014215877A (en) | Object detection device | |
| JP4872769B2 (en) | Road surface discrimination device and road surface discrimination method | |
| US20120212615A1 (en) | Far-infrared pedestrian detection device | |
| JP2007234019A (en) | Vehicle image area specifying device and method for it | |
| WO2016129301A1 (en) | Entry possibility determining device for vehicle | |
| JP2007288657A (en) | Display apparatus for vehicle, and display method of the display apparatus for vehicle | |
| KR101483742B1 (en) | Lane Detection method for Advanced Vehicle | |
| JP4674179B2 (en) | Shadow recognition method and shadow boundary extraction method | |
| JP2016196233A (en) | Road sign recognizing device for vehicle | |
| JP2009025910A (en) | Obstacle detection device, obstacle detection system, and obstacle detection method | |
| Choi et al. | Fog detection for de-fogging of road driving images | |
| JP2011209896A (en) | Obstacle detecting apparatus, obstacle detecting method, and obstacle detecting program | |
| JP5521217B2 (en) | Obstacle detection device and obstacle detection method | |
| US20060115122A1 (en) | Vehicle surroundings monitoring apparatus | |
| JP2010136207A (en) | System for detecting and displaying pedestrian | |
| JP5313080B2 (en) | Linear component reduction device and pedestrian detection display system | |
| JP2010286995A (en) | Image processing system for vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130605 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130618 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130703 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5313080 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |