JP2008028478A - Obstacle detection system, and obstacle detecting method - Google Patents

Obstacle detection system, and obstacle detecting method Download PDF

Info

Publication number
JP2008028478A
JP2008028478A JP2006196131A JP2006196131A JP2008028478A JP 2008028478 A JP2008028478 A JP 2008028478A JP 2006196131 A JP2006196131 A JP 2006196131A JP 2006196131 A JP2006196131 A JP 2006196131A JP 2008028478 A JP2008028478 A JP 2008028478A
Authority
JP
Japan
Prior art keywords
obstacle
image data
divided
obstacle candidate
areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006196131A
Other languages
Japanese (ja)
Inventor
Masanobu Nishimura
政信 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2006196131A priority Critical patent/JP2008028478A/en
Publication of JP2008028478A publication Critical patent/JP2008028478A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an obstacle detection system and an obstacle detecting method capable of detecting an obstacle with higher accuracy by furthermore applying regional division to a specified obstacle candidate region including a plurality of detection objects. <P>SOLUTION: The obstacle detection system detects the presence of obstacles in an image by acquiring image data imaged by an imaging apparatus for imaging the surrounding of a vehicle. A detection apparatus applies binary processing to the image data acquired from the imaging apparatus, extracts edges, and specifies the obstacle candidate region on the basis of the image data subjected to the binary processing. The detection apparatus judges whether or not the specified obstacle candidate region can be divided into a plurality of regions by using the extracted edges or extended edges resulting from extending the edges. When the detection apparatus judges that the specified obstacle candidate region can be divided into the plural regions, the detection apparatus divides the specified obstacle candidate region into the plural regions and judges whether or not the obstacle exists in each of the divided regions. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、車両の周辺を撮像する撮像装置で撮像した画像データに基づいて、精度良く障害物の存在を検出することができる障害物検出システム、及び障害物検出方法に関する。   The present invention relates to an obstacle detection system and an obstacle detection method that can accurately detect the presence of an obstacle based on image data captured by an imaging device that captures the periphery of a vehicle.

自動車等の車両に、照度が低く可視光カメラでは撮像することが困難な夜間であっても周囲を撮像することが可能な赤外線撮像装置を搭載し、例えば車両周辺の歩行者、自転車等の障害物の存在を検出する障害物検出システムが多々開発されている。赤外線撮像装置は、近赤外線を用いるもの及び遠赤外線を用いるものの２種類に大別されている。   Cars such as automobiles are equipped with an infrared imaging device that can capture the surroundings even at night when the illumination is low and it is difficult to capture with a visible light camera. For example, obstacles such as pedestrians and bicycles around the vehicle Many obstacle detection systems that detect the presence of an object have been developed. Infrared imaging devices are roughly classified into two types, those using near infrared rays and those using far infrared rays.

例えば非特許文献１には、遠赤外線撮像装置を用いた障害物検出システムが開示されている。非特許文献１では、撮像した画像に対して二値化処理及びノイズ除去処理を施してから障害物が存在する可能性のある領域である障害物候補領域を抽出する。さらに道路を示す領域を抽出することにより、障害物候補領域を拡張し、拡張された障害物候補領域から特徴量を抽出して、画像中に存在する歩行者、自転車等の障害物を検出している。
H.Xu、他２名、「ナイトビジョンによる歩行者検出及び追尾（Pedestrian Detection and Tracking with Night Vision）」、ＩＥＥＥ知的車両シンポジウム、ｐ．６３−７１、２００５年３月 For example, Non-Patent Document 1 discloses an obstacle detection system using a far-infrared imaging device. In Non-Patent Document 1, after performing binarization processing and noise removal processing on a captured image, an obstacle candidate region which is a region where an obstacle may exist is extracted. Furthermore, by extracting the area indicating the road, the obstacle candidate area is expanded, the feature quantity is extracted from the expanded obstacle candidate area, and obstacles such as pedestrians and bicycles existing in the image are detected. ing.
H.Xu and two others, “Pedestrian Detection and Tracking with Night Vision”, IEEE Intelligent Vehicle Symposium, p. 63-71, March 2005

しかし、障害物候補領域の大きさは、検出する対象物に相当する大きさで検出されるとは限らない。例えば遠赤外線撮像装置で撮像された画像データから障害物候補領域を特定した場合、対象物だけでなく、高温の背景物も障害物候補として包含されており、障害物候補領域として検出対象物よりも大きな領域として特定されることが多い。このように、検出対象物以外の背景物等の含めた大きな障害物候補領域が特定された場合、同一の障害物候補領域内にて距離が相違する物体が混在することから、従来は、障害物として過大であることを理由として障害物を検出する処理の対象から除外している。したがって、例えば歩行者が存在するにもかかわらず、障害物検出対象から除外されているがために、歩行者の存在を検出することができないおそれがあるという問題点があった。   However, the size of the obstacle candidate area is not always detected with a size corresponding to the object to be detected. For example, when an obstacle candidate area is specified from image data captured by a far-infrared imaging device, not only the object but also a high-temperature background object is included as an obstacle candidate. Are often specified as large areas. In this way, when a large obstacle candidate area including a background object other than the detection target object is identified, objects with different distances are mixed in the same obstacle candidate area. The object is excluded from the process of detecting an obstacle because it is excessive as an object. Therefore, for example, although there is a pedestrian, it is excluded from the obstacle detection target, and thus there is a problem that the presence of the pedestrian may not be detected.

例えば、遠赤外線撮像装置で撮像された画像は輝度エッジにより対象物ごとに領域を区分することが困難であり、二値化処理を行った場合、複数の対象物が混在しているにもかかわらず一つの障害物候補領域として特定される傾向にある。したがって、特定された障害物候補領域を、障害物として検出すべき対象物ごとに分割する必要がある。   For example, it is difficult for an image captured by a far-infrared imaging device to divide a region for each object by luminance edge, and when binarization processing is performed, a plurality of objects are mixed. There is a tendency to be identified as one obstacle candidate region. Therefore, it is necessary to divide the identified obstacle candidate region for each object to be detected as an obstacle.

本発明は、斯かる事情に鑑みてなされたものであり、複数の検出対象物を包含して特定された障害物候補領域をさらに領域分割することにより、より精度良く障害物を検出することができる障害物検出システム、及び障害物検出方法を提供することを目的とする。   The present invention has been made in view of such circumstances, and can further detect an obstacle with higher accuracy by further dividing an obstacle candidate area specified by including a plurality of detection objects. An object of the present invention is to provide an obstacle detection system and an obstacle detection method.

上記目的を達成するために第１発明に係る障害物検出システムは、車両の周辺を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置とを備える障害物検出システムにおいて、前記検出装置は、前記撮像装置から取得した画像データを二値化処理する手段と、二値化処理された画像データに基づいて障害物候補領域を特定する手段と、取得した画像データに基づいてエッジを抽出するエッ
ジ抽出手段と、抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能であるか否かを判断する手段と、該手段で複数の領域に分割することが可能であると判断された場合、前記障害物候補領域を複数の領域に分割する領域分割手段と、分割された領域各々に障害物が存在するか否かを判定する障害物判定手段とを備えることを特徴とする。 In order to achieve the above object, an obstacle detection system according to a first aspect of the present invention is an imaging device that images the periphery of a vehicle, and acquires image data captured by the imaging device to detect the presence of an obstacle in the image. In the obstacle detection system including the detection device, the detection device specifies an obstacle candidate region based on the binarization processing unit for the image data acquired from the imaging device and the binarized image data And dividing the identified obstacle candidate area into a plurality of areas by means of extracting, edge extracting means for extracting an edge based on the acquired image data, and an extended edge obtained by extending the extracted edge or the edge Means for determining whether or not it is possible to divide the obstacle candidate area into a plurality of areas when it is determined that the means can be divided into a plurality of areas. And the step, characterized in that it comprises a determining obstacle determining unit that determines whether the divided areas each obstacle is present.

第２発明に係る障害物検出システムは、第１発明において、特定された障害物候補領域の大きさが所定値より大きいか否かを判断する手段とを備え、該手段で大きいと判断された場合にのみ、前記障害物候補領域を複数の領域に分割するようにしてあることを特徴とする。   The obstacle detection system according to the second invention comprises means for judging whether or not the size of the identified obstacle candidate area is larger than a predetermined value in the first invention, and the means is judged to be larger by the means. Only in this case, the obstacle candidate area is divided into a plurality of areas.

第３発明に係る障害物検出方法は、車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、前記撮像装置から取得した画像データを二値化処理し、二値化処理された画像データに基づいて障害物候補領域を特定し、取得した画像データに基づいてエッジを抽出し、抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能であるか否かを判断し、複数の領域に分割することが可能であると判断された場合、前記障害物候補領域を複数の領域に分割し、分割された領域各々に障害物が存在するか否かを判定することを特徴とする。   An obstacle detection method according to a third aspect of the present invention is the obstacle detection method for detecting the presence of an obstacle in an image by acquiring image data picked up by an image pickup device that picks up the periphery of the vehicle. Image data is binarized, obstacle candidate areas are identified based on the binarized image data, edges are extracted based on the acquired image data, and the extracted edges or the edges are stretched If it is determined by the extended edge whether the identified obstacle candidate area can be divided into a plurality of areas, and it is determined that the specified obstacle candidate area can be divided into a plurality of areas, the obstacle The object candidate area is divided into a plurality of areas, and it is determined whether or not an obstacle exists in each of the divided areas.

第１発明、及び第３発明では、車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する。撮像装置から取得した画像データを二値化処理し、二値化処理された画像データに基づいて障害物候補領域を特定する。一方、取得した画像データに基づいてエッジを抽出し、抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能であるか否かを判断する。複数の領域に分割することが可能であると判断された場合、障害物候補領域を複数の領域に分割し、分割された領域各々に障害物が存在するか否かを判定する。障害物候補領域をエッジにより、またエッジが中途で途切れている場合であっても延伸させた拡張エッジにより、さらに細かい領域へ分割することで、検出すべき対象物に適した大きさの障害物候補領域に基づいて対象物を検出することができ、例えば歩行者が存在するにもかかわらず障害物候補領域が過大であるために検出されない事態が生じるのを未然に回避することが可能となる。   In the first invention and the third invention, image data captured by an imaging device that captures the periphery of the vehicle is acquired to detect the presence of an obstacle in the image. The image data acquired from the imaging device is binarized, and an obstacle candidate area is specified based on the binarized image data. On the other hand, whether or not the identified obstacle candidate area can be divided into a plurality of areas by extracting an edge based on the acquired image data and using the extracted edge or an extended edge obtained by extending the edge. Determine whether. When it is determined that the area can be divided into a plurality of areas, the obstacle candidate area is divided into a plurality of areas, and it is determined whether an obstacle exists in each of the divided areas. Obstacles of a size suitable for the object to be detected by dividing the obstacle candidate area into finer areas by the edges, and even when the edges are interrupted, the extended edges are extended. An object can be detected based on the candidate area. For example, it is possible to avoid a situation in which an object is not detected because the obstacle candidate area is excessive even though a pedestrian exists. .

第２発明では、特定された障害物候補領域の大きさが所定値より大きいか否かを判断し、大きいと判断された場合にのみ、障害物候補領域を複数の領域に分割する。これにより、例えば障害物として検出する対象が歩行者である場合に、歩行者の身長に相当する大きさよりも大きい障害物候補領域についてのみ複数の障害物候補領域に分割することにより、不要な領域分割を回避することができ、歩行者の存在を確実に検出することが可能となる。   In the second invention, it is determined whether or not the size of the specified obstacle candidate area is larger than a predetermined value, and the obstacle candidate area is divided into a plurality of areas only when it is determined to be larger. Thus, for example, when an object to be detected as an obstacle is a pedestrian, an unnecessary area is divided by dividing the obstacle candidate area only into an obstacle candidate area that is larger than the size corresponding to the height of the pedestrian. Division can be avoided and the presence of a pedestrian can be reliably detected.

本発明によれば、障害物候補領域を抽出されたエッジにより、またエッジが中途で途切れている場合であっても延伸させた拡張エッジにより、さらに細かい領域へ分割することで、検出すべき対象物に適した大きさの障害物候補領域に基づいて対象物を検出することができ、例えば歩行者が存在するにもかかわらず障害物候補領域が過大であるために検出されない事態が生じるのを未然に回避することが可能となる。   According to the present invention, an object to be detected by dividing an obstacle candidate region into smaller regions by the extracted edge and by the extended edge extended even when the edge is interrupted in the middle An object can be detected based on an obstacle candidate area having a size suitable for the object. For example, there is a situation in which an obstacle candidate area is too large to be detected despite the presence of a pedestrian. This can be avoided beforehand.

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、以下の実施の形態では、夜間走行中に遠赤外線撮像装置で撮像された画像に基づいて車両の前
方に障害物、特に歩行者の存在を検出する場合を例として説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the following embodiments, an example will be described in which the presence of an obstacle, particularly a pedestrian, is detected in front of a vehicle based on an image captured by a far-infrared imaging device during night driving.

図１は、本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本実施の形態では、夜間走行中に周辺の画像を撮像する遠赤外線撮像装置１、１を、車両前方の中央近傍のフロントグリル内に並置している。なお、遠赤外線撮像装置１、１は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。なお、遠赤外線撮像装置１、１を用いることに限定されるものではなく、波長が０．８〜３マイクロメートルの赤外光を用いた撮像装置である近赤外線撮像装置であっても良いし、昼間の走行中に撮像する場合には可視光撮像装置であっても良い。遠赤外線撮像装置１、１で撮像された画像データは、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して接続してある検出装置３へ送信される。   FIG. 1 is a schematic diagram showing a configuration of an obstacle detection system according to an embodiment of the present invention. In the present embodiment, far-infrared imaging devices 1 and 1 that capture surrounding images during night driving are juxtaposed in a front grill near the center in front of the vehicle. The far-infrared imaging devices 1 and 1 are imaging devices using infrared light having a wavelength of 7 to 14 micrometers. In addition, it is not limited to using the far-infrared imaging devices 1 and 1, and may be a near-infrared imaging device that is an imaging device using infrared light having a wavelength of 0.8 to 3 micrometers. When imaging during daytime driving, a visible light imaging device may be used. Image data captured by the far-infrared imaging devices 1 and 1 is transmitted to a detection device 3 connected via a video cable 7 corresponding to an analog video system such as NTSC or a digital video system.

検出装置３は、遠赤外線撮像装置１、１の他、操作部を備えた表示装置４とは、ＮＴＳＣ、ＶＧＡ、ＤＶＩ等の映像方式に対応したケーブル８を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とは、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して接続されている。   In addition to the far-infrared imaging devices 1 and 1, the detection device 3 is connected to a display device 4 having an operation unit via a cable 8 corresponding to a video system such as NTSC, VGA, DVI, etc. An output device such as an alarm device 5 that emits an audible warning by a sound effect or the like is connected via an in-vehicle LAN cable 6 compliant with CAN.

図２は、本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。赤外光用の撮像素子としては、マイクロマシニング（ｍｉｃｒｏｍａｃｈｉｎｉｎｇ）技術を用いた酸化バナジウムのボロメータ型、ＢＳＴ（Ｂａｒｉｕｍ−Ｓｔｒｏｎｔｉｕｍ−Ｔｉｔａｎｉｕｍ）の焦電型等の赤外線センサを用いている。画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を信号処理部１２へ送信する。   FIG. 2 is a block diagram showing a configuration of the far-infrared imaging device 1 of the obstacle detection system according to the embodiment of the present invention. The image pickup unit 11 includes image pickup elements that convert optical signals into electric signals in a matrix. As an imaging device for infrared light, an infrared sensor such as a vanadium oxide bolometer type using a micromachining technique or a BST (Barium-Strontium-Titanium) pyroelectric type sensor is used. The image capturing unit 11 reads an infrared light image around the vehicle as a luminance signal, and transmits the read luminance signal to the signal processing unit 12.

信号処理部１２は、ＬＳＩであり、画像撮像部１１から受信した輝度信号をデジタル信号に変換し、撮像素子のばらつきを補正する処理、欠陥素子の補正処理、ゲイン制御処理等を行い、画像データとして画像メモリ１３へ記憶する。なお、画像データを画像メモリ１３へ一時記憶することは必須ではなく、映像出力部１４を介して直接検出装置３へ送信しても良いことは言うまでもない。   The signal processing unit 12 is an LSI, converts the luminance signal received from the image capturing unit 11 into a digital signal, performs processing for correcting variations in the image sensor, correction processing for defective elements, gain control processing, and the like, and performs image data processing. Is stored in the image memory 13. Needless to say, it is not essential to temporarily store the image data in the image memory 13, and the image data may be transmitted directly to the detection device 3 via the video output unit 14.

映像出力部１４は、ＬＳＩであり、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して検出装置３に映像データを出力する。   The video output unit 14 is an LSI, and outputs video data to the detection device 3 via a video cable 7 compatible with an analog video system such as NTSC or a digital video system.

図３は、本発明の実施の形態に係る障害物検出システムの検出装置３の構成を示すブロック図である。映像入力部３１ａは、遠赤外線撮像装置１から映像信号の入力を行う。映像入力部３１ａは、遠赤外線撮像装置１から入力された画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、映像出力部３１ｂは、映像ケーブル８を介して液晶ディスプレイ等の表示装置４に対して画像データを出力し、通信インタフェース部３１ｃは車載ＬＡＮケーブル６を介してブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。   FIG. 3 is a block diagram showing a configuration of the detection device 3 of the obstacle detection system according to the embodiment of the present invention. The video input unit 31 a inputs a video signal from the far infrared imaging device 1. The video input unit 31a stores the image data input from the far-infrared imaging device 1 in the image memory 32 in synchronization with each frame. The video output unit 31 b outputs image data to the display device 4 such as a liquid crystal display via the video cable 8, and the communication interface unit 31 c outputs an alarm device 5 such as a buzzer and a speaker via the in-vehicle LAN cable 6. An output signal such as a synthesized sound is transmitted.

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、映像入力部３１ａを介して遠赤外線撮像装置１から入力された画像データを記憶する。   The image memory 32 is an SRAM, flash memory, SDRAM or the like, and stores image data input from the far-infrared imaging device 1 via the video input unit 31a.

画像処理を行うＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読出し、遠赤外線撮像装置１から取得した画像データに基づいて、障害物候補領域を特定する。同時にＬＳＩ３３は、遠赤外線撮像装置１から取得した画像データに基づいて、エッジを抽出する。ＬＳＩ３３は、抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能である場合には
、該複数の領域へ障害物候補領域を分割する。 The LSI 33 that performs image processing reads the image data stored in the image memory 32 in units of frames, and specifies an obstacle candidate region based on the image data acquired from the far-infrared imaging device 1. At the same time, the LSI 33 extracts edges based on the image data acquired from the far infrared imaging device 1. If the identified obstacle candidate area can be divided into a plurality of areas by the extracted edge or the extended edge obtained by extending the edge, the LSI 33 divides the obstacle candidate area into the plurality of areas. Split.

ＬＳＩ３３は、分割された障害物候補領域ごとに障害物が存在するか否かを、例えば特徴量を抽出することにより判定する。なお、ＲＡＭ３３１は、演算処理の途上で生成したデータ及び算出した障害物の時系列的位置データを記憶する。   The LSI 33 determines whether there is an obstacle for each divided obstacle candidate area, for example, by extracting a feature amount. The RAM 331 stores data generated during the arithmetic processing and the calculated time-series position data of the obstacle.

ＬＳＩ３３での詳細な処理について以下に説明する。図４は、本発明の実施の形態に係る障害物検出システムの検出装置３のＬＳＩ３３の障害物検出処理の手順を示すフローチャートである。   Detailed processing in the LSI 33 will be described below. FIG. 4 is a flowchart showing the procedure of the obstacle detection process of the LSI 33 of the detection device 3 of the obstacle detection system according to the embodiment of the present invention.

ＬＳＩ３３は、画像メモリ３２に記憶してある遠赤外線撮像装置１、１から取得した画像データを読み出す（ステップＳ４０１）。ＬＳＩ３３は、読み出した画像データを二値化処理し（ステップＳ４０２）、二値化された画像データに基づいて障害物候補領域の画像内での座標値を算出して、障害物候補領域を特定する（ステップＳ４０３）。二値化処理は、遠赤外線撮像装置１、１から取得した画像データのヒストグラム補正、いわゆるヒストグラム等化処理を行った後に二値化処理を実行する。   The LSI 33 reads the image data acquired from the far infrared imaging devices 1 and 1 stored in the image memory 32 (step S401). The LSI 33 binarizes the read image data (step S402), calculates the coordinate value in the image of the obstacle candidate area based on the binarized image data, and specifies the obstacle candidate area (Step S403). In the binarization process, the binarization process is performed after performing histogram correction of the image data acquired from the far-infrared imaging devices 1, 1, so-called histogram equalization process.

なお、二値化処理後の画像データから障害物候補領域を特定する場合、所定の閾値を越えた輝度値を有する領域が混在することにより、複数の対象物が存在するにもかかわらず一つの障害物候補領域として特定される場合がある。したがって、ＬＳＩ３３は、座標値を取得した障害物候補領域内について、エッジ抽出処理を行なう（ステップＳ４０４）。ＬＳＩ３３は、抽出されたエッジ又はエッジを延伸方向に拡張した拡張エッジにより障害物候補領域が複数の領域に分割されるか否かを判断し（ステップＳ４０５）、ＬＳＩ３３が、分割されると判断した場合には（ステップＳ４０５：ＹＥＳ）、ＬＳＩ３３は、該エッジ又はエッジを延伸方向に拡張した拡張エッジにより障害物候補領域を複数の領域に分割する（ステップＳ４０６）。   In addition, when specifying an obstacle candidate region from the image data after binarization processing, a region having a luminance value exceeding a predetermined threshold is mixed, so that one object is present despite a plurality of objects. It may be specified as an obstacle candidate area. Therefore, the LSI 33 performs an edge extraction process on the obstacle candidate area for which the coordinate value has been acquired (step S404). The LSI 33 determines whether or not the obstacle candidate region is divided into a plurality of regions by the extracted edge or the extended edge obtained by extending the edge in the extending direction (step S405), and determines that the LSI 33 is divided. In this case (step S405: YES), the LSI 33 divides the obstacle candidate area into a plurality of areas by the edge or the extended edge obtained by extending the edge in the extending direction (step S406).

図５は、障害物候補領域の分割処理を模式的に示す図である。図５（ａ）に示すように障害物候補領域５１が特定された場合、特定された障害物候補領域の大きさは、いかなる対象物を検出する場合においても過大であり、検出対象となる対象物、例えば歩行者、自転車等を特定することができない。また、左右の遠赤外線撮像装置１、１で撮像された画像に基づいて距離を推定した場合、複数の対象物が混在していることから、距離を精度良く推定することもできない。   FIG. 5 is a diagram schematically illustrating an obstacle candidate area dividing process. When the obstacle candidate area 51 is specified as shown in FIG. 5A, the size of the specified obstacle candidate area is excessive when any object is detected, and the object to be detected. Things such as pedestrians and bicycles cannot be identified. Further, when the distance is estimated based on the images picked up by the left and right far-infrared imaging devices 1, 1, the distance cannot be accurately estimated because a plurality of objects are mixed.

そこで、障害物候補領域５１内にてエッジ抽出処理を実行する。抽出されたエッジは、障害物候補領域５１を複数の領域に分割する場合もあれば、障害物候補領域５１内で途切れている場合もある。抽出されたエッジが障害物候補領域５１内で途切れている場合には、該エッジに対してＯｐｅｎｉｎｇ処理等を実行することにより、途切れたエッジを伸長方向に延伸する。したがって、延伸されたエッジにより障害物候補領域５１を複数の領域に分割することができる。   Therefore, edge extraction processing is executed in the obstacle candidate area 51. The extracted edge may divide the obstacle candidate area 51 into a plurality of areas, or may be interrupted in the obstacle candidate area 51. When the extracted edge is interrupted in the obstacle candidate area 51, the interrupted edge is extended in the extension direction by performing an opening process or the like on the edge. Therefore, the obstacle candidate region 51 can be divided into a plurality of regions by the extended edge.

すなわち、図５（ｂ）に示すようにエッジ又は延伸されたエッジにより、一の障害物候補領域５１を複数の障害物候補領域５２乃至５６に分割する。これにより、分割された領域からなる障害物候補領域５２乃至５６の大きさは、検出対象となる対象物、例えば歩行者、自転車等を検出するのに適切な大きさとなる。また、左右の遠赤外線撮像装置１、１で撮像された画像に基づいて距離を推定した場合、一の対象物のみ存在していることから、分割された障害物候補領域ごとに対象物までの距離を精度良く推定することが可能となる。   That is, as shown in FIG. 5B, one obstacle candidate area 51 is divided into a plurality of obstacle candidate areas 52 to 56 by edges or extended edges. Thereby, the size of the obstacle candidate areas 52 to 56 formed of the divided areas is an appropriate size for detecting an object to be detected, for example, a pedestrian or a bicycle. In addition, when the distance is estimated based on the images picked up by the left and right far-infrared imaging devices 1 and 1, since only one object exists, the distance to the object is determined for each divided obstacle candidate area. The distance can be estimated with high accuracy.

ＬＳＩ３３は、分割された障害物候補領域ごとに障害物が存在するか否かを判断する（
ステップＳ４０７）。障害物の存在の判定方法は特に限定されるものではなく、周知の判定法であれば何でも良い。例えば障害物候補領域が複数の領域に分割された場合、分割された領域ごとに画像の特徴量を抽出し、抽出された特徴量に基づいて判定しても良い。なお、抽出される画像の特徴量は、例えばＨａａｒ特徴、４方向面特徴、輪郭情報、Ｖｉｏｌａ−Ｊｏｎｅｓの手法により取得される特徴等である。 The LSI 33 determines whether or not there is an obstacle for each divided obstacle candidate area (
Step S407). The method for determining the presence of an obstacle is not particularly limited, and any known determination method may be used. For example, when the obstacle candidate region is divided into a plurality of regions, the feature amount of the image may be extracted for each of the divided regions, and the determination may be made based on the extracted feature amount. Note that the feature amount of the extracted image is, for example, a Haar feature, a four-directional surface feature, contour information, a feature acquired by the Viola-Jones method, or the like.

ＬＳＩ３３が、分割された障害物候補領域ごとに障害物が存在すると判断した場合（ステップＳ４０７：ＹＥＳ）、ＬＳＩ３３は、歩行者等の障害物の存在を検出した旨を示す信号を表示装置４又は警報装置５へ出力する（ステップＳ４０８）。表示装置４では、歩行者等の障害物の存在を検出した旨を示す表示を出力する、警告表示を点滅させる等の警告表示を出力する。警報装置５では、ブザーの鳴動等によって歩行者等の障害物の存在を運転者へ報知する。   When the LSI 33 determines that an obstacle exists for each divided obstacle candidate area (step S407: YES), the LSI 33 displays a signal indicating that the presence of an obstacle such as a pedestrian is detected on the display device 4 or It outputs to the warning device 5 (step S408). The display device 4 outputs a warning display such as outputting a display indicating that the presence of an obstacle such as a pedestrian has been detected or blinking the warning display. The alarm device 5 notifies the driver of the presence of an obstacle such as a pedestrian by sounding a buzzer.

ＬＳＩ３３が、分割された障害物候補領域ごとに障害物が存在しないと判断した場合（ステップＳ４０７：ＮＯ）、ＬＳＩ３３は、処理を終了する。   When the LSI 33 determines that there is no obstacle for each divided obstacle candidate area (step S407: NO), the LSI 33 ends the process.

以上のように本実施の形態によれば、障害物候補領域が過大な領域として特定された場合であっても、エッジを抽出することにより、またエッジが中途で途切れている場合であっても延伸させた拡張エッジにより、さらに細かい領域へ分割することで、検出すべき対象物に適した大きさの障害物候補領域に基づいて対象物を検出することができ、例えば歩行者が存在するにもかかわらず障害物候補領域が過大であるために検出されない事態が生じるのを未然に回避することが可能となる。   As described above, according to the present embodiment, even when the obstacle candidate region is specified as an excessive region, even if the edge is extracted and the edge is interrupted in the middle By dividing the extended edge into smaller areas, the object can be detected based on an obstacle candidate area having a size suitable for the object to be detected. For example, there is a pedestrian. Nevertheless, it is possible to avoid a situation in which the obstacle candidate area is not detected because the obstacle candidate area is excessive.

なお、障害物候補領域の画面上での大きさが、所定の大きさより大きい場合、例えば画面の５分の１程度まで占める大きさとなっている場合には、該障害物候補領域に複数の対象物が含まれている蓋然性が高く、対象物までの距離を推定することができない場合も生じうる。そこで、障害物候補領域の画面上での大きさが所定値より大きい場合にのみ、障害物候補領域を複数の領域に分割するようにしても良い。   In addition, when the size of the obstacle candidate area on the screen is larger than a predetermined size, for example, when the obstacle candidate area occupies up to about one-fifth of the screen, a plurality of objects are included in the obstacle candidate area. There is a high probability that an object is included and the distance to the object cannot be estimated. Therefore, the obstacle candidate area may be divided into a plurality of areas only when the size of the obstacle candidate area on the screen is larger than a predetermined value.

また、障害物候補領域に相当する対象物までの距離は、該障害物候補領域が過大に特定された場合であっても代表点ごとに推定することはできる。そこで、推定された距離に基づいて障害物候補領域に相当する対象物の大きさを推定し、推定された大きさが所定値より大きい場合にのみ、障害物候補領域を複数の領域に分割するようにしても良い。   Further, the distance to the object corresponding to the obstacle candidate area can be estimated for each representative point even when the obstacle candidate area is excessively specified. Therefore, the size of the object corresponding to the obstacle candidate area is estimated based on the estimated distance, and the obstacle candidate area is divided into a plurality of areas only when the estimated size is larger than a predetermined value. You may do it.

このようにすることで、例えば障害物として検出する対象が歩行者である場合に、一般的な歩行者の身長よりも大きいと考えられる障害物候補領域についてのみ複数の障害物候補領域に分割することにより、不要な領域分割を回避することができ、歩行者の存在を確実に検出することが可能となる。   In this way, for example, when the object to be detected as an obstacle is a pedestrian, only an obstacle candidate area that is considered to be larger than the height of a general pedestrian is divided into a plurality of obstacle candidate areas. Thus, unnecessary area division can be avoided and the presence of a pedestrian can be reliably detected.

また、上述した実施の形態では、２基の遠赤外線撮像装置１、１で撮像された画像データに基づいて障害物までの距離を推定するようにしてある場合について説明しているが、遠赤外線撮像装置１の個数、搭載位置等は特に上述した実施の形態に限定されるものではない。例えば遠赤外線撮像装置１を、１基搭載しておき、別途レーダ装置、超音波装置等を搭載しておくことにより、直接障害物までの距離を測定するものであっても良い。   In the above-described embodiment, the case where the distance to the obstacle is estimated based on the image data captured by the two far-infrared imaging devices 1 and 1 has been described. The number, mounting position, and the like of the imaging device 1 are not particularly limited to the above-described embodiment. For example, the distance to the obstacle may be directly measured by mounting one far-infrared imaging device 1 and separately mounting a radar device, an ultrasonic device, or the like.

さらに、上述した実施の形態では、検出装置３のＬＳＩ３３が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。   Further, in the above-described embodiment, the LSI 33 of the detection device 3 performs the above-described control. However, a separate control device may be provided, or a control device of another device may also be used.

本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。It is a mimetic diagram showing composition of an obstacle detection system concerning an embodiment of the invention. 本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the far-infrared imaging device of the obstruction detection system which concerns on embodiment of this invention. 本発明の実施の形態に係る障害物検出システムの検出装置の構成を示すブロック図である。It is a block diagram which shows the structure of the detection apparatus of the obstruction detection system which concerns on embodiment of this invention. 本発明の実施の形態に係る障害物検出システムの検出装置のＬＳＩの障害物検出処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the obstacle detection process of LSI of the detection apparatus of the obstacle detection system which concerns on embodiment of this invention. 障害物候補領域の分割処理を模式的に示す図である。It is a figure which shows typically the division process of an obstacle candidate area | region.

符号の説明Explanation of symbols

１ 遠赤外線撮像装置
３ 検出装置
４ 表示装置
５ 警報装置
６ 車載ＬＡＮケーブル
７ 映像ケーブル
８ ケーブル
３１ａ 映像入力部
３１ｂ 映像出力部
３１ｃ 通信インタフェース部
３２ 画像メモリ
３３ ＬＳＩ
３３１ ＲＡＭ DESCRIPTION OF SYMBOLS 1 Far-infrared imaging device 3 Detection apparatus 4 Display apparatus 5 Alarm apparatus 6 Car-mounted LAN cable 7 Video cable 8 Cable 31a Video input part 31b Video output part 31c Communication interface part 32 Image memory 33 LSI
331 RAM

Claims (3)

車両の周辺を撮像する撮像装置と、
該撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置と
を備える障害物検出システムにおいて、
前記検出装置は、
前記撮像装置から取得した画像データを二値化処理する手段と、
二値化処理された画像データに基づいて障害物候補領域を特定する手段と、
取得した画像データに基づいてエッジを抽出するエッジ抽出手段と、
抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能であるか否かを判断する手段と、
該手段で複数の領域に分割することが可能であると判断された場合、前記障害物候補領域を複数の領域に分割する領域分割手段と、
分割された領域各々に障害物が存在するか否かを判定する障害物判定手段と
を備えることを特徴とする障害物検出システム。 An imaging device for imaging the periphery of the vehicle;
An obstacle detection system comprising: a detection device that acquires image data captured by the imaging device and detects the presence of an obstacle in the image;
The detection device includes:
Means for binarizing image data acquired from the imaging device;
Means for identifying an obstacle candidate region based on the binarized image data;
Edge extraction means for extracting an edge based on the acquired image data;
Means for determining whether the identified obstacle candidate region can be divided into a plurality of regions by the extracted edge or the extended edge obtained by extending the edge;
An area dividing means for dividing the obstacle candidate area into a plurality of areas when it is determined that the means can be divided into a plurality of areas;
An obstacle detection system comprising: obstacle determination means for determining whether an obstacle exists in each of the divided areas. 特定された障害物候補領域の大きさが所定値より大きいか否かを判断する手段と
を備え、
該手段で大きいと判断された場合にのみ、前記障害物候補領域を複数の領域に分割するようにしてあることを特徴とする請求項１記載の障害物検出システム。 Means for determining whether or not the size of the identified obstacle candidate area is larger than a predetermined value,
2. The obstacle detection system according to claim 1, wherein the obstacle candidate area is divided into a plurality of areas only when the means determines that the obstacle area is large. 車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、
前記撮像装置から取得した画像データを二値化処理し、
二値化処理された画像データに基づいて障害物候補領域を特定し、
取得した画像データに基づいてエッジを抽出し、
抽出されたエッジ又は該エッジを延伸させた拡張エッジにより、特定された障害物候補領域を複数の領域に分割することが可能であるか否かを判断し、
複数の領域に分割することが可能であると判断された場合、前記障害物候補領域を複数の領域に分割し、
分割された領域各々に障害物が存在するか否かを判定することを特徴とする障害物検出方法。 In the obstacle detection method for detecting the presence of an obstacle in an image by acquiring image data captured by an imaging device that captures the periphery of the vehicle,
Binarizing the image data acquired from the imaging device;
Identify obstacle candidate areas based on the binarized image data,
Extract edges based on the acquired image data,
Determine whether the identified obstacle candidate region can be divided into a plurality of regions by the extracted edge or the extended edge obtained by extending the edge,
When it is determined that it is possible to divide into a plurality of areas, the obstacle candidate area is divided into a plurality of areas,
An obstacle detection method comprising determining whether an obstacle exists in each of the divided areas.
JP2006196131A 2006-07-18 2006-07-18 Obstacle detection system, and obstacle detecting method Pending JP2008028478A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006196131A JP2008028478A (en) 2006-07-18 2006-07-18 Obstacle detection system, and obstacle detecting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006196131A JP2008028478A (en) 2006-07-18 2006-07-18 Obstacle detection system, and obstacle detecting method

Publications (1)

Publication Number Publication Date
JP2008028478A true JP2008028478A (en) 2008-02-07

Family

ID=39118720

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006196131A Pending JP2008028478A (en) 2006-07-18 2006-07-18 Obstacle detection system, and obstacle detecting method

Country Status (1)

Country Link
JP (1) JP2008028478A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012142832A (en) * 2011-01-05 2012-07-26 Seiko Epson Corp Imaging apparatus
JP2013537661A (en) * 2010-06-30 2013-10-03 タタ コンサルタンシー サービシズ リミテッド Automatic detection of moving objects using stereo vision technology
JP2019189213A (en) * 2018-04-18 2019-10-31 バイドゥ・ユーエスエイ・リミテッド・ライアビリティ・カンパニーＢａｉｄｕ ＵＳＡ ＬＬＣ Lane post processing in automatic driving vehicle
CN111552289A (en) * 2020-04-28 2020-08-18 苏州高之仙自动化科技有限公司 Detection method, virtual radar device, electronic apparatus, and storage medium

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013537661A (en) * 2010-06-30 2013-10-03 タタ コンサルタンシー サービシズ リミテッド Automatic detection of moving objects using stereo vision technology
JP2012142832A (en) * 2011-01-05 2012-07-26 Seiko Epson Corp Imaging apparatus
JP2019189213A (en) * 2018-04-18 2019-10-31 バイドゥ・ユーエスエイ・リミテッド・ライアビリティ・カンパニーＢａｉｄｕ ＵＳＡ ＬＬＣ Lane post processing in automatic driving vehicle
US10860868B2 (en) 2018-04-18 2020-12-08 Baidu Usa Llc Lane post-processing in an autonomous driving vehicle
CN111552289A (en) * 2020-04-28 2020-08-18 苏州高之仙自动化科技有限公司 Detection method, virtual radar device, electronic apparatus, and storage medium

Similar Documents

Publication Publication Date Title
JP4359710B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
JP5867807B2 (en) Vehicle identification device
US7583182B2 (en) Lane departure warning method and apparatus
JP5760090B2 (en) Biological recognition device
JP5809751B2 (en) Object recognition device
JP4528283B2 (en) Vehicle periphery monitoring device
JP2008027309A (en) Collision determination system and collision determination method
JP5464324B2 (en) Driving support apparatus and method for parking
WO2010007718A1 (en) Vehicle vicinity monitoring device
JP4864043B2 (en) Image processing apparatus, method, and program
JP2008026998A (en) Obstacle location calculation system and method
JP4826355B2 (en) Vehicle surrounding display device
JP2007139564A (en) Obstacle detection system, obstacle detection method and computer program
JP2008174028A (en) Target detection system and method
JP2008028478A (en) Obstacle detection system, and obstacle detecting method
JP2008165595A (en) Obstacle detection method, obstacle detection device, and obstacle detection system
JP2008026999A (en) Obstacle detection system and obstacle detection method
JP4457077B2 (en) Obstacle detection system and obstacle detection method
JP2009193390A (en) Vehicle periphery monitor device, vehicle, and program and method for monitoring vehicle periphery
JP4765113B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
JP2008108135A (en) Obstacle detection system and obstacle detection method
JP5642785B2 (en) Vehicle periphery monitoring device
JPH09331519A (en) Automatic monitor equipment
JP2008052568A (en) Obstacle detection system and obstacle detection method
JP5602354B2 (en) Vehicle periphery monitoring device