JP2014219845A - Image processing apparatus - Google Patents
Image processing apparatus Download PDFInfo
- Publication number
- JP2014219845A JP2014219845A JP2013098750A JP2013098750A JP2014219845A JP 2014219845 A JP2014219845 A JP 2014219845A JP 2013098750 A JP2013098750 A JP 2013098750A JP 2013098750 A JP2013098750 A JP 2013098750A JP 2014219845 A JP2014219845 A JP 2014219845A
- Authority
- JP
- Japan
- Prior art keywords
- image
- captured image
- camera
- region
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Geometry (AREA)
Abstract
Description
本発明は、車両の進行方向を撮像した画像を処理する画像処理装置に関する。 The present invention relates to an image processing apparatus that processes an image obtained by capturing a traveling direction of a vehicle.
従来、車両の前方の撮像画像から、この車両が走行している道路における左右の区分線及び道路鋲等のレーンマークを抽出する画像処理装置が提案されている(例えば、特許文献1参照)。 2. Description of the Related Art Conventionally, an image processing apparatus that extracts lane marks such as left and right lane markings and roadsides on a road on which the vehicle is traveling has been proposed from a captured image in front of the vehicle (see, for example, Patent Document 1).
特許文献1に記載された画像処理装置では、撮像画像のうちレーンマークの画像部分が存在する可能性が低い領域に対してもレーンマークを抽出するための画像処理が行われる。このため、撮像画像からレーンマークの画像部分を抽出するための演算負荷が大きい。 In the image processing apparatus described in Patent Document 1, image processing for extracting a lane mark is performed even on an area where it is unlikely that an image portion of a lane mark exists in a captured image. For this reason, the calculation load for extracting the image part of a lane mark from a captured image is large.
演算負荷が大きいという問題は、撮像画像からレーンマークの画像部分を抽出するときのみならず、撮像画像からレーンマーク以外の所定の対象物(例えば、車両又は人)の画像部分を抽出するときに、該所定の対象物が撮像されていない領域に対して画像処理が行われた場合にも生じる。 The problem that the calculation load is large is not only when extracting the image portion of the lane mark from the captured image, but also when extracting the image portion of a predetermined object (for example, a vehicle or a person) other than the lane mark from the captured image. This also occurs when image processing is performed on an area where the predetermined object is not imaged.
本発明は、以上の点に鑑みてなされたものであり、撮像画像から所定の対象物の画像部分を抽出するときの演算負荷を軽減できる画像処理装置を提供することを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to provide an image processing apparatus that can reduce a calculation load when an image portion of a predetermined object is extracted from a captured image.
本発明は、車両に搭載されて該車両の進行方向を撮像する第1カメラと、前記車両の前記第1カメラよりも下部に配置され、該車両の進行方向の前記第1カメラの撮像範囲と重複する撮像範囲を有する第2カメラと、前記第1カメラによる第1撮像画像、及び前記第2カメラによる第2撮像画像に基づいて、前記第1撮像画像から所定の対象物の画像部分を抽出する抽出部とを備え、前記抽出部は、前記第2カメラが配置されている高さに対応する前記第2撮像画像上の位置である第2位置を検知する第2検知部と、前記第1撮像画像と前記第2撮像画像と前記第2位置とに基づいて、前記第2カメラが配置されている高さに対応する前記第1撮像画像上の位置である第1位置を検知する第1検知部と、前記第1撮像画像と前記第1位置とに基づいて、前記第1撮像画像において、前記所定の対象物を抽出する対象である抽出対象領域を決定する決定部とを備えることを特徴とする。 The present invention includes a first camera that is mounted on a vehicle and images the traveling direction of the vehicle, and an imaging range of the first camera that is disposed below the first camera of the vehicle and that is in the traveling direction of the vehicle. Extracting an image portion of a predetermined object from the first captured image based on a second camera having an overlapping imaging range, a first captured image by the first camera, and a second captured image by the second camera A second detection unit that detects a second position that is a position on the second captured image corresponding to a height at which the second camera is disposed; and Based on one captured image, the second captured image, and the second position, a first position that is a position on the first captured image corresponding to a height at which the second camera is disposed is detected. 1 detector, the first captured image, and the first position Zui, in the first image, characterized by comprising a determination unit for determining the extraction target area is a target for extracting the predetermined object.
本発明によれば、第1検知部が、第1撮像画像と第2撮像画像と第2検知部によって検知された第2位置とに基づいて、第1撮像画像内における第1位置を検知する。そして、決定部が、第1撮像画像と第1位置とに基づいて、第1撮像画像において、所定の対象物を抽出する抽出対象領域を決定する。ここで、第1位置は、第2カメラが搭載された高さに対応する位置である。そのため、第1位置を境に対象物の高さと車両からの距離により、対象物が存在する可能性が高い領域を、第1撮像画像の全体の領域から絞り込んで抽出対象領域に決定することができる。 According to the present invention, the first detection unit detects the first position in the first captured image based on the first captured image, the second captured image, and the second position detected by the second detection unit. . And a determination part determines the extraction object area | region which extracts a predetermined target object in a 1st captured image based on a 1st captured image and a 1st position. Here, the first position is a position corresponding to the height at which the second camera is mounted. Therefore, it is possible to narrow down an area where the object is highly likely to exist based on the height of the object and the distance from the vehicle with the first position as a boundary from the entire area of the first captured image and determine the extraction object area. it can.
そして、このようにして決定した抽出対象領域に対して抽出を行うことで、対象物が存在する可能性が低い領域についても抽出を行う場合よりも、第1撮像画像(撮像画像)から所定の対象物の画像部分を抽出するときの演算負荷を軽減できる。 And by extracting with respect to the extraction object area | region determined in this way, it is predetermined from a 1st captured image (captured image) rather than the case where it extracts also about the area | region where possibility that a target object exists is low. The calculation load when extracting the image portion of the object can be reduced.
本発明において、前記所定の対象物は、道路上のレーンマークであり、前記決定部は、前記第1撮像画像のうち垂直方向の位置が前記第1位置以下である領域内で前記抽出対象領域を決定することが好ましい。 In the present invention, the predetermined object is a lane mark on a road, and the determination unit includes the extraction target region within a region where a vertical position of the first captured image is equal to or less than the first position. Is preferably determined.
第2カメラは、第1カメラよりも下部であるが、少なくとも車両が走行する道路よりも上の位置に配置される。このため、第1撮像画像内のうち垂直方向の位置が第2カメラが配置されている高さに対応する位置(第1位置)より上の領域(以下、「第1上部領域」という)に、レーンマークの画像部分が含まれる可能性は低い。 The second camera is lower than the first camera, but is disposed at least above the road on which the vehicle travels. For this reason, the vertical position in the first captured image is an area above the position (first position) corresponding to the height at which the second camera is disposed (hereinafter referred to as “first upper area”). The possibility that the image portion of the lane mark is included is low.
そこで、決定部は、第1撮像画像のうち垂直方向の位置が第1位置以下である領域(以下、「第1下部領域」という)を抽出対象領域として決定する。そして、抽出部は、第1撮像画像からレーンマークの画像部分が含まれる可能性が低い第1上部領域を除いて、第1下部領域に対してレーンマークを抽出する画像処理を行う。従って、第1撮像画像(撮像画像)から所定の対象物(レーンマーク)の画像部分を抽出するときの演算負荷を軽減できる。 Therefore, the determination unit determines an area (hereinafter, referred to as “first lower area”) whose vertical position is equal to or less than the first position in the first captured image as an extraction target area. Then, the extraction unit performs image processing for extracting the lane mark from the first lower area except for the first upper area where the possibility of including the image portion of the lane mark is low from the first captured image. Therefore, it is possible to reduce the calculation load when extracting the image portion of the predetermined object (lane mark) from the first captured image (captured image).
本発明において、前記所定の対象物は、前記車両の進行方向に存在する立体物であり、前記決定部は、前記第1撮像画像のうち垂直方向の位置が前記第1位置以上である領域内で前記抽出対象領域を決定することが好ましい。 In the present invention, the predetermined object is a three-dimensional object that exists in the traveling direction of the vehicle, and the determination unit is within an area where a vertical position of the first captured image is equal to or greater than the first position. It is preferable that the extraction target area is determined by
車両の進行方向に存在する立体物はある程度の高さがあるので、第1撮像画像における当該立体物の画像部分は、第1撮像画像のうち垂直方向の位置が第1位置以上である領域(以下、「第2上部領域」という)に存在する可能性が高い。そこで、決定部は、第2上部領域を抽出対象領域として決定する。そして、抽出部は、第1撮像画像から立体物の画像部分が含まれる可能性が低い、第1位置よりも下の領域(以下、「第2下部領域」という)を除いて、第2上部領域に対して立体物を抽出する画像処理を行う。従って、第1撮像画像(撮像画像)から所定の対象物(車両の進行方向に存在する立体物)の画像部分を抽出するときの演算負荷を軽減できる。 Since the three-dimensional object existing in the traveling direction of the vehicle has a certain height, the image portion of the three-dimensional object in the first captured image is an area in which the vertical position of the first captured image is equal to or higher than the first position ( Hereinafter, there is a high possibility of being present in the “second upper region”. Therefore, the determination unit determines the second upper region as the extraction target region. Then, the extraction unit excludes a region below the first position (hereinafter referred to as “second lower region”), which is unlikely to include the image portion of the three-dimensional object from the first captured image. Image processing for extracting a three-dimensional object is performed on the region. Therefore, it is possible to reduce a calculation load when extracting an image portion of a predetermined object (a three-dimensional object existing in the traveling direction of the vehicle) from the first captured image (captured image).
本発明において、前記決定部は、前記第1撮像画像のうち垂直方向の位置が前記第1位置以上である領域と、前記第1位置以上である領域から前記第1位置より下である領域に連続している画像部分のうちの前記第1位置より下の部分とからなる領域内で、前記抽出対象領域を決定することが好ましい。第1撮像画像における当該立体物の画像部分は、第2上部領域から第2下部領域に連続して存在することが多い。従って、決定部が、第2上部領域に加え第2上部領域から第2下部領域に連続している画像部分を含めて抽出対象領域を決定することで、抽出部が、より適切に立体物の画像部分を抽出できる。 In the present invention, the determination unit includes a region in which a vertical position is not less than the first position in the first captured image, and a region below the first position from the region not less than the first position. It is preferable that the extraction target region is determined within a region including a portion below the first position among continuous image portions. The image portion of the three-dimensional object in the first captured image often exists continuously from the second upper region to the second lower region. Therefore, the determining unit determines the extraction target region including the image portion continuous from the second upper region to the second lower region in addition to the second upper region, so that the extracting unit more appropriately detects the three-dimensional object. The image part can be extracted.
本発明において、前記第2検知部は、前記第2撮像画像内における無限遠点を、当該第2撮像画像内における前記第2カメラが配置されている高さに対応する位置として検知することができる。 In the present invention, the second detection unit may detect an infinite point in the second captured image as a position corresponding to a height at which the second camera is disposed in the second captured image. it can.
本発明において、前記第1検知部は、同一の対象物の画像部分を、前記第1撮像画像と前記第2撮像画像とから抽出することで、前記第2位置に対応する前記第1撮像画像内における位置を前記第1位置として検知することが好ましい。この構成によれば、第1検知部は、第1撮像画像と第2撮像画像とに共通する画像部分を検知する。これにより、第2撮像画像の各画素の位置に対応する第1撮像画像における位置の関係が分かる。従って、第1検知部は、第2撮像画像の第2位置に対応する第1撮像画像内における位置を第1位置として検知できる。 In the present invention, the first detection unit extracts the first captured image corresponding to the second position by extracting an image portion of the same object from the first captured image and the second captured image. It is preferable that the position inside is detected as the first position. According to this configuration, the first detection unit detects an image portion common to the first captured image and the second captured image. Thereby, the relationship of the position in the 1st captured image corresponding to the position of each pixel of the 2nd captured image is known. Therefore, the first detection unit can detect a position in the first captured image corresponding to the second position of the second captured image as the first position.
以下、本発明の画像処理装置の実施形態について説明する。図1を参照して、本実施形態の画像処理装置1は、車両Cに搭載して使用される。 Hereinafter, embodiments of the image processing apparatus of the present invention will be described. With reference to FIG. 1, an image processing apparatus 1 according to the present embodiment is mounted on a vehicle C and used.
画像処理装置1は、画像抽出装置10(本発明における「抽出部」に相当する)と、第1カメラ20と、第2カメラ30とを備える。 The image processing apparatus 1 includes an image extraction apparatus 10 (corresponding to an “extraction unit” in the present invention), a first camera 20, and a second camera 30.
第1カメラ20は、車両Cの前方をフロントウィンドウ越しに撮像するように、光軸を車両Cの前後方向に合わせて車内に取り付けられている。第1カメラ20は、その撮像のためのレンズが所謂標準レンズで構成されており,該レンズの光軸方向(車両Cの前方向)を比較的遠方まで撮像可能である。 The first camera 20 is mounted in the vehicle with its optical axis aligned with the front-rear direction of the vehicle C so as to capture the front of the vehicle C through the front window. In the first camera 20, a lens for imaging is configured by a so-called standard lens, and the optical axis direction (front direction of the vehicle C) of the lens can be imaged to a relatively far distance.
なお、カメラ20の取付部を原点として、車両Cの左右方向(車幅方向)をX軸、上下方向(鉛直方向)をY軸、前後方向(進行方向)をZ軸とした実空間座標系が定義されている。 A real space coordinate system in which the mounting portion of the camera 20 is the origin, the left-right direction (vehicle width direction) of the vehicle C is the X axis, the vertical direction (vertical direction) is the Y axis, and the front-rear direction (traveling direction) is the Z axis. Is defined.
また、第2カメラ30は、車両Cの第1カメラ20よりも下部(フロントバンパー付近)に配置され、光軸を車両Cの前後方向に合わせて配置されている。また、第2カメラ30は、その撮像範囲の少なくとも一部が第1カメラ20の撮像範囲と重複するように設置されている。第2カメラ30は、その撮像のためのレンズが所謂魚眼レンズで構成されており、第1カメラ20よりも広い画角で車両Cの周辺近傍を撮像可能である。 The second camera 30 is disposed below the first camera 20 of the vehicle C (in the vicinity of the front bumper), and the optical axis is disposed in accordance with the longitudinal direction of the vehicle C. Further, the second camera 30 is installed so that at least a part of its imaging range overlaps with the imaging range of the first camera 20. The second camera 30 includes a so-called fish-eye lens as an imaging lens, and can capture the vicinity of the vehicle C with a wider angle of view than the first camera 20.
以下、第1カメラ20で撮像された画像を第1画像I1(本発明における「第1撮像画像」に相当する)といい(図3(a)参照)、第2カメラ30で撮像された画像を第2原画像I2’(本発明における「第2撮像画像」に相当する)という(図3(b)参照)。 Hereinafter, an image captured by the first camera 20 is referred to as a first image I1 (corresponding to a “first captured image” in the present invention) (see FIG. 3A), and an image captured by the second camera 30. Is referred to as a second original image I2 ′ (corresponding to a “second captured image” in the present invention) (see FIG. 3B).
図2を参照して、画像抽出装置10は、CPU及びメモリ等により構成された電子ユニットであり、第1カメラ20及び第2カメラ30の映像信号が入力される。また、画像抽出装置10は、メモリに保持された車両Cの制御用プログラムをCPUで実行することによって、第1検知部11、変換部12、第2検知部13、決定部14、及び対象抽出部15として機能する。 Referring to FIG. 2, the image extraction apparatus 10 is an electronic unit that includes a CPU, a memory, and the like, and receives video signals from the first camera 20 and the second camera 30. In addition, the image extraction apparatus 10 executes a control program for the vehicle C held in the memory by the CPU, whereby the first detection unit 11, the conversion unit 12, the second detection unit 13, the determination unit 14, and the target extraction. It functions as the unit 15.
第1画像I1は標準レンズによって撮像された画像であり、第2原画像I2’は魚眼レンズによって撮像された画像であるので、第1画像I1の画角と第2原画像I2’の画角とは異なっている。また、第1カメラ20及び第2カメラ30は、車両Cに取り付けられた高さが異なる。そのため、各画素に対応する実空間位置が、第1画像I1と第2原画像I2’との間で相違する。そこで、変換部12は、各画像I1,I2’の同一位置(水平方向x及び垂直方向yで表される座標が同一である位置)の画素に対応する実空間の左右方向Xの位置を整合させる処理を行う。 Since the first image I1 is an image captured by a standard lens and the second original image I2 ′ is an image captured by a fisheye lens, the angle of view of the first image I1 and the angle of view of the second original image I2 ′ are Is different. The first camera 20 and the second camera 30 have different heights attached to the vehicle C. Therefore, the real space position corresponding to each pixel is different between the first image I1 and the second original image I2 '. Therefore, the conversion unit 12 matches the position in the left-right direction X of the real space corresponding to the pixel at the same position (position where the coordinates represented by the horizontal direction x and the vertical direction y are the same) of each image I1, I2 ′. To perform the process.
詳細には、変換部12は、第2原画像I2’を第1カメラ20の画角と同一の画角による画像に変換して新たな画像(以下、「第2画像」という。(図3(c)参照))I2を得る(図5のステップST11に相当)。これにより、各画素に対応する実空間の左右方向Xの位置が第1画像I1に整合した第2画像I2が得られる。なお、第2画像I2は、第2原画像I2’に基づいて得られた画像であるので、第2画像I2に基づいて処理することは、第2原画像I2’に基づいて処理することである。 Specifically, the conversion unit 12 converts the second original image I2 ′ into an image having the same angle of view as the angle of view of the first camera 20 (hereinafter referred to as “second image”) (FIG. 3). (See (c))) I2 is obtained (corresponding to step ST11 in FIG. 5). Thereby, the second image I2 in which the position in the left-right direction X of the real space corresponding to each pixel is aligned with the first image I1 is obtained. Since the second image I2 is an image obtained based on the second original image I2 ′, the processing based on the second image I2 is performed based on the second original image I2 ′. is there.
なお、本実施形態においては、変換部12は、第2原画像I2’の各画素に対応する実空間の左右方向Xの位置を第1画像I1に整合させたが、変換部12の他の態様として、第2原画像I2’に対しては当該処理を行わずに、第1画像I1の各画素に対応する実空間の左右方向Xの位置を第2原画像I2’に整合させる処理を行う態様も取り得る。更に、変換部12の他の態様としては、第1画像I1及び第2画像I2の各々に対して、各画素に対応する実空間の左右方向Xの位置を、予め設定した実空間の左右方向Xの位置に整合させる処理を行う態様も取り得る。また、第1カメラ20及び第2カメラ30のレンズの画角が同一(撮像範囲が同一)であり、配置された高さが異なっているだけであるならば、各画素に対応する実空間の左右方向Xの位置が整合しているので、上記のような第1画像I1と第2原画像I2’間の整合処理は不要である。 In the present embodiment, the conversion unit 12 matches the position in the left-right direction X of the real space corresponding to each pixel of the second original image I2 ′ with the first image I1. As an aspect, the second original image I2 ′ is not subjected to the processing, and the processing of matching the position in the left-right direction X of the real space corresponding to each pixel of the first image I1 with the second original image I2 ′. The manner of performing can also be taken. Furthermore, as another aspect of the conversion unit 12, as for each of the first image I1 and the second image I2, the position in the left-right direction X of the real space corresponding to each pixel is set in the left-right direction of the preset real space. A mode of performing a process of aligning with the position of X can also be taken. Further, if the angles of view of the lenses of the first camera 20 and the second camera 30 are the same (the imaging range is the same) and only the arranged heights are different, the real space corresponding to each pixel Since the positions in the left-right direction X are aligned, the alignment process between the first image I1 and the second original image I2 ′ as described above is unnecessary.
次に、第2検知部13は、第2カメラ30が配置されている高さに対応する第2画像I2上の位置である第2位置P2を検知する(図5のステップST12に相当)。 Next, the second detection unit 13 detects a second position P2 that is a position on the second image I2 corresponding to the height at which the second camera 30 is disposed (corresponding to step ST12 in FIG. 5).
第1検知部11は、第1画像I1と第2画像I2と第2位置P2とに基づいて、第2カメラ30が配置されている高さに対応する第1画像I1上の位置である第1位置P1を検知する(図5のステップST14に相当)。 The first detection unit 11 is a position on the first image I1 corresponding to the height at which the second camera 30 is arranged based on the first image I1, the second image I2, and the second position P2. One position P1 is detected (corresponding to step ST14 in FIG. 5).
決定部14は、第1画像I1と第1位置P1とに基づいて、第1画像I1において、所定の対象物T(本実施形態においては、レーンマークT1及び立体物T2である(図3参照))を抽出する対象である抽出対象領域Aを決定する(対象物TがレーンマークT1の場合には図6のステップST21に相当し、対象物Tが立体物T2の場合には図7のステップST31に相当する)。 Based on the first image I1 and the first position P1, the determination unit 14 in the first image I1 is a predetermined object T (in the present embodiment, the lane mark T1 and the three-dimensional object T2 (see FIG. 3). )) Is extracted (corresponding to step ST21 in FIG. 6 when the object T is the lane mark T1, and when the object T is the three-dimensional object T2 in FIG. 7). This corresponds to step ST31).
そして、対象抽出部15は、抽出対象領域Aから対象物T(レーンマークT1及び立体物T2)を抽出する(対象物TがレーンマークT1の場合には図6のステップST22に相当し、対象物Tが立体物T2の場合には図7のステップST32に相当する)。 Then, the object extraction unit 15 extracts the object T (lane mark T1 and three-dimensional object T2) from the extraction object area A (when the object T is the lane mark T1, this corresponds to step ST22 in FIG. If the object T is a three-dimensional object T2, this corresponds to step ST32 in FIG. 7).
ここで、第1位置P1は、第2カメラ30が搭載された高さに対応する位置である。そのため、第1位置P1を境に対象物Tの高さと車両からの距離により、対象物Tが存在する可能性が高い領域を、第1画像I1の全体の領域から絞り込んで抽出対象領域Aに決定することができる。 Here, the first position P1 is a position corresponding to the height at which the second camera 30 is mounted. Therefore, an area where the object T is likely to exist is narrowed down from the entire area of the first image I1 to the extraction target area A based on the height of the object T and the distance from the vehicle with the first position P1 as a boundary. Can be determined.
そして、対象抽出部15は、このように決定された抽出対象領域Aに対して抽出を行うことで、対象物Tが存在する可能性が低い領域についても抽出を行う場合よりも、撮像画像(第1画像I1)から対象物Tの画像部分を抽出するときの演算負荷を軽減できる。 Then, the target extraction unit 15 performs extraction on the extraction target area A determined in this manner, so that a captured image ( The calculation load when extracting the image portion of the target T from the first image I1) can be reduced.
以下、図4〜図8を参照して、画像抽出装置10が実行する処理(図4〜図7)について説明する。画像抽出装置10は、所定の制御周期(例えば、10 msec)毎に図4のフローチャートによる処理を実行して、第1画像I1から対象物Tを抽出している。 Hereinafter, the process (FIGS. 4 to 7) executed by the image extraction apparatus 10 will be described with reference to FIGS. The image extraction apparatus 10 extracts the object T from the first image I1 by executing the process according to the flowchart of FIG. 4 at every predetermined control period (for example, 10 msec).
画像抽出装置10は、図4の最初のステップST1では、前処理として、第1画像I1における第1位置P1を検知する処理を行う(図5参照)。画像抽出装置10は、続いてステップST2に進み、第1位置P1と第1画像I1とに基づいて対象物Tの抽出処理を行う。 In the first step ST1 of FIG. 4, the image extraction apparatus 10 performs a process of detecting the first position P1 in the first image I1 as a pre-process (see FIG. 5). Subsequently, the image extraction apparatus 10 proceeds to step ST2, and performs an extraction process of the object T based on the first position P1 and the first image I1.
なお、本実施形態においては、対象物Tは、車両Cが走行している道路における左右の区分線及び道路鋲等のレーンマークT1と、車両Cの進行方向に存在する立体物T2との両方である。すなわち、画像抽出装置10は、第1画像I1から、レーンマークT1と立体物T2との両方を抽出する。 In the present embodiment, the object T includes both the left and right lane markings on the road on which the vehicle C is traveling, the lane mark T1 such as a roadside, and the three-dimensional object T2 that exists in the traveling direction of the vehicle C. It is. That is, the image extraction device 10 extracts both the lane mark T1 and the three-dimensional object T2 from the first image I1.
このため、図4では明記されていないが、画像抽出装置10は、ステップST2において、第1画像I1からレーンマークT1を抽出する処理(図6参照)と、第1画像I1から立体物T2を抽出する処理(図7参照)とを並列に処理している。なお、これらの処理としては、並列に処理される態様ではなく、直列に処理される態様も取り得る。 Therefore, although not explicitly shown in FIG. 4, the image extraction apparatus 10 extracts the lane mark T1 from the first image I1 (see FIG. 6) and the three-dimensional object T2 from the first image I1 in step ST2. The extraction process (see FIG. 7) is performed in parallel. In addition, as these processes, the aspect processed not in parallel but the aspect processed in series can also be taken.
次に、図4のステップST1の詳細について、図5を参照して説明する。 Next, details of step ST1 in FIG. 4 will be described with reference to FIG.
画像抽出装置10は、まず最初のステップST11で、第2原画像I2’(魚眼レンズによって撮像された画像。図3(b)参照)を、第1カメラ20の撮像レンズと同じ標準レンズの画角による撮像画像に変換して画像I2''を得る(図3(c)参照)。 In the first step ST11, the image extraction apparatus 10 first converts the second original image I2 ′ (image captured by the fisheye lens; see FIG. 3B) to the same standard lens angle as the imaging lens of the first camera 20. The image I2 ″ is obtained by converting into a captured image (see FIG. 3C).
また、本実施形態においては、第2カメラ30の撮像レンズは魚眼レンズであるので、撮像レンズとして標準レンズを備える第1カメラ20の画角に比べて、第2カメラ30の画角は大きい。そこで、画像抽出装置10は、該変換された画像I2''の画角(すなわち、第2カメラ30の画角)を第1カメラ20の画角に合わせた画像(すなわち、第2画像)I2を抽出する(図3(c)参照)。 In the present embodiment, since the imaging lens of the second camera 30 is a fisheye lens, the angle of view of the second camera 30 is larger than the angle of view of the first camera 20 having a standard lens as the imaging lens. Therefore, the image extraction device 10 matches the angle of view of the converted image I2 ″ (ie, the angle of view of the second camera 30) with the angle of view of the first camera 20 (ie, the second image) I2. Is extracted (see FIG. 3C).
続いて、画像抽出装置10は、ステップST12に進み、第2カメラ30が配置されている高さに対応する第2画像I2上の位置である第2位置P2を検知する。本実施形態において、画像抽出装置10は、第2画像I2内における無限遠点Piを、第2画像I2内における第2カメラ30が配置されている高さに対応する位置として検知している。なお、画像抽出装置10の態様としては、第2画像I2内における無限遠点Piを第2位置P2として検知する態様だけではなく、他の位置を第2位置P2として検知する態様も取り得る。 Subsequently, the image extracting apparatus 10 proceeds to step ST12, and detects a second position P2, which is a position on the second image I2 corresponding to the height at which the second camera 30 is disposed. In the present embodiment, the image extraction device 10 detects the infinity point Pi in the second image I2 as a position corresponding to the height at which the second camera 30 is disposed in the second image I2. As an aspect of the image extraction device 10, not only an aspect in which the infinity point Pi in the second image I2 is detected as the second position P2, but also an aspect in which another position is detected as the second position P2 can be taken.
続いて、画像抽出装置10は、ステップST13に進み、同一の対象物Tの画像部分を第1画像I1と第2画像I2とから抽出するマッチング処理を行う。詳細には、画像抽出装置10は、各画像I1,I2の垂直方向y(図3の上下方向)に、SSD(Sum of Squared Difference)又はSAD(Sum of Absolute Difference)を用いて、各画像I1,I2の画像間の類似度又は相違度を算出する。そして、該算出された類似度又は相違度によって、類似している度合が大きくなるように、各画像I1,I2間の垂直方向yのずらし量を決定する。 Subsequently, the image extraction apparatus 10 proceeds to step ST13, and performs a matching process for extracting the image portion of the same object T from the first image I1 and the second image I2. Specifically, the image extraction apparatus 10 uses each image I1 using SSD (Sum of Squared Difference) or SAD (Sum of Absolute Difference) in the vertical direction y (vertical direction in FIG. 3) of each image I1, I2. , I2 similarity or dissimilarity is calculated. Then, the shift amount in the vertical direction y between the images I1 and I2 is determined so that the degree of similarity is increased according to the calculated similarity or difference.
該決定された垂直方向yのずらし量により、画像I1,I2の各々において、実空間の鉛直方向Yにおける同一位置に対応する位置が取得される。 A position corresponding to the same position in the vertical direction Y of the real space is acquired in each of the images I1 and I2 by the determined shift amount in the vertical direction y.
上述したステップST11で各画像I1,I2において各画素に対応する実空間の左右方向Xの位置が整合されているので、該マッチング処理によって上記ずらし量が決定されることにより、画像I1,I2の各々において、実空間の左右方向X及び鉛直方向Yにおける同一位置に対応する各画素の位置(水平方向x及び垂直方向yで表される座標)が分かる。 Since the positions of the real spaces corresponding to the respective pixels in the images I1 and I2 in the step ST11 described above are aligned in the left-right direction X, the shift amount is determined by the matching process, so that the images I1 and I2 In each, the position of each pixel corresponding to the same position in the left-right direction X and the vertical direction Y in the real space (coordinates represented by the horizontal direction x and the vertical direction y) is known.
このため、画像抽出装置10は、ステップST13に続くステップST14において、第2位置P2に対応する第1画像I1内における位置を第1位置P1として検知している。 For this reason, the image extracting apparatus 10 detects the position in the first image I1 corresponding to the second position P2 as the first position P1 in step ST14 following step ST13.
以上が、図4のステップST1の詳細である。 The above is the detail of step ST1 of FIG.
次に、第1画像I1からレーンマークT1を抽出する場合における図4のステップST2の詳細について図6を参照して説明する。 Next, details of step ST2 of FIG. 4 when the lane mark T1 is extracted from the first image I1 will be described with reference to FIG.
画像抽出装置10は、まず最初のステップST21で、第1画像I1において、その垂直方向yの位置が第1位置P1以下である領域(以下、「第1下部領域」という)内で抽出対象領域Aを決定する。以降の説明では、第1画像I1からレーンマークT1を抽出する場合における抽出対象領域Aを「第1領域A1」という。 In the first step ST21, the image extraction apparatus 10 first extracts an extraction target area within an area where the position in the vertical direction y is not more than the first position P1 (hereinafter referred to as “first lower area”) in the first image I1. A is determined. In the following description, the extraction target area A in the case where the lane mark T1 is extracted from the first image I1 is referred to as “first area A1”.
本実施形態では、画像抽出装置10は、第1画像I1において、第1下部領域全てを第1領域A1として決定する(図8(a)参照)。なお、画像抽出装置10の態様としては、第1画像I1において、第1下部領域の一部の領域を第1領域として決定するような態様も取り得る。 In the present embodiment, the image extraction device 10 determines all the first lower regions as the first region A1 in the first image I1 (see FIG. 8A). In addition, as an aspect of the image extraction apparatus 10, the aspect which determines the one part area | region of a 1st lower area | region in the 1st image I1 as a 1st area | region can also be taken.
第2カメラ30は、第1カメラ20よりも下部であるが、少なくとも車両Cが走行する道路よりも上の位置に配置される。このため、第1画像I1内のうち垂直方向yの位置が第2カメラ30が配置されている高さに対応する第1位置P1より上の領域(以下、「第1上部領域」という)に、レーンマークT1の画像部分が含まれる可能性は低い。すなわち、上記のように決定された第1領域A1は、第1画像I1から、レーンマークT1の画像部分が含まれる可能性が低い領域が除外された領域である。 The second camera 30 is lower than the first camera 20 but is disposed at least above the road on which the vehicle C travels. For this reason, the position in the vertical direction y in the first image I1 is an area above the first position P1 corresponding to the height at which the second camera 30 is disposed (hereinafter referred to as “first upper area”). The possibility that the image portion of the lane mark T1 is included is low. That is, the first area A1 determined as described above is an area in which an area that is unlikely to include the image portion of the lane mark T1 is excluded from the first image I1.
そして、画像抽出装置10は、続いて、ステップST22に進み、第1領域A1内からレーンマークT1を抽出する。例えば、画像抽出装置10は、輝度の変化等を検知してレーンマーク(区分線及び道路鋲等)のエッジ線を抽出することで、車両Cが走行している道路の左側及び右側の各々に配置されているレーンマークを抽出している。左側レーンマーク及び右側レーンマークの各々として検知する。 Then, the image extracting apparatus 10 proceeds to step ST22 and extracts the lane mark T1 from the first area A1. For example, the image extraction apparatus 10 detects changes in luminance and the like and extracts edge lines of lane marks (eg, division lines and road fences) so that each of the left and right sides of the road on which the vehicle C is traveling can be obtained. The arranged lane mark is extracted. Detect as left lane mark and right lane mark.
上述したように、第1領域A1は、レーンマークT1の画像部分が含まれる可能性が低い領域が、第1画像I1から除外された領域である。従って、第1領域A1からレーンマークT1の抽出を行うことで、レーンマークT1が存在する可能性が低い領域についても抽出を行う場合(すなわち、第1画像I1全体からレーンマークT1を抽出する場合等)よりも、第1画像I1からレーンマークT1の画像部分を抽出するときの演算負荷を軽減できる。 As described above, the first region A1 is a region in which the region that is unlikely to include the image portion of the lane mark T1 is excluded from the first image I1. Therefore, by extracting the lane mark T1 from the first area A1, when extracting also the area where the possibility that the lane mark T1 exists is low (that is, when extracting the lane mark T1 from the entire first image I1). And the like, the calculation load when extracting the image portion of the lane mark T1 from the first image I1 can be reduced.
以上が、第1画像I1からレーンマークT1を抽出する場合における図4のステップST2の詳細である。 The above is the details of step ST2 in FIG. 4 when the lane mark T1 is extracted from the first image I1.
次に、第1画像I1から立体物T2を抽出する場合における図4のステップST2の詳細について図7を参照して説明する。 Next, details of step ST2 in FIG. 4 in the case of extracting the three-dimensional object T2 from the first image I1 will be described with reference to FIG.
画像抽出装置10は、まず最初のステップST31で、第1画像I1において、その垂直方向yの位置が第1位置P1以上である領域(以下、「第2上部領域」という)内で抽出対象領域Aを決定する。以降の説明では、第1画像I1から立体物T2を抽出する場合における抽出対象領域Aを「第2領域A2」という。 In the first step ST31, the image extraction apparatus 10 first extracts an extraction target area within an area (hereinafter referred to as “second upper area”) in the first image I1 whose vertical position y is equal to or higher than the first position P1. A is determined. In the following description, the extraction target area A when the three-dimensional object T2 is extracted from the first image I1 is referred to as “second area A2”.
本実施形態では、画像抽出装置10は、第1画像I1において、まず第2上部領域全てを第2領域A2として決定する(図8(b)参照)。 In the present embodiment, the image extraction apparatus 10 first determines all the second upper areas as the second areas A2 in the first image I1 (see FIG. 8B).
車両Cの進行方向に存在する立体物T2はある程度の高さがあるので、第1画像I1における当該立体物T2の画像部分は、第2上部領域に存在する可能性が高い。すなわち、上記のように決定された第2領域A2は、第1画像I1から立体物T2の画像部分が含まれる可能性が低い領域が除外された領域である。 Since the three-dimensional object T2 present in the traveling direction of the vehicle C has a certain height, there is a high possibility that the image portion of the three-dimensional object T2 in the first image I1 exists in the second upper region. That is, the second area A2 determined as described above is an area in which an area that is unlikely to include the image portion of the three-dimensional object T2 is excluded from the first image I1.
更に、第2上部領域に加えて、第1画像I1において、第2上部領域から第1位置P1よりも下の領域(以下、「第2下部領域」という)に連続している画像部分のうちの第1位置P1よりも下の領域(以下、この領域を「連続領域」という)A2Uを第2領域A2として決定する。 Furthermore, in addition to the second upper region, in the first image I1, among image portions that are continuous from the second upper region to a region below the first position P1 (hereinafter referred to as “second lower region”). An area A2U below the first position P1 (hereinafter referred to as “continuous area”) A2U is determined as the second area A2.
第1画像I1における立体物T2の画像部分は、第2上部領域から第2下部領域に連続して存在することが多い。従って、画像抽出装置10は、第2上部領域に加え、第2上部領域から第2下部領域に連続している画像部分を含めて第2領域A2を決定することで、より適切に第2領域A2に立体物T2を含めることができる。 The image portion of the three-dimensional object T2 in the first image I1 often exists continuously from the second upper region to the second lower region. Therefore, the image extraction apparatus 10 determines the second region A2 more appropriately by including the image portion continuous from the second upper region to the second lower region in addition to the second upper region, thereby more appropriately A two-dimensional object T2 can be included in A2.
なお、画像抽出装置10の態様としては、第1画像I1において、第1位置P1よりも第2上部領域の一部の領域を第2領域として決定するような態様も取り得る。また、画像抽出装置10の態様としては、連続領域A2Uを第2領域とせずに、第2上部領域内のみで第2領域を決定する態様も取り得る。 In addition, as an aspect of the image extraction apparatus 10, the aspect which determines the one part area | region of 2nd upper area | region from the 1st position P1 in the 1st image I1 can also be taken. Moreover, as an aspect of the image extraction apparatus 10, the aspect which determines the 2nd area | region only within a 2nd upper area | region without taking continuous area A2U as a 2nd area | region can also be taken.
画像抽出装置10は、続いて、ステップST32に進み、第2領域A2内から立体物T2を抽出する。詳細には、画像抽出装置10は、第2領域A2から抽出された画像部分に対して車両又は歩行者等のような特徴を有するか否かを判定することで、所定種別(車両又は歩行者等)の立体物を抽出する。 Subsequently, the image extracting apparatus 10 proceeds to step ST32 and extracts the three-dimensional object T2 from the second area A2. Specifically, the image extraction device 10 determines whether or not the image portion extracted from the second area A2 has a feature such as a vehicle or a pedestrian, thereby determining a predetermined type (vehicle or pedestrian). And the like) are extracted.
上述したように、第2領域A2は、立体物T2の画像部分が含まれる可能性が低い領域が、第1画像I1から除外された領域である。従って、第2領域A2から立体物T2の抽出を行うことで、立体物T2が存在する可能性が低い領域についても抽出を行う場合(すなわち、第1画像I1全体から立体物T2を抽出する場合等)よりも、第1画像I1から立体物T2の画像部分を抽出するときの演算負荷を軽減できる。 As described above, the second region A2 is a region in which the region that is unlikely to include the image portion of the three-dimensional object T2 is excluded from the first image I1. Therefore, by extracting the three-dimensional object T2 from the second area A2, when extracting also the area where the possibility that the three-dimensional object T2 exists is low (that is, when extracting the three-dimensional object T2 from the entire first image I1). And the like, the calculation load when extracting the image portion of the three-dimensional object T2 from the first image I1 can be reduced.
以上が、第1画像I1から立体物T2を抽出する場合における図4のステップST2の詳細である。 The above is the details of step ST2 in FIG. 4 when the three-dimensional object T2 is extracted from the first image I1.
なお、本実施形態では、対象物Tは、レーンマークT1及び立体物T2であったが、このいずれかのみであってもよいし、又はこれ以外のものが対象物であってもよい。 In the present embodiment, the target object T is the lane mark T1 and the three-dimensional object T2. However, only one of these may be used, or the other object may be the target object.
1…画像処理装置、C…車両、20…第1カメラ、30…第2カメラ、10…画像抽出装置(抽出部)、11…第1検知部、13…第2検知部、14…決定部、I1…第1画像(第1撮像画像)、I2’…第2原画像(第2撮像画像)、P1…第1位置、P2…第2位置、A1…第1領域(抽出対象領域)、A2…第2領域(抽出対象領域)、T…対象物(所定の対象物)、T1…レーンマーク(所定の対象物)、T2…立体物(所定の対象物)、y…垂直方向。
DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus, C ... Vehicle, 20 ... 1st camera, 30 ... 2nd camera, 10 ... Image extraction apparatus (extraction part), 11 ... 1st detection part, 13 ... 2nd detection part, 14 ... Determination part , I1 ... first image (first captured image), I2 '... second original image (second captured image), P1 ... first position, P2 ... second position, A1 ... first area (extraction target area), A2 ... second area (extraction target area), T ... target object (predetermined target object), T1 ... lane mark (predetermined target object), T2 ... three-dimensional object (predetermined target object), y ... vertical direction.
Claims (6)
前記車両の前記第1カメラよりも下部に配置され、該車両の進行方向の前記第1カメラの撮像範囲と重複する撮像範囲を有する第2カメラと、
前記第1カメラによる第1撮像画像、及び前記第2カメラによる第2撮像画像に基づいて、前記第1撮像画像から所定の対象物の画像部分を抽出する抽出部とを備え、
前記抽出部は、
前記第2カメラが配置されている高さに対応する前記第2撮像画像上の位置である第2位置を検知する第2検知部と、
前記第1撮像画像と前記第2撮像画像と前記第2位置とに基づいて、前記第2カメラが配置されている高さに対応する前記第1撮像画像上の位置である第1位置を検知する第1検知部と、
前記第1撮像画像と前記第1位置とに基づいて、前記第1撮像画像において、前記所定の対象物を抽出する対象である抽出対象領域を決定する決定部とを備えることを特徴とする画像処理装置。 A first camera mounted on a vehicle for imaging the traveling direction of the vehicle;
A second camera disposed below the first camera of the vehicle and having an imaging range overlapping the imaging range of the first camera in the traveling direction of the vehicle;
An extraction unit that extracts an image portion of a predetermined object from the first captured image based on a first captured image by the first camera and a second captured image by the second camera;
The extraction unit includes:
A second detection unit that detects a second position that is a position on the second captured image corresponding to a height at which the second camera is disposed;
Based on the first captured image, the second captured image, and the second position, a first position that is a position on the first captured image corresponding to a height at which the second camera is disposed is detected. A first detector that
An image comprising: a determining unit that determines an extraction target region that is a target for extracting the predetermined target in the first captured image based on the first captured image and the first position. Processing equipment.
前記所定の対象物は、道路上のレーンマークであり、
前記決定部は、前記第1撮像画像のうち垂直方向の位置が前記第1位置以下である領域内で前記抽出対象領域を決定することを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The predetermined object is a lane mark on a road,
The determination unit determines the extraction target region within a region in which a vertical position is equal to or less than the first position in the first captured image.
前記所定の対象物は、前記車両の進行方向に存在する立体物であり、
前記決定部は、前記第1撮像画像のうち垂直方向の位置が前記第1位置以上である領域内で前記抽出対象領域を決定することを特徴とする画像処理装置。 The image processing apparatus according to claim 1 or 2,
The predetermined object is a three-dimensional object existing in the traveling direction of the vehicle,
The determining unit determines the extraction target region within a region of the first captured image whose vertical position is equal to or greater than the first position.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013098750A JP5822866B2 (en) | 2013-05-08 | 2013-05-08 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013098750A JP5822866B2 (en) | 2013-05-08 | 2013-05-08 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014219845A true JP2014219845A (en) | 2014-11-20 |
JP5822866B2 JP5822866B2 (en) | 2015-11-25 |
Family
ID=51938227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013098750A Expired - Fee Related JP5822866B2 (en) | 2013-05-08 | 2013-05-08 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5822866B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018526873A (en) * | 2015-08-14 | 2018-09-13 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH | Vehicle-mounted camera means for photographing the periphery of the vehicle, and driver assistant device for object recognition provided with such vehicle-mounted camera means |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008038370A1 (en) * | 2006-09-28 | 2008-04-03 | Pioneer Corporation | Traffic information detector, traffic information detecting method, traffic information detecting program, and recording medium |
JP2011154480A (en) * | 2010-01-26 | 2011-08-11 | Fujitsu Ltd | Program and device for detection of lane |
-
2013
- 2013-05-08 JP JP2013098750A patent/JP5822866B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008038370A1 (en) * | 2006-09-28 | 2008-04-03 | Pioneer Corporation | Traffic information detector, traffic information detecting method, traffic information detecting program, and recording medium |
JP2011154480A (en) * | 2010-01-26 | 2011-08-11 | Fujitsu Ltd | Program and device for detection of lane |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018526873A (en) * | 2015-08-14 | 2018-09-13 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH | Vehicle-mounted camera means for photographing the periphery of the vehicle, and driver assistant device for object recognition provided with such vehicle-mounted camera means |
US10869002B2 (en) | 2015-08-14 | 2020-12-15 | Conti Temic Microelectronic Gmbh | Vehicle camera device for capturing the surroundings of a motor vehicle and driver assistance device for detecting objects with such a vehicle camera device |
Also Published As
Publication number | Publication date |
---|---|
JP5822866B2 (en) | 2015-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9547795B2 (en) | Image processing method for detecting objects using relative motion | |
JP6013884B2 (en) | Object detection apparatus and object detection method | |
JP4930046B2 (en) | Road surface discrimination method and road surface discrimination device | |
JP5752618B2 (en) | Stereo parallax calculation device | |
JP6561512B2 (en) | Parallax value deriving device, moving body, robot, parallax value deriving method, parallax value producing method, and program | |
WO2017138245A1 (en) | Image processing device, object recognition device, device control system, and image processing method and program | |
JP4872769B2 (en) | Road surface discrimination device and road surface discrimination method | |
JP6743882B2 (en) | Image processing device, device control system, imaging device, image processing method, and program | |
US10165246B2 (en) | Method and device for processing stereoscopic data | |
JP6307037B2 (en) | Obstacle detection method and apparatus | |
JP6597792B2 (en) | Image processing apparatus, object recognition apparatus, device control system, image processing method and program | |
WO2017104574A1 (en) | Image processing device, object recognition device, apparatus control system, image processing method and program | |
JP5430232B2 (en) | Road direction recognition method and apparatus | |
JP6617150B2 (en) | Object detection method and object detection apparatus | |
JP2008309519A (en) | Object detection device using image processing | |
JP6204782B2 (en) | Off-road dump truck | |
JP2009069119A (en) | Road surface condition estimating device for vehicle | |
JP2012252501A (en) | Traveling path recognition device and traveling path recognition program | |
JP6701905B2 (en) | Detection device, parallax value derivation device, object recognition device, device control system, and program | |
WO2014054124A1 (en) | Road surface markings detection device and road surface markings detection method | |
JP2008286648A (en) | Distance measuring device, distance measuring system, and distance measuring method | |
JP4754434B2 (en) | Road surface estimation device | |
JP5822866B2 (en) | Image processing device | |
KR101371875B1 (en) | A vehicle detection and distance measurement system and method between the vehicles using stereo vision | |
JP2015215235A (en) | Object detection device and object detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150407 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151006 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5822866 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |