JP2862199B2 - Vehicle recognition device - Google Patents
Vehicle recognition deviceInfo
- Publication number
- JP2862199B2 JP2862199B2 JP5147025A JP14702593A JP2862199B2 JP 2862199 B2 JP2862199 B2 JP 2862199B2 JP 5147025 A JP5147025 A JP 5147025A JP 14702593 A JP14702593 A JP 14702593A JP 2862199 B2 JP2862199 B2 JP 2862199B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- extracting
- image
- extracted
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明は、自動車の予防安全技術
に応用可能なもので、画像処理技術を用いて自車両の走
行している車線領域内の前方車両を認識する装置に関す
るものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus which can be applied to preventive safety technology for automobiles, and relates to an apparatus for recognizing a preceding vehicle in a lane region in which the own vehicle is traveling by using image processing technology. .
【０００２】[0002]
【従来の技術】従来、この種の前方車両を認識する装置
としては、例えば特開平１−２８１６００号公報に記載
されているように、画像中から抽出したエッジを追跡す
ることによって前方車両の存在する領域を抽出するもの
があった。2. Description of the Related Art Conventionally, as an apparatus for recognizing a vehicle in front of this kind, for example, as described in Japanese Patent Application Laid-Open No. 1-281600, the presence of a vehicle in front is tracked by tracking edges extracted from an image. There is one that extracts a region to be processed.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、このよ
うな従来の車両認識装置においては、エッジ抽出処理に
よって抽出された車両エッジに途切れがあるような場合
には領域を正確に抽出することが出来ないといった課題
を有していた。However, such a conventional vehicle recognition apparatus cannot accurately extract a region when a vehicle edge extracted by the edge extraction processing is interrupted. There was such a problem.
【０００４】本発明は以上のような従来の車両認識装置
の課題を解決するもので、動的輪郭モデルの手法を用い
ることによって、車両の存在する領域を囲む閉曲線の抽
出を安定して行うものである。また、動的輪郭モデルの
手法では、初期モデルを対象物の輪郭付近に手入力で与
えてやるものが一般的であるが、本発明では道路画像か
ら抽出したエッジ情報を基に、動的輪郭モデルの初期値
を自動的に設定する装置を提供することを第１の目的と
している。[0004] The present invention solves the above-mentioned problems of the conventional vehicle recognition apparatus, and stably extracts a closed curve surrounding an area where a vehicle exists by using a method of an active contour model. It is. Further, in the method of the active contour model, an initial model is generally given by hand input near the contour of the object, but in the present invention, the dynamic contour is determined based on edge information extracted from a road image. A first object is to provide an apparatus for automatically setting an initial value of a model.
【０００５】また、前方車両の左右対称性を利用して入
力画像内から線対称領域を抽出することにより、動的輪
郭モデルの適切な初期値を自動的に設定する装置を提供
することを第２の目的としている。It is another object of the present invention to provide an apparatus for automatically setting an appropriate initial value of an active contour model by extracting a line symmetric region from an input image using the left-right symmetry of a vehicle ahead. It has two purposes.
【０００６】さらに、前方車両の大まかな車両種別を自
動的に判定し、車両種別に応じた適切な動的輪郭モデル
の初期値を設定する装置を提供することを第３の目的と
している。It is a third object of the present invention to provide an apparatus for automatically determining a rough vehicle type of a preceding vehicle and setting an appropriate initial value of an active contour model according to the vehicle type.
【０００７】[0007]
【課題を解決するための手段】上記第１の目的を達成す
るために本発明においては、車両に搭載した前方撮影用
の画像入力手段と、前記画像入力手段からの入力画像を
記憶する画像記憶手段と、前記画像記憶手段に記憶され
ている道路画像から車線領域を抽出する車線領域抽出手
段と、前記車線領域抽出手段によって抽出された車線領
域に基づいて前記画像記憶手段に記憶されている道路画
像からエッジ成分を抽出して前方車両が存在するであろ
う大局的な領域を抽出する車両エッジ抽出手段と、前記
車両エッジ抽出手段によって抽出された前方車両の大局
的存在領域を基に動的輪郭モデルの初期値を設置する初
期モデル設置手段と、前記初期モデル設置手段によって
設置された初期値に基づいて前記画像記憶手段に記憶さ
れている道路画像から前方車両の輪郭を抽出する輪郭抽
出手段とを備えたものである。In order to achieve the first object, the present invention provides an image input means mounted on a vehicle for photographing forward, and an image storage for storing an input image from the image input means. Means, a lane area extracting means for extracting a lane area from the road image stored in the image storing means, and a road stored in the image storing means based on the lane area extracted by the lane area extracting means. A vehicle edge extracting means for extracting an edge component from the image to extract a global area where a vehicle ahead may exist, and a dynamic area based on the global presence area of the vehicle ahead extracted by the vehicle edge extracting means Initial model setting means for setting an initial value of the contour model; and a road image stored in the image storage means based on the initial value set by the initial model setting means. It is obtained by a contour extraction means for extracting a contour of Luo vehicle ahead.
【０００８】また上記第２の目的を達成するために、車
両に搭載した前方撮影用の画像入力手段と、前記画像入
力手段からの入力画像を記憶する画像記憶手段と、前記
画像記憶手段に記憶されている道路画像から車線領域を
抽出する車線領域抽出手段と、前記車線領域抽出手段に
よって抽出された車線領域に基づいて前記画像記憶手段
に記憶されている道路画像からエッジ成分を抽出して前
方車両が存在するであろう大局的な領域を抽出する車両
エッジ抽出手段と、前記車両エッジ抽出手段によって抽
出された前方車両の大局的存在領域に基づいて前記画像
記憶手段に記憶されている道路画像から線対称領域を抽
出することによって前方車両の存在領域を抽出する対称
領域抽出手段と、前記対称領域抽出手段によって抽出さ
れた前方車両の存在領域を基に動的輪郭モデルの初期値
を設置する初期モデル設置手段と、前記初期モデル設置
手段によって設置された初期値に基づいて前記画像記憶
手段に記憶されている道路画像から前方車両の輪郭を抽
出する輪郭抽出手段とを備えたものである。In order to achieve the second object, an image input means mounted on a vehicle for photographing forward, an image storage means for storing an input image from the image input means, and a storage means for storing the image in the image storage means. A lane region extracting unit for extracting a lane region from the road image being extracted, and an edge component extracted from the road image stored in the image storage unit based on the lane region extracted by the lane region extracting unit. Vehicle edge extracting means for extracting a global area where a vehicle may exist, and a road image stored in the image storage means based on the global presence area of the preceding vehicle extracted by the vehicle edge extracting means Region extracting means for extracting a region where the preceding vehicle is present by extracting a line symmetric region from the symmetric region extracting device; Initial model setting means for setting an initial value of the active contour model based on the area; and a contour of the vehicle ahead based on the road image stored in the image storage means based on the initial value set by the initial model setting means. And a contour extracting means for extracting
【０００９】さらに上記第３の目的を達成するために、
車両に搭載した前方撮影用の画像入力手段と、前記画像
入力手段からの入力画像を記憶する画像記憶手段と、前
記画像記憶手段に記憶されている道路画像から車線領域
を抽出する車線領域抽出手段と、前記車線領域抽出手段
によって抽出された車線領域に基づいて前記画像記憶手
段に記憶されている道路画像からエッジ成分を抽出して
前方車両が存在するであろう大局的な領域を抽出する車
両エッジ抽出手段と、前記車両エッジ抽出手段によって
抽出された前方車両の大局的存在領域に基づいて前記画
像記憶手段に記憶されている道路画像から線対称領域を
抽出することによって前方車両の存在領域を抽出する対
称領域抽出手段と、前方車両の車両種別に応じた様々な
形状の初期モデルを格納している初期モデルデータベー
スと、前記対称領域抽出手段によって抽出された車両存
在領域から前方車両の車両種別を大局的に判断して前記
初期モデルデータベースに蓄積されている初期モデルの
中から適切なものを選択して設定する初期モデル確定手
段と、前記初期モデル確定手段によって設置された初期
値に基づいて前記画像記憶手段に記憶されている道路画
像から前方車両の輪郭を抽出する輪郭抽出手段とを備え
たものである。Further, in order to achieve the third object,
Image input means for forward photographing mounted on a vehicle, image storage means for storing an input image from the image input means, and lane area extraction means for extracting a lane area from a road image stored in the image storage means A vehicle that extracts an edge component from a road image stored in the image storage unit based on the lane region extracted by the lane region extraction unit to extract a global region where a preceding vehicle may exist Edge extracting means, and extracting the line symmetric area from the road image stored in the image storage means based on the global existence area of the preceding vehicle extracted by the vehicle edge extracting means, to determine the existence area of the preceding vehicle Means for extracting a symmetric region to be extracted, an initial model database storing initial models of various shapes according to the vehicle type of the preceding vehicle, Initial model determination means for globally determining the vehicle type of the preceding vehicle from the vehicle presence area extracted by the extraction means, and selecting and setting an appropriate one from among the initial models stored in the initial model database; Contour extracting means for extracting a contour of a preceding vehicle from a road image stored in the image storing means based on an initial value set by the initial model determining means.
【００１０】[0010]
【作用】本発明では、動的輪郭モデルの手法を用いるこ
とによって、車両の存在する領域を囲む閉曲線の抽出を
安定して行うと同時に、道路画像から抽出した様々な情
報を基に、動的輪郭モデルの適切な初期値を自動的に設
定することにより、ノイズなどの対してロバスト性の高
い車両認識を行うことが出来る。According to the present invention, by using the method of the active contour model, the closed curve surrounding the area where the vehicle is present is stably extracted, and at the same time, the dynamic curve is extracted based on various information extracted from the road image. By automatically setting an appropriate initial value of the contour model, it is possible to perform vehicle recognition with high robustness against noise and the like.
【００１１】[0011]
【実施例】以下、本発明の実施例について図面を参照し
ながら説明する。Embodiments of the present invention will be described below with reference to the drawings.
【００１２】図１は、本発明の第１の実施例の車両認識
装置の基本構成を示すブロック図である。１は車両前方
を撮影する画像入力手段であり、図２に示すとおりＣＣ
Ｄカメラを車両前部に運転者の視界を妨げないように設
置することによって実現される。２は画像記憶手段であ
り、画像入力手段１から入力された道路画像をＡ／Ｄ変
換した後に蓄積するものである。３は画像記憶手段２に
記憶されている道路画像から車線領域を抽出する車線領
域抽出手段であり、二値化処理によって抽出された白線
の輪郭点列を直線近似することによって実現される。４
は車線領域抽出手段３で抽出された車線領域に基づいて
車両のエッジを抽出することによって、前方車両が存在
する大まかな領域を抽出する車両エッジ抽出手段であ
る。５は車両エッジ抽出手段４によって抽出された処理
領域に対して動的輪郭モデルの初期モデルを設置する初
期モデル設置手段である。６は画像記憶手段２に記憶さ
れている道路画像から、前記初期モデル設置手段５の出
力を利用して、前方車両の輪郭を抽出する輪郭抽出手段
であり、動的輪郭モデルの手法を用いることにより実現
される。FIG. 1 is a block diagram showing a basic configuration of a vehicle recognition device according to a first embodiment of the present invention. Reference numeral 1 denotes image input means for photographing the front of the vehicle, and as shown in FIG.
This is realized by installing the D camera at the front of the vehicle so as not to obstruct the driver's view. Reference numeral 2 denotes an image storage unit that stores the road image input from the image input unit 1 after A / D conversion. Reference numeral 3 denotes a lane region extracting unit that extracts a lane region from the road image stored in the image storage unit 2, and is realized by linearly approximating the outline point sequence of the white line extracted by the binarization process. 4
Is a vehicle edge extraction unit that extracts a vehicle edge based on the lane region extracted by the lane region extraction unit 3 to extract a rough region where the preceding vehicle exists. Reference numeral 5 denotes initial model setting means for setting an initial model of the active contour model in the processing area extracted by the vehicle edge extracting means 4. Reference numeral 6 denotes a contour extracting means for extracting the contour of the preceding vehicle from the road image stored in the image storing means 2 by using the output of the initial model setting means 5, and using a dynamic contour model method. Is realized by:
【００１３】次に、本発明の第１の実施例における車両
認識装置の動作を、図３に示すフローチャートに従って
説明する。Next, the operation of the vehicle recognition apparatus according to the first embodiment of the present invention will be described with reference to the flowchart shown in FIG.
【００１４】まずステップ１０１では、道路画像データ
の取り込みを行う。画像データの取り込みは、画像入力
手段１を用いて入力した車両前方の道路画像を画像記憶
手段２に蓄積することにより行う。図８に、取り込まれ
た画像の一例を示す。First, at step 101, road image data is fetched. The capture of the image data is performed by storing the road image ahead of the vehicle input using the image input unit 1 in the image storage unit 2. FIG. 8 shows an example of the captured image.
【００１５】ステップ１０２では、車線領域抽出手段３
を用いて車線領域の抽出を行う。車線領域の抽出は、二
値化処理によって抽出された白線輪郭点列を直線近似す
ることによって行う。図４に、この処理の一連の流れを
示す。まずステップ２０１では、左白線の輪郭を抽出す
る処理を行う。左白線の輪郭の抽出は、図９に示すよう
に画像の中心ｌから左方向に走査線を探索していき、輝
度Ｉ（ｘ，ｙ）がしきい値ＴＨi を越える最初の画素を
左白線の内側の輪郭点とする。またステップ２０２で
は、右白線の輪郭を抽出する処理を行う。右白線の輪郭
抽出についても左側と同様にして、図９に示す画像の中
心ｌから右方向に向かって走査線を探索することによっ
て行う。図１０に左右白線の輪郭点列を抽出した結果を
示す。次にステップ２０３では、ステップ２０１で抽出
した左白線の輪郭点列を直線近似する処理を行う。ステ
ップ２０４でも同様にして、ステップ２０２で抽出した
右白線の輪郭点列を直線近似する処理を行う。なお、直
線近似処理にはＨｏｕｇｈ変換の手法を用いる。このよ
うにして、路面上の左右の白線を直線近似することによ
り、自車両の走行している車線領域を抽出する。図１１
に車線領域を抽出した結果を示す。In step 102, the lane area extracting means 3
Is used to extract the lane area. The extraction of the lane region is performed by linearly approximating the white line contour point sequence extracted by the binarization process. FIG. 4 shows a series of flows of this processing. First, in step 201, processing for extracting the contour of the left white line is performed. Contour extraction left white lines, continue to search for the scan line to the left from the center l image as shown in FIG. 9, left the first pixel luminance I (x, y) is greater than the threshold TH i This is the contour point inside the white line. In step 202, a process of extracting the outline of the right white line is performed. The contour extraction of the right white line is performed by searching for the scanning line from the center l of the image shown in FIG. FIG. 10 shows the result of extracting the outline point sequence of the left and right white lines. Next, in step 203, a process of linearly approximating the outline point sequence of the left white line extracted in step 201 is performed. In the same manner as in step 204, a process of linearly approximating the outline point sequence of the right white line extracted in step 202 is performed. Note that the Hough transform technique is used for the linear approximation processing. In this way, the lane region where the vehicle is traveling is extracted by linearly approximating the left and right white lines on the road surface. FIG.
Fig. 7 shows the result of extracting the lane area.
【００１６】次に図３のステップ１０３では、ステップ
１０２で得られた車線領域内でエッジを抽出し、前方車
両が存在する大まかな領域を抽出する。図５に、この処
理の一連の流れを示す。まずステップ３０１で、画像記
憶手段２に記憶されている道路画像からエッジを抽出す
る。なお、エッジの抽出には３×３のＳｏｂｅｌオペレ
ータなどのフィルタを用いる。図１２にその処理結果を
示す。次にステップ３０２では、ステップ３０１で抽出
したエッジ画像に対して水平エッジの探索を行う。図１
３に示すように、画像上部から垂直下向きにに水平エッ
ジを探索し、最初にしきい値ＴＨtel を越える長さをも
ったエッジを処理範囲の上端として抽出する。同様にし
て、ステップ３０３では処理領域の下端を抽出する処理
を行う。図１３に示すように、画像底辺から垂直上向き
に水平エッジを探索し、最初にしきい値ＴＨbel を越え
る長さをもったエッジを処理範囲の下端として抽出す
る。次にステップ３０３では、図１３に示すように車線
領域内の左端から走査線に沿って右側に垂直エッジを探
索し、最初にしきい値ＴＨlel を越える長さをもったエ
ッジを処理範囲の左端として抽出する。同様にしてステ
ップ３０４では、車線領域内の右端から走査線に沿って
左側に垂直エッジを探索し、最初にしきい値ＴＨrel を
越える長さをもったエッジを処理範囲の右端として抽出
する。図１４にその処理結果を示す。Next, in step 103 of FIG. 3, an edge is extracted in the lane area obtained in step 102, and a rough area where the preceding vehicle exists is extracted. FIG. 5 shows a series of flows of this processing. First, in step 301, an edge is extracted from the road image stored in the image storage unit 2. Note that a filter such as a 3 × 3 Sobel operator is used for edge extraction. FIG. 12 shows the processing result. Next, in step 302, a horizontal edge search is performed on the edge image extracted in step 301. FIG.
As shown in FIG. 3, a horizontal edge is searched vertically downward from the top of the image, and an edge having a length exceeding the threshold TH tel is first extracted as the upper end of the processing range. Similarly, in step 303, processing for extracting the lower end of the processing area is performed. As shown in FIG. 13, a horizontal edge is searched vertically upward from the bottom of the image, and an edge having a length exceeding the threshold value THbel is first extracted as the lower end of the processing range. Next, in step 303, as shown in FIG. 13, a vertical edge is searched for from the left end in the lane area to the right along the scanning line, and an edge having a length exceeding the threshold value TH lel is firstly determined as the left end of the processing range. Extract as Similarly, in step 304, a vertical edge is searched to the left from the right end in the lane area along the scanning line, and an edge having a length exceeding the threshold value TH rel is first extracted as the right end of the processing range. FIG. 14 shows the processing result.
【００１７】ステップ１０４では、ステップ１０３で抽
出された処理領域に対して、動的輪郭モデルの初期値の
設置を行う。図６に、この処理の一連の流れを示す。ま
ずステップ４０１において、車両エッジ抽出手段４によ
って抽出された処理領域の横幅Ｗを求める。これは、処
理領域左端のｘ座標Ｌｘと右端のｘ座標Ｒｘの差から容
易に算出することが出来る。次にステップ４０２では、
処理領域の高さＨを処理領域上端のｙ座標Ｔｙと下端の
ｙ座標Ｂｙの差から算出する。さらにステップ４０３で
は、これらの値を用いて処理領域の重心座標Ｃを求め
る。重心座標Ｃは式（１）によって算出する。In step 104, an initial value of the active contour model is set for the processing region extracted in step 103. FIG. 6 shows a series of flows of this processing. First, in step 401, the width W of the processing area extracted by the vehicle edge extracting means 4 is determined. This can be easily calculated from the difference between the x coordinate Lx at the left end of the processing area and the x coordinate Rx at the right end. Next, at step 402,
The height H of the processing area is calculated from the difference between the y coordinate Ty at the upper end of the processing area and the y coordinate By at the lower end. Further, at step 403, the barycenter coordinates C of the processing area are obtained using these values. The barycenter coordinates C are calculated by equation (1).
【００１８】 Ｃ（ｘ，ｙ）＝（（Ｌｘ＋Ｒｘ）／２，（Ｔｙ＋Ｂｙ）／２） （１） こうして算出された処理領域の横幅、高さ、および重心
座標に基づいて、ステップ４０４において初期モデルの
設置を行う。初期モデルは、図１５に示すように車両形
状を近似したｎ個の節点からなる閉曲線として構成され
ており、その横幅Ｗｍと高さＨｍは、処理領域の横幅Ｗ
および高さＨにパラメータＰw、Ｐh（ Ｐw，Ｐh＞1.
0） を乗算することによって、図１５中に示したように
設置される。さらに、図１６に示すようにモデルの重心
が処理領域の重心Ｃに一致するように輪郭モデルを設置
することにより、対象物体に対して適切な位置に適切な
大きさの初期モデルを自動的に設置することが出来る。C (x, y) = ((Lx + Rx) / 2, (Ty + By) / 2) (1) On the basis of the width, height, and barycentric coordinates of the processing area calculated in this way, in step 404, the initial model Installation. The initial model is configured as a closed curve composed of n nodes approximating the vehicle shape as shown in FIG. 15, and its width Wm and height Hm are the width W of the processing area.
Parameters P w , Ph (P w , P h > 1.
0) is multiplied, thereby setting as shown in FIG. Further, by setting the contour model such that the center of gravity of the model coincides with the center of gravity C of the processing area as shown in FIG. 16, an initial model of an appropriate size is automatically placed at an appropriate position with respect to the target object. Can be installed.
【００１９】ステップ１０５では、動的輪郭モデルの手
法を用いて前方車両の輪郭を抽出する処理を行う。動的
輪郭モデルは、画像の特徴とモデルの形状からエネルギ
ー関数Ｅsnakesを定義し、このエネルギー関数を最小化
する過程で対象物の輪郭を抽出する手法である。エネル
ギー関数Ｅsnakesは、滑らかさや節点間の距離などモデ
ルの形状に関する力である内部エネルギーＥint 、モデ
ルが画像特徴に引き寄せられる力である画像エネルギー
Ｅimage 、およびモデルの形状変化を外部から抑制する
力である外部エネルギーＥcon とからなり、式（２）の
ように表される。なお、ｖi（ｉ＝1,2,3,…,ｎ）は輪郭
モデルの節点である。In step 105, a process of extracting the contour of the vehicle ahead using the technique of the active contour model is performed. The active contour model is a method of defining an energy function E snakes from the features of the image and the shape of the model, and extracting the contour of the object in the process of minimizing the energy function. The energy function E snakes externally suppresses the internal energy E int which is a force related to the shape of the model such as smoothness and the distance between nodes, the image energy E image which is a force that draws the model to image features, and the shape change of the model. It is composed of external energy E con which is a force, and is expressed as in equation (2). Note that v i (i = 1, 2, 3,..., N) is a node of the contour model.
【００２０】 Ｅsnakes（ｖi）＝Ｅint（ｖi）＋Ｅimage（ｖi）＋Ｅcon（ｖi） （２） さらに、内部エネルギーＥint は式（３）によって算出
することが出来る。なおαおよびβはそれぞれの項に対
する重みパラメータである。[0020] E snakes (v i) = E int (v i) + E image (v i) + E con (v i) (2) In addition, the internal energy E int can be calculated by Equation (3). Note that α and β are weight parameters for the respective terms.
【００２１】 Ｅint（ｖi）＝α｜ｖi−ｖi-1｜2＋β｜ｖi-1−２ｖi＋ｖi+1｜2 （３） また、画像エネルギーＥimage は画像中のエッジからの
ポテンシャル場として、式（４）に示すように画像の濃
度勾配として算出される。なお、γは画像エネルギーに
対する重みパラメータである。[0021] E int (v i) = α | v i -v i-1 | 2 + β | v i-1 -2v i + v i + 1 | 2 (3) In addition, the image energy E image is an edge in the image Is calculated as the density gradient of the image as shown in equation (4). Here, γ is a weight parameter for the image energy.
【００２２】 Ｅimage（ｖi）＝−γ｜▽Ｉ（ｘ，ｙ）｜ （４） また外部エネルギーとしては、前方車両の左右対称性を
考慮して、式（５）に示すように輪郭モデルが左右対称
に収縮するような形状変化の拘束力を与える。なお、ｇ
は輪郭モデルの重心座標で、ｖi * は重心Ｃを通る対称
軸に対するｖiの対称点である。また、δは外部エネル
ギーに対する重みパラメータである。E image (v i ) = − γ | ▽ I (x, y) | (4) In addition, considering the left-right symmetry of the preceding vehicle, the external energy It gives a restraining force of shape change such that the model contracts symmetrically. Note that g
The center of gravity coordinates of the contour model, v i * is the point of symmetry of v i relative to a symmetry axis passing through the center of gravity C. Δ is a weight parameter for external energy.
【００２３】 Ｅcon（ｖi）＝δ｜｜ｖi−ｇ｜−｜ｖi *ーｇ｜｜ （５） そして、このように定義されたエネルギー関数Ｅsnakes
を輪郭モデルの各節点の近傍領域で評価し、最もエネル
ギーが小さくなる位置へ節点を移動させることによりモ
デルを収縮させていく。なお、移動させる節点の数があ
るしきい値以下になった場合には、輪郭モデルが収束し
たと判断し、モデルの収縮を終了する。図７に、この処
理の一連の流れを示す。まずステップ５０１およびステ
ップ５０２でパラメータの初期化を行う。次にステップ
５０３では、式（２）〜（５）に従ってＥsnakesの算出
を行う。そしてステップ５０４では、ステップ５０３で
算出されたＥsnakesと隣接画素のエネルギーとの比較を
行う。Ｅsnakesの方が小さいと判断された場合には、ス
テップ５０５においてＥsnakesをエネルギーの最小値と
して保持して次の隣接画素のエネルギーを算出するため
にステップ５０６でパラメータを加算した後、ステップ
５０３へと戻る。逆に、Ｅsnakesの方が大きいと判断さ
れた場合には、エネルギーの最小値を更新することなく
ステップ５０３へ戻る。なお、この処理はステップ５０
７の判断に基づいて、あらかじめ設定した近傍領域すべ
てについて繰り返す。そしてステップ５０８において、
最終的なエネルギーの最小値が節点の現在位置で得られ
ると判断された場合には、そのままステップ５１０へと
進む。逆に、エネルギーの最小値が節点の現在位置以外
の隣接画素で得られると判断された場合には、ステップ
５０９でその隣接画素の位置へと節点を移動してステッ
プ５１０へと進む。図１７には、この部分の処理概念を
示している。そして、ステップ５１０ではパラメータを
加算した後、ステップ５１１の判断に基づいて全ての節
点についてステップ５０２からステップ５１１の処理を
繰り返す。ステップ５１１で全ての節点について処理が
終了したと判断された場合には、ステップ５１２で移動
した節点の数を評価し、この数がしきい値以下である場
合は輪郭モデルが収束したと判断して処理を終了する。
逆に、移動節点の数がしきい値以上である場合には、ス
テップ５０１へと戻って再び全ての節点について処理を
繰り返す。[0023] E con (v i) = δ || v i -g || v i * over g || (5) Then, the energy function E snakes defined in this way
Is evaluated in a region near each node of the contour model, and the model is contracted by moving the node to a position where the energy becomes minimum. If the number of nodes to be moved falls below a certain threshold value, it is determined that the contour model has converged, and the contraction of the model ends. FIG. 7 shows a series of flows of this processing. First, in steps 501 and 502, parameters are initialized. Next, in step 503, E snakes is calculated according to the equations (2) to (5). Then, in step 504, the energy of E snakes calculated in step 503 is compared with the energy of the adjacent pixel. If it is determined that E snakes is smaller than E snakes in step 505, the parameter is added in step 506 to calculate the energy of the next adjacent pixel while holding E snakes as the minimum value of energy, and then step 503. Return to. Conversely, if it is determined that E snakes is larger, the process returns to step 503 without updating the minimum value of energy. This processing is performed in step 50.
Based on the determination in step 7, the process is repeated for all the preset neighborhood areas. Then, in step 508,
When it is determined that the final minimum value of the energy is obtained at the current position of the node, the process proceeds to step 510 as it is. Conversely, if it is determined that the minimum value of the energy is obtained at an adjacent pixel other than the current position of the node, the node is moved to the position of the adjacent pixel at step 509, and the process proceeds to step 510. FIG. 17 shows the processing concept of this part. Then, in step 510, after the parameters are added, the processing from step 502 to step 511 is repeated for all nodes based on the determination in step 511. If it is determined in step 511 that the processing has been completed for all nodes, the number of moved nodes is evaluated in step 512. If this number is equal to or less than the threshold value, it is determined that the contour model has converged. To end the processing.
Conversely, if the number of moving nodes is equal to or larger than the threshold value, the process returns to step 501 and the processing is repeated for all the nodes again.
【００２４】以上のように、道路画像から抽出したエッ
ジ情報を基に初期モデルを自動的に設置し、動的輪郭モ
デルの手法に基づいて処理を行うことにより、エッジの
途切れなどのノイズ的要因に対してロバストな車両認識
処理を行うことが出来る。As described above, the initial model is automatically installed based on the edge information extracted from the road image, and the processing is performed based on the method of the active contour model. , A robust vehicle recognition process can be performed.
【００２５】次に、本発明の第２の実施例について図面
を参照しながら説明する。Next, a second embodiment of the present invention will be described with reference to the drawings.
【００２６】図１８は、本発明の第２の実施例の基本構
成を示すブロック図である。第２の実施例の基本構成
は、第１の実施例の基本構成に対称領域抽出手段７を付
加したものになっている。対称領域抽出手段７は、車両
エッジ抽出手段４で抽出された車両存在候補領域に対
し、線対称領域を抽出することによって、さらに厳密な
車両存在領域の抽出を行うものである。FIG. 18 is a block diagram showing a basic configuration of the second embodiment of the present invention. The basic configuration of the second embodiment is obtained by adding a symmetric region extracting means 7 to the basic configuration of the first embodiment. The symmetric region extracting unit 7 extracts a more strict vehicle existing region by extracting a line symmetric region from the vehicle existing candidate region extracted by the vehicle edge extracting unit 4.
【００２７】次に、本発明の第２の実施例における車両
認識装置の動作を、図１９に示すフローチャートに従っ
て説明する。なお、詳細な内容については第１の実施例
と異なる部分についてのみ示し、その他の部分は第１の
実施例に従うものとする。Next, the operation of the vehicle recognition apparatus according to the second embodiment of the present invention will be described with reference to the flowchart shown in FIG. It should be noted that detailed contents are shown only for portions different from those of the first embodiment, and the other portions follow the first embodiment.
【００２８】まず、ステップ６０１からステップ６０３
までの処理は、第１の実施例で示した図３のステップ１
０１からステップ１０３の処理に対応しており、それぞ
れ同様の処理を行い、ステップ６０４へと進む。First, steps 601 to 603
The processing up to step 1 is the same as step 1 in FIG. 3 shown in the first embodiment.
It corresponds to the processing from step 01 to step 103, and performs the same processing, respectively, and proceeds to step 604.
【００２９】ステップ６０４では、対称領域抽出手段７
を用いて線対称領域を抽出することにより車両存在領域
の抽出を行う。自車両から観測した前方車両の形状は、
走査線に垂直な線分を軸としたほぼ線対称形である。そ
こで、画像中から線対称領域を抽出することにより、車
両の存在領域を抽出することが出来る。具体的には図２
１に示すように、あるエッジ点Ａと同一走査線上にある
対称点がＢであるとすれば、その対称軸Ｓは点Ａと点Ｂ
の中点を通る。また同様に、エッジ点Ｇの対称点がＨで
あるとすれば、その対称軸Ｓ’は点Ｇと点Ｈの中点を通
る。このような対称軸の位置を、車両エッジ抽出手段４
によって抽出された車両存在候補領域中の全てのエッジ
点対に対して算出し、図２２に示すようなヒストグラム
を作成する。そして、このヒストグラムのピークを示す
位置を、車両領域の対称軸として抽出する。対称領域
は、この対称軸に対して対になっているエッジ点を探索
することにより抽出する。In step 604, the symmetric region extracting means 7
Is used to extract a vehicle symmetric region by extracting a line symmetric region. The shape of the preceding vehicle observed from the own vehicle is
It is almost line-symmetric about a line perpendicular to the scanning line. Therefore, by extracting the line symmetric region from the image, the region where the vehicle exists can be extracted. Specifically, FIG.
As shown in FIG. 1, if a symmetric point on the same scanning line as a certain edge point A is B, its symmetric axis S is the point A and the point B.
Pass through the midpoint of. Similarly, if the symmetric point of the edge point G is H, the symmetric axis S ′ passes through the middle point between the point G and the point H. The position of such a symmetry axis is determined by the vehicle edge extracting means 4.
The calculation is performed for all the edge point pairs in the vehicle presence candidate area extracted by the above, and a histogram as shown in FIG. 22 is created. Then, the position indicating the peak of the histogram is extracted as the symmetry axis of the vehicle area. The symmetric region is extracted by searching for an edge point paired with the symmetry axis.
【００３０】図２０に、この処理の一連の流れを示す。
まず、ステップ７０１からステップ７１３の処理で対称
軸の抽出を行う。ステップ７０１およびステップ７０２
では、処理領域の初期値を設定する。なおこの場合の処
理範囲は、車両エッジ抽出手段４で抽出された車両存在
候補領域の上端のｙ座標をＴｙ、下端をＢｙ、左端のｘ
座標をＬｘ、および右端をＲｘとすると、それぞれパラ
メータＰｘおよびＰｙ（Ｐｘ，Ｐｙ＞０）を用いてＴｙ
−Ｐｙ、Ｂｙ＋Ｐｙ、Ｌｘ−Ｐｘ、Ｒｘ＋Ｐｘで表現す
る。そしてステップ７０３で示すように、ある座標でエ
ッジ点が存在する場合には、ステップ７０４、ステップ
７０５およびステップ７０７、ステップ７０８で示すよ
うに、そのエッジ点と同一走査線上の全てのエッジ点を
探索して中点を求め、ステップ７０６でその中点位置に
対応するヒストグラムに加算する。なおこの処理は、ス
テップ７０９、ステップ７１０、ステップ７１１、およ
びステップ７１２に示すように、処理領域内の全てのエ
ッジ点について繰り返される。そしてステップ７１３で
は、こうして得られたヒストグラムのピークを求め、そ
の時のｘ座標を車両領域の対称軸ｘｓｙｍとして記憶す
る。さらに、ステップ７１４からステップ７２３の処理
では、こうして求められた対称軸ｘｓｙｍについての対
称領域の抽出を行う。この処理は、ステップ７１４およ
びステップ７１５で処理領域の初期化を行った後、ステ
ップ７１６に示すようにある位置にエッジ点が存在した
場合に、ステップ７１７でそのエッジ点と対称軸ｘｓｙ
ｍとの距離Ｄを求める。そしてステップ７１８におい
て、対称軸ｘｓｙｍに対して距離Ｄの位置にエッジ点が
存在するかどうかの判定を行う。距離Ｄの位置にエッジ
が存在した場合は、求めたエッジ点対をステップ７１９
で登録する。さらにこの処理は、ステップ７２０からス
テップ７２３に示すように処理領域内の全てのエッジ点
について行う。そしてステップ７２４では、こうして求
められた対称領域の上端、下端、左端、および右端を求
める。この処理は、対称領域として抽出されたエッジ点
列に対して、画像上下左右端から探索を行い、最初にあ
るしきい値を越える長さをもつエッジ位置を対称領域の
上下左右端として抽出する。図２３に対称領域の抽出結
果を、図２４には対称領域の上下左右端の抽出結果を示
す。FIG. 20 shows a series of flows of this processing.
First, an axis of symmetry is extracted in the processing of steps 701 to 713. Step 701 and Step 702
Then, an initial value of the processing area is set. In this case, the processing range is such that the y coordinate of the upper end of the vehicle presence candidate area extracted by the vehicle edge extracting means 4 is Ty, the lower end is By, and the x of the left end is x.
Assuming that the coordinates are Lx and the right end is Rx, Ty is calculated using parameters Px and Py (Px, Py> 0), respectively.
-Py, By + Py, Lx-Px, Rx + Px. If an edge point exists at a certain coordinate as shown in step 703, all edge points on the same scanning line as the edge point are searched as shown in steps 704, 705 and 707 and step 708. Then, at step 706, the midpoint is obtained and added to the histogram corresponding to the midpoint position. This processing is repeated for all edge points in the processing area as shown in steps 709, 710, 711, and 712. Then, in step 713, the peak of the histogram thus obtained is obtained, and the x coordinate at that time is stored as the symmetry axis xsym of the vehicle area. Further, in the processing from step 714 to step 723, a symmetric region about the symmetric axis xsym thus obtained is extracted. In this processing, after the processing area is initialized in steps 714 and 715, if an edge point exists at a certain position as shown in step 716, the edge point and the symmetry axis xsy are set in step 717.
The distance D to m is obtained. Then, in step 718, it is determined whether or not an edge point exists at a position of a distance D with respect to the symmetry axis xsym. If an edge exists at the position of the distance D, the obtained edge point pair is
Register with. Further, this processing is performed for all edge points in the processing area as shown in steps 720 to 723. Then, in step 724, the upper end, lower end, left end, and right end of the symmetric region thus obtained are obtained. In this process, the edge point sequence extracted as a symmetric region is searched from the upper, lower, left, and right ends of the image, and an edge position having a length exceeding a certain threshold value is first extracted as the upper, lower, left, or right end of the symmetric region. . FIG. 23 shows the extraction result of the symmetric region, and FIG. 24 shows the extraction result of the upper, lower, left and right ends of the symmetric region.
【００３１】こうして求められた車両存在領域に基づい
て、ステップ６０５において初期モデルを設置した後、
ステップ６０６で輪郭抽出処理を行う。これらの処理
は、第１の実施例で示した図３のステップ１０４および
ステップ１０５に従うものとする。After setting the initial model in step 605 based on the vehicle presence area thus obtained,
At step 606, a contour extraction process is performed. These processes follow steps 104 and 105 in FIG. 3 described in the first embodiment.
【００３２】以上のように、単なるエッジ情報のみでな
く前方車両の対称性を利用することにより、車両の存在
領域を的確に抽出することが出来ると共に、動的輪郭モ
デルの初期値を正確に自動的に設置することが可能にな
る。As described above, by utilizing not only the mere edge information but also the symmetry of the preceding vehicle, it is possible to accurately extract the area where the vehicle exists, and to automatically and automatically initialize the initial value of the active contour model. It becomes possible to install it.
【００３３】次に、本発明の第３の実施例について図面
を参照しながら説明する。Next, a third embodiment of the present invention will be described with reference to the drawings.
【００３４】図２５は、本発明の第３の実施例の基本構
成を示すブロック図である。第３の実施例の基本構成
は、初期モデルデータベース９を付加すると共に、第２
の実施例の基本構成で示した初期モデル設置手段５を初
期モデル確定手段８に置き換えたものになっている。初
期モデルデータベース９は、普通乗用車、バン、軽自動
車、およびトラックなど前方車両の車両種別に応じた様
々な形状の初期モデルを格納したものである。また、初
期モデル確定手段８は、対称領域抽出手段７で抽出され
た車両存在領域から前方車両の車両種別を大局的に判断
し、車両種別に応じた初期モデルを初期モデルデータベ
ース９から選別して適切な位置に設定するものである。FIG. 25 is a block diagram showing a basic configuration of the third embodiment of the present invention. The basic configuration of the third embodiment is such that the initial model database 9 is added and the second
In this embodiment, the initial model setting means 5 shown in the basic configuration of the embodiment is replaced with an initial model determining means 8. The initial model database 9 stores initial models of various shapes according to vehicle types of vehicles ahead such as ordinary cars, vans, mini cars, and trucks. The initial model determination means 8 globally determines the vehicle type of the preceding vehicle from the vehicle existence area extracted by the symmetric area extraction means 7 and selects an initial model according to the vehicle type from the initial model database 9. It is set at an appropriate position.
【００３５】次に、本発明の第３の実施例における車両
認識装置の動作を、図２６に示すフローチャートに従っ
て説明する。なお、詳細な内容については第１の実施例
および第２の実施例と異なる部分についてのみ示し、そ
の他の部分は第１の実施例および第２の実施例に従うも
のとする。Next, the operation of the vehicle recognition apparatus according to the third embodiment of the present invention will be described with reference to the flowchart shown in FIG. It should be noted that detailed contents are shown only for portions different from the first embodiment and the second embodiment, and the other portions follow the first embodiment and the second embodiment.
【００３６】まず、ステップ８０１からステップ８０４
までの処理は、第２の実施例で示した図１９のステップ
６０１からステップ６０４の処理に対応しており、それ
ぞれ同様の処理を行う。First, steps 801 to 804
The processes up to correspond to the processes of steps 601 to 604 in FIG. 19 shown in the second embodiment, and the same processes are performed.
【００３７】ステップ８０５では、初期モデル確定手段
を８を用いて動的輪郭モデルの初期値を設定する。しか
し、前方車両の形状は普通乗用車、軽自動車、バン、あ
るいはトラックなどの車両種別によって大きく異なり、
一形状のモデルのみでは対応することが出来ない。そこ
で図２８に示すように、普通乗用車、軽自動車、バン、
トラックなどの車両種別ごとに異なる初期モデルを初期
モデルデータベース９に用意しておき、前方車両の種類
に応じてモデルの選択を行う。図２７に、この処理の一
連の流れを示す。In step 805, the initial value of the active contour model is set using the initial model determining means 8. However, the shape of the vehicle ahead varies greatly depending on the type of vehicle, such as a passenger car, mini car, van, or truck,
It is not possible to cope with only one shape model. Therefore, as shown in FIG. 28, ordinary passenger cars, mini cars, vans,
An initial model different for each vehicle type such as a truck is prepared in the initial model database 9, and a model is selected according to the type of the vehicle ahead. FIG. 27 shows a series of flows of this processing.
【００３８】図２７のステップ９０１からステップ９０
３の処理は、第１の実施例の初期モデル設置手段で示し
た図６のステップ４０１からステップ４０３の処理に対
応しており、それぞれ同様の処理を行う。ステップ９０
４では、ステップ９０１およびステップ９０２で求めた
車両領域の幅Ｗと高さＨに基づいて、車両種別の判定を
行う。図２９に示すように、前方車両の車両種別に応じ
て車両領域の横幅Ｗと高さＨの比は異なる。そこでＷと
Ｈの比に応じて、車両種別を式（６）の普通乗用車、式
（７）の軽自動車、式（８）のバン、式（９）のトラッ
クの４つに分類する。なおしきい値Ｓ1、Ｓ2、Ｓ3 は式
（１０）を満たすものとする。Steps 901 to 90 in FIG.
The processing of No. 3 corresponds to the processing of steps 401 to 403 of FIG. 6 shown by the initial model setting means of the first embodiment, and performs the same processing. Step 90
In step 4, the vehicle type is determined based on the width W and height H of the vehicle area obtained in steps 901 and 902. As shown in FIG. 29, the ratio of the width W to the height H of the vehicle area differs depending on the type of the preceding vehicle. Therefore, according to the ratio of W and H, the vehicle types are classified into four types: a normal passenger car of formula (6), a minicar of formula (7), a van of formula (8), and a truck of formula (9). Note that the threshold values S 1 , S 2 , and S 3 satisfy Expression (10).
【００３９】 Ｈ／Ｗ ＜ Ｓ1 （６） Ｓ1 ≦ Ｈ／Ｗ ＜Ｓ2 （７） Ｓ2 ≦ Ｈ／Ｗ ＜Ｓ3 （８） Ｓ3 ≦ Ｈ／Ｗ （９） Ｓ1 ＜ Ｓ2 ＜ Ｓ3 （１０） ステップ９０５では、このようにして選定された車両種
別に応じた初期モデルを、モデルの重心とステップ９０
３で求めた領域の重心が一致するように設置する。H / W <S 1 (6) S 1 ≦ H / W <S 2 (7) S 2 ≦ H / W <S 3 (8) S 3 ≦ H / W (9) S 1 <S 2 <S 3 (10) In step 905, the initial model corresponding to the vehicle type selected in this way is determined by comparing the model's center of gravity with
It is set so that the center of gravity of the area obtained in 3 matches.
【００４０】そしてステップ８０６では、ステップ８０
５で設定された車両種別に応じた初期モデルを用いて、
動的輪郭モデルの手法に基づく輪郭抽出処理を行う。な
おこの処理は、第１の実施例で示した図３のステップ１
０５および第２の実施例で示した図１９のステップ６０
６に対応しており、それぞれ同様の処理を行う。Then, in step 806, step 80
Using the initial model corresponding to the vehicle type set in 5,
Performs contour extraction processing based on the active contour model technique. This processing is performed in step 1 of FIG. 3 shown in the first embodiment.
Step 60 of FIG. 19 shown in FIG.
6 and perform the same processing.
【００４１】以上のような処理を行うことにより、車両
種別に応じた初期モデルを自動的に設定することが可能
になり、動的輪郭モデルの手法に基づいた輪郭抽出処理
を適切に行うことが出来る。By performing the above processing, it is possible to automatically set an initial model according to the vehicle type, and to appropriately perform the contour extraction processing based on the method of the active contour model. I can do it.
【００４２】なお、上記実施例の車線領域抽出手段３に
おける白線の直線近似処理にはＨｏｕｇｈ変換を用いる
としたが、最小二乗法などの他の直線近似手法を用いて
もよい。また、上記実施例の車両エッジ抽出手段４にお
けるエッジ成分の抽出には３×３のＳｏｂｅｌオペレー
タを用いるとしたが、ラプラシアンなどの他のエッジ検
出オペレータを用いてもよい。Although the Hough transform is used for the straight line approximation processing of the white line in the lane area extracting means 3 of the above embodiment, another straight line approximation method such as the least square method may be used. Although the 3 × 3 Sobel operator is used for extracting the edge component in the vehicle edge extracting means 4 of the above embodiment, another edge detection operator such as Laplacian may be used.
【００４３】なお、本発明の各手段は、コンピュータを
用いてソフトウェア的に実現し、あるいはそれら各機能
を有する専用のハード回路を用いて実現する事が出来
る。Each means of the present invention can be realized by software using a computer, or can be realized by using a dedicated hardware circuit having these functions.
【００４４】[0044]
【発明の効果】以上述べたところから明らかなように、
本発明は、動的輪郭モデルの手法を用いることによっ
て、車両の存在する領域を囲む閉曲線の抽出を安定して
行うと同時に、道路画像から抽出した様々な情報を基
に、動的輪郭モデルの適切な初期値を自動的に設定する
ことにより、ノイズなどの対してロバスト性の高い車両
認識を行うことが出来る。As is apparent from the above description,
The present invention stably extracts a closed curve surrounding an area where a vehicle is present by using a method of an active contour model, and at the same time, based on various information extracted from a road image, By automatically setting an appropriate initial value, it is possible to perform vehicle recognition with high robustness against noise and the like.
【図１】本発明の第１の実施例の基本構成を示すブロッ
ク図である。FIG. 1 is a block diagram showing a basic configuration of a first embodiment of the present invention.
【図２】車両へのカメラの取り付け例を示す図である。FIG. 2 is a diagram illustrating an example of attaching a camera to a vehicle.
【図３】第１の実施例の動作を示すフローチャートであ
る。FIG. 3 is a flowchart showing the operation of the first embodiment.
【図４】車線領域抽出処理の動作を示すフローチャート
である。FIG. 4 is a flowchart illustrating an operation of a lane region extraction process.
【図５】車両エッジ抽出処理の動作を示すフローチャー
トである。FIG. 5 is a flowchart illustrating an operation of a vehicle edge extraction process.
【図６】初期モデル設置処理の動作を示すフローチャー
トである。FIG. 6 is a flowchart illustrating an operation of an initial model setting process.
【図７】輪郭抽出処理の動作を示すフローチャートであ
る。FIG. 7 is a flowchart illustrating an operation of a contour extraction process.
【図８】入力画像の例を示す図である。FIG. 8 is a diagram illustrating an example of an input image.
【図９】白線輪郭の抽出手順を示す図である。FIG. 9 is a diagram showing a procedure for extracting a white line contour.
【図１０】白線輪郭の抽出結果を示す図である。FIG. 10 is a diagram showing a result of extracting a white line contour.
【図１１】車線領域の抽出結果を示す図である。FIG. 11 is a diagram showing a result of extracting a lane area.
【図１２】入力画像からのエッジ抽出結果を示す図であ
る。FIG. 12 is a diagram showing a result of edge extraction from an input image.
【図１３】車両エッジの抽出手順を示す図である。FIG. 13 is a diagram showing a procedure for extracting a vehicle edge.
【図１４】車両存在候補領域の抽出結果を示す図であ
る。FIG. 14 is a diagram showing an extraction result of a vehicle presence candidate area.
【図１５】初期モデルの例を示す図である。FIG. 15 is a diagram illustrating an example of an initial model.
【図１６】入力画像に対する初期モデルの設置状態を示
す図である。FIG. 16 is a diagram illustrating an installation state of an initial model with respect to an input image.
【図１７】輪郭モデルの節点の振舞いを示す図である。FIG. 17 is a diagram showing the behavior of the nodes of the contour model.
【図１８】本発明の第２の実施例の基本構成を示すブロ
ック図である。FIG. 18 is a block diagram showing a basic configuration of a second embodiment of the present invention.
【図１９】本発明の第２の実施例の動作を示すフローチ
ャートである。FIG. 19 is a flowchart showing the operation of the second embodiment of the present invention.
【図２０】対称領域抽出処理の動作を示すフローチャー
トである。FIG. 20 is a flowchart illustrating the operation of a symmetric region extraction process.
【図２１】対称軸抽出処理の概念を示す図である。FIG. 21 is a diagram illustrating the concept of a symmetry axis extraction process.
【図２２】対称軸抽出のためのヒストグラムを示す図で
ある。FIG. 22 is a diagram showing a histogram for extracting a symmetry axis.
【図２３】対称領域の抽出結果を示す図である。FIG. 23 is a diagram showing a result of extracting a symmetric region.
【図２４】対称領域の上下左右端の抽出処理を示す図で
ある。FIG. 24 is a diagram showing extraction processing of upper, lower, left, and right ends of a symmetric region.
【図２５】本発明の第３の実施例の基本構成を示すブロ
ック図である。FIG. 25 is a block diagram showing a basic configuration of a third embodiment of the present invention.
【図２６】本発明の第３の実施例の動作を示すフローチ
ャートである。FIG. 26 is a flowchart showing the operation of the third embodiment of the present invention.
【図２７】初期モデル確定手段の動作を示すフローチャ
ートである。FIG. 27 is a flowchart showing the operation of the initial model determination means.
【図２８】車両種別ごとの初期モデルを示す図である。FIG. 28 is a diagram showing an initial model for each vehicle type.
【図２９】車両種別ごとの領域幅および高さを示す図で
ある。FIG. 29 is a diagram showing an area width and a height for each vehicle type.
１ 画像入力手段 ２ 画像記憶手段 ３ 車線領域抽出手段 ４ 車両エッジ抽出手段 ５ 初期モデル設置手段 ６ 輪郭抽出手段 Reference Signs List 1 image input means 2 image storage means 3 lane area extracting means 4 vehicle edge extracting means 5 initial model setting means 6 contour extracting means
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｈ０４Ｎ 5/225 Ｇ０６Ｆ 15/62 ３８０ (58)調査した分野(Int.Cl.6，ＤＢ名) G01B 11/00 - 11/24 G08G 1/00 - 1/16 G06T 1/00──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 6 identification symbol FI H04N 5/225 G06F 15/62 380 (58) Investigated field (Int.Cl. 6 , DB name) G01B 11/00-11 / 24 G08G 1/00-1/16 G06T 1/00
Claims (3)
段と、前記画像入力手段からの入力画像を記憶する画像
記憶手段と、前記画像記憶手段に記憶されている道路画
像から車線領域を抽出する車線領域抽出手段と、前記車
線領域抽出手段によって抽出された車線領域を基にして
前記画像記憶手段に記憶されている道路画像からエッジ
成分を抽出して前方車両が存在するであろう大局的な領
域を抽出する車両エッジ抽出手段と、前記車両エッジ抽
出手段によって抽出された前方車両の大局的存在領域に
基づいて動的輪郭モデルの初期値を設置する初期モデル
設置手段と、前記初期モデル設置手段によって設置され
た初期値に基づいて前記画像記憶手段に記憶されている
道路画像から前方車両の輪郭を抽出する輪郭抽出手段と
を備えたことを特徴とする車両認識装置。An image input unit mounted on a vehicle for photographing ahead; an image storage unit for storing an input image from the image input unit; and a lane area extracted from a road image stored in the image storage unit. A lane region extracting unit that extracts an edge component from a road image stored in the image storage unit based on the lane region extracted by the lane region extracting unit. Vehicle edge extraction means for extracting a proper area, initial model installation means for installing an initial value of an active contour model based on the global presence area of the preceding vehicle extracted by the vehicle edge extraction means, and the initial model installation Contour extracting means for extracting a contour of a preceding vehicle from a road image stored in the image storing means based on an initial value set by the means. Vehicle recognition device.
段と、前記画像入力手段からの入力画像を記憶する画像
記憶手段と、前記画像記憶手段に記憶されている道路画
像から車線領域を抽出する車線領域抽出手段と、前記車
線領域抽出手段によって抽出された車線領域に基づいて
前記画像記憶手段に記憶されている道路画像からエッジ
成分を抽出して前方車両が存在するであろう大局的な領
域を抽出する車両エッジ抽出手段と、前記車両エッジ抽
出手段によって抽出された前方車両の大局的存在領域に
基づいて前記画像記憶手段に記憶されている道路画像か
ら線対称領域を抽出することによって前方車両の存在領
域を抽出する対称領域抽出手段と、前記対称領域抽出手
段によって抽出された前方車両の存在領域を基に動的輪
郭モデルの初期値を設置する初期モデル設置手段と、前
記初期モデル設置手段によって設置された初期値に基づ
いて前記画像記憶手段に記憶されている道路画像から前
方車両の輪郭を抽出する輪郭抽出手段とを備えたことを
特徴とする車両認識装置。2. An image input means for forward photographing mounted on a vehicle, an image storage means for storing an input image from the image input means, and a lane area extracted from a road image stored in the image storage means. A lane region extracting unit that extracts an edge component from a road image stored in the image storage unit on the basis of the lane region extracted by the lane region extracting unit. A vehicle edge extracting means for extracting an area, and a line symmetric area extracted from a road image stored in the image storage means based on the global presence area of the vehicle ahead extracted by the vehicle edge extracting means, thereby Symmetric region extracting means for extracting a vehicle existing region; and an initial value of the active contour model based on the front vehicle existing region extracted by the symmetric region extracting device. Initial model installation means to be installed, and contour extraction means for extracting a contour of a preceding vehicle from a road image stored in the image storage means based on the initial value set by the initial model installation means. Characteristic vehicle recognition device.
段と、前記画像入力手段からの入力画像を記憶する画像
記憶手段と、前記画像記憶手段に記憶されている道路画
像から車線領域を抽出する車線領域抽出手段と、前記車
線領域抽出手段によって抽出された車線領域に基づいて
前記画像記憶手段に記憶されている道路画像からエッジ
成分を抽出して前方車両が存在するであろう大局的な領
域を抽出する車両エッジ抽出手段と、前記車両エッジ抽
出手段によって抽出された前方車両の大局的存在領域に
基づいて前記画像記憶手段に記憶されている道路画像か
ら線対称領域を抽出することによって前方車両の存在領
域を抽出する対称領域抽出手段と、前方車両の車両種別
に応じた様々な形状の初期モデルを格納している初期モ
デルデータベースと、前記対称領域抽出手段によって抽
出された車両存在領域から前方車両の車両種別を大局的
に判断して前記初期モデルデータベースに蓄積されてい
る初期モデルの中から適切なものを選択して設定する初
期モデル確定手段と、前記初期モデル確定手段によって
設置された初期値に基づいて前記画像記憶手段に記憶さ
れている道路画像から前方車両の輪郭を抽出する輪郭抽
出手段とを備えたことを特徴とする車両認識装置。3. An image input unit mounted on a vehicle for photographing ahead, an image storage unit storing an input image from the image input unit, and a lane area extracted from a road image stored in the image storage unit. A lane region extracting unit that extracts an edge component from a road image stored in the image storage unit on the basis of the lane region extracted by the lane region extracting unit. A vehicle edge extracting means for extracting an area, and a line symmetric area extracted from a road image stored in the image storage means based on the global presence area of the vehicle ahead extracted by the vehicle edge extracting means, thereby A symmetric region extracting means for extracting a region where the vehicle exists, and an initial model database storing initial models of various shapes according to the vehicle type of the vehicle ahead. Initially, the vehicle type of the preceding vehicle is globally determined from the vehicle existence region extracted by the symmetric region extraction means, and an appropriate one is selected and set from among the initial models stored in the initial model database. And a contour extracting means for extracting a contour of the preceding vehicle from the road image stored in the image storing means based on the initial value set by the initial model determining means. Vehicle recognition device.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5147025A JP2862199B2 (en) | 1993-05-25 | 1993-05-25 | Vehicle recognition device |
| US08/246,634 US5487116A (en) | 1993-05-25 | 1994-05-20 | Vehicle recognition apparatus |
| DE69428737T DE69428737T2 (en) | 1993-05-25 | 1994-05-25 | Vehicle detection device |
| EP94108082A EP0626655B1 (en) | 1993-05-25 | 1994-05-25 | Vehicle recognition apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5147025A JP2862199B2 (en) | 1993-05-25 | 1993-05-25 | Vehicle recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06331335A JPH06331335A (en) | 1994-12-02 |
| JP2862199B2 true JP2862199B2 (en) | 1999-02-24 |
Family
ID=15420848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5147025A Expired - Fee Related JP2862199B2 (en) | 1993-05-25 | 1993-05-25 | Vehicle recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2862199B2 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6163022A (en) * | 1997-05-20 | 2000-12-19 | Matsushita Electric Industrial Co., Ltd. | Imaging apparatus, distance measurement apparatus and method for measuring distance |
| JP3307335B2 (en) | 1998-07-22 | 2002-07-24 | 日本電気株式会社 | Vehicle region detection device and vehicle region verification method |
| JP4205825B2 (en) * | 1999-11-04 | 2009-01-07 | 本田技研工業株式会社 | Object recognition device |
| JP3436224B2 (en) * | 1999-12-16 | 2003-08-11 | 日本電気株式会社 | Vehicle end detection device |
| KR100354022B1 (en) * | 2000-04-18 | 2002-09-27 | 현대자동차주식회사 | Method for lane sencing of vehicle |
| JP2002358595A (en) * | 2001-06-01 | 2002-12-13 | Mitsubishi Electric Corp | Instrument and method for measuring road traffic stream |
| US7392118B2 (en) * | 2003-08-18 | 2008-06-24 | Fico Mirrors, Sa | System and method for monitoring the external environment of a motor vehicle |
| JP5907700B2 (en) * | 2011-11-18 | 2016-04-26 | クラリオン株式会社 | Image processing apparatus, vehicle system, and image processing method |
| JP6293334B2 (en) * | 2017-04-26 | 2018-03-14 | オリンパス株式会社 | Imaging apparatus, imaging method, and program |
-
1993
- 1993-05-25 JP JP5147025A patent/JP2862199B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06331335A (en) | 1994-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Khammari et al. | Vehicle detection combining gradient analysis and AdaBoost classification | |
| US7231288B2 (en) | System to determine distance to a lead vehicle | |
| US7149327B2 (en) | Image processing apparatus and method | |
| EP0626655A2 (en) | Vehicle recognition apparatus | |
| US6556692B1 (en) | Image-processing method and apparatus for recognizing objects in traffic | |
| US20150367781A1 (en) | Lane boundary estimation device and lane boundary estimation method | |
| KR960042482A (en) | Object observation method and object observation apparatus using the method, and traffic flow measurement apparatus and parking lot observation apparatus using the apparatus | |
| Wu et al. | Adaptive vehicle detector approach for complex environments | |
| EP3416132A1 (en) | Image processing device, object recognition device, device control system, and image processing method and program | |
| JP4070437B2 (en) | Forward vehicle recognition device and recognition method | |
| JP3200950B2 (en) | Object recognition device | |
| Kyo et al. | A robust vehicle detecting and tracking system for wet weather conditions using the IMAP-VISION image processing board | |
| CN108645625B (en) | Tail end and side surface combined 3D vehicle detection method, system, terminal and storage medium | |
| KR101483742B1 (en) | Lane Detection method for Advanced Vehicle | |
| JP2862199B2 (en) | Vehicle recognition device | |
| JP4256992B2 (en) | Obstacle detection device | |
| JPH07334800A (en) | Vehicle recognition device | |
| Zielke et al. | CARTRACK: computer vision-based car following. | |
| JP3254464B2 (en) | Vehicle recognition device and moving object recognition method | |
| JPH11213284A (en) | Vehicle kind discrimination device | |
| JP3157958B2 (en) | Leading vehicle recognition method | |
| US20200003574A1 (en) | Method and device for fast detection of repetitive structures in the image of a road scene | |
| JP2605295B2 (en) | Car type identification method | |
| JP4106163B2 (en) | Obstacle detection apparatus and method | |
| JP3004158B2 (en) | Vehicle recognition device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071211 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081211 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091211 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091211 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101211 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101211 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111211 Year of fee payment: 13 |
|
| LAPS | Cancellation because of no payment of annual fees |