JP2011203766A - Image processing apparatus for vehicle - Google Patents
Image processing apparatus for vehicle Download PDFInfo
- Publication number
- JP2011203766A JP2011203766A JP2010067501A JP2010067501A JP2011203766A JP 2011203766 A JP2011203766 A JP 2011203766A JP 2010067501 A JP2010067501 A JP 2010067501A JP 2010067501 A JP2010067501 A JP 2010067501A JP 2011203766 A JP2011203766 A JP 2011203766A
- Authority
- JP
- Japan
- Prior art keywords
- road
- image
- vehicle
- flow
- view image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明は、車両に搭載された撮像手段が撮影した撮影画像を処理することにより撮影画像に含まれる道路と道路上の物体とを区別して識別する技術に関する。 The present invention relates to a technique for distinguishing and identifying a road included in a captured image and an object on the road by processing a captured image captured by an imaging unit mounted on a vehicle.
車両に搭載された撮像手段により撮影された撮影画像に含まれる道路と道路上の物体とを識別する様々な手法が提案されており、例えば、撮影画像のオプティカルフローを算出し、算出されたオプティカルフローに基づいて撮影画像に含まれる道路上の静止立体物を識別する技術が知られている（例えば、特許文献１）。すなわち、車両に搭載された撮像手段により遠景撮像をし、撮像により得られた複数枚の画像から、この画像中におけるオプティカルフローを算出する一方、画像の全体が平面であると推定したときの平面のオプティカルフローを求め、画像中におけるオプティカルフローと、平面のオプティカルフローとを比較することにより、平面に対して静止している立体物を識別する。 Various methods for identifying a road and an object on a road included in a captured image captured by an imaging unit mounted on a vehicle have been proposed. For example, an optical flow of a captured image is calculated, and the calculated optical A technique for identifying a stationary solid object on a road included in a captured image based on a flow is known (for example, Patent Document 1). In other words, a distant image is picked up by an image pickup means mounted on the vehicle, and an optical flow in this image is calculated from a plurality of images obtained by the image pickup, while a plane when the entire image is estimated to be a flat surface. The three-dimensional object that is stationary with respect to the plane is identified by comparing the optical flow in the image with the optical flow of the plane.
上記した従来技術では、道路上の立体物の上部側のオプティカルフローのフローベクトルと、前記上部側の背景画像となる遠方の平面のオプティカルフローのフローベクトルとはその大きさが異なるため、前記上部側と平面とを区別して識別することができる。ところが、道路上の立体物の下部側のオプティカルフローのフローベクトルと、前記下部側の背景画像となる立体物付近の平面のオプティカルフローのフローベクトルとはその大きさがほぼ同じであるため、前記下部側と平面とを適切に区別できないおそれがある。 In the prior art described above, the flow vector of the optical flow on the upper side of the three-dimensional object on the road and the flow vector of the optical flow of the distant plane that becomes the background image on the upper side are different in size, so A side and a plane can be distinguished and identified. However, since the flow vector of the optical flow on the lower side of the three-dimensional object on the road and the flow vector of the optical flow of the plane near the three-dimensional object as the background image on the lower side are substantially the same, There is a possibility that the lower side and the plane cannot be properly distinguished.
本発明は、上記課題に鑑みてなされたものであり、撮影画像が射影変換された上方視画像のオプティカルフローに基づいて上方視画像に含まれる道路と道路上の物体とを適切に区別して識別できる技術を提供することを目的とする。 The present invention has been made in view of the above problems, and appropriately distinguishes and identifies a road and an object on the road included in the upper-view image based on the optical flow of the upper-view image obtained by projective transformation of the captured image. The purpose is to provide technology that can be used.
上記した目的を達成するために、本願発明者らは種々の検討を繰返した結果、移動する車両から撮影した撮影画像が射影変換された上方視画像では、上方視画像に含まれる道路部分のオプティカルフローのフローベクトルの大きさはほぼ同じ大きさとなること、上方視画像に含まれる道路上の物体は上方に引き伸ばされた状態であるためそのオプティカルフローのフローベクトルの大きさは物体の高さに応じて大きくなることに着目して本発明を完成した。 In order to achieve the above-described object, the inventors of the present application have repeated various studies. As a result, in a top view image obtained by projective transformation of a captured image taken from a moving vehicle, an optical portion of a road included in the top view image is obtained. The size of the flow vector of the flow is almost the same, and the object on the road included in the upper view image is stretched upward, so the size of the flow vector of the optical flow is the height of the object. The present invention was completed by paying attention to increase in response.
本発明の車両用画像処理装置は、車両に搭載された撮像手段と、前記撮像手段が撮影した車両周囲の撮影画像を上方視画像に射影変換する変換手段と、前記上方視画像のオプティカルフローを算出する算出手段と、前記オプティカルフローのフローベクトルの大きさの時系列的な変化に基づいて、前記上方視画像に含まれる道路と道路上の物体とを区別して識別する識別手段とを備えることを特徴としている（請求項１）。 An image processing apparatus for a vehicle according to the present invention includes an imaging unit mounted on a vehicle, a conversion unit that projects and converts a captured image around the vehicle captured by the imaging unit into an upper view image, and an optical flow of the upper view image. Calculating means for calculating, and identifying means for distinguishing and identifying a road and an object on the road included in the upper-view image based on a time-series change in the magnitude of the flow vector of the optical flow (Claim 1).
請求項１に記載の発明によれば、車両に搭載された撮像手段が撮影した車両周囲の撮影画像が変換手段により射影変換された上方視画像のオプティカルフローが算出手段により算出される。そして、上方視画像に含まれる道路部分のオプティカルフローのフローベクトルの大きさはほぼ同じ大きさとなり、上方視画像に含まれる道路上の物体のフローベクトルの大きさは物体の高さに応じて大きくなるため、撮影画像が射影変換された上方視画像のオプティカルフローのフローベクトルの大きさの時系列的な変化に基づいて、上方視画像に含まれる道路と道路上の物体とを識別手段により適切に区別して識別できる。 According to the first aspect of the present invention, the optical flow of the upper-view image obtained by projectively converting the captured image around the vehicle captured by the imaging unit mounted on the vehicle by the conversion unit is calculated by the calculation unit. The size of the flow vector of the optical flow of the road portion included in the upward view image is substantially the same, and the size of the flow vector of the object on the road included in the upward view image depends on the height of the object. Based on the time-series change in the magnitude of the flow vector of the optical flow of the upward view image obtained by projective transformation of the captured image, the identification means identifies the road and the object on the road included in the upward view image. Can be distinguished and identified appropriately.
本発明の一実施形態について、図１〜図４を参照して説明する。 An embodiment of the present invention will be described with reference to FIGS.
図１は本発明の車両用画像処理装置としての機能を備える挙動推定装置２の一実施形態のブロック図である。図２は単眼カメラ３の構成を示す図である。図３は上方視画像ｔＦの一例であって、（ａ）は時刻ｔ０，ｔ１のフレームにおける上方視画像ｔＦに基づくオプティカルフローおよび自車両１からの距離Ｚｒの位置のライン画像の各画素におけるフローベクトルの大きさを示すヒストグラムＨを示し、（ｂ）は時刻ｔ１，ｔ２のフレームにおける上方視画像ｔＦに基づくオプティカルフローおよび自車両１からの距離Ｚｒのライン画像の各画素におけるフローベクトルの大きさを示すヒストグラムＨを示し、（ｃ）は（ａ）および（ｂ）のヒストグラムＨの差分を示す。図４は図１の挙動推定装置２の処理の一例を示すフローチャートである。
FIG. 1 is a block diagram of an embodiment of a
１．構成
図１に示す本発明の車両用画像処理装置としての機能を備える挙動推定装置２は、自車両１に搭載された単眼カメラ３（本発明の「撮像手段」に相当）により撮影された撮影画像Ｆが射影変換された上方視画像ｔＦに含まれる道路１５部分のオプティカルフローの時系列的な変化に基づいて自車両１の挙動を推定するものであって、単眼カメラ３と、単眼カメラ３の撮影画像Ｆや種々のデータを記憶する記憶手段４と、単眼カメラ３の撮影画像Ｆを処理するマイクロコンピュータ構成のＥＣＵ６と、例えばインストルメントパネルなどに取付けられたＣＲＴ、液晶ディスプレイなどの走行モニタ７と、警報用のスピーカ８とを備えている。
1. Configuration The
単眼カメラ３は、この実施形態では自車両１の前方の撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、連続的に時々刻々と撮影した撮影画像Ｆの信号を出力する（図２参照）。また、自車両１の前方の路面撮影を行なうため、単眼カメラ３は、自車両１の車内の前方の上部位置に、上方から適当な角度で斜め下の路面をねらうように設けられている。
In this embodiment, the
記憶手段４は、各種メモリやハードディスクドライブなどを備え、単眼カメラ３から時々刻々と出力される撮影画像Ｆに対してＥＣＵ６により種々の処理を施す際に使用される各種データ、撮影画像Ｆに対してＥＣＵ６により種々の処理が施されることにより得られた各種データなどを格納する。
The
ＥＣＵ６は、例えばイグニッションキーのオンにより、予め設定された物体認識のプログラムを実行することにより以下の各手段を備えている。 The ECU 6 includes the following units by executing a preset object recognition program, for example, when the ignition key is turned on.
（１）取得手段６ａ
取得手段６ａは、単眼カメラ３により時々刻々と撮影された撮影画像Ｆを取得する。例えば、単眼カメラ３により撮影された撮影画像Ｆには、走行車線の自車両１の前方に先行車として走行する他車両１２、隣接する走行車線の自車両１の右前方を走行する他車両１３、道路１５に沿って設けられている建造物１４、道路１５などが含まれており、取得手段６ａはこの撮影画像Ｆを取得する。なお、この実施形態の撮影画像Ｆは、例えば４８０本のライン画像により形成されており、各ライン画像は例えば６４０画素により形成されている。
(1) Acquisition means 6a
The acquisition unit 6a acquires a captured image F captured by the
（２）変換手段６ｂ
変換手段６ｂは、単眼カメラ３により時々刻々と撮影された自車両１前方の各時刻における撮影画像Ｆを、図２に示すように路面に仮想面を設定し、図３（ａ），（ｂ）に示す上方視画像ｔＦに射影変換する。そして、単眼カメラ３により時系列に撮影されて変換手段６ｂにより射影変換される各フレームの撮影画像Ｆに関する種々のデータは記憶手段４に記憶される。なお、単眼カメラ３の撮影画像Ｆが路面に設定された仮想面に射影変換された上方視画像ｔＦでは物体の上端側が歪んだ画像となる。
(2) Conversion means 6b
The conversion means 6b sets a virtual plane on the road surface as shown in FIG. 2 for the captured images F at the respective times ahead of the host vehicle 1 that are captured by the
（３）算出手段６ｃ
算出手段６ｃは、図３（ａ），（ｂ）に示すように、上方視画像ｔＦの２枚目以降のフレームが取得される度に、上方視画像ｔＦのオプティカルフローを算出する。すなわち、時刻ｔ１に撮影された撮影画像Ｆに基づく新たなフレームの上方視画像ｔＦが取得されれば、時刻ｔ１のフレームの上方視画像ｔＦと時刻ｔ０のフレームの上方視画像ｔＦとに基づいて図３（ａ）中に矢印で示すオプティカルフローが算出手段６ｃにより算出される。
(3) Calculation means 6c
As shown in FIGS. 3A and 3B, the
つぎに、時刻ｔ２に撮影された撮影画像Ｆに基づく新たなフレームの上方視画像ｔＦが取得されれば、時刻ｔ２のフレームの上方視画像ｔＦと時刻ｔ１のフレームの上方視画像ｔＦとに基づいて図３（ｂ）中に矢印で示すオプティカルフローが算出手段６ｃにより算出される。そして、時刻ｔ３，ｔ４，ｔ５…に新たなフレームの上方視画像ｔＦが取得される度に、新たなフレームの上方視画像ｔＦと１つ前のフレームの上方視画像ｔＦとに基づくオプティカルフローが算出手段６ｃにより算出される。
Next, if an upward view image tF of a new frame based on the captured image F taken at time t2 is acquired, the upward view image tF of the frame at time t2 and the upward view image tF of the frame at time t1 are acquired. Thus, the optical flow indicated by the arrow in FIG. 3B is calculated by the calculating
なお、この実施形態では、図３（ａ），（ｂ）に示すように、算出手段６ｃにより算出されたオプティカルフローには、他車両１２，１３のフローベクトルＶ（α）、道路１５部分のフローベクトルＶ（β）、道路１５に沿った建造物１４のフローベクトルＶ（γ）が含まれている。
In this embodiment, as shown in FIGS. 3A and 3B, the optical flow calculated by the calculating
また、移動する自車両１から撮影した撮影画像Ｆが射影変換された上方視画像ｔＦでは、上方視画像ｔＦに含まれる道路１５部分全体でフローベクトルＶ（β）の大きさはほぼ同じ大きさとなり、上方視画像ｔＦに含まれる道路１５上の物体（他車両１２，１３）は上方に引き伸ばされた状態であるためそのフローベクトルＶ（α）の大きさは物体の高さに応じて大きくなる。また、それぞれのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の方向と大きさは、自車両１との相対的な移動方向および相対的な移動距離の大きさを示す。
Further, in the upward view image tF obtained by projective transformation of the captured image F taken from the moving own vehicle 1, the flow vector V (β) has almost the same size in the entire portion of the
（４）識別手段６ｄ
識別手段６ｄは、時刻ｔ１，ｔ２，ｔ３…と順次取得されたオプティカルフローのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさの時系列的な変化に基づいて、上方視画像ｔＦに含まれる道路１５と道路１５上の物体とを区別して識別する。この実施形態では、図３（ａ），（ｂ）に示すように、上方視画像ｔＦを構成するライン画像のうち、自車両１からの距離Ｚｒの位置に対応するライン画像の各画素におけるオプティカルフローのフローベクトルの大きさがヒストグラムＨとして表され、図３（ｃ）に示すように、同図（ａ）および（ｂ）のヒストグラムＨの差分（斜線部分）が取られることにより、オプティカルフローのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさの時系列的な変化が監視される。
(4) Identification means 6d
Based on the time series changes in the magnitudes of the flow vectors V (α), V (β), and V (γ) of the optical flow sequentially acquired at times t1, t2, t3. The
図３（ａ）に示す時刻ｔ０−ｔ１におけるオプティカルフローでは、上方視画像ｔＦの自車両１からの距離Ｚｒの位置には道路１５と建造物１４とが含まれており、距離Ｚｒの位置に対応するライン画像におけるオプティカルフローのフローベクトルＶ（β），Ｖ（γ）の大きさは、道路１５部分のフローベクトルＶ（β）はほぼ同じ大きさとなり、建造物１４部分のフローベクトルＶ（γ）の大きさは、道路１５部分のフローベクトルＶ（β）の大きさと異なり、この場合はフローベクトルＶ（β）よりも少し大きくなっている。
In the optical flow at time t0-t1 shown in FIG. 3A, the
図３（ｂ）に示す時刻ｔ１−ｔ２におけるオプティカルフローでは、上方視画像ｔＦの自車両１からの距離Ｚｒの位置には他車両１２，１３、道路１５および建造物１４が含まれており、距離Ｚｒの位置に対応するライン画像におけるオプティカルフローのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさは、道路１５部分のフローベクトルＶ（β）はほぼ同じ大きさとなり、他車両１２，１３部分および建造物１４部分のフローベクトルＶ（α），Ｖ（γ）の大きさは、道路１５部分のフローベクトルＶ（β）の大きさと異なり、この場合はフローベクトルＶ（β）よりも少し大きくなっている。
In the optical flow at time t1-t2 shown in FIG. 3 (b), the
したがって、図３（ｃ）に示すように、同図（ａ），（ｂ）にそれぞれ示すヒストグラムＨの差分を取れば自車両１との相対位置が変化する他車両１２，１３部分のみが残ることとなり、このようなベクトル差分の時系列的な変化を監視することにより、識別手段６ｄは、上方視画像ｔＦに含まれる道路１５部分と物体（他車両１２，１３）とを区別して識別する。
Therefore, as shown in FIG. 3 (c), if the difference between the histograms H shown in FIGS. 3 (a) and (b) is taken, only the
（５）推定手段６ｅ
推定手段６ｅは、識別手段６ｄにより識別された上方視画像ｔＦの道路１５部分のオプティカルフローのフローベクトルＶ（β）の方向および大きさの時系列的な変化を監視することにより、自車両１の挙動を推定する。すなわち、例えば、居眠り運転により自車両１が蛇行しているときなどに、自車両１（単眼カメラ３）および道路１５との相対的な挙動を示す道路１５部分のフローベクトルＶ（β）の方向および大きさを観察することにより、推定手段６ｅは、自車両１が蛇行していると推定することができる。
(5) Estimating means 6e
The estimation means 6e monitors time-series changes in the direction and magnitude of the flow vector V (β) of the optical flow of the
このとき、特に、単眼カメラ３の視点による撮影画像Ｆに含まれる他車両１２，１３などの物体の占有面積が大きい場合に、撮影画像Ｆを上方視画像ｔＦに変換することにより、撮影画像Ｆに含まれる道路１５部分の占有面積の撮影画像Ｆ内での比率と比較すれば、上方視画像ｔＦに含まれる道路１５部分の占有面積の上方視画像ｔＦ内での比率が大きくなるため、道路１５部分のフローベクトルＶ（β）を容易に監視することができる。また、他車両１２，１３のオプティカルフローのフローベクトルＶ（α）の方向および大きさは、他車両１２，１３の挙動によっても変化するため、自車両１の挙動を推定するためには、道路１５部分のフローベクトルＶ（β）の変化のみに基づく推定を行うことが非常に重要である。
At this time, in particular, when the area occupied by the object such as the
ところが、撮影画像Ｆのオプティカルフローは、消失点（ＦＯＥ：Ｆｏｃｕｓ Ｏｆ Ｅｘｐａｎｓｉｏｎ）を中心にあらゆる方向に現れることに加え、消失点（ＦＯＥ）からの距離にも大きく影響されるため、道路１５部分のフローベクトルＶ（β）のみを抽出して監視することは困難であるる。しかしながら、この実施形態では、識別手段６ｄにより、上方視画像ｔＦのオプティカルフローのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさの時系列的な変化に基づいて道路１５部分と道路１５上の物体（他車両１２，１３）とが適切に区別されて識別されるため、推定手段６ｅは、確実に道路１５部分のフローベクトルＶ（β）のみの変化を監視して自車両１の挙動を推定することができる。
However, the optical flow of the photographed image F is greatly influenced by the distance from the vanishing point (FOE) in addition to appearing in all directions centering on the vanishing point (FOE: Focus of Expansion). It is difficult to extract and monitor only the flow vector V (β). However, in this embodiment, the identification means 6d causes the
また、撮影画像Ｆが上方視画像ｔＦに射影変換されることで、上方視画像ｔＦに含まれる道路１５部分全体のオプティカルフローのフローベクトルＶ（β）は、自車両１の挙動に応じてほぼ同じものとなるため、上方視画像ｔＦの道路１５部分のフローベクトルＶ（β）を監視することにより、推定手段６ｅは、自車両１の挙動を高精度に推定することができる。
Further, the shot image F is projectively transformed into the upward view image tF, so that the flow vector V (β) of the optical flow of the entire portion of the
（６）報知手段６ｆ
報知手段６ｆは、推定手段６ｅにより推定される自車両１の挙動に基づき、例えば走行モニタ７に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、自車挙動を視覚的にドライバに報知する。また、スピーカ８から、推定結果の音声メッセージ、警告音を発生して自車挙動を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。
(6) Notification means 6f
Based on the behavior of the host vehicle 1 estimated by the estimating unit 6e, the notifying unit 6f displays the warning behavior by superimposing a warning display on the car navigation map being displayed on the
２．動作
次に、上記したように構成された挙動推定装置２の動作の一例について図４を参照して説明する。なお、この実施形態では、図３（ａ），（ｂ）に示すように、走行車線の自車両１の前方を先行車として他車両１２（物体）が走行し、隣の走行車線の自車両１の右前方を他車両１３（物体）が走行している状態を例に挙げて説明する。また、記憶手段４には、時系列で撮影された過去の撮影画像Ｆが射影変換されることによる上方視画像ｔＦに基づいて算出手段６ｃにより算出されたオプティカルフローに関する情報などが格納されるものとする。
2. Operation Next, an example of the operation of the
図４に示す処理は、例えば、自車両１の走行中に単眼カメラ３による撮影が行われる度に実行される処理であって、まず、自車両１のイグニッションキーのオンにより単眼カメラ３による撮影が開始されると、単眼カメラ３による自車両１の前方の撮影画像Ｆの信号が時々刻々とＥＣＵ６に取得手段６ａにより取込まれて、変換手段６ｂにより射影変換される（ステップＳ１）。そして、最新のフレームの上方視画像ｔＦおよび１つ前のフレームの上方視画像ｔＦに基づいて算出手段６ｃによりオプティカルフローが算出される（ステップＳ２）。
The process shown in FIG. 4 is a process that is executed each time shooting is performed with the
そして、識別手段６ｄにより、自車両１からの距離Ｚｒに相当するライン画像を形成する各画素におけるオプティカルフローのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさが抽出されて（ステップＳ３）、抽出されたフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさに基づいてヒストグラムＨが生成される（ステップＳ４）。
Then, the size of the optical flow flow vectors V (α), V (β), and V (γ) in each pixel forming the line image corresponding to the distance Zr from the host vehicle 1 is extracted by the
つぎに、識別手段６ｄにより、前回生成したヒストグラムＨと今回生成したヒストグラムＨに基づくベクトル差分が算出され（ステップＳ５）、ライン画像上の各画素におけるベクトル差分の大きさが所定値以下である位置が道路１５部分と識別されて（ステップＳ６でＹＥＳ）、該当位置におけるフローベクトルＶ（β）が推定手段６ｅによる自車両１の挙動推定に利用されて処理を終了する（ステップＳ７）。
Next, a vector difference based on the histogram H generated last time and the histogram H generated this time is calculated by the
一方、ライン画像上の各画素におけるベクトル差分の大きさが所定値よりも大きい位置は道路１５部分ではない（他車両１２，１３）と識別されて（ステップＳ６でＮＯ）、該当位置におけるフローベクトルＶ（α）が推定手段６ｅによる自車両１の挙動推定に利用されずに処理を終了する（ステップＳ８）。
On the other hand, the position where the magnitude of the vector difference in each pixel on the line image is larger than the predetermined value is identified as not the
以上のように、この実施形態によれば、自車両１に搭載された単眼カメラ３が撮影した自車両１周囲の撮影画像Ｆが変換手段６ｂにより射影変換された上方視画像ｔＦのオプティカルフローが算出手段６ｃにより算出される。そして、上方視画像ｔＦに含まれる道路１５部分のオプティカルフローのフローベクトルＶ（β）の大きさはほぼ同じ大きさとなり、上方視画像ｔＦに含まれる道路１５上の物体（他車両１２，１３）のフローベクトルＶ（α）の大きさは物体の高さに応じて大きくなるため、撮影画像Ｆが射影変換された上方視画像ｔＦのオプティカルフローのフローベクトルＶ（α），Ｖ（β），Ｖ（γ）の大きさの時系列的な変化に基づいて、上方視画像ｔＦに含まれる道路１５と道路１５上の物体とを識別手段６ｄにより適切に区別して識別できる。
As described above, according to this embodiment, the optical flow of the upper-view image tF obtained by projectively converting the captured image F around the host vehicle 1 captured by the
また、識別手段６ｄにより適切に区別して識別された道路１５部分のフローベクトルＶ（β）の大きさや方向の変化を監視することにより、自車両１の挙動を推定手段６ｅにより高精度に推定してドライバに対して適切な運転支援を行うことができる。
In addition, the behavior of the host vehicle 1 is estimated with high accuracy by the estimation means 6e by monitoring the change in the magnitude and direction of the flow vector V (β) of the
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ３を、後方を撮影可能に自車両１の後部に取付けてもよい。このように構成しても、自車両１後方の道路１５部分におけるフローベクトルＶ（β）の変化を監視することにより自車両１の挙動を推定手段６ｅにより高精度に推定することができる。
The present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the spirit of the present invention. For example, the
また、上記した実施形態では、上方視画像ｔＦの所定領域、すなわち、自車両１からの距離Ｚｒの位置に対応するライン画像上のフローベクトルに基づいて、道路１５と道路１５上の物体との識別を行ったが、上方視画像ｔＦの複数の所定領域、すなわち、複数本のライン画像上のフローベクトルの大きさの変化に基づいて識別手段６ｄによる識別を行ってもよいし、上方視画像ｔＦ全体のフローベクトルの大きさの変化に基づいて識別手段６ｄによる識別を行ってもよい。また、道路１５上の物体を識別した時刻以降は、物体が存在すると想定される領域のオプティカルフローを算出せず、道路１５部分のオプティカルフローのみを算出して推定手段６ｅによる推定を行ってもよい。
Further, in the above-described embodiment, the
また、本発明は種々の車両の画像処理に適用することができる。 Further, the present invention can be applied to image processing of various vehicles.
１ 自車両
２ 挙動推定装置（車両用画像処理装置）
３ 単眼カメラ（撮像手段）
６ｃ 算出手段
６ｄ 識別手段
１２，１３ 他車両（物体）
１５ 道路
ｔＦ 上方視画像
Ｖ（α），Ｖ（β），Ｖ（γ） フローベクトル
DESCRIPTION OF SYMBOLS 1
3 Monocular camera (imaging means)
6c Calculation means 6d Identification means 12, 13 Other vehicle (object)
15 Road tF Top view image V (α), V (β), V (γ) Flow vector
Claims (1)
前記撮像手段が撮影した車両周囲の撮影画像を上方視画像に射影変換する変換手段と、
前記上方視画像のオプティカルフローを算出する算出手段と、
前記オプティカルフローのフローベクトルの大きさの時系列的な変化に基づいて、前記上方視画像に含まれる道路と道路上の物体とを区別して識別する識別手段と
を備えることを特徴とする車両用画像処理装置。 Imaging means mounted on the vehicle;
Conversion means for projectively converting a photographed image around the vehicle photographed by the imaging means into an upward view image;
A calculating means for calculating an optical flow of the upper view image;
An identification unit that distinguishes and identifies a road and an object on the road included in the upper-view image based on a time-series change in the magnitude of the flow vector of the optical flow. Image processing device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010067501A JP2011203766A (en) | 2010-03-24 | 2010-03-24 | Image processing apparatus for vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010067501A JP2011203766A (en) | 2010-03-24 | 2010-03-24 | Image processing apparatus for vehicle |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011203766A true JP2011203766A (en) | 2011-10-13 |
Family
ID=44880390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010067501A Withdrawn JP2011203766A (en) | 2010-03-24 | 2010-03-24 | Image processing apparatus for vehicle |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011203766A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013092994A (en) * | 2011-10-27 | 2013-05-16 | Clarion Co Ltd | Vehicle periphery monitoring device |
| JP2017162125A (en) * | 2016-03-08 | 2017-09-14 | 富士通株式会社 | Image analysis program, image analyzer and image analysis method |
| WO2018094697A1 (en) * | 2016-11-25 | 2018-05-31 | 深圳市窝窝头科技有限公司 | Fast three-dimensional space projection and photographing visual identification system |
-
2010
- 2010-03-24 JP JP2010067501A patent/JP2011203766A/en not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013092994A (en) * | 2011-10-27 | 2013-05-16 | Clarion Co Ltd | Vehicle periphery monitoring device |
| JP2017162125A (en) * | 2016-03-08 | 2017-09-14 | 富士通株式会社 | Image analysis program, image analyzer and image analysis method |
| WO2018094697A1 (en) * | 2016-11-25 | 2018-05-31 | 深圳市窝窝头科技有限公司 | Fast three-dimensional space projection and photographing visual identification system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5421072B2 (en) | Approaching object detection system | |
| JP4631096B2 (en) | Vehicle periphery monitoring device | |
| JP5706874B2 (en) | Vehicle periphery monitoring device | |
| US8766816B2 (en) | System for monitoring the area around a vehicle | |
| JP4687411B2 (en) | Vehicle peripheral image processing apparatus and program | |
| KR101093316B1 (en) | Method and System for Image Matching While Driving Vehicle | |
| JP4528283B2 (en) | Vehicle periphery monitoring device | |
| JP2010044561A (en) | Monitoring device to be mounted on vehicle | |
| US20100002078A1 (en) | Periphery monitoring apparatus | |
| JP2010026601A (en) | Vehicle periphery monitoring device | |
| JP6638527B2 (en) | Vehicle equipment, vehicle program | |
| JP5695000B2 (en) | Vehicle periphery monitoring device | |
| JP2011203766A (en) | Image processing apparatus for vehicle | |
| JP5004923B2 (en) | Vehicle driving support device | |
| JP2008004989A (en) | Vehicle perimeter display apparatus | |
| JP2017154613A (en) | Display device for vehicle | |
| JP5172482B2 (en) | Vehicle periphery monitoring device | |
| JP2016173644A (en) | Driving support device and driving support method | |
| JP2011103058A (en) | Erroneous recognition prevention device | |
| JP2011191859A (en) | Apparatus for monitoring surroundings of vehicle | |
| JP5518407B2 (en) | Obstacle detection device for vehicle | |
| JP2009126493A (en) | Obstacle detection device | |
| JP2010191666A (en) | Vehicle periphery monitoring apparatus | |
| JP2010009491A (en) | Driving assist system, driving assist method, and driving assist program | |
| JP2014078155A (en) | On-vehicle alarm device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130604 |