JP7391117B2 - Vehicle image processing device and vehicle image processing method - Google Patents
Vehicle image processing device and vehicle image processing method Download PDFInfo
- Publication number
- JP7391117B2 JP7391117B2 JP2022001400A JP2022001400A JP7391117B2 JP 7391117 B2 JP7391117 B2 JP 7391117B2 JP 2022001400 A JP2022001400 A JP 2022001400A JP 2022001400 A JP2022001400 A JP 2022001400A JP 7391117 B2 JP7391117 B2 JP 7391117B2
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- vehicle
- point
- flow
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 47
- 238000004364 calculation method Methods 0.000 claims description 87
- 238000001514 detection method Methods 0.000 claims description 70
- 238000003384 imaging method Methods 0.000 claims description 53
- 230000005856 abnormality Effects 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 25
- 239000000284 extract Substances 0.000 claims description 10
- 230000006866 deterioration Effects 0.000 claims description 9
- 238000000034 method Methods 0.000 description 55
- 238000010586 diagram Methods 0.000 description 27
- 230000003287 optical effect Effects 0.000 description 17
- 230000000694 effects Effects 0.000 description 8
- 238000007689 inspection Methods 0.000 description 7
- 238000005192 partition Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Images
Landscapes
- Road Signs Or Road Markings (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本願は、車両用画像処理装置および車両用画像処理方法に関する。 The present application relates to a vehicle image processing device and a vehicle image processing method.
車両の走行、経年劣化などによって道路の路面は劣化し、路面にひび割れ、陥没などが生じることがある。また、車両の搭載物の落下、自然物の飛来などによって、路面上に落下障害物が生じることがある。これらの道路劣化および落下障害物は車両事故の原因となりうるため、車両の安全な走行を維持するためには、路面の状態の検査を定期的に行う必要がある。なお、以下、道路劣化および落下障害物などの路面上の静止物体を総称して道路異常と呼び、道路異常に関する情報を道路異常情報と呼ぶ。 Road surfaces deteriorate due to vehicle driving and deterioration over time, and cracks, depressions, etc. may occur on the road surface. In addition, falling obstacles may occur on the road surface due to falling objects from a vehicle or flying natural objects. These road deterioration and falling obstacles can cause vehicle accidents, so in order to maintain safe driving of vehicles, it is necessary to periodically inspect the condition of the road surface. Hereinafter, road deterioration and stationary objects on the road surface such as falling obstacles will be collectively referred to as road abnormalities, and information regarding road abnormalities will be referred to as road abnormality information.
特許文献１には、道路環境の保全を目的として、車両に搭載された撮像装置から得られる情報（以下、撮像情報と呼ぶ）に基づき、機械学習手法によって道路の路面の劣化を検出する路面検査装置および路面検査方法が開示されている。 Patent Document 1 describes a road surface inspection that uses machine learning techniques to detect road surface deterioration based on information obtained from an imaging device mounted on a vehicle (hereinafter referred to as imaging information) for the purpose of preserving the road environment. An apparatus and road surface inspection method are disclosed.
また、特許文献２には、移動体の撮像情報に基づき、事前に与えられた固定パラメータおよび実行時に与えられる変数パラメータを用いて撮像画像上の特徴点の座標を変換し、第１および第２のオプティカルフローの差異から、路面上の静止物体を検出する物体検出装置が開示されている。 Furthermore, Patent Document 2 discloses that the coordinates of feature points on a captured image are transformed using fixed parameters given in advance and variable parameters given at the time of execution based on imaging information of a moving object, and An object detection device has been disclosed that detects stationary objects on a road surface based on differences in optical flows.
しかしながら、特許文献１に記載の路面検査装置および路面検査方法では、機械学習手法によって道路の劣化を検出するため、処理負荷が高いといった課題がある。したがって、特許文献１に記載の路面検査装置および路面検査方法によってリアルタイムで精度よく道路異常を検出するためには高価な処理装置を車両に搭載せざるを得ず、路面検査装置の普及を妨げる要因となる。 However, the road surface inspection device and road surface inspection method described in Patent Document 1 detect road deterioration using a machine learning method, so there is a problem that the processing load is high. Therefore, in order to accurately detect road abnormalities in real time using the road surface inspection device and road surface inspection method described in Patent Document 1, an expensive processing device must be installed in the vehicle, which is a factor that hinders the spread of road surface inspection devices. becomes.
なお、車両への高価な処理装置の搭載を避けるために、車両から外部サーバーに撮像情報を送信し、車載装置ではなく外部サーバーを用いて、機械学習手法による道路劣化の検出を行うという手段も考えられる。しかしながら、かかる方法では、全ての撮像情報を逐一外部サーバーに送信する必要があるため、通信コストの増加が課題となる。 In addition, in order to avoid installing expensive processing equipment in the vehicle, there is also a method of transmitting image information from the vehicle to an external server, and using the external server instead of the in-vehicle device to detect road deterioration using machine learning techniques. Conceivable. However, with this method, it is necessary to transmit all the imaging information to the external server one by one, which poses a problem of increased communication costs.
また、特許文献２に記載の物体検出装置を路面上の静止物体の検出に適用する場合、撮像手段の路面からの高さ、撮像手段の水平面に対する傾きなどといった固定パラメータを事前に測定および設定（以下、事前キャリブレーションと呼ぶ）する必要があるといった課題がある。例えば、特許文献２に記載の物体検出装置を既製の車両に設置して使用する場合、車両への設置のたびに、かつ、車両ごとに事前キャリブレーションを行う必要があるため、利便性に著しく欠ける。 In addition, when applying the object detection device described in Patent Document 2 to detecting a stationary object on a road surface, fixed parameters such as the height of the imaging means from the road surface and the inclination of the imaging means with respect to the horizontal plane are measured and set in advance ( There is a problem in that it is necessary to perform pre-calibration (hereinafter referred to as pre-calibration). For example, when the object detection device described in Patent Document 2 is installed and used in a ready-made vehicle, it is necessary to perform pre-calibration each time it is installed in the vehicle and for each vehicle, which significantly reduces convenience. Missing.
本開示は、上記のような課題を解決するためになされたものであり、道路異常の検出に際して、通信コストも発生せず、かつ、事前キャリブレーションも不要となるような、道路異常の検出に要する処理負荷が低減された車両用画像処理装置および車両用画像処理方法を提供することを目的とする。 The present disclosure has been made in order to solve the above-mentioned problems, and provides a method for detecting road abnormalities that does not incur communication costs and does not require pre-calibration. It is an object of the present invention to provide a vehicle image processing device and a vehicle image processing method with reduced processing load.
本開示に係る車両用画像処理装置は、
車両に設置され、前記車両の周囲の路面を撮像して、時系列で連続する複数の撮像画像を取得する撮像部と、
前記撮像画像に基づき、前記車両の移動方向の消失点を推定する消失点推定部と、
前記時系列で連続する複数の撮像画像の間で対応する特徴点を算出する特徴点算出部と、
前記撮像画像から道路異常が存在する可能性のある候補対象領域を検出する候補対象領域検出部と、
前記特徴点算出部で算出された前記特徴点のうち、前記候補対象領域に含まれる特徴点を候補特徴点として抽出する候補特徴点抽出部と、
前記撮像画像から路面上の特徴点を路面特徴点として抽出あるいは算出する路面特徴点特定部と、
前記候補特徴点に基づき、候補フローを算出する候補フロー算出部と、
前記路面特徴点に基づき、路面フローを算出する路面フロー算出部と、
前記路面フローに基づき、固定路面定数を算出する固定路面定数算出部と、
前記車両の車両速度を前記固定路面定数によって除算することにより算出される瞬時路面定数が、前記消失点と前記候補フローの始点の距離の逆数から前記消失点と前記候補フローの終点の距離の逆数を引いた数値と一致するか否かを判定するフロー比率判定部と、
前記消失点、前記候補フローの始点および終点が同一の直線上に位置するか否かを判定するフロー方向判定部と、
前記フロー方向判定部および前記フロー比率判定部の判定結果に基づき、前記候補対象領域における前記道路異常の存在を判定する路面フロー判定部と、
を備える。
The vehicle image processing device according to the present disclosure includes:
an imaging unit that is installed in a vehicle and captures images of a road surface around the vehicle to obtain a plurality of consecutive captured images in chronological order;
a vanishing point estimation unit that estimates a vanishing point in the moving direction of the vehicle based on the captured image;
a feature point calculation unit that calculates corresponding feature points among the plurality of captured images that are continuous in the time series;
a candidate target area detection unit that detects a candidate target area in which a road abnormality may exist from the captured image;
a candidate feature point extracting unit that extracts feature points included in the candidate target area as candidate feature points from among the feature points calculated by the feature point calculating unit;
a road surface feature point identification unit that extracts or calculates feature points on the road surface from the captured image as road surface feature points;
a candidate flow calculation unit that calculates a candidate flow based on the candidate feature points;
a road surface flow calculation unit that calculates a road surface flow based on the road surface feature points;
a fixed road surface constant calculation unit that calculates a fixed road surface constant based on the road surface flow;
An instantaneous road surface constant calculated by dividing the vehicle speed of the vehicle by the fixed road surface constant is calculated from the reciprocal of the distance between the vanishing point and the starting point of the candidate flow to the reciprocal of the distance between the vanishing point and the end point of the candidate flow. a flow ratio determination unit that determines whether or not the value obtained by subtracting .
a flow direction determining unit that determines whether the vanishing point, the starting point, and the ending point of the candidate flow are located on the same straight line;
a road surface flow determination unit that determines the presence of the road abnormality in the candidate target area based on the determination results of the flow direction determination unit and the flow ratio determination unit;
Equipped with.
本開示に係る車両用画像処理方法は、
車両の周囲の路面を撮像して、時系列で連続する複数の撮像画像を取得する撮像ステップと、
前記撮像画像に基づき、前記車両の移動方向の消失点を推定する消失点推定ステップと、
前記時系列で連続する複数の撮像画像の間で対応する特徴点を算出する特徴点算出ステップと、
前記撮像画像から道路異常が存在する可能性のある候補対象領域を検出する候補対象領域検出ステップと、
前記特徴点算出ステップで算出された前記特徴点のうち、前記候補対象領域に含まれる特徴点を候補特徴点として抽出する候補特徴点抽出ステップと、
前記撮像画像から路面上の特徴点を路面特徴点として抽出あるいは算出する路面特徴点特定ステップと、
前記候補特徴点に基づき、候補フローを算出する候補フロー算出ステップと、
前記路面特徴点に基づき、路面フローを算出する路面フロー算出ステップと、
前記路面フローに基づき、固定路面定数を算出する固定路面定数算出ステップと、
前記車両の車両速度を前記固定路面定数によって除算することにより算出される瞬時路面定数が、前記消失点と前記候補フローの始点の距離の逆数から前記消失点と前記候補フローの終点の距離の逆数を引いた数値と一致するか否かを判定するフロー比率判定ステップと、
前記消失点、前記候補フローの始点および終点が同一の直線上に位置するか否かを判定するフロー方向判定ステップと、
前記フロー方向判定ステップおよび前記フロー比率判定ステップの判定結果に基づき、前記候補対象領域における前記道路異常の存在を判定する路面フロー判定ステップと、
を含む。
The vehicle image processing method according to the present disclosure includes:
an imaging step of imaging a road surface around the vehicle to obtain a plurality of consecutive captured images in chronological order;
a vanishing point estimating step of estimating a vanishing point in the moving direction of the vehicle based on the captured image;
a feature point calculation step of calculating corresponding feature points between the plurality of captured images that are continuous in the time series;
a candidate target area detection step of detecting a candidate target area where a road abnormality may exist from the captured image;
a candidate feature point extracting step of extracting feature points included in the candidate target area as candidate feature points from among the feature points calculated in the feature point calculating step;
a road surface feature point identifying step of extracting or calculating feature points on the road surface from the captured image as road surface feature points;
a candidate flow calculation step of calculating a candidate flow based on the candidate feature points;
a road surface flow calculation step of calculating a road surface flow based on the road surface feature points;
a fixed road surface constant calculation step of calculating a fixed road surface constant based on the road surface flow;
An instantaneous road surface constant calculated by dividing the vehicle speed of the vehicle by the fixed road surface constant is calculated from the reciprocal of the distance between the vanishing point and the starting point of the candidate flow to the reciprocal of the distance between the vanishing point and the end point of the candidate flow. a flow ratio determination step of determining whether or not it matches the value obtained by subtracting .
a flow direction determining step of determining whether the vanishing point, the starting point and the ending point of the candidate flow are located on the same straight line;
a road surface flow determination step of determining the presence of the road abnormality in the candidate target area based on the determination results of the flow direction determination step and the flow ratio determination step;
including.
本開示に係る車両用画像処理装置によれば、撮像画像から取得されるオプティカルフローを用いて道路異常を簡易に検出できるため、道路異常の検出に要する処理負荷が低減される車両用画像処理装置が得られる。 According to the vehicle image processing device according to the present disclosure, road abnormalities can be easily detected using optical flows acquired from captured images, so the processing load required for detecting road abnormalities is reduced. is obtained.
本開示に係る車両用画像処理方法によれば、撮像画像から取得されるオプティカルフローを用いて道路異常を簡易に検出できるため、道路異常の検出に要する処理負荷が低減される。 According to the image processing method for a vehicle according to the present disclosure, road abnormalities can be easily detected using optical flows acquired from captured images, so that the processing load required for detecting road abnormalities is reduced.
実施の形態１．
図１は、実施の形態１に係る車両用画像処理装置５００を含む自車両１０１および自車両１０１の周辺の状況を示す模式図である。なお、図１は、実施の形態１のみならず後述する実施の形態２から４においても、共通して用いられる図である。
Embodiment 1.
FIG. 1 is a schematic diagram showing a
図１において、自車両１０１は、実施の形態１に係る車両用画像処理装置５００を搭載する（図示せず）。自車両１０１には撮像部１０２が設置されている。撮像部１０２は、自車両１０１の前方の撮像範囲１０２ａ内の路面を撮像する。路面上には、自車両１０１の走行の障害となるような落下障害物などの路面上の静止物体１０３が存在する。自車両１０１には、自車両１０１の位置、つまり、自車位置を測位する測位センサー１０４ａが設けられている。測位センサー１０４ａは、位置測位部１０４を構成する。位置測位部１０４については後述する。
In FIG. 1, a
撮像部１０２は、一例として光学カメラで構成される。しかしながら、撮像部１０２は光学カメラに限定されるわけではなく、自車両１０１の周囲の環境を画像として取得できる機器であれば、例えば、赤外線カメラなどの各種センサー類を用いてもよい。なお、実施の形態１に係る車両用画像処理装置５００を構成する撮像部１０２としては、理想的なピンホールカメラを想定するものの、広角カメラを用いた上で、広角カメラのレンズ歪みを補正する処理を行って利用するようなものでもよい。
The
撮像部１０２の撮像範囲１０２ａは、撮像範囲１０２ａの一部に自車両１０１の周辺の路面が含まれていればよい。また、撮像部１０２の設置個所は自車両１０１の前方でなくてもよい。例えば、撮像部１０２を自車両１０１の後方に設置して、撮影してもよい。
The
路面上の静止物体１０３は、実施の形態１に係る車両用画像処理装置５００の検出対象となる道路異常の一態様である。路面上の静止物体１０３は、例えば、落下障害物などである。車両用画像処理装置５００の検出対象として、路面上の静止物体１０３以外に、道路のひび割れ、***、陥没などの道路劣化、停車車両、駐車車両が挙げられる。
位置測位部１０４を構成する測位センサー１０４ａとして、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ：全地球測位衛星システム）の受信装置を適用することができる。測位センサー１０４ａによって、自車両１０１の自車位置を常時把握することができる。測位センサー１０４ａとしてＧＮＳＳではなく、ＤＭＩ（Ｄｉｓｔａｎｃｅ Ｍｅａｓｕｒｉｎｇ Ｉｎｓｔｒｕｍｅｎｔ：走行距離計）とＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ：慣性計測機）、加速度センサー、地磁気計測器などを用いて、自律的に自車両１０１の自車位置を把握してもよい。また、道路上に設置された電磁マーカ、サインポストの読み取りによって、自車両１０１の自車位置を把握することとしてもよい。
As the
＜実施の形態１に係る車両用画像処理装置５００の構成＞
図２は、実施の形態１に係る車両用画像処理装置５００の構成を示す機能ブロック図である。また、図３から図６に、撮像部１０２が撮像した撮像画像３０１、３０１ｃの模式図をそれぞれ示す。
<Configuration of vehicle
FIG. 2 is a functional block diagram showing the configuration of the vehicle
撮像部１０２は、撮像範囲１０２ａの範囲内を撮像し、撮像画像を出力する。図３は、撮像部１０２が撮像する撮像画像３０１を示す模式図である。
The
消失点推定部２０１は、撮像部１０２から出力された撮像画像３０１に対して、自車両１０１の移動方向の消失点を推定する。消失点の推定手段として、例えば、図３に示すように、撮像画像３０１内の区画線３０２ａおよび区画線３０２ｂを画像処理によって検出し、区画線３０２ａと区画線３０２ｂの交点を消失点とみなしてもよい。あるいは、過去の撮像画像および現在の撮像画像を用いて撮像画像の背景のオプティカルフローを算出し、オプティカルフローの集中する点を消失点とみなしてもよい。なお、実施の形態１に係る車両用画像処理装置５００では、自車両１０１の移動方向の消失点を推定することができればよく、消失点の推定手段は上述の手段に限定されるものではない。
The vanishing
撮像結果記憶部２０２は、過去の撮像画像を記憶し、要求に応じて適宜出力する。撮像結果記憶部２０２の動作の一例として、１フレーム前の撮像画像を記憶し、要求に応じて適宜出力するような動作が挙げられる。例えば、時系列で連続する第一撮像画像３０１ａおよび第二撮像画像３０１ｂを撮像するような場合は、現在の第二撮像画像３０１ｂに対して、第一撮像画像３０１ａは撮像結果記憶部２０２に記憶された１フレーム前の過去の撮像画像となる。なお、過去の撮像画像とは、上述した現在の撮像画像に対する１フレーム前の撮像画像に限定されるわけではなく、２フレーム前、３フレーム前など、予め設定された過去の一定の時点において撮像された撮像画像でもよい。
The imaging
候補対象領域検出部２０３は、撮像部１０２から出力された撮像画像３０１に対して、道路異常の一態様である路面上の静止物体１０３が存在する可能性のある領域（以下、候補対象領域と呼ぶ）を検出する。
The candidate target
実施の形態１に係る車両用画像処理装置５００による候補対象領域３１０の検出方法として、撮像画像３０１上で特定の色域の画素を有し、かつ、連続する強いエッジを囲う領域を路面上の静止物体１０３が存在する可能性のある候補対象領域３１０として検出し、出力する。例えば、図３に示す撮像画像３０１の一例では、路面上の静止物体１０３が実際に存在する候補対象領域３１０および候補対象領域３１０ではあるものの路面上の静止物体１０３、すなわち、道路異常とはみなされない先行車両３０３の固有色および連続する強いエッジをそれぞれ検出する。さらに、図４に示すように、路面上の静止物体１０３を囲う矩形領域である候補対象領域３１０および先行車両３０３を囲う矩形領域である候補対象領域３１０をそれぞれ特定する。
As a method for detecting
なお、候補対象領域検出部２０３によって候補対象領域３１０が検出されない場合は、候補対象領域３１０を出力しなくてもよい。一方、候補対象領域検出部２０３によって候補対象領域３１０が複数検出される場合は、候補対象領域３１０を複数出力してもよい。また、本開示では候補対象領域３１０を検出できればよく、候補対象領域３１０の検出方法は、上述の検出方法に限定されるものではない。例えば、上述の検出方法以外にも、撮像画像上の特徴量と予め記憶している道路異常の各態様の特徴量とを比較するテンプレートマッチング手法によって、道路異常が存在する可能性のある候補対象領域３１０を検出してもよい。
Note that if the
特徴点算出部２０４は、撮像部１０２で撮像された撮像画像３０１に対して、後述する機能ブロックで複数の撮像画像３０１間の画素を対応付けるための特徴点を算出する。実施の形態１に係る車両用画像処理装置５００では、特徴点の検出方法として、Ｓｈｉ－Ｔｏｍａｓｉのコーナー検出（Ｇｏｏｄ Ｆｅａｔｕｒｅｓ ｔｏ Ｔｒａｃｋ特徴点）を用いる。
The feature
例えば、図５に示す撮像画像３０１ｃの一例では、落下障害物などの路面上の静止物体１０３に起因する特徴点として、候補特徴点１０３ｂおよび候補特徴点１０３ｃが撮像画像３０１ｃから検出される。なお、候補特徴点の意味については後述する。また、先行車両３０３に起因する特徴点として、候補特徴点３０３ｂ、候補特徴点３０３ｃおよび候補特徴点３０３ｄが撮像画像３０１ｃから検出される。さらに、破線区画線３０４に起因する特徴点として、路面特徴点３０４ａおよび路面特徴点３０４ｂが撮像画像３０１ｃから算出される。路面特徴点の意味については後述する。
For example, in an example of the captured
特徴点算出部２０４によって抽出される特徴点は、連続して撮像された複数の撮像画像間で、互いに対応づけられている。すなわち、時系列で連続する第一撮像画像３０１ａおよび第二撮像画像３０１ｂを撮像するような場合は、現在の撮像画像である第二撮像画像３０１ｂのフレーム上で抽出された候補特徴点３０３ｂは、自車両１０１の移動および先行車両３０３の移動によって候補特徴点３０３ｂが撮像画像のフレーム外となってしまわない限り、１フレーム前の過去の第一撮像画像３０１ａのフレーム上に候補特徴点３０３ｂを対応付けることができる。要するに、連続する複数の撮像画像間で共通する対象物に起因する特徴点は、互いに対応付けることができる。
The feature points extracted by the feature
なお、上述の特徴点の検出手段として、Ｈａｒｒｉｓのコーナー検出手段を用いてもよいし、あるいは、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）特徴量、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）特徴量などを検出してもよい。要するに、実施の形態１に係る車両用画像処理装置５００では、特徴点算出部２０４による特徴点の検出手段として、公知の様々な検出手段を適用してもよい。
As the feature point detection means described above, Harris corner detection means may be used, or SIFT (Scale Invariant Feature Transform) feature amounts, SURF (Speed Up Robust Features) feature amounts, ORB (Oriented F Features) may be used. AST and Rotated BRIEF) feature quantities, etc. may also be detected. In short, in the vehicle
路面領域検出部２０５は、撮像部１０２で撮像された撮像画像３０１に対して、路面領域３１１を検出する。ここで、路面領域３１１とは、例えば、図６に示される撮像画像３０１において、破線で囲まれる領域である。路面領域３１１は、撮像画像３０１において、自車両１０１の走行路面と高さが概ね一致している画素領域を指す。路面領域検出部２０５による路面領域３１１の検出手段として、例えば、国際公開２０１９／２０２６２８号公報に開示されている検出手段を用いて、予め設定した参照領域の色ヒストグラムから路面領域３１１を検出することが可能である。
The road surface
上述の検出方法以外でも、撮像画像中の特定の画素領域、例えば、図３における区画線３０２ａおよび区画線３０２ｂに囲まれた領域を、路面領域３１１として特定するような検出手段であってもよい。本開示では路面領域３１１の検出手段を特に限定しない。要するに、実施の形態１に係る車両用画像処理装置５００では、路面領域検出部２０５による路面領域３１１の検出手段として、公知の様々な検出手段を適用してもよい。
In addition to the above-mentioned detection method, a detection means may be used that specifies a specific pixel area in a captured image, for example, an area surrounded by the
位置測位部１０４は、道路に対する自車両１０１の自車位置を測位する。上述したように、自車両１０１の自車位置の測位に際しては、自車両１０１に設置された測位センサー１０４ａを用いて測位する。なお、自車両１０１の自車位置の測位は、走行中、連続的に実行される。
The
車速取得部２０６は、位置測位部１０４で測位された自車両１０１の自車位置の履歴を記憶し、自車両１０１の自車位置の時間変化から、自車両１０１の車両速度を取得する。
The vehicle
路面静止判定部２０７は、撮像部１０２によって撮像された現在の撮像画像（第二撮像画像３０１ｂ）、消失点推定部２０１によって推定された消失点、撮像結果記憶部２０２に記憶された過去、つまり、１フレーム前の撮像画像（第一撮像画像３０１ａ）、候補対象領域検出部２０３によって検出された候補対象領域３１０、特徴点算出部２０４によって抽出された特徴点、路面領域検出部２０５によって検出された路面領域３１１、車速取得部２０６によって取得された自車両１０１の車両速度ｖなどを用いて、候補対象領域３１０に含まれる可能性のある何らかの道路異常、例えば、路面上の静止物体１０３が存在するか否かを判定する。
The road surface
実施の形態１に係る車両用画像処理装置５００では、図２に示すように、路面静止判定部２０７を構成する内部の機能ブロックとして、候補特徴点抽出部２０７ａ、候補フロー算出部２０７ｂ、路面特徴点抽出部２０７ｃ、路面フロー算出部２０７ｄ、仮瞬時路面定数算出部２０７ｅ、固定路面定数算出部２０７ｆ、瞬時路面定数算出部２０７ｇ、フロー方向判定部２０７ｈ、フロー比率判定部２０７ｉおよび路面フロー判定部２０７ｊがそれぞれ路面静止判定部２０７内に設けられている。路面静止判定部２０７の各機能ブロックについて、以下でさらに詳しく説明する。
In the vehicle
候補特徴点抽出部２０７ａは、特徴点算出部２０４で算出された特徴点のうち、候補対象領域検出部２０３で検出された候補対象領域３１０に含まれる候補特徴点を抽出する。例えば、図５に示す撮像画像３０１ｃの一例では、撮像画像３０１ｃから落下障害物である路面上の静止物体１０３の候補特徴点１０３ｂおよび候補特徴点１０３ｃ、並びに、路面上の静止物体１０３ではないものの同様に検出される先行車両３０３の候補特徴点３０３ｂ、候補特徴点３０３ｃおよび候補特徴点３０３ｄが、それぞれ候補特徴点として抽出される。
The candidate feature
候補フロー算出部２０７ｂは、撮像部１０２で撮像された現在の撮像画像である第二撮像画像３０１ｂと、撮像結果記憶部２０２に記憶されている過去の撮像画像である１フレーム前の第一撮像画像３０１ａと、候補特徴点抽出部２０７ａで抽出された現在の第二撮像画像３０１ｂにおける候補対象領域３１０の候補特徴点とに対してＬｕｃａｓ－Ｋａｎａｄｅ法を適用することにより、かかる候補特徴点に対応する、オプティカルフロー（候補対象領域オプティカルフロー、以下、候補フローと略して呼ぶ）を算出する。以下の説明では、候補フローの過去側の候補特徴点を始点、現在側の候補特徴点を終点と呼ぶ。
The candidate
例えば、撮像部１０２において時系列で連続する第一撮像画像３０１ａおよび第二撮像画像３０１ｂを撮像した場合は、現在の第二撮像画像３０１ｂから抽出され、第一撮像画像３０１ａに対応づけられる候補特徴点が候補フローの終点となり、過去側、つまり、１フレーム前の第一撮像画像３０１ａに対応付けられた特徴点が候補フローの始点となる。候補特徴点抽出部２０７ａが候補特徴点を複数出力する場合は、候補フロー算出部２０７ｂにおいて、候補フローを複数出力してもよい。
For example, when the
路面特徴点抽出部２０７ｃは、特徴点算出部２０４で算出された特徴点のうち、路面領域検出部２０５によって検出された路面領域３１１には含まれるものの、候補対象領域検出部２０３で検出された候補対象領域３１０には含まれない特徴点を抽出する。すなわち、路面特徴点抽出部２０７ｃの処理によって、路面領域３１１のみに存在する特徴点が抽出される。以下、路面領域３１１のみに存在する特徴点を、路面特徴点と呼ぶ。なお、路面特徴点抽出部２０７ｃと後述の路面特徴点算出部２０７ｋとを総称して、路面特徴点特定部と呼ぶ。
The road surface feature
例えば、図５に示す撮像画像３０１ｃ内の各特徴点の抽出の一例では、路面上の破線区画線３０４の路面特徴点３０４ａおよび路面特徴点３０４ｂが抽出される。ここで、色彩が一様な路面では路面特徴点が抽出されないことも想定されるが、このような場合は、路面特徴点抽出部２０７ｃは路面特徴点を出力しない。
For example, in an example of extraction of each feature point in the captured
路面フロー算出部２０７ｄは、撮像部１０２で撮像された現在の撮像画像である第二撮像画像３０１ｂと、撮像結果記憶部２０２に記憶されている過去、すなわち、１フレーム前の撮像画像である第一撮像画像３０１ａについて、路面特徴点抽出部２０７ｃでそれぞれ抽出された第一撮像画像３０１ａおよび第二撮像画像３０１ｂにおける路面領域３１１の路面特徴点に基づき、路面領域３１１のオプティカルフロー（路面オプティカルフロー、以下、路面フローと略して呼ぶ）を算出する。路面フローの算出は、候補フロー算出部２０７ｂによる候補フローの算出と同様な手順で実施される。路面フローの始点および終点の呼称も候補フローの場合と同じである。
The road surface
なお、路面特徴点抽出部２０７ｃが路面特徴点を複数出力する場合、路面フロー算出部２０７ｄによって路面フローを複数出力してもよい。路面特徴点抽出部２０７ｃが路面特徴点を出力しない場合は、路面フロー算出部２０７ｄは路面フローを出力しない。
Note that when the road surface feature
仮瞬時路面定数算出部２０７ｅは、図７の模式図に示すように、撮像画像のフレームの上下方向における消失点と路面フローの始点との距離、すなわち、Ｙ軸に沿った両者の距離（以下、路面始点距離と呼ぶ）をｙｔ０、撮像画像のフレームの上下方向における消失点と終点との距離、すなわち、Ｙ軸に沿った両者の距離（以下、路面終点距離と呼ぶ）をｙｔ１とする場合、以下の式（１）を用いて、仮瞬時路面定数Ｂｔを算出する。
As shown in the schematic diagram of FIG. 7, the temporary instantaneous road
仮瞬時路面定数Ｂｔは、現在の撮像画像のフレーム、すなわち、第二撮像画像３０１ｂのフレームにおいて、消失点の方向に沿う路面フローのうち、路面の高さにある路面フローが位置によらず一定値となるような数値である。 The temporary instantaneous road surface constant B t is determined by the fact that in the frame of the current captured image, that is, the frame of the second captured image 301b, among the road surface flows along the direction of the vanishing point, the road surface flow at the height of the road surface is independent of the position. It is a numerical value that is a constant value.
路面フローが複数存在する場合は、それぞれの路面フローに対して仮瞬時路面定数Ｂｔを算出して、各路面フローの仮瞬時路面定数Ｂｔの平均値を、平均仮瞬時路面定数Ｂｔａｖｅとして出力してもよい。あるいは、最頻値あるいは中央値などの統計処理を経た数値を仮瞬時路面定数として出力してもよい。 If there are multiple road surface flows, calculate the temporary instantaneous road surface constant B t for each road surface flow, and use the average value of the temporary instantaneous road surface constant B t of each road surface flow as the average temporary instantaneous road surface constant B tave . You can also output it. Alternatively, numerical values that have undergone statistical processing, such as the mode or median value, may be output as the provisional instantaneous road surface constant.
式（１）ではＹ軸に沿った路面始点距離ｙｔ０および路面終点距離ｙｔ１を用いた。しかしながら、路面始点距離ｙｔ０および路面終点距離ｙｔ１は、上述の定義以外であっても、路面フローが消失点方向に沿う場合に消失点との距離に比例する量であればよい。例えば、消失点に対する始点および終点のＸ軸に沿った距離、あるいはユークリッド距離でもよいし、さらに、マンハッタン距離でもよい。 In equation (1), the road surface starting point distance y t 0 and the road surface end point distance y t 1 along the Y axis are used. However, the road surface start point distance y t 0 and the road surface end point distance y t 1 may be other than the above definitions as long as they are proportional to the distance from the vanishing point when the road surface flow follows the direction of the vanishing point. For example, it may be the distance along the X-axis between the starting point and the ending point with respect to the vanishing point, the Euclidean distance, or even the Manhattan distance.
なお、路面フロー算出部２０７ｄが路面フローを出力しない場合、仮瞬時路面定数算出部２０７ｅは仮瞬時路面定数Ｂｔを算出しない。すなわち、仮瞬時路面定数Ｂｔが算出できない可能性があるため、仮の瞬時路面定数としている。
Note that when the road surface
固定路面定数算出部２０７ｆは、仮瞬時路面定数算出部２０７ｅによって仮瞬時路面定数Ｂｔが算出された場合に、車速取得部２０６において取得された車両速度をｖとすると、以下の式（２）を用いて、まず、仮固定路面定数Ａｔを算出する。なお、仮固定路面定数Ａｔは仮瞬時路面定数Ｂｔから算出された仮の固定路面定数であって、後述する固定路面定数Ａとは必ずしも一致しない。
The fixed road surface constant calculation section 207f calculates the following equation (2), where v is the vehicle speed acquired by the vehicle
理論上は、仮固定路面定数Ａｔは撮像画像フレームに依存しない一定値となる。しかしながら、自車両１０１の振動あるいは車両速度ｖの測定誤差によって、仮固定路面定数Ａｔは誤差を含む可能性がある。したがって、固定路面定数算出部２０７ｆでは、固定路面定数算出部２０７ｆにおいて過去の仮固定路面定数Ａｔの履歴を記憶し、仮固定路面定数Ａｔを統計処理することによって取得された統計値を固有の固定路面定数Ａとして出力する。
Theoretically, the temporarily fixed road surface constant A t is a constant value that does not depend on the captured image frame. However, the temporarily fixed road surface constant A t may include an error due to vibrations of the
統計処理の一例として、一定期間内に取得された仮固定路面定数Ａｔの平均値を、平均固定路面定数Ａｔａｖｅとして出力する方法が挙げられる。かかる算出方法を用いることにより、固定路面定数Ａはある時点における仮瞬時路面定数Ｂｔの算出可否にかかわらず、常に算出することができる。統計処理の他の例として、最頻値、中央値などの統計処理を経た数値を固定路面定数Ａとして出力してもよい。 An example of statistical processing is a method of outputting the average value of temporarily fixed road surface constants A t acquired within a certain period of time as an average fixed road surface constant A tave . By using such a calculation method, the fixed road surface constant A can always be calculated regardless of whether or not the temporary instantaneous road surface constant Bt can be calculated at a certain point in time. As another example of statistical processing, numerical values that have undergone statistical processing, such as the mode value and the median value, may be output as the fixed road surface constant A.
さらに、固定路面定数算出部２０７ｆにおいて、ある期間内における仮固定路面定数Ａｔを繰り返し演算して取得された仮固定路面定数Ａｔを統計処理することによって算出された統計値としての固定路面定数Ａを適用することにより、固定路面定数Ａ自体の精度を高めることができる。 Further, in the fixed road surface constant calculation unit 207f, a fixed road surface constant is calculated as a statistical value by statistically processing the temporary fixed road surface constant A t obtained by repeatedly calculating the temporary fixed road surface constant A t within a certain period. By applying A, the accuracy of the fixed road surface constant A itself can be improved.
瞬時路面定数算出部２０７ｇは、固定路面定数算出部２０７ｆによって算出された固定路面定数Ａおよび車両速度ｖを用いて、以下の式（３）によって瞬時路面定数Ｂを算出する。 The instantaneous road surface constant calculating section 207g calculates the instantaneous road surface constant B using the following equation (3) using the fixed road surface constant A and the vehicle speed v calculated by the fixed road surface constant calculating section 207f.
式（３）によって算出される瞬時路面定数Ｂは、仮瞬時路面定数Ｂｔと類似した数式で導ける数値である。しかしながら、固定路面定数Ａおよび車両速度ｖは常に取得可能なため、瞬時路面定数Ｂは、仮瞬時路面定数Ｂｔとは異なり、路面フローの算出可否に関わらず常に算出することができる。 The instantaneous road surface constant B calculated by equation (3) is a numerical value that can be derived from a formula similar to the temporary instantaneous road surface constant Bt . However, since the fixed road surface constant A and the vehicle speed v can always be obtained, the instantaneous road surface constant B, unlike the temporary instantaneous road surface constant Bt , can always be calculated regardless of whether or not the road surface flow can be calculated.
フロー方向判定部２０７ｈは、消失点推定部２０１で推定した消失点と、候補フロー算出部２０７ｂで算出した候補フローについて、撮像画像３０１のフレーム上で、消失点、候補フローの始点および終点が一直線上に並ぶか否かを判定する。これらの各点が一直線上に並ぶ場合は、対象の候補特徴点が自車両１０１の進行方向に沿って移動したと判定する。なお、これらの各点が完全に一直線上に並んでいなくともよく、一定範囲内の誤差を含んでいても、一直線上に並んでいると肯定的に判定してよい。
The flow
フロー比率判定部２０７ｉでは、図７の模式図に示すように、撮像画像３０１における消失点と候補フローの始点とのＹ軸に沿った距離（以下、候補始点距離と呼ぶ）をｙ０、消失点と終点とのＹ軸に沿った距離（以下、候補終点距離と呼ぶ）をｙ１、瞬時路面定数をＢとする場合に、以下の式（４）を満足するか否かを判定する。
As shown in the schematic diagram of FIG. 7, the flow ratio determination unit 207i calculates the distance along the Y axis between the vanishing point in the captured
すなわち、フロー比率判定部２０７ｉは、路面フローに基づき算出された路面フローの瞬時路面定数Ｂが、消失点と候補フローの始点のＹ軸に沿った距離の逆数である１／ｙ０から、消失点と候補フローの始点のＹ軸に沿った距離の逆数である１／ｙ１を減算した数値と一致するか否かを判定する。式（４）を満足する場合、対象の候補特徴点が路面に沿って、かつ、自車両１０１と同じ速度で移動したと判定できる。なお、式（４）を完全に満たしていなくてもよい。つまり、一定範囲内の誤差を含んでいても誤差が充分に小さい場合は、式（４）を満たしていると肯定的に判定してよい。
That is, the flow ratio determination unit 207i determines that the instantaneous road surface constant B of the road surface flow calculated based on the road surface flow is determined from 1/y0, which is the reciprocal of the distance along the Y-axis between the vanishing point and the starting point of the candidate flow, to the vanishing point. It is determined whether or not the value matches the value obtained by subtracting 1/y1, which is the reciprocal of the distance along the Y axis from the starting point of the candidate flow. When formula (4) is satisfied, it can be determined that the candidate feature point of interest has moved along the road surface and at the same speed as the
路面フロー判定部２０７ｊは、候補対象領域検出部２０３によって検出された候補対象領域３１０のうち、フロー方向判定部２０７ｈおよびフロー比率判定部２０７ｉの両方で肯定的に判定される、すなわち、自車両１０１と同一の進行方向および同一の車両速度ｖで、かつ、路面に沿って移動したと判定される候補フロー（以下、路面静止フローと呼ぶ）がどの候補対象領域３１０に含まれるかを調べ、路面静止フローを１つでも含む候補対象領域３１０に存在する対象物を、路面上の静止物体１０３として判定する。
The road surface
例えば、図３の一例において、先行車両３０３はフロー比率判定部２０７ｉにおいて否定的に判定されるため、路面上の静止物体１０３としては判定されない可能性が極めて高い。先行車両３０３は移動体であるため、先行車両３０３を表す候補フローは、自車両１０１とは異なる速度で移動するからである。
For example, in the example of FIG. 3, since the preceding
一方、落下障害物である路面上の静止物体１０３は、フロー方向判定部２０７ｈおよびフロー比率判定部２０７ｉの両方で肯定的に判定されるため、道路異常の一態様である路面上の静止物体１０３として判定される可能性が極めて高い。
On the other hand, since the
なお、フロー方向判定部２０７ｈおよびフロー比率判定部２０７ｉのいずれか一方で否定的に判定された候補フロー（以下、非路面静止フローと呼ぶ）が１つも含まれない場合は、候補対象領域３１０内には路面上の静止物体１０３が存在すると判定してもよい。あるいは、候補対象領域３１０内に含まれる路面静止フローと非路面静止フローの割合に基づき、候補対象領域３１０内には路面上の静止物体１０３が存在すると判定してもよい。実施の形態１に係る車両用画像処理装置５００では、路面静止フローを適用して候補対象領域３１０内に路面上の静止物体１０３が存在するか否かを判定するに当たっては、判定方法は上述の方法に特に限定されない。
Note that if there is no candidate flow (hereinafter referred to as a non-road surface stationary flow) that is negatively determined by either the flow
＜実施の形態１に係る車両用画像処理方法＞
実施の形態１に係る車両用画像処理方法について、図８のフローチャートを用いて説明する。
<Vehicle image processing method according to Embodiment 1>
The vehicle image processing method according to Embodiment 1 will be described using the flowchart of FIG. 8.
まず、ステップＳ１０１において、撮像部１０２は自車両１０１の前方の撮像範囲１０２ａ内の路面を撮像し、仮に現在の撮像画像として、ステップＳ１０２に進む。なお、ステップＳ１０１とステップＳ１０２の処理の間には、画像処理ループＬ１０１が設けられている。
First, in step S101, the
画像処理ループＬ１０１から画像処理ループを開始する。一連の処理が終了し、画像処理ループＬ１０２に至ると画像処理ループＬ１０１に戻り、画像処理ループＬ１０１から画像処理ループＬ１０２までの処理を繰り返す。 The image processing loop starts from image processing loop L101. When the series of processes is completed and reaches the image processing loop L102, the process returns to the image processing loop L101, and the processes from the image processing loop L101 to the image processing loop L102 are repeated.
ステップＳ１０２において、撮像結果記憶部２０２は、仮に現在の撮像画像とした撮像画像を、１フレーム前の過去の撮像画像、すなわち、第一撮像画像３０１ａとして記憶し、ステップＳ１０３に進む。
In step S102, the imaging
ステップＳ１０３において、撮像部１０２は、撮像画像を撮像し、現在の撮像画像、すなわち、第二撮像画像３０１ｂとして更新し、ステップＳ１０４に進む。
In step S103, the
ステップＳ１０４において、消失点推定部２０１は、現在の撮像画像、すなわち、第二撮像画像３０１ｂの消失点を推定して、ステップＳ１０５に進む。
In step S104, the vanishing
ステップＳ１０５において、候補対象領域検出部２０３は、現在の撮像画像、すなわち、第二撮像画像３０１ｂに対して、道路異常の一態様である路面上の静止物体１０３が存在する可能性のある候補対象領域３１０を検出して、ステップＳ１０６に進む。
In step S105, the candidate target
ステップＳ１０６において、候補対象領域３１０が１つ以上存在する場合は、ステップＳ１０７に進む。一方、候補対象領域３１０が１つも存在しない場合は、画像処理ループを繰り返すためにステップＳ１０２に戻る。
In step S106, if one or more
ステップＳ１０７において、特徴点算出部２０４は現在の撮像画像、すなわち、第二撮像画像３０１ｂに対して特徴点を算出して、ステップＳ１０８に進む。
In step S107, the feature
ステップＳ１０８において、候補特徴点抽出部２０７ａは現在の撮像画像、すなわち、第二撮像画像３０１ｂにおける候補対象領域３１０内の候補特徴点を抽出して、ステップＳ１０９に進む。
In step S108, the candidate feature
ステップＳ１０９において、候補対象領域３１０の候補特徴点が１つ以上存在する場合は、ステップＳ１１０に進む。一方、候補対象領域３１０の候補特徴点が１つも存在しない場合は、画像処理ループを繰り返すためにステップＳ１０２に戻る。
In step S109, if one or more candidate feature points of the
ステップＳ１１０において、候補フロー算出部２０７ｂは、現在の撮像画像である第二撮像画像３０１ｂと、過去の撮像画像である１フレーム前の第一撮像画像３０１ａと、候補特徴点抽出部２０７ａで抽出された第二撮像画像３０１ｂにおける候補対象領域３１０の候補特徴点に基づき、候補フローを算出して、ステップＳ１１１に進む。
In step S110, the candidate
ステップＳ１１１において、候補フローが１つ以上存在する場合は、ステップＳ１１２に進む。一方、候補フローが１つも存在しない場合は、画像処理ループを繰り返すためにステップＳ１０２に戻る。 In step S111, if one or more candidate flows exist, the process advances to step S112. On the other hand, if there is no candidate flow, the process returns to step S102 to repeat the image processing loop.
ステップＳ１１２において、路面領域検出部２０５は、現在の撮像画像、すなわち、第二撮像画像３０１ｂに対して路面領域３１１を検出して、ステップＳ１１３に進む。
In step S112, the road surface
ステップＳ１１３において、路面特徴点抽出部２０７ｃは、路面領域３１１内の路面特徴点を抽出して、ステップＳ１１４に進む。
In step S113, the road surface feature
ステップＳ１１４において、路面領域３１１の路面特徴点が１つ以上存在する場合は、ステップＳ１１５に進む。一方、路面領域３１１の路面特徴点が１つも存在しない場合は、ステップＳ１２１に進む。
In step S114, if one or more road surface feature points exist in the
ステップＳ１１５において、路面フロー算出部２０７ｄは、現在の撮像画像である第二撮像画像３０１ｂと、過去の撮像画像である１フレーム前の第一撮像画像３０１ａと、路面特徴点抽出部２０７ｃによって抽出された第二撮像画像３０１ｂにおける路面領域の路面特徴点に基づき、路面フローを算出して、ステップＳ１１６に進む。
In step S115, the road surface
ステップＳ１１６において、路面フローが１つ以上存在する場合は、ステップＳ１１７に進む。一方、路面フローが１つも存在しない場合は、ステップＳ１２１に進む。 In step S116, if one or more road surface flows exist, the process advances to step S117. On the other hand, if there is no road surface flow, the process advances to step S121.
ステップＳ１１７において、仮瞬時路面定数算出部２０７ｅは、第二撮像画像３０１ｂにおける路面始点距離および路面終点距離を用いて、式（１）によって仮瞬時路面定数Ｂｔを算出して、ステップＳ１１８に進む。
In step S117, the temporary instantaneous road surface
ステップＳ１１８において、位置測位部１０４は、自車両１０１の現在の自車位置を示す現時点における緯度および経度を取得して、ステップＳ１１９に進む。
In step S118, the
ステップＳ１１９において、車速取得部２０６は、位置測位部１０４で測位された自車両１０１の自車位置の履歴を用いて、自車両１０１の自車位置の時間変化から、自車両１０１の車両速度ｖを計算して、ステップＳ１２０に進む。
In step S119, the vehicle
ステップＳ１２０において、固定路面定数算出部２０７ｆは、仮瞬時路面定数Ｂｔおよび車両速度ｖを用いて、式（２）によって仮固定路面定数Ａｔを算出して、ステップＳ１２１に進む。 In step S120, the fixed road surface constant calculation unit 207f calculates the temporary fixed road surface constant A t using equation (2) using the temporary instantaneous road surface constant B t and the vehicle speed v, and the process proceeds to step S121.
ステップＳ１２１において、瞬時路面定数算出部２０７ｇは、固定路面定数Ａおよび車両速度ｖを用いて、式（３）によって瞬時路面定数Ｂを算出して、ステップＳ１２２に進む。 In step S121, the instantaneous road surface constant calculation unit 207g calculates the instantaneous road surface constant B using equation (3) using the fixed road surface constant A and the vehicle speed v, and proceeds to step S122.
ステップＳ１２２において、フロー方向判定部２０７ｈは、ステップＳ１０４において推定した消失点と、ステップＳ１１０において算出した候補フローについて、消失点、候補フローの始点および終点が一直線上に並ぶか否かを判定する。消失点と候補フローの始点および終点が一直線上に並ぶ場合は、肯定的に判定されたとする。ステップＳ１２２の処理後は、ステップＳ１２３に進む。
In step S122, the flow
ステップＳ１２３において、フロー比率判定部２０７ｉは、式（４）を用いた判定を行う。式（４）を満足する場合は、肯定的に判定されたとする。ステップＳ１２３の処理後は、ステップＳ１２４に進む。 In step S123, the flow ratio determination unit 207i performs determination using equation (4). If formula (4) is satisfied, it is assumed that the determination is affirmative. After the processing in step S123, the process advances to step S124.
ステップＳ１２４において、路面フロー判定部２０７ｊは、ステップＳ１２２におけるフロー方向判定およびステップＳ１２３におけるフロー比率判定の両方において、肯定的に判定されているか否かを判定する。フロー方向判定およびフロー比率判定の両方で肯定的に判定された場合は、ステップＳ１２５に進む。一方、フロー方向判定およびフロー比率判定の両方で肯定的に判定されなかった場合は、画像処理ループを繰り返すためにステップＳ１０２に戻る。
In step S124, the road surface
なお、フロー方向判定およびフロー比率判定のいずれか一方において肯定的に判定された場合は、ステップＳ１２５に進むとすることも可能であり、あるいは、ステップＳ１０２に戻るという処理を選択することも可能であって、路面上の静止物体１０３をどの程度の精度によって検出すべきかで決定される事項である。
Note that if either the flow direction determination or the flow ratio determination is affirmative, it is possible to proceed to step S125, or it is also possible to select a process of returning to step S102. This is a matter determined by how accurately the
ステップＳ１２５において、路面フロー判定部２０７ｊは、フロー方向判定およびフロー比率判定の両方で肯定的に判定された候補フローを、路面静止フローと判定して、ステップＳ１２６に進む。
In step S125, the road surface
ステップＳ１２６において、路面フロー判定部２０７ｊは、路面静止フローが含まれる候補対象領域３１０を、路面上の静止物体１０３が存在する領域、つまり、道路異常である領域であるとして検出する。
In step S126, the road surface
処理が画像処理ループＬ１０２に達すると、画像処理ループＬ１０１に戻り、上述の動作を繰り返す。
以上が、車両用画像処理装置５００の動作の説明である。
When the process reaches the image processing loop L102, the process returns to the image processing loop L101 and the above-described operations are repeated.
The above is the explanation of the operation of the vehicle
＜式（４）の導出＞
式（４）の導出について、以下に補足的に説明する。
撮像部１０２として理想的なピンホールカメラを仮定する。撮像部１０２および撮像画像３０１上で特徴点となりうる対象点の位置関係について、
（ａ）対象点の移動方向からカメラまでの距離（対象物体が路面上を移動する場合は、すなわちカメラ高さ）：ｈ
（ｂ）カメラ垂線から対象点までの距離：ｚ
（ｃ）カメラ見降ろし角：φ
（ｄ）カメラ縦半画角：θ
（ｅ）撮像画像３０１における消失点から対象点までの高さ方向の長さ：ｙ（ピクセル）
（ｆ）撮像画像３０１における消失点から画像下端までの長さ：Ｈ（ピクセル）
とすると、以下の式（５）で表される関係が得られる。なお、図９および図１０に上述の各パラメータが図示されている。
<Derivation of formula (4)>
The derivation of equation (4) will be supplementarily explained below.
Assume that the
(a) Distance from the moving direction of the target point to the camera (if the target object moves on the road surface, that is, the camera height): h
(b) Distance from camera perpendicular to target point: z
(c) Camera viewing angle: φ
(d) Camera vertical half angle of view: θ
(e) Length in the height direction from the vanishing point to the target point in the captured image 301: y (pixels)
(f) Length from the vanishing point to the bottom edge of the captured image 301: H (pixels)
Then, the relationship expressed by the following equation (5) is obtained. Note that the above-mentioned parameters are illustrated in FIGS. 9 and 10.
式（５）において、自車両１０１の走行中はＨ、φ、θが定数とみなせる。また、対象点を路面上の点に限定すると、さらに、ｈも定数とみなせる。したがって、式（５）は、Ａ、Ｃを定数として、以下の式（６）のようになる。
In equation (5), H, φ, and θ can be regarded as constants while the
式（７）において、対象点を路面上の静止物体１０３に限定すると、Δｚはすなわち自車両１０１の車両速度ｖとなる。自車両１０１の走行中は、Ａは定数となるため、自車両１０１の走行中に何らかの手法によってＡを推定することができれば、自車両１０１の車両速度ｖを用いてオプティカルフローが路面上の静止物体１０３に起因するものか否かを判定できる。
In equation (7), if the target point is limited to the
＜実施の形態１の効果＞
以上、実施の形態１に係る車両用画像処理装置および車両用画像処理方法によれば、撮像画像から取得されるオプティカルフローを用いて道路異常を簡易に検出するため、道路異常の検出に要する処理負荷が低減される車両用画像処理装置および車両用画像処理方法が得られるという効果を奏する。
<Effects of Embodiment 1>
As described above, according to the vehicular image processing device and the vehicular image processing method according to the first embodiment, road abnormalities are easily detected using optical flows acquired from captured images, so the processing required for detecting road abnormalities is performed. This has the effect of providing a vehicular image processing device and a vehicular image processing method in which the load is reduced.
実施の形態２．
図１１は、実施の形態２に係る車両用画像処理装置６００の構成を示す機能ブロック図である。実施の形態２に係る車両用画像処理装置６００が実施の形態１に係る車両用画像処理装置５００と構成上異なる点は、位置測位部１０４が無い点および実寸法検出部２２０を設けた点である。
Embodiment 2.
FIG. 11 is a functional block diagram showing the configuration of a vehicle
実施の形態２に係る車両用画像処理装置６００の動作は、実施の形態１のものとは実寸法検出部２２０および車速取得部２０６の動作の部分のみが異なる。したがって、以下では、実寸法検出部２２０および車速取得部２０６の動作のみを説明する。なお、これら以外の構成の動作は実施の形態１と同様である。
The operation of the vehicle
実寸法検出部２２０は、撮像部１０２が撮像した撮像画像から、現実世界上での長さ（以下、実寸法と呼ぶ）を、既知の物体によるパターンマッチング手法などによって検出し、少なくとも２点間（以下、各点を基準点と呼ぶ）の実寸法を推定する。例えば、図１２に示す撮像画像３０１ｄの一例では、一般に、破線区画線３０４の長さは一定であるため、破線区画線３０４を検出した上で、破線区画線３０４上の基準点３０４ｃから基準点３０４ｄまでの実寸法を、一般的な破線区画線の長さＬｒ［ｍ］と推定する。なお、図１２中のｙｒは、図１２に示す撮像画像３０１ｄにおいて、破線区画線３０４の基準点３０４ｄを含む水平基準線を表す。
The actual
車速取得部２０６は、実寸法検出部２２０から出力された基準点群および実寸法の長さＬｒの履歴を記憶し、各基準点の移動履歴から自車両１０１の車両速度ｖを算出する。例えば、図１２の撮像画像３０１ｄである第一撮像画像、および、時系列で図１２の撮像画像３０１ｄの後に撮像された図１３の撮像画像３０１ｅである第二撮像画像において、第一撮像画像である撮像画像３０１ｄ上では基準点３０４ｄが水平基準線ｙｒの位置にあり、第二撮像画像である撮像画像３０１ｅ上では基準点３０４ｃが水平基準線ｙｒの位置にあったとする。この場合において、図１２および図１３の各撮像画像の撮像時間の差をΔｔ［秒］とすると、自車両１０１の車両速度ｖは、Ｌｒ／Δｔ［ｍ／秒］として算出することができる。なお、実施の形態２に係る車両用画像処理装置６００では、路面上の何らかのマーカによる実寸法から車両速度ｖを求めることができればよく、車両速度ｖの算出方法は上述の方法に限定されるものではない。
The vehicle
＜実施の形態２に係る車両用画像処理方法＞
実施の形態２に係る車両用画像処理方法について、図１４のフローチャートを用いて説明する。実施の形態２に係る車両用画像処理方法は、実施の形態１に係る車両用画像処理方法とはステップＳ２１８およびステップＳ２１９の処理のみが異なる。以下、異なるステップの処理のみについて説明する。なお、これら以外のステップの処理は、実施の形態１に係る車両用画像処理方法の場合と同様である。
<Vehicle image processing method according to Embodiment 2>
The vehicle image processing method according to the second embodiment will be explained using the flowchart of FIG. 14. The vehicle image processing method according to the second embodiment differs from the vehicle image processing method according to the first embodiment only in the processing of step S218 and step S219. Hereinafter, only the processing of different steps will be explained. Note that the processing in steps other than these is the same as in the case of the vehicle image processing method according to the first embodiment.
ステップＳ２１８およびステップＳ２１９は、実施の形態１に係る車両用画像処理方法を示す図８のフローチャート中のステップＳ１１８およびステップＳ１１９をそれぞれ置き換えたものである。 Step S218 and step S219 replace step S118 and step S119, respectively, in the flowchart of FIG. 8 showing the vehicle image processing method according to the first embodiment.
ステップＳ２１８において、実寸法検出部２２０は現在の撮像画像、つまり、第二撮像画像から基準点間の実寸法を推定して、ステップＳ２１９に進む。
In step S218, the actual
ステップＳ２１９において、車速取得部２０６は、推定された実寸法に基づき、自車両１０１の車両速度ｖを算出する。
In step S219, the vehicle
＜実施の形態２の効果＞
以上、実施の形態２に係る車両用画像処理装置および車両用画像処理方法によれば、実寸法検出部２２０による実寸法の推定に基づき自車両１０１の車両速度ｖを算出するので、実施の形態１が奏する効果に加えて、より簡便な方法で車両速度ｖを算出することが可能となる車両用画像処理装置および車両用画像処理方法が得られるという効果を奏する。
<Effects of Embodiment 2>
As described above, according to the vehicle image processing device and the vehicle image processing method according to the second embodiment, the vehicle speed v of the
実施の形態３．
図１５は、実施の形態３に係る車両用画像処理装置７００の構成を示す機能ブロック図である。実施の形態３に係る車両用画像処理装置７００が実施の形態１に係る車両用画像処理装置５００と構成上異なる点は、位置測位部１０４が無い点および車両情報受信部２３０を設けた点である。
Embodiment 3.
FIG. 15 is a functional block diagram showing the configuration of a vehicle
実施の形態３に係る車両用画像処理装置７００の動作は、実施の形態１のものとは車両情報受信部２３０および車速取得部２０６の動作の部分のみが異なる。したがって、以下では、車両情報受信部２３０および車速取得部２０６の動作のみを説明する。なお、これら以外の構成の動作は実施の形態１と同様である。
The operation of the vehicle
車両情報受信部２３０は、自車両１０１に搭載されたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ：電子制御ユニット）から、自車両１０１の車両速度ｖを含む車両情報をＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信などによって受信する。なお、ＣＡＮ以外にもＥｔｈｅｒｎｅｔなどの通信プロトコルを用いてもよい。
The vehicle
車速取得部２０６は、車両情報受信部２３０において受信した車両情報に基づき、自車両１０１の車両速度ｖを取得する。
The vehicle
＜実施の形態３に係る車両用画像処理方法＞
実施の形態３に係る車両用画像処理方法について、図１６に示すフローチャートを用いて説明する。実施の形態３に係る車両用画像処理方法は、実施の形態１に係る車両用画像処理方法とはステップＳ３１８およびステップＳ３１９の処理のみが異なる。以下、異なるステップの処理についてのみ説明する。なお、異なるステップ以外のステップの処理は、実施の形態１に係る車両用画像処理方法と同様である。
<Vehicle image processing method according to Embodiment 3>
A vehicle image processing method according to Embodiment 3 will be described using a flowchart shown in FIG. 16. The vehicle image processing method according to the third embodiment differs from the vehicle image processing method according to the first embodiment only in the processing of step S318 and step S319. Hereinafter, only the processing of different steps will be explained. Note that the processing of the steps other than the different steps is the same as that of the vehicle image processing method according to the first embodiment.
ステップＳ３１８およびステップＳ３１９は、実施の形態１に係る車両用画像処理方法を示す図８のフローチャート中のステップＳ１１８およびステップＳ１１９をそれぞれ置き換えたものである。 Step S318 and step S319 replace step S118 and step S119, respectively, in the flowchart of FIG. 8 showing the vehicle image processing method according to the first embodiment.
ステップＳ３１８において、車両情報受信部２３０は、自車両１０１に搭載されたＥＣＵからの車両情報を受信して、ステップＳ３１９に進む。
In step S318, the vehicle
ステップＳ３１９において、車速取得部２０６はＥＣＵから受信した車両情報に基づき、自車両１０１の車両速度ｖを取得する。
In step S319, the vehicle
＜実施の形態３の効果＞
以上、実施の形態３に係る車両用画像処理装置および車両用画像処理方法によれば、車両情報受信部２３０がＥＣＵから受信する車両情報に基づき自車両１０１の車両速度ｖを算出するので、実施の形態１が奏する効果に加えて、より簡便な方法で車両速度ｖを算出することが可能となる車両用画像処理装置および車両用画像処理方法が得られるという効果を奏する。
<Effects of Embodiment 3>
As described above, according to the vehicle image processing device and the vehicle image processing method according to the third embodiment, the vehicle
実施の形態４．
図１７は、実施の形態４に係る車両用画像処理装置８００の構成を示す機能ブロック図である。実施の形態４に係る車両用画像処理装置８００が実施の形態１に係る車両用画像処理装置５００と構成上異なる点は、実施の形態１の構成の路面領域検出部２０５を路面標示検出部２４０に置き換える点、および、実施の形態１の構成の路面特徴点抽出部２０７ｃを路面特徴点算出部２０７ｋに置き換える点である。
Embodiment 4.
FIG. 17 is a functional block diagram showing the configuration of a vehicle
実施の形態４に係る車両用画像処理装置８００の動作は、実施の形態１に係る車両用画像処理装置５００の動作とは、路面標示検出部２４０および路面特徴点算出部２０７ｋの動作の部分のみが異なる。したがって、以下では、路面標示検出部２４０および路面特徴点算出部２０７ｋの動作のみを説明する。なお、これら以外の構成の動作は実施の形態１と同様である。
The operation of the vehicle
路面標示検出部２４０は、撮像部１０２が撮像した撮像画像３０１から、路面にペイントされた路面標示をパターンマッチング手法などの検出方法によって検出する。例えば、図３の撮像画像３０１では、路面標示検出部２４０は、路面上にペイントされた制限速度標示３０６を画像処理によって検出する。路面標示検出部２４０によって路面標示が検出されなかった場合は、路面標示検出部２４０は路面標示を出力しない。なお、制限速度標示３０６は路面標示の一例であって、他のどのような路面標示であってもよい。
The road marking
路面特徴点算出部２０７ｋは、路面標示検出部２４０で検出した路面標示の路面特徴点を、路面特徴点抽出部２０７ｃと同様に算出する。例えば、図１８に示す撮像画像３０１では、路面特徴点算出部２０７ｋは、制限速度標示３０６の路面特徴点３０６ａおよび路面特徴点３０６ｂを算出する。かかる動作によって、実施の形態１における路面特徴点抽出部２０７ｃと同様に、路面領域３１１の路面特徴点を算出することができる。なお、路面特徴点算出部２０７ｋと前述の路面特徴点抽出部２０７ｃとを総称して、路面特徴点特定部と呼ぶ。
The road surface feature
＜実施の形態４に係る車両用画像処理方法＞
実施の形態４に係る車両用画像処理方法について、図１９に示すフローチャートを用いて説明する。実施の形態４に係る車両用画像処理方法は、実施の形態１に係る車両用画像処理方法とはステップＳ４１１、ステップＳ４１２およびステップＳ４１３の処理のみが異なる。以下、異なるステップの処理のみについて説明する。なお、異なるステップ以外のステップの処理は、実施の形態１に係る車両用画像処理方法と同様である。
<Vehicle image processing method according to Embodiment 4>
A vehicle image processing method according to Embodiment 4 will be described using a flowchart shown in FIG. 19. The vehicle image processing method according to the fourth embodiment differs from the vehicle image processing method according to the first embodiment only in the processing of step S411, step S412, and step S413. Hereinafter, only the processing of different steps will be explained. Note that the processing of the steps other than the different steps is the same as that of the vehicle image processing method according to the first embodiment.
ステップＳ４１１およびステップＳ４１２は、実施の形態１に係る車両用画像処理方法を示す図８のフローチャート中のステップＳ１１１の後に追加されたステップであり、ステップＳ４１３は、ステップＳ１１３を置き換えたものである。 Step S411 and step S412 are steps added after step S111 in the flowchart of FIG. 8 showing the vehicle image processing method according to the first embodiment, and step S413 replaces step S113.
ステップＳ４１１において、路面標示検出部２４０は現在の撮像画像、すなわち、第二撮像画像３０１ｂから路面標示を検出して、ステップＳ４１２に進む。
In step S411, the road marking
ステップＳ４１２において、路面標示検出部２４０が路面標示を１つ以上検出した場合はステップＳ４１３に進む。一方、路面標示検出部２４０が路面標示を検出しなかった場合は、ステップＳ１２１に進む。
In step S412, if the road marking
ステップＳ４１３において、路面特徴点算出部２０７ｋは路面標示上、すなわち路面領域３１１の路面特徴点を算出して、ステップＳ１１４に進む。
In step S413, the road surface feature
＜実施の形態４の効果＞
以上、実施の形態４に係る車両用画像処理装置および車両用画像処理方法によれば、路面標示検出部２４０が撮像画像から路面標示を検出するので、道路異常の検出に要する処理負荷が一層低減される車両用画像処理装置が得られる。
<Effects of Embodiment 4>
As described above, according to the vehicle image processing device and the vehicle image processing method according to the fourth embodiment, the road marking
なお、上述の実施の形態１から４による車両用画像処理装置５００、６００、７００、８００の構成は機能ブロックとして説明されているが、車両用画像処理装置５００、６００、７００、８００を格納するハードウエアとしての構成の一例を図１４に示す。ハードウエア９００は、プロセッサ９０１と記憶装置９０２から構成される。記憶装置９０２は図示していないが、ランダムアクセスメモリ等の揮発性記憶装置と、フラッシュメモリ等の不揮発性の補助記憶装置とを具備する。
Although the configurations of the vehicle
また、フラッシュメモリの代わりにハードディスクの補助記憶装置を具備してもよい。プロセッサ９０１は、記憶装置９０２から入力されたプログラムを実行する。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ９０１にプログラムが入力される。また、プロセッサ９０１は、演算結果等のデータを記憶装置９０２の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。
Further, an auxiliary storage device such as a hard disk may be provided instead of the flash memory.
本開示は、様々な例示的な実施の形態及び実施例が記載されているが、１つ、または複数の実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。 Although this disclosure describes various exemplary embodiments and examples, the various features, aspects, and functions described in one or more embodiments may differ from those of a particular embodiment. The invention is not limited to application, and can be applied to the embodiments alone or in various combinations.
従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。 Accordingly, countless variations not illustrated are envisioned within the scope of the technology disclosed herein. For example, this includes cases where at least one component is modified, added, or omitted, and cases where at least one component is extracted and combined with components of other embodiments.
１０１ 自車両、１０２ 撮像部、１０２ａ 撮像範囲、１０３ 路面上の静止物体、１０３ｂ、１０３ｃ、３０３ｂ、３０３ｃ、３０３ｄ 候補特徴点、１０４ 位置測位部、１０４ａ 測位センサー、２０１ 消失点推定部、２０２ 撮像結果記憶部、２０３ 候補対象領域検出部、２０４ 特徴点算出部、２０５ 路面領域検出部、２０６ 車速取得部、２０７ 路面静止判定部、２０７ａ 候補特徴点抽出部、２０７ｂ 候補フロー算出部、２０７ｃ 路面特徴点抽出部、２０７ｄ 路面フロー算出部、２０７ｅ 仮瞬時路面定数算出部、２０７ｆ 固定路面定数算出部、２０７ｇ 瞬時路面定数算出部、２０７ｈ フロー方向判定部、２０７ｉ フロー比率判定部、２０７ｊ 路面フロー判定部、２０７ｋ 路面特徴点算出部、２２０ 実寸法検出部、２３０ 車両情報受信部、２４０ 路面標示検出部、３０１、３０１ｃ、３０１ｄ、３０１ｅ 撮像画像、３０１ａ 第一撮像画像、３０１ｂ 第二撮像画像、３０２ａ、３０２ｂ 区画線、３０３ 先行車両、３０４ 破線区画線、３０４ａ、３０４ｂ、３０６ａ、３０６ｂ 路面特徴点、３０４ｃ、３０４ｄ 基準点、３０６ 制限速度標示、３１０ 候補対象領域、３１１ 路面領域、５００、６００、７００、８００ 車両用画像処理装置、９００ ハードウエア、９０１ プロセッサ、９０２ 記憶装置 Reference Signs List 101 Own vehicle, 102 Imaging unit, 102a Imaging range, 103 Stationary object on road surface, 103b, 103c, 303b, 303c, 303d Candidate feature points, 104 Positioning unit, 104a Positioning sensor, 201 Vanishing point estimation unit, 202 Imaging result Storage unit, 203 Candidate target area detection unit, 204 Feature point calculation unit, 205 Road surface area detection unit, 206 Vehicle speed acquisition unit, 207 Road surface stationary determination unit, 207a Candidate feature point extraction unit, 207b Candidate flow calculation unit, 207c Road surface feature point Extraction unit, 207d Road surface flow calculation unit, 207e Temporary instantaneous road constant calculation unit, 207f Fixed road constant calculation unit, 207g Instantaneous road constant calculation unit, 207h Flow direction determination unit, 207i Flow ratio determination unit, 207j Road flow determination unit, 207k Road surface feature point calculation unit, 220 Actual size detection unit, 230 Vehicle information reception unit, 240 Road marking detection unit, 301, 301c, 301d, 301e Captured image, 301a First captured image, 301b Second captured image, 302a, 302b Section line, 303 preceding vehicle, 304 broken line marking line, 304a, 304b, 306a, 306b road surface feature point, 304c, 304d reference point, 306 speed limit sign, 310 candidate target area, 311 road surface area, 500, 600, 700, 800 vehicle image processing device, 900 hardware, 901 processor, 902 storage device
Claims (22)
前記撮像画像に基づき、前記車両の移動方向の消失点を推定する消失点推定部と、
前記時系列で連続する複数の撮像画像の間で対応する特徴点を算出する特徴点算出部と、
前記撮像画像から道路異常が存在する可能性のある候補対象領域を検出する候補対象領域検出部と、
前記特徴点算出部で算出された前記特徴点のうち、前記候補対象領域に含まれる特徴点を候補特徴点として抽出する候補特徴点抽出部と、
前記撮像画像から路面上の特徴点を路面特徴点として抽出あるいは算出する路面特徴点特定部と、
前記候補特徴点に基づき、候補フローを算出する候補フロー算出部と、
前記路面特徴点に基づき、路面フローを算出する路面フロー算出部と、
前記路面フローに基づき、固定路面定数を算出する固定路面定数算出部と、
前記車両の車両速度を前記固定路面定数によって除算することにより算出される瞬時路面定数が、前記消失点と前記候補フローの始点の距離の逆数から前記消失点と前記候補フローの終点の距離の逆数を引いた数値と一致するか否かを判定するフロー比率判定部と、
前記消失点、前記候補フローの始点および終点が同一の直線上に位置するか否かを判定するフロー方向判定部と、
前記フロー方向判定部および前記フロー比率判定部の判定結果に基づき、前記候補対象領域における前記道路異常の存在を判定する路面フロー判定部と、
を備える車両用画像処理装置。 an imaging unit that is installed in a vehicle and captures images of a road surface around the vehicle to obtain a plurality of consecutive captured images in chronological order;
a vanishing point estimation unit that estimates a vanishing point in the moving direction of the vehicle based on the captured image;
a feature point calculation unit that calculates corresponding feature points among the plurality of captured images that are continuous in the time series;
a candidate target area detection unit that detects a candidate target area in which a road abnormality may exist from the captured image;
a candidate feature point extracting unit that extracts feature points included in the candidate target area as candidate feature points from among the feature points calculated by the feature point calculating unit;
a road surface feature point identification unit that extracts or calculates feature points on the road surface from the captured image as road surface feature points;
a candidate flow calculation unit that calculates a candidate flow based on the candidate feature points;
a road surface flow calculation unit that calculates a road surface flow based on the road surface feature points;
a fixed road surface constant calculation unit that calculates a fixed road surface constant based on the road surface flow;
An instantaneous road surface constant calculated by dividing the vehicle speed of the vehicle by the fixed road surface constant is calculated from the reciprocal of the distance between the vanishing point and the starting point of the candidate flow to the reciprocal of the distance between the vanishing point and the end point of the candidate flow. a flow ratio determination unit that determines whether or not the value obtained by subtracting .
a flow direction determining unit that determines whether the vanishing point, the starting point, and the ending point of the candidate flow are located on the same straight line;
a road surface flow determination unit that determines the presence of the road abnormality in the candidate target area based on the determination results of the flow direction determination unit and the flow ratio determination unit;
A vehicle image processing device comprising:
をさらに備える請求項３に記載の車両用画像処理装置。 On the frame of the second captured image, the distances between the vanishing point and the start point and end point of the road surface flow are set as a road surface start point distance and a road surface end point distance, respectively, and the road surface end point distance is calculated from the reciprocal of the road surface start point distance. an instantaneous road surface constant calculation unit that calculates an instantaneous road surface constant of the road surface flow by subtracting the reciprocal of the
The vehicle image processing device according to claim 3, further comprising:.
前記統計処理は、演算ごとに算出される仮固定路面定数の平均値、最頻値および中央値のいずれかの算出である請求項１から６のいずれか１項に記載の車両用画像処理装置。 The fixed road surface constant calculation unit repeats an operation of dividing the vehicle speed of the vehicle by a provisional instantaneous road surface constant calculated by subtracting the reciprocal of the road surface end point distance from the reciprocal of the road surface start point distance multiple times within a certain period of time. , Calculate the fixed road surface constant by statistically processing the temporary fixed road surface constant calculated for each calculation,
The vehicle image processing device according to any one of claims 1 to 6, wherein the statistical processing is a calculation of an average value, a mode value, or a median value of temporarily fixed road surface constants calculated for each calculation. .
前記位置測位部が取得した前記自車位置の履歴を用いて、前記車両の車両速度を算出する請求項１から７のいずれか１項に記載の車両用画像処理装置。 further comprising a positioning unit that measures the position of the vehicle,
The image processing device for a vehicle according to any one of claims 1 to 7, wherein the vehicle speed of the vehicle is calculated using the history of the own vehicle position acquired by the position positioning unit.
前記実寸法検出部によって出力される前記道路異常の実寸法に基づき前記車両の車両速度を算出する請求項１から７のいずれか１項に記載の車両用画像処理装置。 further comprising an actual size detection unit that detects an actual size of the road abnormality captured from the captured image,
The vehicle image processing device according to any one of claims 1 to 7, wherein the vehicle speed of the vehicle is calculated based on the actual size of the road abnormality output by the actual size detection section.
前記路面特徴点特定部は、前記路面標示から前記路面特徴点を算出する請求項１から１０のいずれか１項に記載の車両用画像処理装置。 further comprising a road marking detection unit that detects a road marking from the captured image,
The vehicle image processing device according to any one of claims 1 to 10, wherein the road surface feature point identification unit calculates the road surface feature points from the road surface markings.
前記撮像画像に基づき、前記車両の移動方向の消失点を推定する消失点推定ステップと、
前記時系列で連続する複数の撮像画像の間で対応する特徴点を算出する特徴点算出ステップと、
前記撮像画像から道路異常が存在する可能性のある候補対象領域を検出する候補対象領域検出ステップと、
前記特徴点算出ステップで算出された前記特徴点のうち、前記候補対象領域に含まれる特徴点を候補特徴点として抽出する候補特徴点抽出ステップと、
前記撮像画像から路面上の特徴点を路面特徴点として抽出あるいは算出する路面特徴点特定ステップと、
前記候補特徴点に基づき、候補フローを算出する候補フロー算出ステップと、
前記路面特徴点に基づき、路面フローを算出する路面フロー算出ステップと、
前記路面フローに基づき、固定路面定数を算出する固定路面定数算出ステップと、
前記車両の車両速度を前記固定路面定数によって除算することにより算出される瞬時路面定数が、前記消失点と前記候補フローの始点の距離の逆数から前記消失点と前記候補フローの終点の距離の逆数を引いた数値と一致するか否かを判定するフロー比率判定ステップと、
前記消失点、前記候補フローの始点および終点が同一の直線上に位置するか否かを判定するフロー方向判定ステップと、
前記フロー方向判定ステップおよび前記フロー比率判定ステップの判定結果に基づき、前記候補対象領域における前記道路異常の存在を判定する路面フロー判定ステップと、
を含む車両用画像処理方法。 an imaging step of imaging a road surface around the vehicle to obtain a plurality of consecutive captured images in chronological order;
a vanishing point estimating step of estimating a vanishing point in the moving direction of the vehicle based on the captured image;
a feature point calculation step of calculating corresponding feature points between the plurality of captured images that are continuous in the time series;
a candidate target area detection step of detecting a candidate target area where a road abnormality may exist from the captured image;
a candidate feature point extraction step of extracting feature points included in the candidate target area as candidate feature points from among the feature points calculated in the feature point calculation step;
a road surface feature point identifying step of extracting or calculating feature points on the road surface from the captured image as road surface feature points;
a candidate flow calculation step of calculating a candidate flow based on the candidate feature points;
a road surface flow calculation step of calculating a road surface flow based on the road surface feature points;
a fixed road surface constant calculation step of calculating a fixed road surface constant based on the road surface flow;
An instantaneous road surface constant calculated by dividing the vehicle speed of the vehicle by the fixed road surface constant is calculated from the reciprocal of the distance between the vanishing point and the starting point of the candidate flow to the reciprocal of the distance between the vanishing point and the end point of the candidate flow. a flow ratio determination step of determining whether or not it matches the value obtained by subtracting .
a flow direction determining step of determining whether the vanishing point, the starting point and the ending point of the candidate flow are located on the same straight line;
a road surface flow determination step of determining the presence of the road abnormality in the candidate target area based on the determination results of the flow direction determination step and the flow ratio determination step;
An image processing method for a vehicle including.
前記統計処理は、演算ごとに算出される仮固定路面定数の平均値、最頻値および中央値のいずれかの算出である請求項１２から１７のいずれか１項に記載の車両用画像処理方法。 The fixed road surface constant calculation step includes repeating an operation of dividing the vehicle speed of the vehicle by a temporary instantaneous road surface constant calculated by subtracting the reciprocal of the road surface end point distance from the reciprocal of the road surface start point distance multiple times within a certain period of time. , Calculate the fixed road surface constant by statistically processing the temporary fixed road surface constant calculated for each calculation,
The image processing method for a vehicle according to any one of claims 12 to 17, wherein the statistical processing is the calculation of any one of an average value, a mode value, and a median value of temporarily fixed road surface constants calculated for each calculation. .
前記位置測位ステップによって取得した前記自車位置の履歴を用いて、前記車両の車両速度を算出する請求項１２から１８のいずれか１項に記載の車両用画像処理方法。 further comprising a positioning step of positioning the own vehicle position of the vehicle,
The image processing method for a vehicle according to any one of claims 12 to 18, wherein the vehicle speed of the vehicle is calculated using the history of the own vehicle position acquired in the position positioning step.
前記実寸法検出ステップによって出力される前記道路異常の実寸法に基づき前記車両の車両速度を算出する請求項１２から１８のいずれか１項に記載の車両用画像処理方法。 further comprising an actual size detection step of detecting an actual size of the road abnormality captured from the captured image,
The image processing method for a vehicle according to any one of claims 12 to 18, wherein the vehicle speed of the vehicle is calculated based on the actual size of the road abnormality output by the actual size detection step.
前記路面特徴点特定ステップは、前記路面標示から前記路面特徴点を算出する請求項１２から２１のいずれか１項に記載の車両用画像処理方法。 further comprising a road marking detection step of detecting a road marking from the captured image,
22. The vehicle image processing method according to claim 12, wherein the road surface feature point specifying step calculates the road surface feature point from the road surface marking.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022001400A JP7391117B2 (en) | 2022-01-07 | 2022-01-07 | Vehicle image processing device and vehicle image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022001400A JP7391117B2 (en) | 2022-01-07 | 2022-01-07 | Vehicle image processing device and vehicle image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023101069A JP2023101069A (en) | 2023-07-20 |
| JP7391117B2 true JP7391117B2 (en) | 2023-12-04 |
Family
ID=87201757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022001400A Active JP7391117B2 (en) | 2022-01-07 | 2022-01-07 | Vehicle image processing device and vehicle image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7391117B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4958279B2 (en) | 2006-05-17 | 2012-06-20 | 株式会社デンソーアイティーラボラトリ | Object detection device |
| WO2020261568A1 (en) | 2019-06-28 | 2020-12-30 | 日本電気株式会社 | Road surface inspection device, road surface inspection method, and program |
-
2022
- 2022-01-07 JP JP2022001400A patent/JP7391117B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4958279B2 (en) | 2006-05-17 | 2012-06-20 | 株式会社デンソーアイティーラボラトリ | Object detection device |
| WO2020261568A1 (en) | 2019-06-28 | 2020-12-30 | 日本電気株式会社 | Road surface inspection device, road surface inspection method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023101069A (en) | 2023-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102483649B1 (en) | Vehicle localization method and vehicle localization apparatus | |
| US11151741B2 (en) | System and method for obstacle avoidance | |
| US8259998B2 (en) | Image processing device for vehicle | |
| WO2018142900A1 (en) | Information processing device, data management device, data management system, method, and program | |
| JP4973736B2 (en) | Road marking recognition device, road marking recognition method, and road marking recognition program | |
| JP4363295B2 (en) | Plane estimation method using stereo images | |
| JP4702569B2 (en) | Image processing apparatus for vehicle | |
| EP3032818B1 (en) | Image processing device | |
| WO2013133129A1 (en) | Moving-object position/attitude estimation apparatus and method for estimating position/attitude of moving object | |
| EP3113145B1 (en) | Local location computation device and local location computation method | |
| JP6552448B2 (en) | Vehicle position detection device, vehicle position detection method, and computer program for vehicle position detection | |
| US11468691B2 (en) | Traveling lane recognition apparatus and traveling lane recognition method | |
| JP2018048949A (en) | Object recognition device | |
| CN111164648A (en) | Position estimation device and position estimation method for moving body | |
| KR20230000585A (en) | Method and apparatus for calibrating multiple sensors | |
| JP5107154B2 (en) | Motion estimation device | |
| EP3813020A1 (en) | Camera orientation estimation | |
| JP2001076128A (en) | Device and method for detecting obstacle | |
| KR102195040B1 (en) | Method for collecting road signs information using MMS and mono camera | |
| JP7391117B2 (en) | Vehicle image processing device and vehicle image processing method | |
| JP2023118759A (en) | Measuring device, measuring method and program | |
| CN109344677B (en) | Method, device, vehicle and storage medium for recognizing three-dimensional object | |
| JP6886136B2 (en) | Alignment device, alignment method and computer program for alignment | |
| CN115790616A (en) | Determination of an absolute initial position of a vehicle | |
| JP7380443B2 (en) | Partial image generation device and computer program for partial image generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230710 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231024 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231121 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7391117 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |